/
Автор: Асатурян В.И.
Теги: математика статистика прикладная математика планирование эксперимента
Год: 1983
Текст
В. И.АСАТУРЯН
ТЕОРИЯ
ПЛАНИРОВАНИЯ
«ЭКСПЕРИМЕНТА
В. И. АСАТУРЯН
ТЕОРИЯ
ПЛАНИРОВАНИЯ
ЭКСПЕРИМЕНТА
Допущено Министерством высшего
и среднего специального образования СССР
в качестве учебного пособия для студентов вузов,
обучающихся по специальности
«Прикладная математика»
МОСКВА «РАДИО И СВЯЗЬ» 1983
ПРЕДИСЛОВИЕ
В последние десятилетия происходит неуклонное расши-
рение сферы приложения методов математического плани-
рования эксперимента. Эти методы успешно используются
для повышения эффективности экспериментальных иссле-
дований, поиска оптимальных технологических режимов
производственных процессов, выбора конструктивных пара-
метров изделий, состава многокомпонентных систем и т. д.
В развитии отечественной школы по планированию экспе-
римента большую роль сыграли В. В. Налимов, В. В. Фе-
доров, Г. К- Круг, Е. В. Маркова, Ю. П. Адлер и другие
ученые.
По различным разделам теории планирования экспери-
мента имеется большое число отечественных и зарубежных
публикаций. Монографическая литература ориентирована
преимущественно на экспериментаторов или математиков,
специализирующихся в области теории планирования экс-
перимента. Учебная литература, рассчитанная на лиц,
занимающихся прикладной математикой, практически от-
сутствует, хотя теория планирования эксперимента по этой
специальности читается во многих вузах. Данное учебное
пособие частично восполняет этот пробел Основу книги
составили лекции по теории планирования эксперимента,
читавшиеся автором в течение ряда лет студентам факуль-
тета прикладной математики Московского института элек-
тронного машиностроения.
Учебное пособие представляет собой элементарное вве-
дение в теорию планирования эксперимента и включает
лишь основные разделы, необходимые для начального изу-
чения предмета. Наибольшее внимание уделено идеям и
основам предмета. Особое значение придается детальному
изучению моделей наблюдений неполного ранга, анализу
многофакторных экспериментов и многомерных функций
отклика, развитию теории проверки гипотезы адекватности
моделей и решению ряда других задач, актуальных для те-
ории и практики эксперимента. Почти для всех утвержде-
ний, кроме вспомогательных, приводятся доказательства.
Основные результаты иллюстрируются примерами.
8
В сравнительно небольшой по объему книге не прод-
ет. । с л длось возможным охватить ряд разделов, получивших
развитие в специальной литературе по теории планирования
эксперимента. Не рассмотрены, в частности, специальные
вопросы оптимального эксперимента.
Книга состоит из семи глав, в каждой из которых из-
ложены как теоретические, так и прикладные вопросы те-
ории эксперимента.
Глава 1 является базовой. В ней на основе теории ме-
тода наименьших квадратов рассматриваются линейные
модели наблюдений Гаусса—А\аркова полного и неполно-
го ранга. Исследование функций отклика, проверка гипо-
тезы их адекватности, анализ полных и дробных факторных
экспериментов в книге сводятся к изучению этих моделей.
В этой главе на основе работ автора развиты основные по-
ложения метода наименьших квадратов применительно к
линейным моделям наблюдений неполного ранга. Такие
модели имеют особое значение для построения общей тео-
рии оценивания в дробном факторном эксперименте.
Путем анализа общей структуры нормального уравне-
ния устанавливается возможность приведения моделей на-
блюдений неполного ранга к моделям наблюдений полного
ранга. Показано, что, применяя приведенную модель на-
блюдений, можно построить базис пространства параметри-
ческих функций, допускающих линейное несмещенное оце-
нивание. Сформулированы требования к виду матрицы
известных коэффициентов линейной модели наблюдений
полного ранга, позволяющей получить линейные несмещен-
ные оценки для заданной системы параметрических функ-
ций Это дает возможность выделить в общем виде класс
дробных реплик, пригодных для получения таких оценок.
ешение многих задач анализа и планирования экс-
перимента в данной главе и в книге в целом сводится к ре-
шению систем линейных алгебраических уравнений. Из-за
погрешности исходных данных матрица системы и вектор-
столбец свободных членов часто известны приближенно.
В этих условиях могут быть полечены лишь приближенные
решения системы. Для случаев, когда приближенные ре-
шения системы устойчивы к малым изменениям матрицы
системы и столбца свободных членов такого рода задачи
решаются классическими методами наименьших квадратов.
Именно такие методы рассматриваются в данной книге
Одн ко для весьма большого числа затач регрессионного
анализа и планирования эксперимента приближенные ре
тения системы являются неустойчивыми; малые изменения
исходных данных могут приводить к недопустимо большим
изменениям решений Для решения подобного рода задач
требуется использовать принципиально новые методы___
методы регуляризации, разработанные советскими матема-
тиками А Н. Тихоновым, М М. Лаврентьевым, В. К. Ива-
новым, В. Я. Арсениным и др. в течение последних 20 лет
В гл. 2 рассматривается пассивный эксперимент. В пас-
сивном эксперименте исследователь не может влиять на
выбор его схемы проведения или матрицы плана. Основная
задача пассивного эксперимента — по результатам наблю
дений сделать некоторые выводы о параметрах математиче-
ской модели эксперимента. При этом вид ее предполагается
известным, а параметры неизвестными. В книге рассма-
тривается класс так называемых линейных регрессионных
моделей эксперимента. Такие модели широко применяются
в инженерных исследованиях, медицине, биологии.
Типичной для пассивного эксперимента является ситу-
ация, когда специалисту в области планирования экспери-
мента или математической статистики предлагается сделать
какие-то выводы о виде математической модели и ее пара-
метрах по результатам наблюдений, полученным без его
участия в эксперименте.
Основное внимание в данной главе сосредоточено на
оценивании функций отклика, линейных относительно не-
известных параметров. Выявляется связь таких функций
с линейными моделями наблюдений Гаусса—Маркова. За-
дача оценивания многомерной функции отклика сводится
к задаче оценивания одномерной функции отклика. Такой
подход позволяет использовать единый метод оценивания
при решении обеих задач. Принятая точка зрения на за-
дачи прикладного многомерного регрессионного анализа
существенно упрощает их понимание и в дальнейшем ак-
тивно используется при изложении материала.
Далее рассматриваются ситуации, в которых вид регрес-
сионной модели точно неизвестен исследователю и постули-
руется им. Изучается смещение оценок параметров посту-
лируемой модели, вызванное ее несовпадением с истин-
ной.
Глава 3 посвящена подробному анализу пассивного экс-
перимента. Центральное место в этой главе занимает проб-
лема проверки гипотезы адекватности модели Несмотря на
широкое применение процедуры проверки гипотезы адек-
ватности модели в экспериментальных исследованиях, раз-
личные аспекты самой проверки в методическом отношен ни
в учебных пособиях по теории планирования эксперимент
пазработаны недостаточно Поэтому большое внимание
v теряется формальной постановке общей задачи. Вначале
дается постановка задачи проверки гипотезы адекватности
линейной модели наблюдений Гаусса Маркова Задача
проверки гипотезы адекватности функции отклика форму-
лируется как задача проверки гипотезы адекватности ли-
нейной модели наблюдений Гаусса—Маркова. Показано,
что хотя задача проверки гипотезы адекватности может
быть сформулирована в терминах задачи проверки общей
линейной гипотезы, отличие ее от последней весьма сущест-
венно.
Вводятся понятия истинной и адекватной моделей. Ак-
центируется внимание на различии этих понятий. Показано,
что если модель истинна, то она также будет и адекватной.
Обратное утверждение неверно. Приводятся необходимые
и достаточные условия существования адекватных моделей.
Из этих условий вытекает, что адекватная модель не един-
ственна. Более того, класс адекватных моделей является
бесконечным. Исследуется мощность критерия при провер-
ке гипотезы адекватности.
Далее излагаются вопросы построения доверительных
интервалов и областей для неизвестных параметров ре-
грессионных моделей и заданного множества их линей-
ных комбинаций. Рассматривается связь между этими во-
просами и вопросами проверки общей линейной гипотезы
при анализе параметров модели. Методы построения до-
верительных интервалов и областей, а также проверки
ебщей линейной гипотезы широко используются в экспе-
риментальных исследованиях для получения более полно-
го представления о значениях параметров модели и выявле-
ния среди них статистически незначимых.
В заключение главы проводится сравнение конечного
числа функций регрессии для моделей полного и неполно-
го ранга. Такое сравнение рассматривается как задача
проверки общей линейной гипотезы. Сравнение функций
регрессии выполняется при анализе и сравнении различных
технологических режимов производственных процессов, в
зад чах различения сигналов и т. д.
В гл. 4 содержатся основные сведения а двухуровневых
факторных экспериментах. В таких экспериментах каждый
из факторов варьируется па двух уровнях. Рассматривают-
ся полные и дробные факторные эксперименты. Методы фак
торного эксперимента используются для исследования сов-
местного влияния факторов на поведение функции отклика,
а также для построения качественных регрессионных мо-
6
делен многофакторного эксперимента Основная идея фак-
торного эксперимента состоит в одновременном варьирова-
нии многих факторов при проведении опытов. Этим дости-
гается увеличение радиуса обследуемой сферы факторного
пространства при заданных границах изменения каждого
фактора В результате повышается точность оценивания
ко /ффициентов регрессии
При оценивании коэффициентов регрессии стремятся
уменьшить избыточность опытов в факторном эксперименте.
Для этого часто используют регулярные дробные реплики.
Построение и выбор таких реплик подробно рассматривают-
ся в главе. Дробные реплики приходится также использо-
вать в экспериментах, в которых число опытов ограничено
и заведомо меньше числа неизвестных параметров модели.
Показано, что теория оценивания в этом случае может быть
построена на основе применения моделей наблюдений не-
полного ранга. Изложение материала является нетради-
ционным.
Глава 5 посвящена построению и изучению свойств ли-
нейных оптимальных планов, используемых в задачах
взвешивания предметов, поиска экстремума функции от-
клика, при построении качественных моделей функции
отклика. Задача построения линейных оптимальных пла-
нов решается на основе теоремы Бокса. Отмечается свойст-
во ротатабельнбсти линейных оптимальных планов при не-
которых ограничениях, налагаемых на матрицу плана
В гл. 6 изучается задача планирования экстремаль-
ных экспериментов. Методы планирования экстремальных
экспериментов получили широкое распространение в прак-
тических исследованиях. Среди них наиболее известен ме-
тод Бокса—Уильсона, основу которого составляет метод
наискорейшего подъема и статистического оценивания гра-
диента. Особенность изложения материала данной главы
состоит в последовательном рассмотрении метода нанс -
реишего подъема, проблемы статистического оценш ня
градиента, метода Бокса—Уильсона. Раздельное изложение
методов наискорейшего подъема и метода Бокса Уильсо-
на обусловлено стремлением показать, что метод Бокса
Уипьсопа представляет собой естественное развитие мето-
да наискорейшего подъема, когда измерение функции чю-
гих переменных происходит с ошибкой.
В дайной главе изучается также проблема неинвариант-
ности градиента, роль масштабного фс юра
Последняя глава посвящена исследованию области экс-
тремума функции отклика, которое выполняется для \точ
нения описания поверхности отклика вблизи экстремума.
Используется аппроксимация функции отклика полинома-
ми второй степени. Для получения несмещенных оценок
неизвестных коэффициентов такого полинома обычно ис-
пользуются центральные композиционные планы второго
порядка, в которых каждый из факторов варьируется на
пяти уровнях. Поэтому здесь излагаются общие сведения
о центральных композиционных планах второго порядка.
Изучаются важные классы этих планов — планы Хартли
и Бокса. Формулируются условия, при которых план Бок-
са можно сделать ортогональным планом второго порядка.
Далее рассматриваются ротатабельные планы второго
порядка, приводится теорема существования таких планов.
Рассматриваются также структура и общие вопросы тео-
рии ротатабельных планов, задача построения их информа-
ционного профиля.
Автор выражает искреннюю признательность рецензен-
там книги проф. В. Я. Арсенину, доц. А. 3. Иванову и канд.
техн, наук С. С. Попову, чьи полезные замечания и пред-
ложения помогли улучшить ее. Автор считает своим прият-
ным долгом поблагодарить проф. К. А. Пупкова и проф.
Г. Д. Карташова за поддержку в работе над книгой Автор
благодарит доцентов М. Н. Сорокина и В. Г. Крапоткина
Г работе™6 К КНИГе’ 3 ТЗКЖе 3‘ И* ЖеЛеЗН°Ву За помои*ь
ГЛАВА 1
ОЦЕНИВАНИЕ ПАРАМЕТРОВ
В РЕГРЕССИОННОМ АНАЛИЗЕ
1.1. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
1.1.1. ЛИНЕЙНАЯ МОДЕЛЬ НАБЛЮДЕНИЙ
Многие статистические зависимости в различных при-
ложениях представляют собой линейные по неизвестным
параметрам, но в общем случае нелинейные по независи-
мым переменным функции регрессии. Изучение таких за-
висимостей сводится к построению и исследованию линей-
ных моделей наблюдений типа Гаусса—Маркова.
Понятие линейной модели наблюдений является фун-
даментальным в математической статистике. В настоящее
время эти модели широко используются в теории планиро-
вания эксперимента. К исследованию линейных моделей
наблюдений сводятся и многие задачи регрессионного, дис-
персионного, факторного анализов. В дальнейшем оцени-
вание многомерных функций отклика, проверка гипотезы
адекватности функции отклика, сравнение функций ре-
грессии также выполняются на основе линейных моделей
наблюдений.
Особое место среди линейных моделей наблюдений за-
нимают так называемые линейные модели наблюдений не-
полного ранга. К исследованию таких моделей сводятся за-
дачи оценивания линейных функций регрессии, функций
отклика и их параметров, когда число параметров больше
числа опытов, выполненных для оценивания этих парамет-
ров. Далее построение общей теории оценивания в дробном
факторном эксперименте проводится на основе моделей на-
блюдений неполного ранга, что позволяет использовать бо-
лее общие подходы для выбора и построения дробных реп-
лик.
В этой главе излагается общая теория метода наимень-
ших квадратов для моделей наблюдений полного ранга;
развита теория метода наименьших квадратов для моделей
наблюдений неполного ранга. Дальнейшее изложение ма-
териала базируется на результатах этой главы.
9
Рассмотрим понятие линейной модели наблюдений
П\ ть имеется п наблюдений или случайных величии р
у2,\.., Уи Д"я которых
М {Ui}==xi\ + ' хи Рр» 1 — 1» 2,..., п; (1 | .1)
[оа, i = /,
СОТ<г"Ы=(о,^;(/,(' 1.2...........л), (I-L2>
где Pi, Pa, .... Pp и °2 — неизвестные параметры; — oo <
< р7 < oo (/ = 1, 2, ..., p); X = (Xij) — матрица извест-
ных коэффициентов порядка n р; cov {yit y}} = M (yf —
— M{yi})(yj — M U/j})} — ковариация между pf и yf,
Д1 {-} — операция математического ожидания.
Соотношение (1.1.1) следует рассматривать как апри-
орный вид связи результатов наблюдений {р,} и величин
{v(y}. Условие (1.1.2) на случайные величины {pj эквива-
лентно требованию их некоррелированности в одинаковости
дисперсий о2 для всех у^ Выражения (1.1 1), (1.1.2) можно
записать в виде
М {Y} = ХР; D {¥} = о21п, (1.1.3)
ГДе у = (рп уУпУ — вектор-столбец наблюдений* ;
Р = (рх, р2, рр)' — вектор-столбец неизвестных парамет-
ров;
/М {pj \
\М {рп} /
— математическое ожидание вектор-столбца Y;
D {Y} = (cov {рь у,}) = о21п
— ковариационная матрица вектора наблюдений Y; 1п —
единичная матрица порядка п.
Положим
е, = у, - М (</, },(= 1,2.....л, (l l»)
откуда
Vi = ^ilPl + *Z2P? + - + + е«’
причем
М {et} = 0; cov {еь cov (рь ру}-
i, i = 1,2, ... п d-1-1'
*> Штрих означает транспонирование матрицы
1U
В матричной записи (1.1.5)
Y = хр + е;
(11.7)
Л1 {е} = 0; D {е} = М {ее') = а21п, (1.1.8)
где е = (еп е2, .., еп)' — случайный вектор; D {в} — ко-
вариационная матрица; 0 — нулевой вектор-столбец.
Выражение (1.1.7) назовем линейной по параметру р
моделью наблюдений или просто линейной моделью на-
блюдений [1]. Выражение (1 1.7) с условиями (1.1.8) назо-
вем линейной моделью с некоррелированными наблюдениями.
Под линейной моделью с некоррелированными наблюдения-
ми будем также понимать совокупность наблюдений ylt
у2, ..., уп, удовлетворяющих условиям (1.1 3). Оба опре-
деления линейной модели с некоррелированными наблю-
дениями эквивалентны.
Модель наблюдений (1 1.7) называется моделью полного
ранга, если ранг матрицы X равен числу неизвестных па-
раметров в уравнении (1.1.1), т. е. rank X = р*>.
Рассмотрим пример построения линейной модели.
Пример 1.1. Пусть
Ч (О = Pi + ₽2/ + -. +
(1.1.9)
— уравнение движения объекта, в котором параметры рг, Р2, ....
Рр неизвестны. В моменты времени 0, t2, ..., tn измеряется его ко-
ордината т) (0. Обозначим через yt~ у (It) наблюдаемое значение
координаты т]г = т) (0) в момент 0 (i = 1, 2, ..., п). Ошибкой на-
блюдения в момент 0 назовем величину
= Уг — Пь » = 1> 2, ..., п. (1.1.10)
Согласно (1.1.10)
У1 = Пг + ЕЬ П.1. П)
В соответствии с (1.1.9)—(1.1.11)
yt = Pi + Р20 + ... + Рр'Г-1 + ЕЬ ( = 1.2.......п (1.1.12)
Предположим, что ошибки наблюдений {е/} — некоррелирован-
ные случайные величины, имеющие одинаковую дисперсию о1 и
нулевое среднее. Тогда, полагая в (1.1.12) 1 (i = 1, 2,
..., л; / = 1, 2, .... р), получаем линейную модель наблюдений вида
(1.1.5), удовлетворяющую условиям
(оа, / = /,
ЛНе1) = 0; cov(Pi,8,>={0_ ((; = 12......п) (1.1.1.»
*) В дальнейшем под числом неизвестных параметров понимает-
ся число параметров р в уравнении (1,1.1).
11
R матричной записи модель (1 1.12) совладает с (1.1.7) и в соот-
ветс?вви с il 1Н) удовлетворяет условиям (1.1.8), причем матрица
известных коэффициентов
(1 q ... /р->\
1 h ... tP~' I
(1.1.14)
1 t J
1 in ln /
Пример 1.2. Пусть уравнение движения объекта имеет вид
т] (0 = ₽1 + е-'₽а. (1.1.15)
В моменты времени Ц, /2, .... tn производится измерение его коор-
динаты т] (/). Сохраняя обозначения примера 1 1, имеем
yt = Pi + е“Ч2 + ег> ( = 1, 2, .... п. (1.1,16)
Полагая в (1.1.16) хг1 = 1, Xj2 = е *' (i = 1, 2, ..., л), получаем
линейную модель вида (1.1.5), где р= 2 В матричной записи
(1.1.16) имеет вид (1.1.7), причем
Неизвестные параметры 0Ъ 02, • ••, Рр называют также
коэффициентами регрессии. В дальнейшем рассматривают-
ся следующие задачи оценивания по результатам наблю-
дений ух, у2, ... уп:
1) неизвестных параметров 0П 02, ..., 0Р;
2) линейной по параметру р = (01( 02, .... 0Р)' функции
ф = с'₽, (1.1.17)
где с? = (q, с2, ...» ср) — известный вещественный вектор;
3) параметра о2.
Заметим, что задача оценивания функции ф = с'0 яв-
ляется более общей, чем первая Действительно, при с' =
= (0, ..., О, 1/, 0, ..., 0) величина
Ф") =с'Р = 0/, / = 1, 2, ..., р. (1.1.18)
1.1.2. ОЦЕНИВАНИЕ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ
Рассмотрим задачу оценивания коэффициентов регрес-
г"и 01, 02» •» 0/> по наблюдениям ylt уг, .... уп, удовлетво-
ряющим условиям (1.1.3).
Опрел е~л е н и е 1.1. Точечной оценкой (или про-
сто оценкой) 07 параметра 07 называют вещественную функ-
цию от наблюдений уъ у2, ..., ynt tn. е. статистику [2]
₽; = b Q/i> !/2, Уп), / = 1, 2, р. (1.1.19)
Определение 1.2. Оценку 07- параметра 0; на-
зывают линейной, если fj(-) представляет собой линейную
форму, т е.
0> = 2 ааУь /= 1, 2, ..., р, (1.1.20)
где а7- = (axj, a2j, altj)' — известный п-мерный вектор.
В матричном виде вектор-оценка 0 = (0lt 02, ..., 0р)'
вектора неизвестных параметров 0 = (pn 02, 0р)'
0 = f (Y), (1.1.21)
где f(Y) = (A (Y), /2 (Y), .... /р (Y))'. Если Э — линей-
ная оценка 0, то
f=A Y, (1.1.22)
где А — (atj) — матрица порядка р X п.
Рассмотрим выражение
Q = У (У1~~ xiib1~xi2b2—...—xipbjl)2t (1.1.23)
/= i
где Ьг, Ь2, Ьр — некоторые переменные; —оо <; bj < оо
(/ = 1, 2, .... р).
Определение 1.3. Значения bj — 07 (1 = 1, 2,...
..., р), минимизирующие функционал (1.1.23) при наблюден-
ных значениях ух, у2, ..., уп, назовем оценками метода наи-
меньших квадратов (или М НК-оценками) неизвестных па-
раметров 0;. В матричной записи
Q = (Y — Xb)' (Y — ХЬ), (1.1.24)
где b = (blt Ь2, ..., Ьру.
Запишем необходимые условия существования МНК-
оценки (Г = (015 02, .... 0Р)' параметра 0 = (0г, 02> 0р)':
dbv
п
= _ 2 V (у,-=0, v =
= 1
«=1,2, ...,р.
13
Отсюда
п Р , "
V У, xtjbj= >, xlvyt
/ = 1 '-=J
или в матричной форме
X'Xb = X'Y.
<1-1 25)
мцс опенка существует, то она принадлежит
И™,J**Решений уравнения (1 .1.25). Уравнение (1.1.25)
множеству р и ВСегда имеет решение, т. е. сов-
ыгетно Заметим. что уравнение Xb= ¥ при этом может быть
несовместным. Совместность нормального уравнения еле-
иГтого что векторные пространства, порожденные
столбцами матриц S = Х'Х и Х<, совпадают поскольку
совпадают ранги этих матриц [31. Если Ь2....8Р —
столбцы матрицы S, то пространством, порожденным столб-
ами S, называют множество векторов, состоящее из ли-
нейных комбинаций векторов Si, S2, lol.
Покажем, что любое решение нормального уравнения
(1 1.25) является МНК-оценкой вектора Р (Pi, Рг» ••>Рр) •
Пусть "р— некоторое решение (1.1.25). Запишем (1.1.24)
з виде
Qj=lY_XP+ X(p-b)l'IY-Xp + X(P-b)l.
Тогда, поскольку (Y — ХР)' X (р — Ь) = 1(Р — b) X X
к (Y- Хр)Г = 1(Р- Ь)' (X'Y-X' Хр)Г =0 то
; = (Y - ХРУ (Y - Xpj + (Р - b)' Х'Х (Р - Ь) (1.1.26)
Обозначив Е, = X (Р “^Ь)» получим
(Р-Ь)' Х'Х(Р — Ь) = П1112>0.
-де ||Е1|— евклидова норма вектора Е,. Отсюда
= (Y - Xb)' (Y - Xb) >(Y - ХРУ (Y - Хр). (1.1.27)
огласно (1.1.27) минимум функционала
Qo= min (Y —Xb)'(Y —Xb) = (Y—ХР)'(Y—ХР), (1.1.28)
Ь в
е. достигается при b = р, где р — решение нормаль-
ного уравнения (1.1.25); Rr— р-мерное евклидово про
-транство. К а исследует из (1.1.27), минимум одинаков для
зсех решений {Р) уравнения (1.1 25). Действительно, по-
скольку (1.1.27) справедливо для произвольного Ь, то для
14
рлзтичных решений р(1) и р<2 одновременно имеют место
неравенства
(Y — Хр*’))' (Y — Хрн>) (Y — Хр2>)' (Y — Хр<2>);
(Y _ Xp2))z (Y — хр<2>) >(Y - ХР*1>)' (Y - Хр(1)),
отк)да
Qo = (Y — Хр'<1>)' (Y - ХрП) = (Y — Хр2))' (Y —
— Хр2>).
Таким образом, любая МНК-оненка р параметра р яв-
ляется решением нормального уравнения и наоборот. Ины-
ми словами, множество МНК-оценок совпадает с множест-
вом решений нормалык го уравнения (1.1.25). Так как мно-
жество решений нормального уравнения непусто, то МНК-
оненка всегда существует.
Если ранг матрицы X равен р, т. е. числу неизвестных
параметров {РД (/ = 1, 2, р), то уравнение (1.1.25)
имеет единственное решение. Действительно, в этом слу-
чае ранг матрицы S = Х'Х также равен р, и поскольку
S — квадратная матрица порядка р, то она является не-
вырожденной. Но тогда существует обратная матрица S-1,
и в силу ее единственности решение уравнения (1.1.25)
также единственно и определяется по формуле
'p = S-1X/Y. (1.1.29)
Матрицу S = X X называют информационной, а матрицу
Х'Х/н — нормированной информационной. Если rank X =
= г<р, то решение уравнения (1.1.25) не единственно
(этот случай будет рассмотрен в п. 1.3.1). Если число на-
блюдений п < р, то rank X = и rank Х'Х = г<р.
т. е. информационная матрица Х'Х является вырожден-
ной и, следовательно, МНК-оценка р заведомо не единствен-
на.
Покажем несмещенность оценок {РУ-} (/=1,2,. р).
Если rank X = р, то [см. (1.1.3)] для любого числа на-
блюдений п
М {0} = S-1X'Af {Y} = S-1X'Xp
Отсюда
М {Р} — Р для всех Р (1.1 30)
или М {р4} == Р, V р, б RP. где RP — р-мерное вещественное
пространство параметров
15
I 1 з МАТРИЦА КОВАРИАЦИЙ ОЦЕНОК МЕТОДА
НАИМЕНЬШИХ КВАДРАТОВ
Определим ковариационную матрицу
D {0} = (cov {0i, 0;}) (] 1.31)
оценки р параметра р, когда rank X = р. Ковариационная
матрица (1.1.31) является симметричной матрицей поряд.
ка р. В матричной записи
D {0} = М 1(0 - М {0}) (Р - М {Р})'1. (1,1.32)
Определение 1.4. Назовем случайной матрицей
матрицу V = где vtj (i = 1, 2, г; / = 1,2,. $)—
случайные величины в конечными математическими ожида-
ниями.
Лемма 1.1. Пусть А и В— постоянные матрицы соот-
ветственно порядка </х г ns х а V - случайная матрица
порядка г х s. Тогда
М {AVB} = АЛ4 {V} В. (1.1.33)
Доказательство. Используя свойства линейно-
сти оператора М, можно записать
М {AVB} = AM {VB} = АЛ1 {V} В.
Лемма 1.2. Пусть имеются случайный вектор z = (zp
г2, •••» гпУ и матрица линейного преобразования А порядка
т х п- Тогда ковариационная матрица случайного вектора
1 = Az задается выражением
D {|} = AD {z} А'. (1.1.34)
Доказательство. Ковариационная матрица
D {ё} = М {(1-М {|}) (1-М {!})'} = м {AVA'},
где V = (z — М {z}) (z—М {z})'. В соответствии с (1.1.33)
D {1} = AM {V} А'
или
D {1} = AD {z) А'.
Согласно (1.1.29) и (1 1.34) ковариационная матрица МНК-
оценки параметра 0
D {0} = S-’X' D {Y} (S^XT,
и так как D JY} = о2!,. 1см (1.1.3)1, то
О {0} =г O2S-’ Х'Х (S-1)' = о2 (S-1)’.
16
Матрица S симметричная, а следовательно, будет симмет-
ричной и обратная матрица S-1. Поэтому
D {£} = o2S-1. (1.1.35)
Полагая S-1 = (Х'Х)-1 = (сц), можно записать
cov {0Ь Э/} = о2см>
Д / = 1, .... р; i =/= /;
D {0/} = / = 1»2...... р.
В общем случае МНК-оценки {0Д (/ == 1,2,..., р) коррели-
рованы между собой Имеет место следующая лемма
Лемма 1.3. МНК-оценки {07} параметров {0;) (/ = 1,
2, ..., р) будут некоррелированы тогда и только тогда, ког-
да столбцы матрицы X попарно ортогональны.
Доказательство. Обозначим через хг(/ = 1.2,
..., р) /-й столбец матрицы X. Если столбцы матрицы X
попарно ортогональны, т. е. их скалярное произведение
п
(хь xs) = 2 *n*is= О, I, s= 1, 2, ..., р; / =/= s, то матрица
X X, а следовательно, и матрица (X X)*1 будут диагональ-
> ными. Поскольку (Х'Х)-1 — диагональная матрица,
COV {0i, 0,} =
о2ся, i = j,
о, i=£ i(i, j=l,2, ...» р)-
Обратное утверждение очевидно. Как видно из (1.1.35),
D {0} является симметричной положительно определенной
матрицей. Покажем, что для любой линейной несмещенной
оценки 0 параметра 0 ее ковариационная матрица О {0}
также будет симметричной положительно определенной.
Лемма 1.4. Пусть rank X = р и 0 = AY — произволь-
ная линейная несмещенная оценка параметра 0, где А —
матрица порядка р < п. Тогда ковариационная матрица
D {0} оценки 0 является симметричной положительно опре-
деленной. __
Доказательство. В силу того что А1 {0} =
= AM {Y} = АХ0 = 0 для всех 0, имеем
АХ = 1р. (1-1-36)
Матрица 1р — единичная порядка р, и, следовательно,
rank А == р. Далее
D {0} = AD (VI »-'_= р22, (1.1.37)
17
у — да'___симметричная невырожденная матрица по-
р. так как rank АА = rank А'. Поэтому матрица
v __ дд'__положительно определенная.
Следствие. Определитель ковариационной матри-
цы {0}1 > 0- n -j
Определение 1.5. Определитель ковариационной
матрицы |£> {0} | называют обобщенной дисперсией оценки 0
1.1.4. СВОЙСТВА ОЦЕНОК МЕТОДА НАИМЕНЬШИХ
КВАДРАТОВ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Для изучения свойств МНК-оценок {0Д параметров
{0Д (/ = 1, р) нам понадобятся следующие определения
и леммы.
Определение 1.6. Пусть Y' — (ух, у2, уп)
и Т = (z^ z2, .... zQ)— многомерные случайные величины.
Тогда под ковариацией между случайными величинами Y
и Z понимают выражение
/COV {ух, zj ... COV (z/j, Zq} \
cov{Y, Z} = l........................ (1.1.28)
\cov{#n, ZJ...COV {yn, 2g}J
В матричной записи
cov {Y, Z}=Af {(Y — M {Y})(Z —Л1 {Z})'}. (1.1.39)
Очевидно, что
cov {Y, Z} = [cov {Z, Y}]'. (1.1.40)
Лемма 1.5. Если Ап и A2 — постоянные матрицы поряд-
ка? xn, a Y = (гд, y2, .... yn)' — n-мерная случайная ве-
личина, то
cov {AjY, A2Y} = AtD {Y} A£, (1.1.41)
где D {Y} — ковариационная матрица вектора Y.
Доказательство. Из (1.1.39) следует, что
cov {АЛ, A2Y} = М {(АЛ — М {АЛ}) (АЛ —
{АЛ})'}-
Следовательно,
cov {АЛ. A2Y} =
“ Л1 {A, (Y - М {Y)) (Y - М {Y»' АО =, A,D {Y} А5.
Замечание J. При А1 Аг А имеем результат (1 1.34)
,я
Замечание 2. Согласно (1.1.40)
cov {Al Y, A2Y}= [cov {AaY, AjY}]'. (1.1.42)
S"roL cov ₽:V)='eSv₽(P’V₽,L'₽V!j. ” Р"Г ~ BeKTOp-CT“16-
Лемма 1.6. Если Y = (yu yt, .... Упу — «-мерная слу-
чайная величина, а Аь А2 — постоянные матрицы порядка
q х п, то ковариационная матрица вектора AY, где А =?
= А! 4- А2,
D {AY} = D {АЛ} + D {A2Y} +
4-cov {АЛ, A2Y} 4-cov {АЛ, АЛ}. (1.1.43)
Доказательство. Используя (1.1.34), получаем
D {AY} = KD {Y} А' =
= (А, 4-А2)Е> {Y}(A14-A2)'
или
D {AY} = А^ {Y}A{ 4-А2Е> {Y}As4-
4-AjD {Y} А2 4- A2Z) {Y}A[.
Отсюда [см. (1.1.41)1 находим
D {A Y} = D {АЛ}4-О {A2Y}4-
4- cov {АЛ> A2Y} 4- cov {A2Y, АЛ}-
Свойства МНК-оценок коэффициентов регрессии для
модели полного ранга (1.1.7), (1.1.8) определяются следую-
щей теоремой Гаусса—Маркова.
Теорема 1.1 [3]. Пусть Y = хр 4- е — линейная мо-
дель полного ранга (rank X = р) вида (1.1.7) (1.1.8).
Тогда оценки метода наименьших квадратов рь р2> .... рр
параметров рь р2, ..., рр являются несмещенными и в клас-
се линейных несмещенных оценок имеют минимальную дис-
персию. Линейные несмещенные оценки параметров рх.
Р2, •••, РР, имеющие минимальную дисперсию, в этом клас-
се единственны.
Доказательство. Несмещенность оценки р =
= S^X'Y, где S = Х'Х, была показана ранее [см. (1.1.30)].
Покажем теперь, что если р — A Y — некоторая несмещен-
ная оценка р = (рь р2, ..., рр)', то ее ковариационная ма-
трица
0{Р}>П{Р}. (11.44)
19
Здесь А — постоянная матрица порядка р X n; fl = (fl1;
fls> .... flp)'- Заметим, что из (1.1.44) сразу следует
D {₽_,-}<£> {АД. / = 1. Р> (1.1.45)
где D {fl',} и D {fl}} — дисперсии оценок flj и fl,.
Используя соотношение fl = fl — ₽ + fl и полагая Q =
= А — S-1 X', получаем
D {₽} = D {QY Ч- S-1X'Y}. (1.1.46)
В соответствии с (1.1.41) ковариация между случайными
р-мерными величинами = QY и z2 = S-1X'Y равна
cov {Z1, z2} = QD {Y} XS"1 = o2QXS-1 =
= a2 (A XS'1 — S"1)
и, так как AX = lp [cm. (1.1.36)], cov {zb z2} = 0, где 0 —
нулевая матрица.
Нетрудно проверить, что и cov {z2, zj = 0. Применяя
к соотношению (1.1.46) лемму 1.6, находим
D {₽} = £> {QY} + Z) {₽}. (1.1.47)
Матрица D {QY} = o2QQ' неотрицательно определенная
и поэтому D {fl} D {fl}.
Доказательство единственности мы здесь не приводим,
так как оно приводится при изложении теоремы Гаусса—
Маркова для более общего случая (п. 1.2.2).
Следствие. Из (1.1.44) вытекает, что
Р {₽} К {₽~}1, (1.1.48)
т. е. обобщенная дисперсия МНК-оценки fl является мини-
мальной в классе линейных несмещенных оценок пара-
метра fl.
1.1.5. ОЦЕНИВАНИЕ ДИСПЕРСИИ НАБЛЮДЕНИЙ
Несмещенная оценка дисперсии может быть получена
с помощью следующей леммы [3—5].
Лемма 1.7. Пусть вектор наблюдений Y = (у}, у2, ....
УпУ удовлетворяет условиям (1.1.3). Тогда несмещенная
оценка параметра о2 имеет вид
s2 = a2 = Q0/(/i — г), (1.1.49)
20
где г — ранг матрицы X;
Qo = (Y — Хр)' (Y — Хр), (1.1.50)
причем Р — любая МНК-оценка вектора параметров р.
Доказательство. Рассмотрим модель наблю-
дений полного ранга. В этом случае rank X = р — числу
неизвестных параметров. Преобразуем выражение (1.1.50):
Qo = Y'Y—'p'X'Y— Y'XP + P'X'XP.
Поскольку оценка р — решение нормального уравнения
(1.1.25), то р'Х'Хр = p'X'Y и, следовательно,
Qo = Y'Y — Y'Xp. (1.1.51)
Подставляя сюда выражение р = (Х'Х)-1 X'Y, получаем
Qo = Y'Y — Y'X (Х'Х)-1 X'Y (1.1.52)
или Qo = Y'AY, где
A = In — X (Х'Х)-1 X' (1.1.53)
— симметричная (A = К') и идемпотентная (А2 = А) ма-
трица.
Легко проверить, что Р'Х'А = 0. Поэтому [см. (1.1.7)]
YA = (Y — ХР)' А = е'А. (1.1.54)
Используя (1.1.54), имеем
Y'AY = Y'AAA'Y =
= е'ААА'е = е'Ае. (1.1.55)
Полагая А = (ац), можно записать
е' Ае = аа $ + 2
1
i ¥= I
В силу (1.1.8)
п п
М{ъ Ае} = 2 «ii^{e7} = o2 V аа.
*= 1
Отсюда М {Y'AY} = о2 tr А, (1.1.56)
где tr А — след матрицы А. Очевидно, что М W«> = ‘.r°”ГхХ/хХ-хХ?-ХХ'? = e= a2 [tr In — tr X (X X) л. J.
Матрица X (Х'Х)-1 X' также идемпотентна, и ее ранг ра.
вен р. След идемпотентной матрицы равен ее рангу [4], и,
следовательно,
М {Qo> = о2 (« — р).
Окончательно
М £2} = М {Q0)/(n - р) = о2.
Аналогичным является вывод соотношения (1.1.49) для
модели неполного ранга, т. е. когда rank X = г < р.
В этом случае вместо обратной матрицы (Х'Х)-1 в (1.1.53)
используется обобщенная обратная матрица вида (Х'Х)-,
определение которой см. в п. 1.3.1.
Если наблюдения ylf у2, ..., уп — независимые нормаль-
ные величины, то имеет место следующая лемма.
Лемма 1.8 [4]. Пусть наблюдения z/x, у2, ..., уп —
нормальные случайные величины, удовлетворяющие усло-
виям (1.1.1), (1.1.2). Тогда случайная величина
Qo/o2 = Хп-м (1.1.57)
т. е. имеет центральное х2-распределение с п — г степенями
свободы (определение ^-распределения см. в приложении 1).
Для доказательства этого утверждения нам понадобит-
ся следующая лемма.
Лемма 1.9 [4]. Пусть уг, у2, уп — независимые
случайные величины, причем yt ~ N (рг-, о2)*>. Тогда, для
того чтобы квадратичная форма Y'AYo-2, где Y' = (рх,
у2, •••» Уп)> имела ^-распределение, необходимо и достаточ-
но, чтобы матрица А была идемпотентной. Если квадратич-
ная форма имеет ^-распределение, то его число степеней
свободы равно tr А, а параметр нецентральности
62 = а-2и'Аи> (1.1.58)
где р/ (рь Рг» •••» Р-п)"
Перейдем теперь к доказательству леммы 1.8.
Доказательство. Предположим, что rank Х=р.
Тогда в соответствии с леммой 1.9 квадратичная форма
Qoa-2 = a~2Y'AY,
где А = 1п — X (Х'Х)-1 X' — идемпотентная матрица,
имеет "//-распределение о п — р степенями свободы, по-
скольку tr А = п — р.
Запись oiHR’iaer, что случайная величина имеет нормаль-
ное распределение со средним щ и дисперсией о2.
Параметр нецентралытсти 6^0, т. е. уАраспределе-
ние является центральным Действительно 1см. (1.1.58)],
о262 = Л1 { Y'} AM {Y} = 0'Х'АХр,
и так как Р'Х'А = 0, о2 > 0, то 6 = 0.
Рассмотрение случая, когда rank X = г< р, мы здесь
опускаем по соображениям, упомянутым выше.
1.1.6. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ В СЛУЧАЕ
КОРРЕЛИРОВАННЫХ НАБЛЮДЕНИЙ
Рассмотрим линейную модель с коррелированными на-
блюдениями вида
Y = хр 4- е; (1.1.59)
М {₽} = 0; D {₽} = М {ее'} = a2V, (1.1.60)
где Y = (t/ls у2, ..., Уп)' — вектор наблюдений; 0 = (0Ь
02, .... РР)' — вектор неизвестных параметров; X = (хо) —
матрица известных коэффициентов порядка п X р; а2 —
неизвестный параметр; V = (vls) — известная положитель-
но определенная симметричная матрица порядка n; D {е} —
ковариационная матрица вектора е = (eit е2, ..., еп)'; 0 —
нулевой вектор-столбец.
Легко увидеть, что вектор наблюдений Y удовлетворяет
условиям
М {Y} = Хр; D {Y} = o2V. (1.1.61)
Частным случаем модели (1.1.59), (1.1.60) является модель
наблюдений
Y = ХР + е; М {₽} = 0; D {е} = 2, (1.1.62)
где 2 — известная положительно определенная симметрич-
ная матрица порядка п.
Покажем, что модель (1.1.59), (1.1.60) можно свести к
модели с некоррелированными наблюдениями (1.1.7), (1.1.8).
Сформулируем лемму [6].
Лемма 1.10. Пусть V — положительно определенная
симметричная матрица порядка п. Тогда существует поло-
жительно определенная симметричная матрица В поряд-
ка п, такая, что
V = в В = В2. (1.1.63)
Используя теперь преобразование
Z==B-1Y, (1.1.64)
23
получаем
м {Z} = up,
(1 1.65)
где
и=В-1Х. (1.166)
Имея в виду (1.1.34), (1.1.61), а также В = В'-, запишем
ковариационную матрицу вектора Z
D {Z} = B-XD {Y} (В"1/ = c^B-WB-1
или 1см. (1.1.63)1
О {Z} = о21п. (1.1.67)
В соответствии с (1.1.65), (1.1.67)
Z = UP + е*; (1.1.68)
М {е*} = 0; D {е*} = о2!п, (1.1.69)
где
e*=Z —Up. (1.1.70)
Если (1.1.7) — модель полного ранга, то и приведенная мо-
дель (1.1.68), (1.1.69) с некоррелированными наблюдения-
ми будет моделью полного ранга. Действительно, матрица
В-1 в (1.1.66) является невырожденной, и поэтому [7]
rank U = rank X. Для модели полного ранга
р = (U'U)-1 U'Z. (1.1.71)
Отсюда в силу (1.1.63), (1.1.64), (1.1.66)
Р = (Х'В"1 В"1 X)1 Х'В1 В"1 Y,
и так как V-1 = В-1 В-1, то
(Г= (X'V~1X)-1 XV1 Y. (1.1.72)
Ковариационная матрица МНК-оценки параметра р
1см. (1.1.35)]
D (Р) = и2 (U'U)"1
и с учетом (1.1.66)
О {Р} = о2 (X'V^X)-1. (1.1.73)
Предположим, что для оценивания коэффициентов ре-
грессии используете я модель с некоррелированными ваблю-
ния (11 7), (1.1.8), хотя на самом деле наблюдения иг,
'Ji • У г. коррелированы и удовлетворяют условиям (1.1.61).
в этом случае оценка параметра р равна*» = (Х'Х^-1 Y'v
и будет несмещенной: ' Л ’
М {₽) = (Х'Х)-* Х'М (у) => М (Р) = р,
поскольку для истинной модели наблюдений М {Y} =
= Хр- Оценку р можно представить в виде [см. (1.1.64)1
Р = (X'X)-i XfBZ, (1.1.74)
т. е. как линейную функцию от Z. Ввиду того что истинной
является модель (1.1.68), разность ковариационных ма-
триц [см. (1.1.44)1
D {£} -D {Р} >0 (1.1.75)
— матрица неотрицательно определенная. Здесь
D {Р} = о2 (Х'Х)-’ X'VX (Х'Х)-1; (1.1.76)
D {Р} = о2 (X'V-iX)-i.
Для обобщенных дисперсий оценок Р и р имеет место нера-
венство [см. (1.1.48)1
\D {Р}| > \D {f}|. (1.1.77)
Таким образом, предположение о том, что в модели
(1.1.59), (1.1.60) наблюдения некоррелированы, не приво-
дит к смещению вектора оценок, однако в общем случае
увеличивает его обобщенную дисперсию.
1.2. ОЦЕНИВАНИЕ ПАРАМЕТРИЧЕСКИХ ФУНКЦИЙ
1.2.1. ПАРАМЕТРИЧЕСКИЕ ФУНКЦИИ,
ДОПУСКАЮЩИЕ ОЦЕНКУ
Пусть имеется модель наблюдений (1.1.7), (1.1.8), т. е.
Y = Хр + е; М {е} = 0; D {в} = а21п,
где Y — /г-мерный вектор наблюдений; е — «-мерный слу-
чайный вектор; Р — р-мерный вектор неизвестных пара-
метров; а2 — неизвестный параметр; X —известная матри-
ца порядка п X р.
Определение 1.7 [31. Параметрической функ-
цией называется линейная функция от р вида
ч- = с'₽- S ‘Л ° 2 °
(- 1
с' = (с , с2, ..., Ср) - известный. вещественный вектор,
^Рассмотрим задачу о линейном несмещенном оценивании
функции ф — с'Р для модели (1.1.7), (1 1.8). В общем слу-
чае линейная несмещенная оценка функции ф не всегда су-
ществует.
Определение 1.8 131 Параметрическая функ-
ция ф — С Р называется функцией, допускающей оценку,
если для нее существует линейная несмещенная оценка вида
ф = а'У, (1.2.2)
т. е. существует постоянный вектор а' = (сц, а2, ..., ап)
такой, что
Л4{ф}=ф» (1-2.3)
для любых ф (или для любых 0).
Лемма 1.11 [3]. Функция ф -= с'0 допускает оценку тог-
да и только тогда, когда существует вектор а такой, что
с'= а'Х. (1.2.4)
Доказательство. Пусть существует линейная
несмещенная МНК-оненка ф = a'Y функции ф = с'0. Тог-
да
М {ф} = М {a'Y} = a'M {Y}
или [см. (1.1.3)]
М. {ф} = а'Х0 = ф.
Отсюда а'Х0 = с'0 тождественно по 0 и, следовательно,
а'Х = с'.
Пусть теперь существует такой постоянный вектор а
что выполняется условие (1.2.4) Примем в качестве оценки
функции ф выражение ф = a Y где вектор а' удовлетворяет
условию с' = а'Х. Такая оценка является несмещенной.
Действительно,
М {ф} = а'Л4 {Y} = а'Х0 = с'0 = ф.
Следствие. Условие (1.2.4) можно записать в виде
с' 2 «iUa, xi2, ...» х£-р), (1-2.5)
/= 1
где вектор (хц, х 2, . , х,р) является z-й строкой матрицы
X Из (1.2.5) следует, что ф — с'0 допускает оценку тогда
и только тогда, когда вектор с' представляет собой линей-
ную к мбинацию строк ма! ;«ицы X, г. е. когда Ц]
rank X = rank (J) (1.2.6)
или
rank X = rank (X', с). (1.2.7)
Здесь (X', с) — блочная матрица порядка р х (п + 1),
где к матрице X' дописан вектор-столбец с.
Рассмотрим пример.
Пример 1.3. Пусть ф = 2$t ф- 6Р2 + 4р3 и
3 5 4
1 3 2
2 2 2
1 1 1
Здесь с' = (2, 6, 4) и rank X = 2. Очевидно, что
и, следовательно, ф = 2Pj + 6P2 4- 4Р3 является параметрической
функцией, допускающей оценку. Существует ситуация, когда все
параметрические функции допускают оценку.
Лемма 1.12. Все параметрические функции допускают
оценку тогда и только тогда, когда rank X = р — числу
оцениваемых параметров.
Доказательство. Произвольная параметриче-
ская функция ф = с'Р согласно (1.2.5) допускает оценку
тогда и только тогда, когда
р
Х12, .. , Х/р)
i== 1
Так как с £ — р-мерному векторному пространству,
то условие (1.2.5) для всех {ф = с'Р} выполняется тогда и
только тогда, когда пространство, порождаемое строками
матрицы X, является р-мерным, т. е. когда rank X — р.
1.2.2. ОЦЕНКА МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ
параметрической функции
При рассмотрении задачи оценивания параметрических
функций мы следуем [3, 4, 81.
Теорема 1.2 (Гаусса—Маркова) Пусть имеется сово-
купность наблюдений yt, у2, уп, удовлетворяющих ус-
ловию
М {Y} = ХР; £){¥} = о2!п. (1.2.8)
Тогда для каждой функцииф = с'Р, допускающей оценку,
в классе линейных несмещенных оценок существует оцен-
ка ф с минимальной дисперсией. Эта оценка в указанном
классе единственна и может быть представлена в виде
ф=с% (1.2.9)
где р — любая МНК-оценка вектора р (любое решение
нормального уравнения). Оценку ф вида (1.2.9) называют
МНК-оценкой параметрической функции ф = с'р.
Доказательство. Пусть функция ф — с'р до-
пускает оценку. Тогда существует вектор а' = (ах, а2,
ап) такой, что с' = а'Х. Покажем сначала, что МНК-
оценка ф = с'р функции ф (где р — любая МНК-оценка
вектора Р) является линейной и несмещенной. Поскольку
rank X=^=rank Х'Х, то пространство, порождаемое строками
матрицы X, совпадает с пространством, порождаемым стро-
ками матрицы Х'Х. Поэтому существует вектор к' = (Хь
•••» ^р) такой, что а'Х = к'Х'Х, откуда
с' = к'Х'Х. (1.2.10)
МНК-оценка функции ф с учетом (1.2.8) и (1.2.10)
имеет вид
ф = с^р = 1'Х'Хр
Ввиду того что Р является решением нормального уравне-
ния, то Х'хр = X'Y и, следовательно,
ф = 1'Х'У. (1.2.11)
Как видно из (1.2.11), оценка ф является линейной и,
кроме того, она будет несмещенной [см. (1.2.10)1:
М {ф} = 1'Х'М {Y} = ГХ'ХР = с'Р = ф.
Покажем теперь, что дисперсия D {ф} оценки ф в клас-
се линейных несмещенных оценок является минимальной
Пусть ф* = L'Y — произвольная линейная несмещенная
опенка ф где L' == (Lt, L2, .., L„). Тогда
28
M {L'Y} = L'M {Y> = L'xp = ф
и L'XP = c'P тождественно по p. Отсюда L'X = с' и с уче-
том (1.2.10)
L'X = k'X'X. (1.2.12)
Дисперсию оценки L' Y можно записать как
D {L'Y} = ') {(L' — k'X') Y 4- k'X'Y}.
Пользуясь обозначениями P' = (L' — k'X'), R' = k'X'
и имея в виду (1.1.41), находим, что 1см. (1.2.12)1 ковариа-
ция между случайными величинами Zj = Р' Y и z2 == R' Y
равна
cov {P'Y, R'Y} = P'D {Y} R = o2P'R =
= o2 (Lf — k'X') Xk = o2 (L'X — k'X'X)k = 0.
Поэтому дисперсия г — гх + z2 равна D {z} = D {zt} 4-
4- D {z2} или
D {L'Y} = D {(L' — k'X') Y} 4-0 {k'X'Y} (1.2.13)
Так как |см. (1.2.11)] ф = c'P = k'X'Y, окончательно
D {L'Y}>D {c'p4}. (1.2.14)
Таким образом, МНК-оценка ф = c'P функции ф имеет
минимальную дисперсию в классе линейных несмещенных
оценок. Докажем единственность. Из (1.2.11) следует, что
все МНК-оценки {ф} функции ф совпадают между собой,
так как любая МНК-оценка ф = с'р, где р — произволь-
ное решение нормального уравнения, может быть представ-
лена в виде ф = k(X'Y.
Далее 1см. (1,2.13)] неравенство (1.2.14) переходит в
равенство, когда
D {(L' — k'X*) Y} = о2 (L' — k'X') (L' — k'X )' == О,
т. е. когда |]L' — Х/Х*|| = 0 или
L' = к'Х. (1.2.15)
Из формулы (1.2.15) вытекает, что в ^том случае L Y ==
= k'X'Y.
Таким образом, любая линейная несмещенная оценка
с минимальной дисперспе i ф* L' Y функции ф совпа [ает
с ее МНК-оценкой ф — с'р. Единственность докатана
•9
Следствие 1. Пусть Y = Хр + е — модель пол-
нор ранга, т. е. rank X = р. Тогда вес параметрические
функции допускают оценку, а следовательно, допускают
оценку и функции фу = с/Р = Ру (/ = I, 2, .... р), где с}=
= (0..... О, 1у, 0, .... 0)л
Поэтому МНК-оценки фу = Ру (/ = 1, 2, р) парамет-
ров рь ра, Рр обладают всеми свойствами, сформулиро-
ванными в теореме 1.1. Иными словами, из теоремы 1.2 вы-
текает теорема 1.1.
Следствие 2. Если rank X = р, то МНК-оценка
функции ф = с'Р равна
Ф=с/'р. (1.2.16)
где Р — (Х'Х)-1 X'Y. Дисперсия этой оценки равна
D {ф} = c'D {Р} с = a2c'S-1 с, (1.2.17)
где S"1 = (Х'Х)-1.
Задачу оценивания параметрической функции проиллю-
стрируем на рассмотренном нами ранее примере 1.1.
Пример 1.4. Пусть
п (О = Pi + р2/ + ... + Рр/^
— уравнение движения объекта, а у (t,) = yi — наблюдаемое зна-
чение его координаты т) (/г) в момент (i — 1, 2, .... п). Как было
показано в примере 1.1, в предположении несмещенности и некор-
релированности ошибок измерения {е^}, где ег-= yt —(/= 1,
2, .... л), модель наблюдений имеет вид
Y = Хр + е; М {е} = 0; D {е} = о21п.
Здесь Y = (yt, у2, ..., Уп¥‘, Р — (Pi, Р2, •••, Рр)'; x==(*t/), причем
ft = 1, 2, .... л; / = 1, 2, р).
Если rank X = р, то МНК-оценка р = (Pt, Р2, .... Рр)' вектора
Р = (Pi, Р2, Рр)' является единственной и имеет вид
jT= (X' ХИ X' Y,
где [см. (1.1.14)]
(1 '1 ... /Р-1 \
1 to ,Р— 1
1 t /
В чтом случае для любого фиксированного момента времени /функция
Ч (/) = с'Р, где с' = (1, /, . представляет собой пар ^метри-
ческую функцию, допускающую оценку, и ее МНК-оценка имеет вид
?(0 =="Р1 +?2/ + + Рр^"1.
Согласно теореме 1.2, эта оценка является несмещенной и в классе
линейных несмещенных оценок имеет минимальную дисперсию
Предположим теперь, что rank X = г <р. Линейная несмещен
ная оценка функции т] (/) в некоторый момент времени t0 существует
лишь в том случае, если rank X = rank (X', с), где с' = (1, t
.... /о-*) Так, например, несмещенная оценка для функции т> (Осу-
ществует в моменты времени tlt t2, .... tn. Если rank X = rank (X'
с) выполняется, то линейная несмещенная оценка с минимальной
дисперсией имеет вид
? У0) = Pl + Мо + - + .
где 0 = (ръ 02, .... Рр)' — любое решение нормального уравнения
1.2.3. СОВМЕСТНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРИЧЕСКИХ
ФУНКЦИЙ
Задачу совместного оценивания функций фх = с[0, ф2 =
= с2Р> •••> Фч = С?Р» допускающих оценку для модели
(1.1.7), (1.1.8), можно рассматривать как задачу оценивания
функции
Ф = С'₽, (1.2.18),
где ф = (фг, ф2.....Фч)'— <7-мерный вектор; q = (ог1, cf2,
..., с1р) — р-мерный вектор; С == (сь с2, .... cj — (р X <?)-
матрица.
МНК-оценкой функции ф назовем оценку
ф С% (1.2.19)
где р — любое решение нормального уравнения.
Ковариационная матрица этой оценки
D {ф} =* CD {Р} С, (1.2.20)
и если rank X = р, то
D {5} = aX'S"^. (1.2.21)
Лемма 1.13 [41. Пусть фх = Li Y, ф2 == L2Y, ..., фч =»
= L^Y — любые линейные несмещенные оценки функции
фт, ф2, ..., фд и D {ф} — ковариационная матрица оценки
Ф = (Ф1. фа. •••» ФчН- Tor^a
D {ф}^О {ф}; (1.2.2.x.)
Р {ф} I Р Ли. <12-23)
1т 9 {ф} < trD {ф}. (1.2.24)
31
Доказательство. J юбзя линейная комбина-
ция вида
ф0 = счф4 = а'ф=<х' С4р=а'р, (1.2.25)
1= 1
где а' = (аг, аа, .... ад); а' = а'С' — р-мерный вектор,
допускает оценку, поскольку ее оценка ф0 = а'ф являет-
ся несмещенной. Поэтому оценка
Фо = «'Ф = а'Р (1.2.26)
является МНК-оценкой и ее дисперсия D {ф0} = a'D {ф} «
минимальна в классе линейных несмещенных оценок Оцен-
_ q _
ка ф0 = 2а*Ф/ — а'ф является также несмещенной оценкой
z=i
ф0 = а'ф, и ее дисперсия равна D {ф0} = a'D {ф}а. Оче-
видно, что О {ф0} D {ф0}, и, следовательно,
a'D {ф} а С a'D {ф} а для всех а.
Отсюда следуют искомые соотношения (1.2.22)—(1.2.24).
Пример 1.5. Рассмотрим оценивание функции т] = хр [см.
(1.1.1), (1.1.7)]. Параметрическая функция
р
/= 1
где а = (Xif, xi2.. x{p), допускает оценку, так как rank X =
= rank (X', с*).
МНК-оценка ее равна
р
Р = 2
/= I
где р — любая МНК-оценка параметра р. Поскольку ti = (ж.
•••> т]п)» то ее МНК-оценка равна
Очевидно, что
?= хр:
м h) = л -= хр,
хотя в общем случае М {[?} =/= р.
Ковариационная матрица
D = XD {0) X'.
В час I I ги, если rank X — р, то
D Д) = о2Х (Х'Х)"> X'.
(1.2.27)
(1.2.28)
(1.2.29)
(1.2.30'
-'2
Заметим, что при о® =1
идемпотентной.
ковариационная матрица D будет
1.3. ОЦЕНИВАНИЕ ПАРАМЕТРОВ ЛИНЕЙНОЙ МОДЕЛИ
НАБЛЮДЕНИЙ НЕПОЛНОГО РАНГА
1.3.1. ОБЩЕЕ РЕШЕНИЕ НОРМАЛЬНОГО УРАВНЕНИЯ
Пусть линейная модель наблюдений [см. (1.1.7), (1.1.8)]
Y = Хр + е, М {в} = 0; О{е} = а81п, (1.3.1)
— модель неполного ранга, т. е. rank X = г Ср. Здесь
Y — n-мерный вектор наблюдений; X — матрица извест-
ных коэффициентов порядка п х р\ р — р-мерный вектор
неизвестных параметров; в — п-мерный случайный вектор;
о2 — неизвестный параметр; 1л — единичная матрица’
Как было показано ранее, множество МНК-оценок сов-
падает с множеством решений нормального уравнения
X'Xb = X'Y. Если rank X — г С р, то информационная
матрица Х'Х является вырожденной и множество решений
нормального уравнения будет бесконечным [9]. Следуя [4,
10] и используя понятие обобщенной обратной матрицы,
найдем общее решение нормального уравнения (см. также
НИ).
Определение 1.9 [4]. Пусть S — т х п-ма-
трица произвольного ранга. Обобщенной обратной {или
g-обратной) матрицей для S называется матрица S"
порядка п X т такая, что
SS- S = S. (1.3.2)
Решение S” уравнения (1.3.2) всегда существует. Бо-
лее того, в общем случае множество решений (1.3.2) яв-
ляется бесконечным [121. Иными словами, определенная ра-
венством (1.3.2) матрица S- всегда существует и не обяза-
тельно единственна.
Запишем нормальное уравнение в виде
Sb = Q, (1.3.3)
где S = Х'Х — квадратная матрица порядка р; Q = X'Y —
р-мерный вектор. Так что rank S == rank X = г С р. то
матрица S вырожденная.
Общее решение неоднородного уравнения (1.3.3) есть
сумма любого частного решения этого уравнения и общего
решения однородного уравнения
Sb = 0. (1.3.4)
33
2 Зав ’0J2
Лемма 1.14 [4]. Пусть S" — g-обратная матрица. Тогда
Р = S-Q (1.3.5)
является решением неоднородного уравнения (1.3.3).
Доказательство. Если S" удовлетворяет (1.3.2),
SS-Sb = Sb = Q.
Отсюда
SS-Q = Q или S (S-Q) = Q
и, следовательно, p = S~Q является решением (1.3.3).
Определим теперь общее решение однородного уравне-
ния (1.3.4). Вейлу того что симметричная матрица S — ма-
трица порядка р и ее ранг равен г, совокупность всех реше-
ний однородной системы (1.3.4) образует (р — г)-мерное
линейное пространство [101.
Лемма 1.15 [4]. Общее решение однородной системы
имеет вид
Р = (Н — 1р) z, (1.3.6)
где Н = S~S — идемпотентная матрица, т. е. Н = Н2;
1Р — единичная матрица порядка р; z = (zlt z2, ..., zp)' —
произвольный вещественный вектор.
Доказательство. Легко видеть, что Sp = 0,
поскольку
S (Н — Ip) z = (SS-S — S) z = 0,
т. е. (Н — Ip)z — решение однородного уравнения.
Покажем, что решение является общим. Определим сна
чала rank Н. Из Н = S_S=> rank Н rank S, а из
S = SH — SS-S => rank S rank Н. Отсюда rank Н =
= rank S = г. Поскольку Н — симметричная идемпотент-
ная матрица, то
rank Н = tr Н — г.
Очевидно, что матрица Н = (Н — 1р) = (hlt h2, ...» hr)
также является симметричной идемпотентной матрицей, и
П< этому
rank Н = tr (Ip — Н) tr Ip tr Н p — г.
Таким образом, линейное многообразие (пространство)
решений, натянутое на векторы hb h2, ..., h„. имеет размер
ность р - г и, следовательно, решение
I 34
₽ e Hz = z.h, ; Z2h. + ... + zphp
явлиегсмобщим и содержит любое решение однородной ви-
( гемы (1.3 4) Согла (I 3.3) и (1.3.6) общее решение нор
мального уравнен., сокет быгь представлено в виде
= S Q+ (Н — 1, z или н
P“S X'Y + (Н — 1р) z. (1.3.7)
Множество решений нормального уравнения при этом обра-
зует (р — г)-мерное линейное пространство.
1.3.2. СТРУКТУРА ОБЩЕГО РЕШЕНИЯ НОРМАЛЬНОГО
УРАВНЕНИЯ
Структура общего решения нормального уравнения при-
ведена в [131 Вычислим в соответствии с [131 обобщенную
матрицу S-. Без нарушения общности будем считать, что
линейно независимыми в матрице X порядка п X р и ран-
га г являются первые г столбцов. Действительно, модель на-
блюдений (1.3.1) путем перестановки столбцов матрицы X
и элементов вектора р может быть записана как модель на-
блюдений, у которой первые г столбцов матрицы известных
коэффициентов X линейно независимы Тогда матрица X
может быть представлена в виде блочной матрицы
X = (Х°, X*), (1.3.8)
где Х° = (xtj) (i = 1, 2, ..., n; / = 1, 2, .... г). Поскольку
S = X€X =
Х°'
У*'
(X°, X*),
то согласно правилу перемножения блочных матриц по-
лучим
/хо,х°
S — I
1х*'Х’
ХВ'Х*
X*' х*
(1.3.9)
Матрица X Xе — невырожденная матрица ранга г. Так как
при этом rank S г, то первые г толбцов симметричной
матрицы S являются линейно независимыми
Псп а же чт< для так.ш матрицы существует ^-обратная
матрица S~ пор 1дкя р и вида
(Х-' X*)-1
о
о
о.
(1.3.W)
2*
Очевидно, что
H=S'S
1, М
р од
где
А = (Х^Х0)"1 Х°'Х*.
(1.3.12)
(1.3.11)
Легко проверить, что Н = Н2, т. е. матрица Н идемпотент-
ная. Далее находим, что
/х04х® Xе' X \
SH=(x*'X° X*'XQ (X” X*)-1 X0'X*/
(1.3.13)
Каждый столбец матрицы X* представляет собой линейную
комбинацию столбцов матрицы Х° Поэтому существует ма-
трица R порядка г X (р — г) такая, что
X* = X°R. (1.3.14)
Тогда
X*€XO(X='X°)-1 Х°'Х* =
= Х*гХ° (Х0?Х0)-Х X°'X°R = X*'X°R
и, следовательно, X*rX° (Х^Х0)"1 Х°'Х* = Х*'Х*. С уче-
том этого равенства, а также (1.3.9), (1.3.13) получим
SH = SS-S = S,
т. е. матрица (1.3.10) является ^-обратной.
Общее решение нормального уравнения в соответствии
с (1.3.7), (1.3.8), (1.3.10) примет вид
~ /(Xе'Х®)-^®'Y\
' ) + (Н-1Р)2 (1.3.15)
или окончательно [см. (1.3.11)]
^=/(Хв*Х°)“1Хо< Y\ /0
\ 0 / \0
z.
(1 3.16)
1.3.3. ПРИВЕДЕНИЕ МОДЕЛИ НАБЛЮДЕНИИ НЕПОЛНОГО
РАНГА К МОДЕЛИ НАБЛЮДЕНИИ ПОЛНОГО РАНГА
Существует связь между общим решением (1.3.16) нор-
мального уравнения и нахождение 4 несмещенных МНК-
оценок для некоторого множества параметрических функ-
ций. Для ее установления рассмотрим задачу приведения
модели неполного ранга к модели полного ранга. Имеет ме*
сто следующая лемма [13].
м
Лемма 1.16. Модель наблюдений неполного ранга (1.3.1),
удовлетворяют я условиям
М {Y} = XP;D {Y} = o4n, (1.3.17)
может быть приведена к модели наблюдений полного ранга,
удовлетворяющей условиям
М {¥} = Х°₽; D {¥) = (1.3.18)
где [см. (1.3.8)! Х° = (х|?) (I = 1, 2.п; / = 1, 2, .... г)
— матрица ранга г;
Р = ₽°+АР*, (1.3.19)
Р = (Pi, Р2> •••» Рг)' — вектор неизвестных параметров;
А = (Х°£ХТх Х°?Х*; р° = (Plf р2, .... рг)<; р* (Р,+1,
Рг+2» •••» Рр) •
Доказательство. Легко видеть, что
X* = Х°А. (1.3.20)
В самом деле, используя (1.3.14), имеем
X* = x°R = X°IrR = Х° (Х^Х0)"1 X°£X°R.
Отсюда X* = Х° (XO£X°)-1 ХО£Х* и окончательно
X* = Х°А.
В силу (1.3.8) запишем модель наблюдений неполного
ранга в виде
М {Y} = ХР = Х°Р° + Х*р* .
Из (1.3.20) следует, что
М {Y} = Х°Р° + Х=АР* = Х° (PQ + АР*)
и, следовательно,
М. {Y} = Х°р.
Лемма доказана.
Как видно из (1.3.18), МНК-оценка р == (рх, Р2, •••> РгГ
параметра р равна
= (ХО{Х0)-г X0' Y. (1.3.21)
1£сли А = (ал) (/ = 1, 2, ..., г; I 1, 2, р — г), то
(Ру) представляют собой несмещенные оценки для пара-
метрических функций
P/=»Pj+₽2 ^гРг+г. 1,2, (1-3.22)
I I
87
Нз основании
(1.3.1)
(1.3.15) (1 3.21) для модели неполного ранга
(1.3.23)
где
Р — b 4" (Н — ^р) z»
Выражение (1.3.23) можно записать в следующем виде
1см (1.3.10)1:
/О А X
₽-Ы-„ , )* (1.3.24)
\м —I р—rJ
или О Р — Г
₽/+ 2 аЛ21+г ПРИ /<Л’
к= (1.3.25)
— Zj при 1>Г
1, 2, ..., р).
Если z = (z15 z2, zpY — нулевой вектор, то |37 = ₽;
(/ = 1,2 г) и, следовательно, оценка |3j будет несмещен-
ной оценкой параметрической функции
% = = +₽2 алРг+г. / = 1, 2, ..., г.
i=\
Хотя в общем случае Л! {0} МНК-оценка |3Ю параметра
для некоторого со £ Q = {1, 2, ..., р} может быть по-
мещенной. Задача о существовании несмещенных МНК-
оценок для произвольного |3W, где со £ Q, рассматривается
в следующем разделе.
1.3.4. УСЛОВИЯ СУЩЕСТВОВАНИЯ НЕСМЕЩЕННЫХ
ОЦЕНОК ПАРАМЕТРОВ МОДЕЛИ НАБЛЮДЕНИИ
НЕПОЛНОГО РАНГА
Когда rank X = г <Z р, несмещенные оценки для всех
1РЛ (' ~ 1. 2, ..., р) заведомо не существуют. Будем по-
!|Г" ' >у считать, что в матрице X линейно-независимыми
являюп я первые г столбцов. Тогда имеет место следую-
щая лемма.
Лемма 1.17. Пусть rank Х = г<р. Тогда несметен-
тая МНК-оценка существует для всех р, (/ = 1. 2, , г)>
для которых --= р, [см (1.3.22)1. Для 0, (/ - г 4 Ь
r _f- 2, p) несмещенная МНК-оценка заведомо не еущест-
вует.
Д о к а з а т е л ь с г в о. Согласно (1.3.25) и (1.3.21)
при j г
О Р—г
М {Р,} = М {РЛ + 2 «л г1+т
(=1
и, следовательно,
— _ Р—г
М {РЛ = Р> + S ап г1+г‘
i=i
В соответствии с (1.3.22)
Р—г
ЛЦРЛ = Р> + 2 «я(Р/+г + г,+г). /= 1, 2.......Г. (1.3.26)
i= 1
Отсюда следует, что для произвольных рг+1, рг+2, ..., рр
и некоторого /О М. {РД = Р; (/ = 1, 2, ..., г) тогда и
только тогда, когда ац = 0 (/ = 1, 2, ..., р— г), т. е.
когда [см. (1.3.22)] Р; = Ру- Если ]">г, то М {0;} =
= —(/ = r-E 1, г 4-2, ...» р), т. е. для произвольного р7,
где j 6 = О' + 1, г 4- 2, ..., р}, М {РД #= р7.
Лемма доказана.
Следующая лемма является переформулировкой леммы
1.17.
Лемма 1.18. Если rank X = г <Z р, то оценка метода
наименьших квадратов pw параметра pw для произвольного
со £ Q = (1, 2, ..., р} будет несмещенной тогда и только
тогда, когда столбец хы матрицы X не может быть представ-
лен в виде линейной комбинации ее остальных столбцов.
Доказательство этой леммы мало отличается от доказа-
тельства леммы 1.17 (см. [13]), и поэтому мы его здесь опус-
каем.
Лемма 1.19. Пусть s — число неизвестных параметров,
для которых существует несмещенная МНК-оценка. при
этом X* — ненулевая матрица. Тогда — 1.
Доказательство Согласно лемме 1.17 не пре-
восходит г. Если s = г, то матрица А будет нулевой, i сле-
довательно, будет нулевой матрица X* [см (1.3.20)1. хотя
по построению она ненулевая. Отсюда следует, что 5 < г.
Покажем теперь. 4to<;'>0. Из леммы 1.17 leaver, чгп
\словие
ап = 0, / = 1, 2, ..., р - г, (1.3.27)
является необходимым и достаточным условием существо
вания несмещенной оценки Р/ параметра Ру.
Таким образом, если /-я строка матрицы А — нулевой
вектор, то М {Р)} = Рл Легко видеть, что матрица А может
как содержать, так и не содержать нулевые строки. Если она
имеет нулевые строки, то s > 0, если нет, то s = 0. Число
нулевых строк s г — 1. Отсюда 0 s <2 г — 1.
1.3.5. НЕСМЕЩЕННОЕ ОЦЕНИВАНИЕ ПАРАМЕТРИЧЕСКИХ
ФУНКЦИЙ В СЛУЧАЕ МОДЕЛИ НАБЛЮДЕНИЙ
НЕПОЛНОГО РАНГА
Полагая, что rank X = г <. р, рассмотрим задачу оце-
нивания параметрических функций, допускающих оценку,
вида
р
Ф = с'Р = 2
/=я
где с' « (с1г с2, .... ср) — известный вещественный вектор.
Напомним, что согласно теореме 1.2 МНК-оценка парамет-
рической функции, допускающей оценку, имеет вид ф =
s= с'Р, где р — любое решение нормального уравнения
Х‘Хр = X'Y. Оценка ф в классе линейных несмещенных
оценок единственна и имеет минимальную дисперсию.
Покажем, что для нахождения ф может быть использова-
на приведенная модель наблюдений полного ранга, удов-
летворяющая условиям (1.3.18) [14].
Лемма 1.20. Пусть Т = {ф} — множество параметри-
еких функций, допускающих оценку. Тогда МНК-оценка
р
для любой функции ф £ W, где ф = с'Р = S-’jPj» равна
/=1
'F=s<’/F/ = C'?. (1.3.28)
/=1
Здесь [см. (1.3.21)] р = (Xе'Xе)-1 Xе Y — решение нор-
мального уравнения Х°'Х°р === X°'Y; с' = (q, с8, ...»
Д Й.........К)'.
Доказательство. В качес гве решения нормаль
него уравнения X'Xb - X'Y воспользуемся решением
0 Р
\0
полагая для этого в решении (1.3.23) z = (0, 0, .. 0)*
Поскольку МНК-оценка гр равна дГ= c'f£ то
Ф = сг‘р = crfi =с4К
/=1
Замечание. Использование модели наблюдений полного ранга
удовлетворяющей условиям (1.3.18), позволяет избежать вычисления
обобщенной обратной матрицы S~ = (X'X)“.
В силу условия (1.2.4), если rank X = г Ср, то не
для всех параметрических функций вида гр = с'0 существует
линейная несмещенная МНК-оценка. Особую роль в этой
связи играет понятие пространства параметрических функ-
ций, допускающих оценку.
Определение 1.10. Множество V = {гр} назы-
вается q-мерным пространством параметрических функций,
допускающих оценку, если существует q линейно независи-
мых, допускающих оценку функций грх, гр2, ..., грд, таких,
что любая гр Е может быть представлена в виде
Ф = (1.3.30)
t= 1
где аь а2, ..., aq — известные постоянные коэффициенты.
Рассмотрим построение базиса грь гр2> ..., грч функций,
допускающих оценку.
Лемма 1.21. Пусть 4е* = {гр*} —множество парамет-
рических функций вида
ф* = 2 а,0у = а'0, (1.3.31)
/=1
где [см. (1.3.22)]
-
Р/ — Ч5/ = Р; + 2 алРг+г
/= 1
— линейно независимые функции; а = (а19 ccs, .... аг) ,
0 = (Pv ₽2, - Р")'. ..л
Тогда множество параметрических функции т tv/»
допускающих оценку, совпадает с множеством параметри-
ческих функций Т* — {гр*} [14].
Доказательство. Из (1.3.17) и (1.3.18) выте ,
что для произвольного 0 Е R₽
41
Л1 {¥• х₽ Хр (1.3 32)
( с‘р допускает оценку, то существует
Сект< , а =- Ui, fls. —» ап) такой, что [см. (1.2.4)] с' = а'Х.
В этом случае
ф = с'Р = а'Хр,
и с учетом того, что [см. (1.3.32)] Хр = Х°р, получаем
Ф = а* Xе р =а'р= V а,р,= ф*,
/=1
где
а' = а'Х0. (1.3.33)
Таким образом, ф £ Ч11*.
Обратное утверждение очевидно, поскольку ф* — а'р
является функцией, допускающей оценку. В самом деле,
для нее в соответствии с (1.3.21) существует несмещенная
оценка ф* == а'р.
Следствие 1. Параметрические функции рь р"2,
.... рг образуют базис пространства параметрических функ-
ций, допускающих опенку,
р
Следствие 2. Если ф = 2е/Ь допускает оценку,
Действительно, ф = с'Р = а'р. Легко видеть [см. (1.3.8)],
что
с* = а'Х = а' (Х°, X*) = (а'Х°, а'Х*),
т е. с' = (а', а'Х*), откуда а' = (сь с2, ..., сг).
Лемма 1.22. Для любой параметрической функции вида
= 2 Cj;
/=1
f МНК-опенка
Доказательство. Согласно след твию 2 ле v
мы 1.21 ф* = с'р. Тогда, применяя лемму 1.20, получаем
5 3 с'(Г а'р.
/=>
Следствие. Для нахождения ЛШК-оценки пара-
метрической функции хр можно использовать мо-
/=1
дель наблюдений полного ранга, удовлетворяющею усло-
виям (1.3.18).
Несмещенное оценивание с помощью метода наименьших квад-
ратов параметрических функций для модели непо ihoto ранг про-
иллюстрируем на следующих простых примерах.
Пример 1. Пусть имеется модель наблюдений неполного ранга,
удовлетворяющая условиям
/РД
/1 1 1./ I /I о
М {Y) = „ р ; D {Y1 = о2 /
V 2 4/ 1 / V) !
W
Поскольку rank X = 2, где
то, используя (1.3.8), можно записать, что
X = (XJ, X*),
где
В силу того что rank Xе 2 и
х°' х° = (о Л; (хо,х°)-1= ( 5 ';).
у о <3 j \
матрица [см (1.3.19)1
Имея в виду, что
где р° = (Pf, р2)', р* рз. а также соотношение [см. (I 3.19)]
Р Р + Ар ,
где р — (Р|, Р,)', получаем, что
43
Таким образом, приведенная модель наблюдений полного ранга
удовлетворяет условиям
Л4т=([ D<Y>=o2(1 °Y
V 2'W \0 1?
ПРИ эГОМ ₽!=₽!- 2₽й; V М 3₽8. Функции р2 согласно
1 21 образуют базис пространства параметрических функции,
допускающих оценку. Поэтому каждая функция, допускающая
опенку, имеет вид
S’ = + «гРг = а'Р,
где а' = (ai, а2) — известный вещественный вектор Пользуясь
леммой 1.22, находим МНК-опенку функции ф:
ф = а'р,
где р= (Х^Х0)"1 Х°' Y.
Предположим, что вектор наблюденных значений Y — (2, 1)'.
Тогда
т. е. Pi = 3; р2 = — 1. Окончательно ф = 3«1 — а2.
Заметим, что для проверки правильности вычисления матрицы
А можно использовать (1.3.20). В нашем случае равенство
СИ! «
выполняется.
Пример 2. Пусть
D {Y} = о214.
Введем обозначения
_ Очевидно, xj = xj; xj = х, + xj. Легко видеть, что столбцы
Х1,_Хз, х* попарно ортогональны, т. е. х/ х£ = 0; х 'х* = О'
xfxj = О, и, следовательно, линейно независимы. Таким образом*
модель наблюдений является_моделью неполного ранга, равного з’
Используя обозначения Xj = xj, "х2 ="хз> хй = ‘х£1 х4 = х*
хб — Х4, Pi Pi, Р2 Рк, Р3 = Рз, Р4 = Р', Р6 = ее МОЖНО
переписать в виде
Тогда
Матрица
при этом условие (1.3.20) выполняется. Действительно,
Ия соотношения р— находим, что
Pi • Pi + Р, + р5; Р? * Р,'. Р» •-= Ps + ₽«
откул? мпало, чгл несметен идя Л[ЦКсщепчя существует лгшл для
"i, - г-' ; . ч . Лл« функция ф г ”г, ГД'- Ч’ — мне»'--теп пар «мет-
рачесяня функций, лопускающих оценку, прелстаяяме я вняс
ф = У ₽_/=«' р>
1 = 1
где а' = («1, «2> из)" P=(Pi Р2 P1V
Приведенная модель удовлетворяет условиям
МНК-ененка ф функции ф
3 О
ф= а’ Р= У, ч/ (Зу,
I = ‘
где Р= (Хо,Х°)-1 Хь Y или
Отсюда
1 1
Р1= 2 yj'^,=z~ (~У^У'~Уз- -у^>
1 =
— 1
Р;< У-г + У + Ул) •
1.4. ЗАКЛЮЧЕНИЕ
Уетод наименьших квадратов не дает удовлетворитель-
ной решения задач в случаях, если систем i линенныт
уравнений
Sb = и (1.4.1)
плохе обусловлена [15]. Здесь S = Х'Х — симметричная
матрица порядка р в элементами sj;; b = (1^. Ь2, ЬрУ ~~
искомый вектор; u X'Y — известный р-мерчый вектор,
при .м X =х (xi}) а = 1, 2, .. п, I --- 1 2. ) -
матрица известных коэффициентов; Y — (ylt yt, .... уп)'
1 ’ юр наблюдений.
Если система алгебраических уравнений вида (1.4.1)
плохо обусловленная, то малым изменениям правой части
iai снеге лы могут отвечать большие изменения реше-
ния [151.
Систему (1.4.1) называют вырожденной, если det S = 0.
Если det S - 0, то матрица S имеет собственные значения,
равные нулю. У плохо обусловленной системы матрица S
имеет собственные значения, близкие к нулю.
При изложении метода наименьших квадратов мы пола-
гали, что матрица X и вектор Y известны точно. В дейст-
вительности из-за неточности исходных данных вместо ма-
трицы X и вектора Y мы имеем их приближенные значе-
ния. В этой связи в практических задачах вместо матрицы
S и правой части и нам заданы их приближенные значения
S, и, а вместо системы (1 4.1) имеем приближенную систему
Sb = и. (1.4.2)
Решения плохо обусловленных систем вида (1.4.1) не-
устойчивы к малым изменениям исходных данных. До сих
пор мы предполагали, что модель наблюдений (1.3.1) явля-
ется моделью наблюдений полного ранга и rank S — р.
Если модель наблюдений (1.3.1) является моделью непол-
ного ранга, то rank S < р. Поэтому в общем случае rank
р, и, следовательно, совместная система (1.4.1) может
быть как определенной (однозначно разрешимой), так и не-
определенной (вырожденной). Если система (1.4.1) вырож-
денная, то она имеет бесконечно много решений.
Назовем нормальным решением совместной системы
(1.4.1) то ее решение
(1.4.3)
норма юторого ||Ь0|| является наименьшей среди всех норм
||Ь|| всех решений b этой системы [10, 15]. Нормальное
решение существует и единственно тля всякой совместной
системы вида (1.4.1), в том числе неопределенной. Задача
нахождения нор [ального решения (1.4.3) является некор-
ректно поставленной (неустойчивой) задачей, т. е. «сколь
угодно малые изменения исходных данных могут приводить
к произвольна большим изменениям решений» [15]. Для
на?.ождения нормального решения используются методы
47
101 Выясним смысл нормального рипе-
метода наименьших квадратов.
Пуетьгапк S = р- Тогда нормальное решение системы
(1.4.1) имеет вид
bo = p'=S-1u (1.4,4)
и является МНК-оценкой вектора р.
Пус?ь теперь rank S < р. Справедлива
Иемма 123. Если система (1.4.1) вырожденная и
J S = г< р, то нормальным решением этой системы
б дет МНК-оценка вектора р вида (1.3.29)
где [см. (1.3.21)] Р — (Хо/Х°)-1 Хо/Y — решение нормаль-
ного уравнения для приведенной модели неполного ранга
(1.3.18); 0 — (п — г)-мерный нулевой вектор.
Доказательство. Так как согласно (1.3.23)
общее решение системы (1.4.1)
М + (Н-1Р) z,
где
то
ПРИ2 = [Ь + (Н - Ip) г]' lb + (Н - Ip) г] =
= ||Ь||2 4- 2b' (Н - Ip) z + ||(Н - 1Р) z||2.
В соответствии g (1.3.24) 2b' (Н — 1Р) — 0 и, следователь-
но,
IIP1I2- 1|Ь||2+ ||(H-Ip)z||a.
Отсюда следует, что ПРИ ||Ь|| и
min ||р || = ||"b|| = ||b0||.
г в R₽
Лемма доказана.
В работе [16] достаточно подробно рассмотрены алго-
ритмы для решения практических задач теории метода наи-
меньших квадратов.
48
ГЛАВА 2
ПАССИВНЫЙ ЭКСПЕРИМЕНТ
2.1. РЕГРЕССИОННЫЕ МОДЕЛИ ЭКСПЕРИМЕНТА
2.1.1. СХЕМА ОБЪЕКТА ИССЛЕДОВАНИЙ. ФАКТОРЫ
£ 8
•—*- Объект —
Рис. 2.1
При экспериментальных исследованиях имеют дело о
объектом исследований. Объектами исследований могут быть
приборы, технологические линии, различные изделия, жи-
вотные и т. д. Под схемой объекта исследований здесь по-
нимается условное графическое изображение связи между
его входными и выходными переменными. В общем виде
схема объекта исследований представлена на рис. 2.1, где
I = (li, Ba, •••. вектор вход-
ных переменных, а у = (у1г у2,
..., угУ — вектор выходных пере-
менных.
Входные переменные или фак-
торы могут быть разбиты на два
основных класса: контролируемые
(или измеряемые) и неконтролируемые (или неизмеряемые)
[17]. В дальнейшем предполагается, что входные перемен-
ные измеряются точно. В действительности измерение
контролируемых переменных происходит с ошибками, ко-
торыми в эксперименте часто можно пренебречь.
Контролируемые переменные могут быть управляемыми
и неуправляемыми. Управляемыми называют переменные,
целенаправленное изменение которых возможно в экспе-
рименте. Переменные, для которых изменение невозможно,
называют неуправляемыми. Так, например, при исследова-
нии технологического процесса контролируемыми являются
регистрируемые по показаниям приборов переменные, ха-
рактеризующие состояние этого процесса. К управляе-
мым переменным в этом случае можно отнести переменные,
с помощью которых происходит целенаправленное изме-
нение режимов технологического процесса.
Контролируемые переменные могут быть качественны-
ми и количественными. При исследовании влияния темпе-
ратуры окружающей среды на коэффициент полезного дейст-
вия (КПД) электродвигателя температура является конт-
ролируемой количественной переменной. При исследовании
влияния четырех типов покрытия экрана телевизионных
4S
трубок на их выходные характеристики тип покрытия яе
я качественным фактором, поскольку его нельзя оце-
нить количественно. Однако если каждому типу покрытия
поставить в соответствие числа 1, 2, 3, 4, то формально
тип покрытия можно рассматривать как количественный
фактор.
Весьма широкий класс по характеру воздействий на
объект образуют неконтролируемые переменные. Наибо-
лее многочисленную группу среди них составляют перемен-
ные, воздействие которых на объект является случайным.
Так, например, неконтролируемые примеси в составе ис-
ходного сырья, различные возмущения внешней среды,
действующие на объект, представляют собой неконтролируе-
мые случайные воздействия. Особенность случайных воз-
действий состоит в том, что обычно влияние каждого из
них на объект является незначительным. Другую группу
неконтролируемых переменных составляют переменные,
воздействие которых на объект является значительным и
не обязательно случайным. О существовании этих перемен-
ных мы либо ничего не знаем, либо знаем, но по ряду при-
чин не можем их измерить.
Неконтролируемые переменные так же как и контро-
лируемые, могут быть качественными и количественными.
С учетом краткой классификации входных воздействий
схема объекта исследований представлена на рис. 2.2 На
этом рисунке v = (v±, v2, ..., obl)' —
вектор входных контролируемых уп-
равляемых переменных; u — (ult и2,
... uh2)' — вектор входных контро-
лируемых неуправляемых перемен-
ных; z — (zb z2, ..., zm)' — вектор
входных неконтролируемых перемен-
ных; у= (z/x, у2, ..., у,)' — вектор вы-
ходных переменных. Запишем век гор входных контроли-
руемых переменных в виде х' = (у', и') или х = (ху, х2,
• -k)' где k = kr 4- k2. Нами рассматриваются схемы, в
которых z и у являются случайными величинами, при этом
у = Ф (х, z), (2.1 1)
где ф (х, 7.) = (фА (х, z), ф2 (х z).<Рг (х. z))' — некото»
я функция.
Таки образом, при каждом фиксированно? х ыхотнпя
•|'i .. является случайной еличиной. Совокуп
ль измерений у1; х1, ув, х2, ..., уы х*’ назогем ел-"1'1'
Нвриментом Здесь ув (и = 1, 2. ..., N) — значение выход-
80
IZ
u * у
—*- ОНъент -=•*-
??
Рис. 2.2.
| переменной у при условии, что входная пеги -ленная х
принимает значение x« = (xw, Xtu .... xitt). Если ре 1ьта.
ты . «еренмп не вестны исследователю го ух у
i.j I ,1.(101 собой случайные величины, в противном слу-
чае — : к : (изации. ]; данной главе рассматриваются
жси_| . пгы голы вида Л экспериментов.
2.1 2 ФУНКЦИЯ ОТКЛИКА
Наиб» iee часто нами будут рассматриваться ситуации,
в которых выходная п- ременная у является одномерной
случайной величиной*» Если/. —одномерная чайная
величина, то ее математическое ожидание при фиксирован-
но*.. значении х равно
М {у 1х} = М{у (х)} = J q> (х, z) to (z|x) dz = f (x), (2.1.2)
где i.u (z|x) — плотность распределения ди-мерной случай-
ной величины z при фиксированном значении х. Функцию
1] = / ух) = / (хъ х2, ..., xh) (2.1.3)
называют одномерной функцией откшка или просто функ-
цией отклика. Иными словами, функция отклика представ-
ляет собой среднее значение выходной переменной у при
фиксированном значении вектора контролируемых nept >ен-
ных (%!, х2, ..., х}1).
Назовем факторным пространством /г-мерное векторное
пространство, в котором определен вектор (лу, л2, .... л „),
т. е. (х15 х2, . xh) £ RA. Тогда под областью определения
G функции (2.1.3) будем понимать множество точек фактор-
ного пространства, реализация которых возможна в экс
перименте. Множество точек {ху, х2, ..., х й), удовл
р с -п; . ур’ви- пню (2.1.3), называют по*' рхнлеть/о ычал//-
ка.
Заметим, что понятие многомерной функции отклика
ввод я таки г же образ» м, как и одно' рной. Пу у
r-мериля случайная величина.Тогла ее математическое ожн
дание при фиксированном значении х равно
Л1 {у'х} = (VI {t/Jx}, М fe'Jx}, ..., Л1 {Уг|х})', (2.1.4)
где
М {.Ц,1х} = А (х) «= (2.1.61
) Чл (х. z) w (z|x) dz, I - 1,2, .... г.
’ i vio у обычно называют отклик.
51
функцию
назовем многомерной (r-мерной) функцией отклика. Исполь-
зуя (2.1.6) и полагая
У (х) — Л (х) = е (х), (2.1.7)
выходную переменною у можно записать в виде
У (х) = 1] (х) + в (х) (2.1.8)
или просто
У = Т] + е. (2.1.9)
Величину е иногда называют ошибкой измерения функции
отклика. Величину е можно интерпретировать как помеху
или шум. Тогда согласно
(2.1.9) выходную переменную
у можно представить в виде
суммы функции (2.1.6) и по-
мехи 8. Схема объекта для
уравнения (2.1.9) приведена
на рис. 2.3 [17].
Рис. 2.3
2.1.3. ПЛАН ЭКСПЕРИМЕНТА
Рассмотрим эксперимент, в котором проводится N из-
мерений зависимой переменной у в некоторых точках фак-
торного пространства. Обозначим через уи наблюдаемое
значение зависимой переменной у в ц-м опыте в точке
х (Xju, х2к, ..., Xkv) (и = 1,2, ..., А’). Здесь xiu (i — 1,
2, ..., k) — значение переменной xt в ц-м опыте. Таким об-
разом, имеется совокупность измерений ylt х1, у2, х2, ...,
ijn, xN. т. е. рассматривается эксперимент вида едг-экс-
перимента.
Определение 2.1. Набор точек хи (и = 1, 2,
. АО назовем планом эксперимента. Точки при этом нс
‘бяэательно оолжны быть различными. Матрицу
*21 ••• \
А. ... \ (21Д0)
* I Л ХЧЫ • • xkN J
назовем матрицей плана эксперимента.
Обозначим различные точки плана через х1( х2, х
Совокупностью таких точек называют спектром плана.
Используя понятие спектра плана, можно дать следующее
определение плана, эквивалентное определению 2.1 [11, 18].
О п ределение 2.2. Планом (7V) называют сово-
купность величин хь х2, ..., xn; т1г т2, ..., тп, где = /V
и mt — число наблюдении в точке х, (I — 1, 2, ..., п).
Приведем теперь определение нормированного’плана [ 18].
Определение 2.3. Нормированным планом e(N)
называют совокупность величин хп х2, .... хп; р1г р2, ..., рп,
где ^pt — 1 и pt = mt/N (i = 1, 2, n).
В пассивном эксперименте задача построения плана не
рассматривается. Матрица плана (2.1.10) предполагается
известной (заданной) или является предопределенной усло-
виями проведения эксперимента. Задача исследователя в
пассивном эксперименте состоит в выполнении наблюдений
над выходной (зависимой) переменной в точках, определяе-
мых матрицей плана, и последующем анализе их результа-
тов. В активном эксперименте задача построения плана
эксперимента является одной из центральных. Итак, экс-
перимент считается активным, если при его проведении име-
ет место выбор плана, и пассивным — в противном случае.
2 1.4 ОДНОМЕРНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
ЭКСПЕРИМЕНТА
В общем случае вид функции отклика неизвестен. Будем
предполагать, что функция отклика является одномерной
и представима в виде
n = M{i/(x)} = f'(x)₽ = 2 /,(х„х2.................(2.1.11)
/«= 1
где р = (ръ р2, .... рр)' —р-мерный вектор неизвестных
параметров; {/; (хх, х2, ..., xh))— известные функции.
Под регрессионной моделью эксперимента будем пони-
мать линейную по параметрам pv Р?, ...,РР функш ю откли-
ка (2.1.11). Предположим, что задана некоторая матрица
плана
бд
Пусть в точках плана, определяемых этой матрицей, прово
дится V наблюдений над зависимой (выходной) переменной//
Полагая, что уи есть »-е наблюдение над зависимой пере
меннои в точке xu = (x-iu, х2и, • ••» Xku) (и — 1, 2, . да
согласно (2.1.11) получим
р
М \Уи I -У1и> "•» Xhu) f] C^lu» -^2и» •••> ^hu)Pj
/= I
или кратко
М {уи} = V f.(Xlu, х2и.....xftM)₽>, и= 1, 2, /V. (2.1.12)
/= 1
Используя обозначение
'• iu fj O'lU» -^2U’ •••> W == 1,2,
= 1,2, ...,р, (2.1.13)
можно записать (2.1.12) в виде
ЛЧ^}= V
/= I
или Л1{У} = Хр, (2.1.14)
где X = (х]и) — матрица известных коэффициентов или,
как ее называют в теории планирования эксперимента, ма-
трица независимых переменных или матрица планирова-
ния*).
В дальнейшем будем считать, что наблюдения yv у2-
...» ум некоррелированы и имеют одинаковую дисперсию
о2, т. е. ковариационная матрица вектора наблюдений
D {Y} = o2l/v, (2.1.15)
где 1,7 — единичная матрица порядка N’, о2 — неизвест-
ный параметр. Таким образом, при сделанных выше пред-
положениях относительно наблюдений регрессионной моде-
ли эксперимента (2.1.11) соответствует линейная модель с
*) Матрицу X называет также матрицей базисных функь'ни
Дли обоз нЧ' hi я элементов матриц X и D йене. • _<) к? ся 'ОИН‘'|Ь^Р^1
символы.
И
некоррелированными наблюдениями, т. е. совокупность на-
блюдений ylt у.2> .... у» удовлетворяет условиям (2 1 14)
(2.1.15). Полагая [см. (1.14)] ви = Уи — М {уи} (и = 1’
2, ...» N)> можно также записать
Y = ХР 4- е; D {е} = о2!#; М {в} = 0.
Каждой_функции отклика вида (2.1.11) и каждой матрице
плана D соответствует вполне определенная матрица X.
Рассмотрим примеры построения матрицы независимых
переменных X.
Пример 2.1. Пусть имеется функция отклика
И = Ро + Рл + Ри*1
и задана матрица плана
Построим матрицу независимых переменных X. Очевидно, что
1 2 4\
1 4 16 \
1—3 9 Г
1 1 1/
Пример 2.2. Функция отклика имеет вид
т|= Ро 4* Pi *14" Р2 хг+ Р12 Л‘1 Х2
и задана матрица плана
X, ха
—1 —1\
1 — 1 I
—1 1 г
1 1 /
Над столбами матрицы D условно записаны соответствующие им
переменные хг и х2. Матрица независимых переменных
Хо Xt Ха X, X,
1 —1 —1 1 \
1 1—1—11
1—1 1-1 I
1 111/
Здес! r0= 1—фиктивная переменная.
55
2.1 5 МНОГОМЕРНЫЕ РЕГРЕССИОННЫЕ МОДЕЛИ
ЭКСПЕРИМЕНТА
В дальнейшем будем считать, что многомерная функция
отклика имеет вид
М {£/! (х)}'
4= м {у (х)} =
(2.1.16)
<Уг (X)}
где
/ 1{У1 (х)} = f/ (х) = S 7/j(x)P/, 1=1, 2, ..., г. (2.1.17)
/=i
Здесь у (х) = (t/i (х), уг (х).уг (х))' — наблюденное зна-
чение выходной переменной в точке х £ G с Rz; fj (х) =
= (/и (х), //2 (х), •••» fiP (х)); {fij (х)}— известные функции;
Pi = (Pi> Р1....Р₽)? U = Ь 2.......г) — вектор неизвестных
параметров.
Функция (2.1.16) представляет собой многомерную функ-
цию отклика, линейную по параметрам plf р2, ..., рг. При
решении практических задач часто полагают
fl (х) = f2 (х) = ... = fr (х) = f (х). (2.1.18)
В этом случае
М {У1 (х)} = Г (х) pz, (2.1.19)
где Г (х) = (Д (х), /2 (х)...fp (х)); ftJ (х) = fj (х) (/ = 1,
2.....г, j = 1, 2......р).
Для многомерной функции отклика также может быть
построена линейная модель наблюдений. Действительно,
пусть
М {У1 (х)} = f/(x)pb Z = 1, 2......г,
или
М {&l (Xi» х2, ..., Х^)} = у1, /и (Хь Х2, .., Хл) Р/.
/=1
и задана матрица плана D = (х/ы) (i — 1, ..., k; и = 1, ...»
N), где N — число наблюдений. Обозначим через ytu (I —
— 1, ... , г; и = 1, .... N) наблюдаемое значение выходной
переменной yt в точке xu = (xlu, х2и....xftu). Тогда соглас-
го (2.1.12) имеем
•••» Xhu)P/
/оа J
или Al {Yz) = Х/рь /=1,2.......................r, (2.1.20)
где Yг = (Уц, Уч, Uin) — — 1,2, ...,p,
и = 1,2.....AZ);
x/u~ fli(xlu, x2uf •••> xku)- (2.1.21)
Как видно из (2.1.20), r-мерной функции отклика соот-
ветствует совокупность из г линейных моделей наблюдений
вида (2.1.14). Эта совокупность может быть сведена к одной
линейной модели, для которой вектор наблюдений У =
= (У{, Уг, .... Yr)' удовлетворяет условию
М {У} = Х₽, (2.1.22)
где
(2.1.23)
— матрица порядка No X р0» причем No = Nr, р0 = рг,
Если ЛЛмерные случайные величины Уп Уа, ..., Уг неза-
висимы, а ковариационная матрица вектора Yj является
диагональной:
D {YI} = a/4yV, /= 1, 2, ..., г, (2.1.25)
При (/ = 1,2,..., г)
D(Y) = oHNo. (2.1.27)
Проиллюстрируем на примерах построение модели на-
блюдений для случая, когда Функция отклика является
многомерной.
57
Пример 2.3. Заданы матрица плана
и двумерная функция отклика i] = (тц, т]а)', где
П1 ~ РА + ₽р^+-.-+Зр^» Пэ = ₽0 + ₽1< + ... + ₽2Zp
а матрица независимых переменных
°\
\° XJ‘
Пример 2.4. Пусть
и П = (тц, т]2) , где тц = PJ + ₽1Х1 + pix2; т]а = р* + р?Х1 +
+ Р1*2-
Легко видеть, что Р = (pj, Р}, pi, pg, р^ а матрица
(123000
1 4 5 0 0 0
1110 0 0
0 0 0 1 2 3
0 0 0 1 4 "
0 0 0 1 1 1 I
Заметим, что матрицы Хь Х2, .... Хг в выражении (2.1.22)
могут иметь различный порядок, если дать более общее
определение многомерной функции отклика [см. (2.1.17)1’
pi
П1"м {//,) - 2 /,,(Х)Р}. /-1,2,..., г. (2.1.28)
I =»
Приведем пример построения линейной модели наблю-
дений для функции отклика вида (2.1.28).
Пример 2. ". Пусть матрица плача
л, »а
/1 2 \
D=( 2 .< j
\4 ; J
И 4= Oil’ nJ' где ₽i +Р’2 х2; Ф=₽?х1+р| va + p2 х
Здесь [см. (2.1.28)] pj =2, ра = 3.
Очевидно, что 0=(₽], |)22)';
/1 2\ /1 2 2\
=| 2 3 I; Хо = | 2 3 6 |.
\4 5/ \4 5 20/
Отсюда для функции отклика вида (2.1.28)
1 2 0 0 0
2 3 0 0 0
4 5 0 0 0
Х= 00122’
0 0 2 3 6
0 0 4 5 20
2.2. ОЦЕНИВАНИЕ ФУНКЦИИ
ОТКЛИКА И ЕЕ ПАРАМЕТРОВ
2.2.1. ОЦЕНИВАНИЕ ОДНОМЕРНОЙ ФУНКЦИИ ОТКЛИКА
Рассмотрим оценивание одномерной функции отклика
р
п= 2 Ь&ъ х2...
/=1
в произвольной точке (хъ х2...xh) G G cr R4 по резуль-
татам наблюдений у1г yit ум в точках х1, х2, ..., xv,
где хи = (х1и, х2и... xhu), задаваемых матрицей плана
D = (xlu) (i = I, 2, k\ и = 1, 2, W).
Пусть X = (Х;„) (/=1,2.....р; и = 1. 2 .... №-ма-
трица независимых переменных, т. е. 1см. (2.1.13)J Х)и —
= fi (*iu, ^2u..xhu). Если rank X = p, то МНК-оценка
вектора 0 = (0U 02, pp)'' [cm. (1.1.29) и (2.1.14)1 равна
fT= (Х'Х)-1 X'Y. (2.2.1)
Ковариационная матрица вектора оценки 0 при этом рав-
на [см. (1.1.35)1
D {0} a2 (X'X)~l. (2 2 2)
При любом фиксированном x = (xt x2, xh , где x f c
функция отклика представляет собой параметрическую
функцию т] = 2 причем с} = f} (х).
/=1
Поскольку rank X = р, то согласно лемме 1.12 все па
раметрические функции допускают оценку. Поэтому"в со'
ответствии с теоремой 1.2 оценка функции отклика для лю"
бого х С G вида
— р —
П= У Ъ(х)₽> (2.2.3)
является линейной несмещенной и для заданной матрицы
плана D в классе линейных несмещенных оценок имеет ми-
нимальную дисперсию.
Определим дисперсию МНК-оценки функции отклика.
Запишем (2.2.3) в матричной форме
тр (х) = Г (х)'р,
где Г (x)=(/i (х), f2 (х), (х)). Согласно (2.2.3), (1.2.17)
ОЙ(х)} = Г (х)О {₽} 1 (х) (2.2.4)
или
D {И (х)} = о2Г (х) (Х?Х)"1 f (х). (2.2.5)
Рассмотрим пример оценивания функции отклика.
Пример 2.6. Предположим, что функция отклика (2.1.11) в
области О представляет собой полином 2-й степени от k переменных
*1» Xj, ..., Xfi
k k
П = Ро + х2 SPo xi XJ>
= i
гДе (Jo, {₽//) — неизвестные параметры.
Пусть D = (xiu) (i = 1, 2, ..., ki и = 1, 2, ..., N) — матрица
плана, т. e. — значение фактора xt в м-м опыте.
Введем фиктивную переменную х0 = 1, а также переменные
*1. ха, ..., х по следующему правилу;
хг = хр, х2 = х2..xh » xh\
Xb+1 =Х?; xfe+2 = x§, ...,x2ft = x?;
^2^+1 * «Vg, -••у ~ —•!
Очевидно, что число неизвестных параметров р + i = c:+2 обо-
чачим нреч xju начение переменной Xf в и м опыте. Легко в1 1 ’
60
ЧТО Xiu — *tu> X2U ~~ X2U,
независимых переменных
xpu — X(k-t)u xhu Тогда матрица
(*ni *u ... x , \
X02 *12 ... Xp2 I
I
*0W XIN ••• Xpu J
где xou = 1 (u = 1, 2, N). Если наблюдения yt, y3, ,„f yN B
точках плана удовлетворяют условию (2.1.15) и rank X = р 4- 1
то р = (X'X) * X Y, где В == (Ро, Pi.₽р)' — МНК-оценка век-
тора р = (Ро, Pi.....................Рр) , при этом
Р/г+1 = ₽Ib' ₽/г + 2 =₽22»««ч Р2й=Рйа;
Р2А--Н ~ Р12! ₽2Л-|-2 = ₽«»•••» Pp = P(A«i j k-
Оценка функции отклика любой точке х £ О
Л Л 2, Л * Л
П“Р<.+ S Pi *l+S Pi/*i X].
1 <</
2.2.2. ОЦЕНИВАНИЕ ПАРАМЕТРОВ МОДЕЛИ ПРИ
ОРТОГОНАЛЬНОМ ПЛАНИРОВАНИИ
Предположим, что при оценивании одномерной функции
отклика (см. п. 2.2.1)
р
' П= 3 Л(Х1^2.-м
1=1
столбцы матрицы независимых переменных X = (xju) (! = 1,
2, ..., р, и = 1, 2, ..., N) попарно ортогональны:
3 *,» - 0 (Z s; /, s = 1. 2 р). (2.2.6)
« = 1
Определение 2.4. План, для которого выполня‘
ется условие (2.2.6), называют ортогональным. ?
При ортогональном планировании матрица S = X X,
а следовательно, и (Х'Х)-1 = (с/у) будут диагональными.
Есчи {xj} (j = I, 2, ..., р) — столбцы матрицы X, то МНК-
оценка параметра Р; [см. (2.1.13), (2.2.1)] равна
— W / д/ \
Pi -= ciJ =
,. = i \« = i / •=“»
ИЛИ
£ = ||х;|Ггх/ Y, (2.2.7)
ьт- || Ху II1 х 'ху.
61
МНК-оценки {р7} параметров {pj некоррелированы,
при этом
Г> {М = о2/|| х, |р, /=1,2.......р (2.2.8)
Пример 2.7. Пусть г) = Р1 + Ргх1> матрица плана
и вектор наблюдений Y = (yi, у2, у§, улУ.
Планирование будет ортогональным, поскольку
/1 —1\
1 2
и, следовательно, х', х2 = 0. Так как || xt Ц2 = 4, || х21|2 = 30, то
Л 1 Л 1
Pi = ~7~ / , Уи\ Рг = ~ZZ~(—{/14-3^2 — 4^з4-2^4).
U= 1
Заметим, что если в уравнении регрессии некоторые ко-
эффициенты будут равны нулю, то значения оценок для ос-
тальных (не равных нулю) коэффициентов не изменятся.
Предположим теперь, что планирование не является ор-
тогональным, однако матрицу X можно разбить на две под-
матрицы
X = (Хп Х2) (2.2.9)
такие, что
Xi'X2 = 0. (2.2.10)
Используя (2.2.9), запишем модель наблюдений в виде
М {Y} = Хр = Хх рп) + Х2 р<2>, (2.2.11)
где р = (рни, р(2)')!_
И леет место
Лемма 2.1. Пусть для матрицы независимых перемен-
ных X выполняются (2.2.9), (2.2.1U). Тогда опенка Р’ век-
тора pfZ> равна 119]
Р"' = (Х;Хг) 1 X/Y, I 1. 2. (2.2.12)
62
I о к а з .тельство. Из нормального уравнения
X Хр = X'Y и условий (2.2.9), (2.2.10) следует
/XJ Хх 0 \ /роА /Х{\
\ 0 Х£Х2 / \Хг/
откуда Х/Х, P(Z) = X/ Y и
Р“> = (Х/ХО-1 X/Y, 1= 1, 2.
Лемма доказана.
Следствие. Из леммы 2.1 следует более общая
лемма.
Лемма 2.2. Пусть матрицу X можно разбить на L
подматриц
X = (Х1э Х2, .... XL) (2.2.13)
таких, что
Х'Х; = 0, i < /; i, / = 1,2...L, (2.2.14)
где 0 — нулевая матрица.
Тогда с учетом того, что
М {у} = Хр = X, pCD + Х2Р(2) + ... +JClP(L),
Где р = (рик, р(2>', ..., P(L)')\ Л^НК-оценка P(Z) вектора
Р<0 равна
р<0 = (X'/ ХО"1 X', Y, I = 1, 2, ..., L. (2.2.15)
4
Пример 2.8. Функция отклика 4 = 2 матрица плана
вектор Y= у^_У^' Определим МНК-оценки параметров
fpi)- Очевидно, X — D. Полагая
__МНК-оненки векторов p(1)=(Pi, Р2)' и Р( 1 — (Рз. Рл)'- В
получим
2.2.3. ОЦЕНИВАНИЕ ПАРАМЕТРОВ МОДЕЛИ
ПРИ ПОВТОРНЫХ НАБЛЮДЕНИЯХ
Пусть имеется функция отклика
т)=f' (х) Р == (Х1, х2„... xh) Ру,
/=1
определенная в области Q, и задан план £ (N); хь х2>
x^./fy, Здесь (см. п. 2.1.3) хь х2,...» хп — спектр
плана, a mi — число наблюдений в точке xt (/ = 1, .... л).
Наблюдения уц, у у, ...» уimi в точке xz называют повтор-
ными (параллельными). Матрица плана D = (xiu) (t = 1,
2, .... k\ и = 1,2....N) представляет собой блочную ма-
трицу
А
D- | D,2 |, (2.2.16)
где D| — матрица порядка mt X k имеет/и г (Z = 1, 2,
..., п) одинаковых строк. Вектор наблюдений Y = У к
Уы) можно записать в виде
(2.2.17)
гд*4 вет-тор Y, - (u!t. yl2i ,..э yimi)' соответствует матрик'
(/ == 1, пу
4
Поскольку D — блочная матрица,
МЫХ переменных X = 1, 2,’
бj дет также блочной вида
то матрица независи-
• ••> р\ и 1, 2, JV)
(2.2.18)
где
(f' (*i) \
Г I. / = 1,2,...,п, (2.2.19)
f' (xz) /
— m, X р-матрица, при этом Г (xj) = (Xl), /2 (Х/)..
(xz)). Согласно (2.2.19) информационная матрица
Х'х= 2 X/ *Z= Л mj(xjfz (х,) (2.2.20)
1=1 z=i
или в матричной записи
Х'Х = X'V-^X, (2.2.21)
где
Как видно из (2.2.22), матрица X состоит из различных строк
матрицы X
п
Рассмотрим теперь выражение X*Y = 2jX/Yi. В соот-
ветствии с (2.2.19)
X;Yi = r?zIf(xi)^I, (2.2.23)
причем
среднее значение повторных наблюдений в точке х/
Поэтому х,у » (Х;)- (2.2.2S>
1
68
3 <012
или
X'Y = X'V’Y (2.2.26)
где у = f/e. •••« Уп)’- В силу (2.2.1), (2.2.21), (2.2.26)
p = (X'V-MQ-1 X'V"lY. (2.2.27)
При mi = m (I = 1, .... n) повторные наблюдения будут
кратными, и так как V"1= mln, то 1см. (2.2.27)1
{Г = (Х'Х)-1 X'Y. (2.2.28)
Замечание. Случайные величины ylt у2, •••> Уп некоррелирова-
ны и имеют дисперсию D = иЧт-х (I = 1, 2, ..., п).
Ковариационная матрица вектора Y равна [см. (2.2.22)1
D {Y} = o2V.
Пример 2.9. Функция отклика
Т] = + ₽2х2,
матрица плана
(! —А — Vi
1 —1 I -> у2
1 2 I - у3
1 2/ у.
Стрелками укачаны наблюдения в соответствующих точках плана
Нетрудно видеть, что X = D и, следовательно,
Далее
=(У1« Уг) ~(Уп> Ута)'» ^г=(Уз> У«)' — (Уы* Угг)'*
Отсюда
Y=(yv Уг)'.
где
У1 =(Уп+У12)/2= (Ух-ЬУг)/2; Уг= (Угт+У.-? 2== (Уя ЬУ<) ?
! >аконец,
Р = [2 1 ] 1 f 1 1 ] f !/l V- ( *'-*! 1 +У»/3
V 5 / \ — 1 2 / \ г/3 / \ —Vi/'l ‘
66
2.2.4. ОЦЕНИВАНИЕ МНОГОМЕРНОЙ ФУНКЦИИ
ОТКЛИКА И ЕЕ ПАРАМЕТРОВ
Рассмотрим многомерную функцию отклика [см. (2.1.16)1
П/ = М (У1 (*)} = V (х) Pt =
= 2 (хь ₽/» 1 =2.................г-
Данной функции отклика и матрице плана D = (xiu) (i =
= 1,2, k\ и = 1, 2, TV) соответствует матрица не-
зависимых переменных (2.1.23)
х: о ...
о х2 ...
оо...
порядка TV0 X Ро» гДе = TVr; р0 = рг. Матрица Хг —
= (x/u) (j — I» 2, .... р; и = 1, 2, .., N), а ее элемент =
= fu (xlu, х2и, ..., xhu) (1= 1, 2, .... г). Предполагается,
что rank X = р0.
Вектор наблюдений Y = (Y[, Y£........ Vf)1 удовлетворя-
ет условиям (2.1.22), (2.1.26):
М {Y} =ХР;
/of lN 0 ... О \
nfv, I 0 оЦаг... О 1
\ 0 0 ... ar2Iw /
где р* = (р[, Р2...Р»)- Эти условия эквивалентны усло-
виям
М {Yt} = Xipf, О {YJ = аШ;
COV {Ys, Y,} = 0,$, / = 1,2...r\s^=t. (2.2.29)
Определение 2.5 [4]. Евли Ys = (ysl, psS............
yBN)' и Yt = (yti, yt2, ..., уц^У — случайные величины, то
(r v {р. г, ун}--- cov {^<-1» У -v} \
........................]’
C"V {р N, Уч}--- '•'jv{y?v,
Полагая D (Y^ = V, запишем нормальное уравнение для
случая 1см. (1.1.72)1. когда наблюдения имеют неодинаю'
вую дисперсию,
X'V-'XP =
Поскольку
ЛТ'* ° - 0 \
/ 1 V—1 = 1 0 —— Ц 1 о.; 0
‘ 1' /
\ 0 0 ... Of2 •/V /
то легко убедиться, что
/4-х;х< 0 / 01 / 1 • 0 \
X 7 м X II • о * э 1 roto 1 X X ’ to о ];
\ 0 0
(2.2.30)
/~txJy о / о? 0 \
X < 1 м -< II 1 : о ' Q 1 — , tore 1 X to Ч 0 )• (2.2.31)
\ 0 0 ... 1 / *г' Y / о/ r j
Используя (2.2.30), (2.2.31), получаем
Х/Х^ = Х/Y,, (2.2.32)
и, следовательно, МНК-оценка параметра рг
р, = (X, х,)-> х; ¥,,/=! , 2, ..., г. (2.2.33)
Отсюда МНК-оценка параметра р
(2.2.34)
₽ = (Я р?, .рз.
Из (1.2.19) следует, что МНК-оценка многомерной функции
' 1 клика
п = (т, па. •••. лЛ'.
(2.2 35)
Пг h' (х) 0г V (xfpj
I
(2.2.36)
МНК-оценка одномерной функции отклика т]г (/ = |
2. .... И-
Определим ковариационную матрицу оценки К Учиты-
вая, что Р •= (X'V“1X)~1 X'V-1Y, имеем D {К} = (X' <
X V-1X)-1 [см. (1.1.73)] или [см. (2.2.30), (2.2.32)]
(£>{0!} О ... 0 \
0 О{₽2) ... о I, (2.2.37)
О О ... D{$r}/
где D {К} = a? (X'zX,)-1, I = 1, 2, .... г. (2.2.38)
Очевидно, что несмещенная оценка дисперсии о/ равна
[см. (2.2.32), (1.1.49), (1.1.50)]
3 . (2.2.39)
Если X, = Х2 = ... = Хг = X, т. е. X'iXi = S(l = 1,
2, .... г), то можно привести иную форму записи линейной
модели наблюдений.
Обозначим через Y = (Yr, Y2, ..., Yr) W X r-матрицу
наблюдений, а через В = (Рх, Р2, ..., 0Г) р X r-матрицу не-
известных коэффициентов. Тогда совокупность наблюдений
{yiu} (I = 1> 2, ..., г\ и = 1, 2, .... N) удовлетворяет усло-
виям
М {Y} = X В; D {YJ = oi Ь; (2.2.40)
cov {Ys, Yt} = 0, s, t - 1, 2, ..., r;s^= I,
которые эквивалентны условиям (2.2.29).
В силу (2.2.33) = S~lX? Yt (I = 1, 2, .... г). Из это-
го соотношения вытекает, что
B=S'1X'Y. (2.2.41)
Форма записи (2.2.41) совпадает g формой записи выраже-
ния (2.2.1), используемого для оценивания неизвестных ко-
эффициентов одномерной функции отклика.
2.2.5. ОЦЕНИВАНИЕ МНОГОМЕРНОЙ ФУНКЦИИ ОТКЛИКА
В СЛУЧАЕ КОРРЕЛИРОВАННЫХ НАБЛЮДЕНИИ
Расширим результаты п. 2.2.4 для случая
Xi -= Хй X- - X (2.2.42)
0W
предполагая,™ д1{¥)=хр; (2.2.43)
(on 1,у о12 lw < Оц I, \
>211лг ••• °2/ l/v I (2.2.44)
<7Г 1 I д, ОГ2 I /у • • ' 1W /
где сst — о ta (s,
(2.2.42) матрица
t = 1, 2, ..., r\ t=£s). Согласно (2.1.23),
независимых переменных X имеет вид
/х о ... о\
Х = | о X ... о I (2.2.45)
\О 0 ... X '
Из соотношений (2.2.43)—(2.2.45) вытекает, что
М {YJ = Хрг;
D {YJ = ofb, I = 1, 2, .... г, (2.2.46)
cov {Ys, Yf} — ostI/v, s, t = 1,2, ..., r; t Ф s,
где Qi = од. Очевидно, что соотношения (2.2.46) экви-
валентны (2.2.43), (2.2.44). Запишем элемент матрицы
cov {Ys, YJ
=v 9,„) = (°'" “ &.2АТ)
V О, и р [и, р = 1,2,..., N).
Условие (2.2.47) означает, что наблюдаемые значения
У\и Уъи, Уги r-мерной выходной переменной у в точке
х“ = (*iu’ х2и> •••> хьи) (и= h N) коррелированы меж-
ду собой. Обозначим Y" = (t/lu, у2и, ..., уГи)' (и = 1, ..., N),
тогда из (2.2.44), (2.2.47) следует, что случайные г-мерные
векторы Y1, Y2, ..., Yw некоррелированы друг с другом,
причем ковариационная матрица вектора Y' равна
D {Y") - (osf),s, t = 1,2, и = 1,2, ..., ^, (2.2.48)
где of, - o'.
Отметим, что если Y — матрица наблюдений (см.
п 2 2.4), то
Y = (уь Y2, .... Yf) (2.2.49)
или
/ Y'\
_ I Y I
Y=“| : b (2.2.50)
\YV
70
Т и ' " {¥(} (I 1, 2, Г) ярпяют-я
1, пбиамм матрицы Y. а векторы {Y") (и = 1, 2, .... N) л
строка viii.
Перейдем теперь к непосредственному рассмотрению
задачи оценивания многомерной функции отклика для слу-
чая коррелированных наблюдений
Теорема 2.1. Если вектор наблюдений Y' = (Y{, Y^,
Г) удовлетворяет условиям (2.2.42)—(2.2.44), то МНК-
оценка вектора неизвестных параметров рг (/ = 1,2, .... г)
Pi = (X X)-1 X'Y,. (2.2.51)
Доказательство. Используя обозначение О {Y} =
= V покажем, что оценки [см. (1.1.72)1
(X'V^X)-1 XV"1 Y; (2.2.52)
Р = (Х'Х)-1 Xе Y
совпадают. Здесь Р — МНК-оценка Р учитывающая корре-
ляцию между наблюдениями вида (2.2.44); р — несмещен-
ная оценка без учета этой корреляции.
Имея в виду (2.2.44), (2.2.45), легко проверить, что
VX =5 XV*, (2.2.53)
где
CTi2 1р °lr 1р \
°2flp °2 2 1р *** Ip I
I
Ort Ip Or2 Ip О®, I i )
Поскольку V и V* — симметричные матрицы, то X'V =
= V*Х' или
X' = У7гХг¥. (2.2.54^
Умножая (2.2.54) справа на V-1, имеем
X'V-1 = Уд’Х4. (2.2.55)
Воспользовавшись (2.2.52) и (2.2.55), получим
|Г == (V.-’X'X)”1 V^X'Y =
= (Х'Х)-1 V^Vr’X’Y = (Х'Х)-1 X'Y (2.2 56)
т е Р = р.
В ответствии с (2.2 15)
7»
(X X)"1 X'
о
о
то [см. (2.2.56)] можно записать
= (Х'Х)"1 X'Yh I = 1, г.
Теорема доказана.
Следствие 1. Полагая В — (Р1; р2, . рг), выра.
жение (2.2.51), аналогично (2.2.41), можно представить в
матричном виде 1см. (2.2.49)1
В = (Х'Х)-1 X'Y.
Далее из р = Р следует, что
D {₽} = D {Р}. (2.2.57)
Следствие 2. Матрица V — положительно опре-
деленная и, следовательно, преобразованием вида (см.
п. 1.1.6) z = P-1Y, где V = РР, линейная модель с корре-
лированными наблюдениями (2.2.43), (2.2.44) может быть
сведена к линейной модели с некоррелированными наблю-
дениями вида (1.1.3).
Если Р = Az — AP-1Y — произвольная линейная не-
смещенная оценка вектора р, то из свойств МНК-оценки
К = (U'U)-1 U'z =
= (X'V^X)"1 XV1 Y,
где U — Р-1Х, имеем {см. (1.1.75)1
D D {р} — D {Р} > 0. (2.2.58)
Матрица D — симметричная и неотрицательно опреле-
ленная
7*
С л е Д с г в и е 3. Функция отклика
»U==f (x)fh- V /Дхг, > . rjp)
»
для любого х Е G, где G — область ее определения, пред-
ставляет с( бой параметрическую функцию. Согласно теоре-
ме Гаусса —Маркова ее МНК-оценка для модели наблюде-
ний вида (1.1.3), а следовательно, и для модели (2.2.43),
(2.2.44) равна
Ч? = f' % К (2.2.59)
Отметим, что в 14] приводится иная схема оценивания мно-
гомерной функции отклика. Особенность схемы, рассмо-
тренной выше, состоит в том, что задача оценивания много-
мерной функции отклика, аналогично задаче оценивания
одномерной функции отклика, сводится к исследованию
моделей наблюдений вида (1.1.59), (1.1.GO).
Теорема 2.1 может быть получена как следствие из сле-
дующей теоремы.
Теорема 2.2. Если ковариационная матрица вектора на-
блюдений Y' = (Y[, Y2, ..., Y^) невырожденная и равна
D {Y} = V, (2.2.60)
то оценки
0 = (Х'Х)-1 X'Y; (2.2.61)
f = (X'V^X)-1 X'V-1Y (2.2.62)
совпадают тогда и только тогда, когда существует невырож-
денная матрица V* такая, что [см. (2.2.53)1
X'V = V*X'. (2.2.63)
Доказательство. Необходимость. Пусть р — р.
Тогда из (2.2.61) и (2.2.62) следует, что
(X'V^X)-1 X'V"1 - (Х'Х)"1 X'.
Умножив слева это равенство на матрицу X'V-1X, получим
X'V"1 = V.“lX', (2.2.64)
где Vr‘ = (X'V"1X) (Х'Х)-1 — невырожденная матрица.
После умножения равенства (2.2.64) справа на матрицу V,
а слева на матрицу V* имеем V*X' = X'V.
Достаточность Пусть существует нсвырожденнжя ма-
трица V, такая что X'V =’ V+X' Тог.та X V 1 - V. X'
и согласно (2.2.62)
73
0 j\;‘VX lV ‘X Y (XX) V, V. ’X'Y
- /X X)1 X Y
r. e. 1см. (2.2.61)] £
lit рема доназзна.
2.3. СМЕЩЕНИЕ ОЦЕНОК ПАРАМЕТРОВ МОДЕЛИ
2.3.1. ПОСТАНОВКА ЗАДАЧИ. МАТРИЦА СМЕЩЕНИЯ
В ряде случаев при проведении исследований вид регрес-
сионной модели точно неизвестен. Предположим, исследо-
вателе.: посту лиру ется, что одномерная функция отклика
имеет вид
Ро
*1= 2 /;(%!, Х2„... Xk)fij,
(2.3.1)
/=1
хотя на самом деле истинной в эксперименте является
функция
р
2 Ъ(ч, х2,..., xh)₽j,
(2.3.2)
= i
где р > рй._
Пусть D= (xJu) (i — 1, 2,..., k\ и — I, 2,..., N) — мат-
рица плана. Тогда, полагая х}и = fj (xlu, х2и, ..., xftu) (/ =
= 1. 2, ..., р\ и= 1, 2, ..., N) имеем для постулируемой моде-
ли (2.3.1) матрицу независимых переменных
(2.3.3)
а для истинней модели (2.3.2) — матрицу
(Х11 Х21 ’** ХГ1 \
7.. I (2 3 4)
X1.V х5.V ** ХрН /
Согласно (2 3z3). (2.3.4)
X = (Xе. X*). (2.3.5)
гд* X * (х/и) (/ = р» 4- 1,..., р, ««=1,2,..., А )
ойрлзон, если Y » (У1, ра, . , у,у _
бЛЮД^НИИ, ТО Иса ЛСДОВЗ И 1Ь ПОДЗГйСТ, ЧТО
Л’(*)=ХГ. (2.3.6)
где Р' = (Pi, Рг, > Рр0) . хотя в действительности 1см
(2.3.4)]
Al {V} = хр = Х°р° + х*р*. (2.3.7)
где Р° = (Рп Р2,---, РРе)'; Р = (рс' ,р*')'; р* = (рР(+1,
Рро+2, Рр) ‘ о
Если rank X = р0, то МНК-оценка параметра Р°, по-
леченная исследователем, р° = (Х^Х^-’Х0'Y. Поскольку
истинна модель (2.3.2), то |см. (2.3.7)]
М{К°} = (ХО,Х°)_1ХС'Л1 {Y} = (Х^ХЧ-’Х0' (Xе р° +
+ Х*р*)
или
М{Р°) = Р°Ч- Ар*, (2.3.8)
где
А = (Х^ХТ^'Х*. (2.3.9)
Матрица А называется матрицей смещения [20], так как рс
является смещенной оценкой параметра Р°. Смещение оцен-
ки
М{Р°) — р: = Ар*.
(2.3.10)
Отметим, что при использовании неполной модели (2.3.1)
можно оценить лишь р0 параметров истинной модели, при-
чем оценки этих параметров будут в общем случае смещен-
ными.
Укажем также на возможность существенно иной интер-
претации полученных результатов. Полагая А - (а^)
(/ = 1, 2, ..., р0; I = 1, 2,..., г, г = р — р0), можно за-
писать. что [см. (2.3.8)]
М{Р,} —Р> + У, ^/Pl+r„.
i= 1
j = 1,2...pn.
т. е. Pj можно рассматривать как несмещенную оценку па-
раметрической функции
'Н = Р> н 11+’
Иными словами, применение постулируемой модели (2.3.1)
зволяет получить не метенные оценки линейных комби-
наций параметров вида (2.3.11) истинной модели (2.3.2).
Пример ?.1О Исследователь полагает, что ц = Ц- хо-
тя на самом деле Ч = Ро + Pi*i + Ри*?. Задана матрица плана
D=l
\ у-’-Уз
Определим оценку вектора Р°=(Р0, Pi)' и ее смещение Очевидно,
что
Xе
О
1/2
Матрица невависимых переменных для истинной модели
и, следовательно, матрица
/1 \
Х*=| 0 ].
V J
Матрица смещения
/_2
А = (Хф,Хс)~’ Х°' X* = | з
\ 0
Опенка
или
Уи\
/\ 1
Р1= у <— У1 + у3)‘
(ак .at Р = (Р3, Pt, р*=рп, то смещение
23 2 СМЕЩЕНИЕ ОЦЕНОК ПРИ ИСПОЛЬЗОВАНИИ
МОЛЕЛЕН НАБЛЮДЕНИИ ПОЛНОГО РАНГА
Применение моделей вида (2.3.1) не всегда приводит к
смешению опенки 0° = (01} 08,..., 0PJ вектора 0° = (0Ь
р2,..., 0Ро)'. С другой стороны, если м {0°} 0°, оценка
0", параметра 0lO для некоторого со £ Й = {1, 2, .... р0} может
быть несмещенной.
Пусть модель наблюдений (2.3.6), постулируемая ис-
следователем, является моделью полного ранга. Имеет
место лемма
Лемма 2.3. Если rank Х° — р0 и столбцы матрицы Х°
орт< гональны столбцам матрицы X*, т. е. Х°'Х* = О,
где 0 — нулевая матрица, то МНК-оценка 0° параметра
0е будет несмещенной.
Доказательство. Из ХО,Х* = 0 => А = 0, где
А — матрица смещения (2.3.9).
Пример 2.11. Задана матрица плана
-*У1
~+Уг
~+Уз
~+Ул
Исследователь полагает, что функция отклика т) = 0^ -у 02х2,
хотя в действительности т] = Рл + ₽2x2 + ₽3х| 04л* + 0Бх$.
Лет ко видеть, что
(2 0 4 0 1б\
—2 0 4 0 16 1
0 —3 0 9 0 ’
0 309 0/
/ 2 0\ /4 0 1б\
„ I—2 0 I I 4 0 16 |
х J 1: х* = I.
I О —3 ] I О о I
'0 3/ \ 0 9 0 /
г>-1пП).дт>л «то хг‘ Х*=О, и, следовательно, опенка 0с=ЦХ" Xе)"' X
X X' Y рек горл [> — (Р, р.,у, полученная при исполья «« "
стулируемоИ модели, будет несмещенной. Нетрудно проверить, что
Г»1 1. р, = (—рз I G.) г Аналогично формули) V-
ется лемма аля более общего случая.
«Лемма 2.4. Пусть rank Х° = р0 и матрицу Х° можно
разбить на L подма1риц
Xе = (Хъ Х2, .... XJ (2.3.12)
таких, что
XfXj = 0, i, j = 1, 2.....L; i =/= /, (2.3.13)
где 0 — нулевая матрица.
Соответственно модель наблюдений, постулируемую ис-
следователем, можно записать в виде
М{Y) = XT = XiP, + Х2 ₽2 + ... + XT.
где ₽° — (₽„ ₽2.. ₽с)' -
Пусть далее
Х;х* = 0 (2.3.14)
для некоторого / С = {1, 2,..., L}.
Тогда оценка параметра рг, получаемая при использова-
нии модели (2.3.1), будет несмещенной и равна
= (XiX^XJY. (2.3.15)
Доказательство. Рассмотрим оценку парамет-
ра р° вида р° = (X°'XO)_1XO'Y . Отсюда в соответствии с
(2.3.13) и леммой 2.2. получаем
Р,= (XiX^XJY.
Поскольку Al {Y} = ХР, то
лчм = (X/XO-^iXp. (2.3.16)
Учитывая (2.3.5), имеем Х/Х = Xi (Xе, X*) или в силу
(2.3.12) —(2.3.14)
х2х = x'z (хь х2, ..., xL, х*) = (о......... о, х; хь
О,..., 0).
Так как р = (р°\ р*')' = (ръ р2,..„ рг р*)', то XJX р =
= Xi X, р{ и, следовательно, на основании (2.3.16)
М{Р,}= pt.
Лемма доказана.
Зомечание. Если rank Х° = р0, a rank Х^р, то, применяя
лемму 1.18, можно покачать, что 0г совпадает с МН К-оценкой i | и-
ме pa получаемой при испольчонании истш ной »;ол< лг: н П1де
МИЙ (2.8.7).
7Й
Пример 2.12. Матрица плана имеет вид
Л. 1 <2
Постулируется, что т] = Pi*i + Р2х2. На самом деле истинная мо-
дель
П = Ро+Р1 Х1+Рг ^г+Рп xi +Р-22 х2-
Запишем истинную модель в виде
’1*=Р1 Х1 +Рг х2 +Ри4~Ри Х1 +Р22 хг>
Очевидно, что
где
причем X {Х2 = 0.
Далее для функции отклика т|#
1 ! 1 \
1 1 1 I
1111
111/
Вследствие того, что rank Х° = р0 = 2 и Х2Х* = 0, хотя при этом
Х{ X* Ф 0, оценка параметра ₽2 равна
Зг = (Х{ Хх)ч Xi Y = (- уг + уг - Уз + 4
и является несмещенной.
Проиллюстрируем на следующем примере возмож-
ность применения леммы 2.4 в ситуации, когда rank Х° <
< Ро
Пример 2.13. Пусть матрица плана, а также вегннчая модел»
имеют тот же вид, что в примере 2.12, Исследователь полагает “
П «= PjX. -f Вах, h р0,
Г»
В этом случае
Так как rank Х° = 2 < р0 = 3, то обратной матрицы для Хо/ Xе
не существует. Задача легко может быть сведена к рассмотренной
в примере 2.12. Для этого исследователю достаточно изменить точ-
ку зрения на вид модели и считать, что г] = + Р2х2.
2.3.3. СМЕЩЕНИЕ ОЦЕНОК ПРИ ИСПОЛЬЗОВАНИИ
МОДЕЛЕЙ НАБЛЮДЕНИЙ НЕПОЛНОГО РАНГА
Предположим, что rank Х° = rank X = г р0. В этом
случае истинная модель наблюдений, удовлетворяющая ус-
ловиям
М{ Y} = Х(3; D {Y} = а21,
(2.3.17)
будет моделью неполного ранга. При г < р0 постулируемая
исследователем модель наблюдений (2.3.6) также будет
моделью неполного ранга. Обозначим через {х,-} (J = 1,2,
.... р) столбцы матрицы X и будем считать без ограничения
общности, что линейно независимыми в матрице Х°, а сле-
довательно, и в матрице X являются первые г столбцов.
Если Х° = (х1э х2, хг) — матрица, состоящая из первых
г столбцов матрицы X, а X* = (хг+1, хг+2, ..., хр), то
X = (Х°, X*). (2.3.18)
В силу (2.3.18) приведенная модель наблюдений для моде-
ли наблюдений неполного ранга (2.3.17) имеет вид [см.
(1.3.17), (1.3.18)]
Л1{ Y} = X°₽;D{Y} = а21, (2.3.19)
где
Р = Р° + АР*; (2.3.20)
Р = Фь Р2,..., ₽,)'; р° = ф1( Р2.... рг)';
Р* = (Рг+1, Рг+2, ...» РРГ;
А = (Х^Х1-)-1 Х°- X*. (2.3.21)
Ранее, при изучении модели наблюдений неполного ранга
вида (2.3.17), было показано (см. п. 1.3.5), что несмещен-
80
ная МНК оненкасуществует лишь для вектора параметрк-
песьих функций р Согласно (1.3.21) эта оценка равна
Р = (Xе'ХЛ)-1 X 'Y,
(2.3.22)
т. е. для ее вычисления используется модель наблюдений
полного ранга (2.3.19).
Поэтому из леммы 1.17 сразу следует, что несмещенная
оценка существует для тех ру (/ = 1, 2,..., г), для которых
Р; = Р/ 1см. (2.3.20)]. Для ру (j = г + \, г 4- 2, р)
несмещенная оценка заведомо не существует.
Таким образом, несмещенная МНК-оценка "pz парамет-
ра Pi для некоторого {1, 2, ..., г} существует тогда и
только тогда, когда l-я строка (/ = 1,..., г) матрицы А обра-
зует нулевой вектор.
Из леммы 1.18 также вытекает, что МНК-оценка р{
параметра рг для произвольного I С {1, 2, ..., г} будет
несмещенной тогда и только тогда, когда столбец хг (Z = 1, 2,
..., г) матрицы X не может быть представлен в виде линей-
ной комбинации ее остальных столбцов хп ..., х/_1( х1+1.
Хр.
Матрицу А можно рассматривать как матрицу смещения
для модели наблюдений неполного ранга (2.3.17), если
rank Х° = г <2 р0. При г — Ро очевидно, что
А = А.
(2.3.23)
Рассмотрим пример.
Пример 2.14. Задана матрица плана
У\.
~*У2
-+Ув'
~*Уь
Истхптта модель
Ро + Р1*1 + Р2*2 + P*r3 Р12*1*2 + Р11 *1 + Р.«Г«-
Исследователь считает, что
Чц *= Ро + Pi*i + Ps*s 4 Psxs-
81
"Я ДС.' 1’jj
х2.
Х8.
х4).
Очевидно, чтс rank Х9=3 и х2 = хх-}-хэ. Переставим столбцы мат-
рицы Xе. Для этого запишем i]j и т)п в виде
4l =РоН~Р‘2 *2+ Рв *з+Р1 *1+Pl2 Х1 -*2“bPll *1 +Р22 Х2,
Л п = РоЧ-Рг *2+Рз *з+Pi xi-
Тогда
Легко видеть, что rank X — rank Х° = 3; 0° = (₽0, ₽2, Ps)';
0* ~ (Pi> Р12» Рн> Р22Л Вектор-столбец (— 1, — 1, 1, 1)' ортого! а
лен любому другому вектору столбцу матрицы X. Следовательно
его нельзя представить в виде линейной комбинации остальных век-
торов столбцов матрицы X. Поэтому для параметра Р3 существует
линейная несмещенная МНК-оценка. Действительно,
Р = (Хс,Хв)“-’ Xе' Y,
откуда
Ро = (У1 + У 2 + Уз +
₽2 = (— У1 + У2 ~ Уз +
Ра = (— Ух — У2 + Уз 4"
«2
Матрица
(1 1 2 1\
112 О ].
ОООО/
Таким образом,
м {Ро} = ₽о + ₽1 + Р12 + 2₽ц 4- 2₽22;
М {₽J = ₽2 + Pi + ₽ia + 2PU;
М {р3} = р8.
Для проверки правильности
емся соотношением (1.3.20):
Х°
вычисления матрицы А воспользу-
Рассмотренные в данной главе функции отклика явля-
ются линейными по неизвестным параметрам функциями
регрессий.
Используя понятие линейной модели наблюдений Гаус-
са — Маркова, задачу оценивания многомерной функции от-
клика можно свести к задаче оценивания одномерной функ-
ции отклика.
Задачи оценивания как одномерной, так и многомерной
функций отклика сводятся к решению нормальных уравне-
ний вида (1.1.25), (2.2.32), представляющих собой совмест-
ную систему линейных алгебраических уравнений вида
(1.4.1). Для многих практических задач планирования экс-
перимента, например когда функция отклика — пол г i
высокой степени, эта система плохо обусловлена.
Как было отмечено в § 1.4, вследствие ошибок исходных
данных можно получить лишь приближенные решения такой
системы. Система (1.4.1) может быть вырождена и, следо-
вательно, иметь бесконечно много решений. Если среди ее
решений искать нормальное, то оно будет единственным (см
§ 1.4). При изложении материала книги используются только
нормальные решения системы.
Для нахождения устойчивых решений, приближенных к
нормальному, вырожденных и плохо обусловленных систем
линейных алгебраических уравнений вида (1.4.1) следует
применять методы регуляризации ЦО, 15].
ГЛАВА 3
АНАЛИЗ ПАССИВНОГО ЭКСПЕРИМЕНТА
3.1. ПРОВЕРКА ГИПОТЕЗЫ АДЕКВАТНОСТИ МОДЕЛИ
3.1.1. ФОРМУЛИРОВКА ГИПОТЕЗЫ АДЕКВАТНОСТИ
ФУНКЦИИ отклика
Пусть вид функции отклика
р
П== f' (х) ₽ = 2 h (Х1г х2.xh) pj, (3.1.1)
/=i
определенной в области G, нам неизвестен, т. е. неизвестны
функции {fj (х1г хъ, xh)} и параметры {0Д
Пусть далее задан план g (N): Х1, х2,..., xn; mlf т2,
п
..., тп, где = N. Обозначим повторные наблюдения в
точке Xj плана g (N) через yllt yl2.ylml(l = 1, 2,..., п).
Матрица D = (xiu) плана g (N) (i = 1, 2,..., /г; u=\, 2,...,
N) илеет блочную структуру (см. (2.2.16)]
D =
Y2
__ 'v Yп
где Dj (/ — 1...п) — матрица порядка mt х k, строки ко-
торой одинаковы. Стрелками указаны наблюдения Y) =
= (г/ц, yim^ в точках плана Х/, соответствующие Ъ;.
Предполагается, что совокупность повторных наблюде-
ний {уи} (I = 1,2, ..., n; s = 1, 2, .... mi) представляет со-
бой совокупность нормальных случайных величин и удов-
летворяет условиям
М {Y} = XP;D {Y} = о2Ь, (3.1.2)
Y„)' — вектор наблюдений; 0 = (Pi Pi-
Л
где Y = (Y{, Y£,
... , pp)' — вектор неизвестных параметров; N
число наблюдений; о2 — неизвестный параметр
Поскольку наблюдения повторные, то ест л ас
/X, \
/ к I
1
(2.2.18)
х
X
4
1ДС
(3.1.4)
— mt X р-матрица состоящая из тг одинаковых строк £,=
= Г (х,), причем Г (X,) = (/, (X,) /, (х,) ). Таквила-
аом. матрица X в уравнении (3.1.2) имеет л различных
строк. Согласно (3.1.2), (3.1.3)
Л1 {YJ - Xгр, I = 1, 2,..., п, (3.1.5)
откуда, пользуясь обозначением М {yle} = т]18, получаем,
что
nzs = rn = xzP« /==1,2........n; s = 1, 2, ..., mz. (3.1.6)
Проверку гипотезы Но о том, что в области G функция
отклика т) = т]0 (х), против альтернативы Н\: п #= По (х),
где
о о
По(х)= 2 А А'л)р/, (3.1.7)
/=1
назовем проверкой гипотезы адекватности регрессионной мо-
дели или функции отклика (3.1.7). Здесь {f°j (•)} — извест-
ные функции; {P°j} — неизвестные параметры.
Покажем, что проверка гипотезы адекватности функции
отклика может быть сведена к проверке гипотезы адекватно-
сти линейной модели наблюдений.
3.1.2. ФОРМУЛИРОВКА ГИПОТЕЗЫ АДЕКВАТНОСТИ
ЛИНЕННОП МОДЕЛИ
НАБЛЮДЕНИИ
Пусть истинна функция отклика (3.1.1). Тогда в соответ-
ствии с (3 1.1). (3.1.3) будет истинна модель наблюдений
Y = Х₽ 4- е; D{c} = сгЬ; М {в} = 0. (3.1.8)
Вид функции отклика (3.1.1) нам неизвестен, а следователь-
но, неизвестен и вид истинной модели наблюдений (3.1.8), т. е.
неизвестна матрица X.
Полагаем, что функция отклика
Ро •
Т) = 2 (•’1» ''S'"’*’ '’ill1/»
/-1
83
т. е. мг полагаем, что
Y = Х°0° + е; Л! {е} = 0; D {е} = а2!^, (3.1.9)
где X = (х/и) (] 1,2, Ро, и — 1, 2,..,,/V) — матрица
известных коэффициентов; р = (Pi, р2, рор0)' — век
тор неизвестных параметров, причем р° £ Rp«. Иначе говоря,
мы полагаем, что
М {Y} = Х°Р°; D {Y} = о2Ь, (3.1.10)
хотя в действительности М {Y} = ХР; D {Y} = о2!^.
Матрица
где
— матрица порядка mzx р0, состоящая из т, одинаковых
строк х/ = f° (xz), при этом f° (хф = (^ (х;), /г (хг),
fP (х2))'. Матрица Х°, так же как и матрица X, имеет п раз-
личных строк.
Модель наблюдений
ХСР° + е; D {е} = о21Л,; М {е} = 0 (3.1.13)
назовем адекватной, если выполняется равенство
М {Y} = Х°Р° (3.1.14)
или Y — Х р ф- е.
Если модель (3.1.13) адекватна, то 1см. (3.1.8)]
Хср°=ХР, (3.1.15)
и наоборот. Таким образом, модель наблюдений (3.1.13) бу-
дет адекватной тогда и только тогда, когда дня любого
Р € Rc существует вектор р° б Rp< такой, что выполняется
(3.1.15). Проверку гипотезы Л/о, состоящей в том, что
/4 { Y) = X рс против сложной альтернат ивы Л1 { Y} Х‘р ,
прогерк* й гипотезы адекватности модели (3 1 13)
Более <т| «г' проверку гипотезы адекватности модели
можно сформулировать следующим образом.
Эв
Пусть истинна модель наблюдений
Y - ХР е; Л1 {е} 0; D{e} ~
где матрица X и вектор р нам неизвестны.
Проверку гипотезы /70, состоящей в том, что
Х₽ = со, (3.1.16)
где
Со=ХГ, (3.1.17)
против альтернативы xp^t Со назовем проверкой ги-
потезы адекватности модели (3.1.13). В выражении (3.1.17)
Х° — известная N X р0-матрица, р° — р0-мерный неизвест-
ный вектор и, следовательно, Со — неизвестный /V-мерный
вектор.
Основная особенность проверяемой гипотезы Но заклю-
чается в том, что в (3.1.16) X, р, Со являются неизвестными,
известны лишь размерность и структура вектора Со. Обо-
значим через Е множество адекватных моделей. Истинная
модель (3.1.8) всегда является элементом этого множества.
Однако из того что модель адекватна, т. е. является элемен-
том множества Е, не следует, что она истинна.
Если модель (3.1.13) принадлежит классу адекватных
моделей, то это не противоречит предположению, что она
может быть истинной. Если модель (3.1.13) неадекватна,
то она заведомо не является истинной.
Определение 3.1. Пусть со — подмножество
R₽. Будем говорить, что модель наблюдений Хср -г е
ы-адекватна модели наблюдений Y = ХР 4- е, если для
любого Р б со существует вектор P°CR₽0 такой, что Хр =
= Хсрэ. Если со = Rp, то будем говорить, что модель
(3.1.13) адекватна в широком смысле или просто адекватна.
Если модель адекватна в широком смысле, то она будет
также со-адекватна.
Теорема 3.1. Модель (3.1.13) будет адекватной в широ-
ком смысле тогда и только тогда, когда каждый столбец
х7- (/= 1, 2, .... р) матрицы X представляет собой линейную
комбинацию столбцов х/° (/ = 1, 2,.... р0) матрицы Xй, те.
X = X°R (3.1.18)
или
X, ^Г;>х”. 1,2,..., р,
I
где г и — элемент матрицы R порядка р0 X р.
87
Це казательство. Достаточноеть. Пусть Су.
Ш<ч1;\ст матрица R такая, что X •= X R Тогда, полы as,
р" _ RP, получаем Хр ~ X'kp = X р Vp £ R₽ и, следо-
Baieibiiu. Y = X рс + 8.
Таким образом, условие (3.1.18) является достаточным
условием адекватности модели наблюдений.
Н обходимость Пусть теперь Хр = X рс, Vp £ r₽
Запишем это равенство в виде
Р — Ру —~q о
2 2 Х/ ₽'•
/=/=1
Для произвольною j£J — (I, 2, ..., р} положим Р =.
= (0, ..., 0, lj, 0, ... 0)г. Тогда существует вектор р° =
= Р(/) = (Р(Р> Ргл> •••» Р₽?)' такой, что
— Р® —о
2 X, ₽/’,
1=1
т. е. произвольный вектор х,- является линейной комбина-
цией столбцов {хг}. Теорема доказана.
Следствие 1. Очевидно, что условие (3.1.18) эк-
вивалентно условию
rank (X, Х°) = rank Х°. (3.1.19)
Поэтому, если rank Xе < rank X, модель (3.1.13) будет за-
ведомо неадекватной.
Следствие 2. Пусть модель (3.1.13) адекватна.
Тогда модель Х*р* + е будет адекватной если
rank (X*, Xе) = rank X* или Х° — X*R*,
где R* — некоторая матрица.
Рассмотрим связь между проверками гипотез адекват-
ности линейной модели наблюдений Но и о виде функции
отклика Но. Если гипотеза Но истинна, то в области 6
Р» , о О
2 (Х1> х2..xk) Р/
/=1
и, следовательно,
М {Y} = Х°р°.
(Рь Р«. Р,,,)'. Будем говорить, что модель
Р г'
Ъ- 2 •• <-Г» Л2«-- rfc)P/
I— 1
адекватна, если адекватна модель наблюдений Хе(Г {- е,
т. е. выполнено условие (3,1.14). Условие (3.1.14) является
необходимым, но не достаточным для того, чтобы функция
отклика была истинной. Иными словами, из его выполне-
ния в общем случае не следует, что функция отклика (3.1.7)
истинна. Однако если это условие не выполнено, то функ-
ция отклика (3.1.7) заведомо не будет истинной и в об ласти G
/=1
Если на самом деле функция отклика имеет вид (3.1.1),
то ей соответствует модель наблюдений (3.1.2) и поэтому
М {Y} = Хр.
Проверку гипотезы Но против альтернативы Н{ будем
рассматривать как проверку гипотезы Но: М {Y} = Х°р°
против альтернативы Ht: М {Y} Х°Р°. Поэтому в даль-
нейшем под проверкой гипотезы адекватности функции от-
клика мы будем понимать проверку гипотезы Нх против
альтернативы Яо. Таким образом, проверка гипотезы адек-
ватности функции отклика сведена нами к проверке гипоте-
зы адекватности линейной модели наблюдений. Поэтому ус-
ловие (3.1.15) является необходимым и достаточным усло-
вием адекватности как линейной модели наблюдений, так
и функции отклика.
Рассмотрим примеры.
Пример 3.1. Задана матрица плана
Xi —1 —1 Хг -I — 1 t t }y.
1 1 — 1 — 1 СМ 01 IN t Т }y2
-1 -1 1 1 m ? т t
1 1 1 1 t t }y4
Вид функции отклика нам неизвестен и мы хотим проверить гипо-
газу /7* о том что = х\ 4* Pi *1 + ?° х?
Проверка этой гипотез’’’ эквивалента проверке гипотезы Нп;
И {Y} «Xй 0
где Р’=(Рп . Pi. Р2)'1
_/1 -1 -1\. ¥._Л 1 -1\
1 V —1 -1/’ 2 1 -J
/1 -1 1\ 1 Ц
3=\1 —1 1/; 4 U 1 1/
В действительности n=p04-Pi Xi + p2 х2, т. е. истинна модель
где ₽ =ф0. Pi. P2)'i
1 -1 -Ц. у -71 1
1 _1 _\)' 2 (j 1
/1 -1 1\ /1 1 1\
Д1 —1 1/’ Ml 1 1/
Легко видеть, что Х° = X или X = X°R, где R = I. —
единичная матрица. На основании теоремы 3.1 Хр = Х°р°, где (г =
= RP = р. Отсюда следует, что функция отклика т) = Pi t*i +
+ Pi*i 4" Р2х2 является адекватной, хотя она при этом не будет
истинной.
Нетрудно проверить, что адекватными также будут, например,
функции
П = Ра*4 + Pi*i + р2*а;
П = Pe*i + Pi*i + Р2*2
и т. д., т. е. множество адекватных моделей является бесконечным.
Пример 3.2. Матрица плана, а также истинная функция откли-
ка те же, что и в примере 3.1. Пусть мы хотим проверить гипотезу
Яо5 Л = Ро 4- P?xt + 4- P?1X?.
Очевидно, что вектор р° = (Ро, Pi, Р2, Pii)'» а матрица
Х° =
1—1—11
1-1-11
1 1—11
1 1-11
1—1 11
1-1 11
1 ’ 1 -1i
1 1 1 1|
м X X Тем не менее М {Y} Х°р . т. е. м-гк
будет 8декиатнпй, гаи как компоненты век гора ри мом
>ать такими, чтобы выполнялись равенства pR — Pu + Pi1’ '1
в Рн Р» Pi
I случае
существует глкже матрица
R вида
О
1
О
о
о
о
1
о
где а + У = 1. такая, что X = X°R. Поскольку 0° = Rp, то
Ро = «Ро, Pi = Pi, Р? = Р2, Р,. = уРо.
причем Ро + P°i “ Ро-
Из рассмотренных примеров совершенно ясно, что про-
верка гипотезы адекватности модели должна выполняться
иадк.нове четких априорных представлений о классе адек-
ватных моделей, поскольку при решении практических за-
дач этот класс является конечным.
3.1.3. ПРОВЕРКА ГИПОТЕЗЫ АДЕКВАТНОСТИ
Имея в виду обозначения пп. 3.1.1, 3.1.2, рассмотрим
проверку гипотезы Но: /И {Y} = Х°Р° против альтернативы
Нр М {Y} =^_Х°р°.
Положим т]= ХР, т)° = Х°Р°, где
"П = ('111» Л12> •••> П17П1» Лг1> П22» •••» ’hmi» Лп15 Лпп7п)3
“4° = (Пи. П12, .... Ulmo П21, П22 , ... , П2ш2> Пщ, П»,,
•••» ”Плпгп) -
Пусть rank Х° = р0 — числу неизвестных параметров в
(3.1.7). Если гипотеза Но истинна, то МНК-оценка вектора
т|° равна
^°=Х°Р, (3.1.20)
где р° = (Х^Х0)"^3' Y. Отсюда в силу того, что Y])s = i]7
(/= 1, 2,..., п\ s = 1, 2,...,/?и), а также согласно (3.1.11),
(3.1.12) имеем
= х/Т, s= 1, 2,..., mi, I = 1, 2.....п, (3.1.21)
или
=’Х°'р°, (3.1.22)
где
91
1 т‘
Полагая теперь у. = — Z«/i« (см. (2.2.24)], запишем
тож дес 1 во
(У>, — >и) “ (Уь — yi) \ (ill — П/)-
тг
Заметим, что 2 (yis — yi) = О (I — 1, 2, .. , п). Поэтому.
S=1
если обе части тождества возвести в квадрат и просумми-
ровать по I и s, получим
Qo = Qi + Q2; (3.1.24)
п rnl
Qo = Z Z (^~^)2; (3.1.25)
/=i ,=i
n ml _ n _
q,= v v (</,—<)2 = тИй-пг)2; (3.1.26)
/=ls=l i=l
n ml _
Q2= z Z (^-^)2‘ <3-1-27)
1 s=:
"оотношение (3.1.24) представляет собой уравнение дис-
персионного анализа |3, 18]. Рассмотрим каждое из его сла-
гаемых. Легко убедиться, что случайная величина 1см.
(3.1.26)1
Qi = (Y - nTV'1 (Y —?), (3.1.28)
где Y = (ylt y2,..., yn)'-,
(tni 0 ... 0 \
0 m2 ... 0 ]
0 0 ... mnJ
Поскольку наблюдения {yts} являются повторными, то в со-
ответствии с (2.2.27)
р = (jr'v-1^0)-1^^-1^. (3.1.28')
Используя это /^отношение, а также соотношение (3.1.22).
<зжем, что
= P°'X3'V-1 Y (3.1.29)
пли
'S- V - * ту = < V-’ Y (3.1.30)
В самом де те,
= rx 'v-lxr - f'rv-т (х 'v-ix н х
XX"'V“‘Y,
откуда сразу следуют требуемые равенства.
Путем несложных преобразований выражения (3 1 28)
на основании (3.1.30) получим v
Q.= Vv-fY-^'v-Y (3.1.31)
нлп с учетом (3.1.29)
Qi = Y'V W - rr'V-^Y. (3.1.32)
Рассмотрим теперь слагаемое Q2 в уравнении (3.1.24).
Запишем его в виде Q2 = Qo — Qi, где [см. (3.1.21)]
п mi
Qo= 2 3 (У 15 — По)2.
/ = 1 S = 1
Очевидно, что
Qo = (Y - n°)' (Y -V) = (Y - Х°Н4 X
X(Y — Х°Н
или [см. (1.1.51)]
Qo == Y'Y — pX°'Y. (3.1.33)
Нетрудно проверить, что Хо< Y = X°'V-1Y и, следователь-
но,
Qo = Y'Y — p'X^V-1? <ЗЛ.ЗЗ')
или согласно (3.1.22)
Qo = Y'Y-7]o'V-iY. (3.1.34)
Из соотношений (3.1.31), (3.1.34) вытекает, что
Qa = Y'Y — Y'V^Y? (3.1.35)
Случайные величины иг = Qi/o" и и2 = Qd°2 независимы
и имеют /^-распределения соответственно с п Ро и N >
степенями свободы. Доказательство этого факта приводится
в приложении 2.
Независимо от того, истинна гипотеза Нп или нет, вели
чина иа имеет центральное/^распределение, т. е
ия - Q./o2 = /1-п (3J,36)
03
Величина
яв
несмещенной си
•. Действительно,
М {Se} = -2- .If {«0 = -2— Л1 {'X _ } = Л
л—п \—п
Здес» мы докажем, что если Но истинна, то
«i=Qi/o2=Xn-₽0. (3.1.38)
Если гипотеза Но ложна, то
«1 = Qi/o2 = х^-Ро; 6, (3.1.39)
т. е. случайная величина ut имеет нецентральное %2-распре-
деление с п — рп степенями свободы и некоторым парамет-
ром нецентральности 6.
Запишем матрицу V"1 в виде
V'1 = РР, (3.1.40)
где
(Vmt о ... о \
о Д/пГ2 ... О |
О 0 ... ~[/тп J
Используя (3.1.40), введем обозначения
z = PY, U° = РХ°; U = РХ, (3.1.40')
где
Возвращаясь к (3.1.32) и применяя формулы (3.1.28'),
13 1.40') получаем
Q, ~ z'z — Y'V^X (X;'V"lX )-1-Х 'V-’Y = z'z — z'U° X
X iU-'Ui-1 Uc'z
или
Qi - z'Tz. (3.1.41)
где
T = l„ — IJ (U '( ) 4 (3 142)
— идемпотентная матрица порядка п. Поскольку rank Ue =
= rank Xй = rank X° = p0 и rank T = tr T, to (cm n.l.l 5.
rank T = n — po- _
Случайные величины yt, ya,.„t yn являются нормаль-
ними и удовлетворяют условиям
М {¥} = Х₽;
0 ... о \
°а Q
D{Y)_ 0 т,
\ пгп
Очевидно, что случайные величины zlt z2,..., zn также яв-
ляются нормальными и удовлетворяют условиям
M{z) = UP; D{z} = o2In. (3.1.42')
Поэтому из леммы 1.9 немедленно вытекает, что квадратич-
ная форма Qr/o2 = z'Tz/cr2 имеет нецентральное ^-распре-
деление сп — Ро степенями свободы и параметром нецент-
ральное™
62 = (3.1.43)
где
{г}; р4 = (иь Ц2. .... Ип)’.
= М {zj - У~гщМ {у,} = р. (3.1.44)
Если гипотеза Нп истинна, то Хр =? Х°р°=> ХР =
= Х°Р° и, следовательно, [см. (3.1.42)]
р = РХ°Р‘ = U°p°- (3.1.45)
В этом случае
62 = cr-2po'Uot (In — U° (U°''Uor1Uo') U°P° = 0. (3.1.46)
Итак, если гипотеза Но истинна, то выполнено условие
(3.1.38), при этом величина
s? = Qt/(n - Ро) (Злл7)
будет несмещенной оценкой параметра а2. В выражении
(3.1.47) г = р0\ символ г сохранен в соответствии с приня-
той <|хэрмой записи .$/.
Если гипотеза Но ложна, то
62 = a"3 P'U'TUp. (3.1.48)
Можно покачать, что 6а> О для любого ненулевого р.
Таким образом, проверка гипотезы Но против альтерн
типы /71 эквивалентна проверке гипотезы Но : 6 = о про*
тнв альтернативы Н{ : 6 0. р
Так как случайные величины uL и н2 независимы и имею
^-распределения, то, если /70 истинна, частное (см. (3 1 з?\
(3.1.47)] ’
(N—п)щ sr г
N-n (31«)
имеет /^-распределение с п—р0 и N — п степенями свободы*)
Если гипотеза Но ложна, т. е. истинна альтернатива И
то в этом случае в соответствии с (3.1.48) частное ъ
(N—n)ui sr г
s* (3.1.50)
имеет нецентральное F-распределение с п — р0 и N — п
степенями свободы и параметром нецентральности 6.
Гипотеза Но отклоняется, если
Sz /$е Fa; n — pu, (3.1.51)
в противном случае гипотеза принимается. Здесь Fa; n_Po N_n
порог, который выбирается из условия
(S2 1
~7 П — Ро, N — n | Hq\ =
w I
~ P {Fn—pct N—n Fa: n—p0, n—n) = a, (3.1.51z)
где a — уровень значимости. Особо отметим, что порог в
(3.1.51) принимается односторонним.
Если гипотеза /70 принимается, то утверждение о том,
что проверяемая (постулируемая) модель адекватна, не про-
тиворечит результатам наблюдений. Из этого, однако, не
следует, что модель на самом деле адекватна, а тем более
истинна. При отклонении гипотезы /70 модель считается
неадекватной и часто приходится выбирать другую модель.
Выбор новой модели зависит от характера задачи, стоящей
перед исследователем. Может возникнуть необходимость в
проведении дополнительных наблюдений для проверки но-
вой гипотезы.
Величину Qo называют остаточной суммой квадратов,
а уравнение (3.1.24) ее разложением. Говорят, что С'1'
>| Определение F-распределеиия или распределения Фиижра
см в приложении 1.
ма квадратов Qi обусловлена неадекватностью модели, а
сумма квадратов Q2, св-тзанная с дисперсией ошибок наблю-
дения, — «чистой» ошибкой опыта. Разложение остаточной
суммы приведено в табл. 3.1. Заметим, чтопритг = т (/ =1
2, ... , и) повторные наблюдения являются кратными и, сле-
довательно,
Qi = 'n(Y Y-7‘'X Y); (3.1.52)
Q2=Y'Y—mVY; (3.1.53)
= Y'Y — mj?'XC'Y.
(3.1.54)
Таблица 3.1
Источник рассеяния Сумма квадратор Степень свободы Средний квадрат
Отклонение отно- сительно регрес- сии 'Чистая ошибка» О II 1,- 5 г • 1 =? <~ 9 < i 1 у 3 1 л—р, N—п п — Р. Q-2 S2 = .V —п
Остаточная сумма квадратов Q0=Y'Y—р4 'X 'V-i Y ’—Р,. s” = N — р„
3.1.4. МОЩНОСТЬ КРИТЕРИЯ
Решающее правило для проверки гипотезы Но называют
статистическим критерием (тестом) для проверки гипотезы
Но или просто критерием гипотезы Но [3, 21]. Критерий для
проверки гипотезы вида (3.1.16) называют критерием
Фишера или F-критерием.
Мощность критерия представляет собой вероятность от-
клонения гипотезы //0, когда она ложна. Рели Нп ложна,
т. е. истинна альтернатива то мощность критерия
Р \ У-” -Ра; п — р0, V —л | И \ ? '—
[ $; I
< Ft (3.1.55)
Следуй |3 21, 221, рассмотрим некоторые свойства !'
критерия Вернемся снова к гьтствипаке задачи проверки
Гипотезы 1ЛекВКТПОСГи модели Напомним. что n — .V{Y)
« хр. гч
I О I
Л = (Ли. •••» Лг1> •••> Л .. . •••> Л ц---> Л...,, )';
Y = (Ут •••» У1 mi > У 21г > У2пл1 • • » у nil » Уп тпУ>
В дальнейшем, полагая yr = уп, у2 = yl2,..., yN
= будем использовать форму записи вектора наблю
дений Y = (уъ у2....Ун)'. Введем в рассмотрение выбороч-
ное пространство Rv векторов наблюдений Y = (уъ у
• У»У- Случайные величины {z/te} независимы, приче м
th. ~ N (лг8. о2)- Так какл^ = гъ (s = 1...mf, / = 1,
то случайный вектор (у1г у2,..., у к) имеет функцию аспре
деления Fn = F (ylt у2, .... yN\ 0), где 0 = (rji, л2..--,
Лп. 0) — (п + 1)-мерный вектор неизвестных парамет-
ров. Легко видеть, что функция распределения F (у1г у2,
..., ун\ 6) полностью определяется значением вектора 0.
Назовем пространством параметров множество
Q = {0: — со <z. v\i <z оо (I = 1, 2,..., п): о > 0},
представляющее собою евклидово полупространство Rn+X.
Гипотеза //0 есть утверждение о том, что
М {Y} = л° =
или
M{yls} = л°ь = Л/° = х/Т. I = 1, 2,... п\ s= I, 2,.... ть
Это утверждение эквивалентно утверждению, что истин-
ное значение вектора параметров 0 6 о, где
со = {0 : Л! = х Р°> I = 1, 2, ..., п; — оо < р7 <; оо,
/ = 1, 2, ..., р0; о> 0}.
Если гипотеза Но ложна, т. е. истинна альтернатива Нх,
то 0 £ Q\co. Поэтому альтернатива есть утверждение о
том, что 0 С П\о).
Принятие или отклонение гипотезы происходит на
основании значения векторп (t/o Уг^-ч У )• Множество зна-
чений случайного вектора (г/г, у2, . , yN), при которых ги-
потеза //0 отклоняется, называется критическим множест-
вом. Обозначим его через wn. Таким образом, при попада-
нии точки Y' = (z/i, у2, ..., ун) в , где к , cz RA, гипо-
теза Но отклоняется, при непопадании — принимается.
Очевидно, задание критического множества жвиваленчно
заданию критерия гипотезы //0.
В н м случае согл юно (3.1.51) крити’ -кое г-
во
— {Y : 7 (с/i. z/j. У\) Fп д- —
где статистика Т (уъ у2, yv) -= S;/s?.
Выражение
Р(0, )=JdFw, e^Q, (3.1.56)
r.-V
называют функцией и, ности критерия. Используя (3.1.51),
получаем, что мощи» сгь критерия гипотезы Но против аль-
тернативы Нх равна
Р(6, u>v) = J dFX1 0£Q\o. (3.1.57)
WN
Согласно (3.1.56) вероятности ошибок 1-го и 2-го рода
соответственно равны
Р (О, О С ю; (3.1.58)
1 — Р (0, w), О С (3.1.59)
Напомним, что вероятность ошибки 1-го рода есть вероят-
ность отклонения гипотезы HG, когда она истинна, а веро-
ятность ошибки 2-го рода есть вероятность принятия гипо-
тезы Но, когда она ложна
Объемом критического множества wn или уровнем зна-
чимости называют sup Р (6, Wn)-
Говорят [3, 22], что wn имеет объем а, если
Р (0, wn) = а; V 0 £ со.
Область wN в этом случае называют подобной пространству
выборок или подобной критической областью. Иными сло-
вами, множество wn подобно пространству выборок, если
вероятность ошибки 1-го рода для всех О С а равна а. Как
видно из выражения (3.1.51е), вероятность ошибки 1-го
рода для всех 0 £ со равна а, т. е.
Р (0. WX)—P {Fn-Po, Fa;n—pB, N—n}
для любого 0 £ GJ.
Следовательно, критическое множество подобно
пространству выборок.
Рассмотрим более подробно выражение (3.1.57) мощно-
сти F-кр гт₽рнч. В сил1, (3.1.44) параметр неч нтртлыю-
си1 (3.1.43) можно записать в вп.тг
6» « П'рт р^/о*. (3.1.60)
.. «о
где Т In — РХ (X^'V-’X0) -Х'Р Если пц т ц
= 1,2,..., п),т. е. повторные наблюдения являются крат
ными, то
62 =/пт) Тт)/о~, (3.1.61)
где _ _ _ _
Т= 1п - Xе (ХС'Х°)~1 Х°'. (3.1.62)
Если т—> оо, то 6а —> со и в силу свойств Е-распределе-
ния [3, 5] мощность критерия
v X—.pui Л —п; и
>=” 'Г«; и —W —п} —> 1
или, что то же,
Ра (6» wn) -> 1; 0 € Q \ со.
Здесь индекс а указывает объем критического множества
Итак, при фиксированной матрице Х° в случае кратных
повторных наблюдений критерий является состоятельным.
Критерий называют состоятельным критерием объема а ги-
потезы Но, если
Игл (0, wn) =1, О С Q \ со.
/У->0О
При кратных повторных наблюдениях и фиксированной мат-
рице Х° из N -> со вытекает, что т -> оо, откуда следует
состоятельность критерия.
3.2. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ И
ДОВЕРИТЕЛЬНАЯ ОБЛАСТЬ
3.2.1. ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ ДЛЯ
ПАРАМЕТРИЧЕСКИХ ФУНКЦИЙ
Пусть ух, у2, ..., ук — совокупность нормальных слу-
чайных величин (наблюдений), удовлетворяющих условиям
(1.1.3), т. е.
М {Y} = Х0; D {Y} = а2! , ,
(3.2.1)
где Р — р-мерный неизвестный вектор; а2 — неизвестный
параметр, Х = (х/ц) (/ = 1, 2... , р\ и = 1, 2,..., N) — матри-
ца известных коэффициентов.
Построим интервальные оценки для неизвестных пара-
метров {Ру} (/ = 1, 2,..., р) и произвольной параметрической
функции ф - с'Р, предположив, что rank X — р П>сть
теперь с'р яв яется МНК-оценкой параметрической
функпии ф — с'р. Согласно (1.2.17) Г) {ф} = д“а’,
100
гле := с1 (Х'Х)~1с Очевидно, что ф имеет нор-дальное
распределение со средним ф и т шперсией q~(J~, i. е.
V (ф, q-o2). Поэтому z = Op — ф)/</а имеет нормальное
распределение /V (0,1). Случайная величина [см. (1.1.57);
u = Qo °2 = Х^-р имеет X2-распределение с N — р степ?
нями свободы.
Лемма 3.1. Случайные величины ф и Qo независимы.
Докааахельэтво. Независимость легко уста-
навливается с помощью следующей леммы
Лемма 3.2 [4]. Пусть В — матрица порядка т X N.
Для независимости BY, т. е. т линейных функций от Y,
и квадратичной формы Y'A Y необходимо и достаточно
выполнения условия
ВА = 0 (3.2.2)
В соответствии с (1.1.52)
Qo = Y'A Y,
где [см. (1.1.53)] А = Iv — X (Х'Х)-ХХ'.
С другой стороны, оценка параметрической функции ф
равна
ф = = BY,
где В = с'(Х'Х)_1Х' — матрица порядка 1 X Аг.
Легко видеть, что
ВА = с' (Х'Х)-1 X' lb — X (Х'Х)"1 X'] = 0.
Отсюда в силу (3.2.2) следует независимость случайных вели-
чин ф и Qo = (Y - X?)' (Y - X®.
Лемма доказана.
Следствие. Из независимости случайных величин
ф и Qo вытекает независимость случайных величин г и и—
== Х2-с
Поскольку г и и независимы и, кроме того [см. (1.1.49)],
5' = Qo bV — р), то отношение
г Ф—Ф _ t
V Z ? ' — о) >?S
(3.2.3)
— Р
имее! распределение Стьюдентз *' •ели
{J h - г I > G —₽} -Л,
•> См приложение 1.
101
то
pflizJLl t3 v_pl .1 (32 -
I -JS ) '
Это эквивалентно утверждению
P {ф— qsta- л/_р<ф<ф + ^а; д/_р} =1— a. (3.2.G)
Выражение (3.2.6) означает вероятность события, состоя-
щего в том, что случайный интервал ф— ‘7^а:л-р
ф qsta; N—p) содержит параметр ф. Вероятность этого со-
бытия равна у = 1 — а, причем у называют коэффициентом
доверия.
Таким образом, доверительный интервал для ф имеет вил
ф—qsta- <ф + gst^, . _р. (3.2.7)
В частности, если ф представляет собой функцию отклика
вида 1см. (2.1. 11)1
р
П = 3 Х2>
/=’
то доверительный интервал для i]
П—qs'a-. -₽< П < П_р, (3.2.8)
р
где 1] — У fj (xltx2, ..., xh)P; — МНК-оценка -гой функции
7= г
в точке (хъ х2, ..., xh), принадлежащей ее области опреде-
ления G.
Полагая
р
М {Уи)=^и= 2 *2И. xhu)|37-, и = 1, 2./V.
7 = 1
и используя (3.2.8), можно записать
Пы — qsta. N_p < т]и < Пы + Qsta. _р. (3.2.9)
Из форм) лы (3.2.7) следует, что если параметрическая функ-
ция ф/7) = (/ = 1, 2.....р), то D{py} = а-с;7, где .
1с.м. (1.1.35)] — элемент обратной матрицы (Х'Х)"1. Отсюда
q = Т си и
c}i i . .V — р Р/pj 4" 5 VO/ (а: V—р- (3.2.10)
С пп . ощью ( отношения (3.2 4) можно 7 .. . рнтъ гипо-
тезу А/„. состоящую в том, что
1U2
Ф с'р=ф0, (3.2.11)
где фо — заданный параметр. Если /70 истинна, то
р ( ]_Ф — ta v_p j 7/01 = 73 {| //у —р 17> ?а: /V—р} = а.
[4s )
Поэтому гипотеза До отклоняется с уровнем значимости а,
если
I Ф—Su I t
-----— ta; N~p. (3.2.12)
U л r
В качестве примера рассмотрим проверку гипотезы До о
том, что некоторый элемент ру вектора 0' = (0lt р2,
Р„) равен нулю. Гипотеза //0 о том, что0, = 0, отклоняется,
если [см. (3.2.5) и (3.2.12)]
-ЦУт > n-₽• (3.2.13)
sVCjj
Доверительные интервалы (3.2.7) — (3.2.10), а также про-
верка гипотезы (3.2.11) используются при исследовании
лишь отдельных параметров регрессионной модели. Боль-
шую роль при анализе параметров модели играют совмест-
ные доверительные интервалы, построение которых рассмат-
ривается в п. 3.2.3.
3.2.2. ПРОВЕРКА ОБЩЕЙ ЛИНЕЙНОЙ ГИПОТЕЗЫ
Рассмотрим линейную модель наблюдений [см. (3.2.1)]
Y — ХР + е. Проверку гипотезы //0:
СР = ф0 (3.2.14)
против альтернативы Я1:СР#='Фо называют проверкой общей
линейной гипотезы [5]. Здесь С — известная матрица по-
рядка k X р, при этом k<Z р, 'Фо = (Фь Фг, Фл)' — извест-
ный вектор.
Предполагается, что rank С — k. Полагая
ф = Ср, (3.2.15)
можно записать
фг = С'р, /= 1, 2.....k, (3.2.16)
где ф == (ф1} ф2, . фь)'; с; = (cfl, cfs....с,„) - «-я
«.трока, a ctj — элемент матрицы С.
Очевидно, что ф, -= C;j£ где Р — (Х'Х)1 X'Y, является
AHlK-oueiiKt а параметрической функпии^ , — С, р. Коварна*
иконная матрица вектора равна
10<
D {Ф} °2D, (3.2,17)
где
D = С (X'X)~* C' (3.2.18)
— матрица порядка k. Из того что rank С = k => rank D =
т. e. матрица D является невырожденной.
Покажем, что случайная величина
и = о~2 (ф — 4o)'D-1 (Ф — Фо) = Хл;й.
(3.2.19)
т. е. имеет нецентральное ^-распределение с k степенями
свободы и параметром нецентральное™ 6. Воспользуемся
с этой целью леммой, представляющей собою обобщение лем-
мы 1.9 на случай коррелированных наблюдений.
Лемма 3.3. Пусть z —- fc-мерная нормальная случайная
величина со средним р и ковариационной матрицей S. Тог-
да условие ASA = А, где rank А = г, является необходимым
и достаточным для того, чтобы квадратичная форма z'Az име-
ла нецентральное /'-распределение с г степенями свободы.
Параметр нецентральное™ при этом равен
62 = р'Ар
Доказательство леммы см в 14].
Обозначив z = ф — ф0, имеем
М {z} = р; D {z} = ст2 D,
где р = ф — ф0. Полагая
А = D-Va2
(3.2.20)
(3.2.21)
и применяя лемму 3.3, получаем, что квадратичная форма
(3.2.19) или z'Az имеет нецентральное ^-распределение с
k степенями свободы, поскольку AcrDA — А и rank А /г.
Параметр нецентральное™ этой формы согласно (3.2.20)
г1 (3.2.21) равен
б- = а--2 |(ф _ ф-J'D1 (ф - ф0)]. (3.2.22)
Гели гиг1 теза Но истинна, то 1см. (3.2.14), (3.2.15)] ф =
От< юда б — 0 и, следовательно, квадратичная форма
( ' 2.19) имеет центральное '//-распределение.
"емм» 3.4. ( лучайнтж величины и — и (Л/о
- Is- ₽1 1 (1 I 3'7)1 являются не 'ав.чеимымп.
ДЛЯ • I hH.ii.'/II.i I uf ' yii ер.КДЩ’НЯ U.iM IK |Ц;|ДОб1ПСН
лемм.
Лемма 3.5 |41. Пусть Y'AjYhY'A.Y квадратичные
(’0|п о1, имеющие нецентральные х’-распределения сотлы.ч
cibcHiio с tni и т2 степенями свободы. Тогда условие
А1Аз = 0 (3.2.23»
является необходимым и достат< чны i условием независимо-
сти этих форм.
Доказательство леммы 3.4. Полагая
ф?0 = 0, получаем,что
z'Az = ф'Аф. (3.2.24)
Согласно (1.2.19) ф = С'Р = С' (X'X)-1X'Y. Поэтому
z'Az = Y'Aj Y,
Где А, = а-2 X (X'X)-,CD-1 С' (Х'Х)-1 X'.
С другой стороны на основании (1.1.52)
Q0/o2 = Y'A2Y,
где А2 — о""2 (I# — X (Х'Х)-’Х'). Легко видеть, что
А[А2 = 0, и, следовательно, по лемме 3.5 квадратичные
формы (3.2.24) и Q0/o2 независимы. Отсюда следует незави-
симость форм и и 0о/сг2, г. е. лемма доказана.
Таким образом, если гипотеза Но истинна, то ф> — ф0
и отношение
(N-p)uo2 <А — р)(Ц —ф0)' Р-,(Ч‘~Фо) с
----------— -----------— — t kt
kQ, kQ0
или 1см. (1.1.49)]
(ф-фо);Р-Д(Ф-фо) = v_₽j (3.2.25)
ksl
т. e. имеет центральное ^-распределение c k и N — р сте-
пенями свободы. Если гипотеза Но ложна, то отношение
(ф—Чо) Р-г(ф—4j) N t (3.2.26)
fes2
имеет нецентральное F-распределен не с И N — р степеня-
ми свободы и параметром нецентральное™ 6, определяемым
по формуле (3.2.22).
Гипотеза Нп принимается, если
(Ф-Ч.У Р-Чф-Фи) Fa, b , -pi (3.2.27)
где порог k.- -p выбирается из условия
105
м—Р}=а. (3.2.2»
В противном случае гипотеза Но отклоняется. 3,
уровень значимости.
Мощность критерия или вероятность отклонения гипоте-
зы Но, когда она ложна, равна
п ((^—D-« (<р—ll’o) _ г , г, 1
W---------->?сс:* — г>|/Л| =
— Р {Fk, —р; Fа; Л, V—р}. (3.2.29)
Примео 3.3. Проверим гипотезу /Уо о том, что р ~ р° ГДе
Р° — (Pi, ₽2...... Р*)' — заданный вектор. Гипотеза Ня являек
гипотезой вида (3.2.14), где С= 1Р—единичная матрица порядка р.
Так как в этом случае 4' = р и D {£} = а2 (X' Х)_\ то D*1 =
= Х'Х и, следовательно,
(3.2.30)
Гипотеза Но принимается, если [см. (3.2.27)]
(3.2.31)
Пример 3.4. Гипотеза Нс состоит в том, что р = 0, где О —
нулевой вектор. Эта гипотеза, как следует из (3.2.31), принимается,
если
Л Л
р' х х р
ps2
а; р, \’~-р •
(3.2.32)
Пример 3.5. Проверим гипотезу о том, что некоторые из пара-
метров {Р<} (/= 1, 2, ..., р) равны нулю. Обозначим эти параметр"
через 0t, 02, ...» Gft, где 0г£ {рп Р2, ..., 6Р) (/ = 1, 2, ..., k). Тогд
гипотеза Но состоит в том, что 0t = 02 = ... = 0^ — 0 (Л <р).
Эту гипотезу можно записать в виде линейной гипотезы Н': Св = 0.
Здесь С = 1ft — единичная матрица; 0' = (0j, 0Я, ...» 0^). Гипотеза
Ht принимается при выполнении неравенства
0' D-1 el(ks*) < Fa. „_р, (3.2.33
где 0' = (Oj, 03) ..., Oft) — МНК-оценка вектора в' = (0f, 0г,
.... )ft);a2D = D {0} — ковариационная матрица векора опенки
0. ЧНК-оценку © легко найти знтя МН К оценку р, поскольку
fy*- {Pt< Рз> •••» Ppi- Нетрудно проверить, что если ank X — р, те
b {©} является невырожд^нн матрицей В честности, сели 0, =
« р; (/= 1, 2.....Ь). то '© - 3t.X -.7*1' и 1' {«)
= 'i1 <cij) (i> I ~ L 2, •••. *)» гДе cli ~ ’леменг матрицы (X X)
toe
3 2.3. ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНОЙ ОБЛАСТИ
ДЛЯ МНОЖЕСТВА ПАРАМЕТРИЧЕСКИХ ФУНКЦИИ
Рассмотрим кратко задачу построения доверительной об-
ласти для линейно независимых параметрических функций
Определение >.2 13, 41. Пусть ф Ср* — истинно^
значение вектора параметрических функций, где С — цз-
веапная матрица порядка k х р и ранга k р\ р* =
= (Рь Рг* > Рр)' — истинное значение вектора неизвест-
ных параметров Р ь модели (3.2.1) Тогда множество всех
тех Ф = ср, которые при данных ф * из2 удовлетворяют не-
равенству [см. (3.2.27)]
(^~ф) Fai k N_ (3.2.34)
ks2
называют (1 — а)-доверительной областью для ф* = Ср*.
Здесь ф* — МНК-оценка ф* == (фь фг, ..., Ф*)'. Нера-
венство (3.2.34) определяет в 6-мерном пространстве
доверительный эллипсоиде центром в точке ф* = (ф!, фг,
.... ф£)'. Обозначим через Q доверительную область, т. е.
о / . - <Ф -Ф> 0-1 (Ф*~ Ф) Р 1
ь2 — |ф . -----------------— Л a; k, К — р •
Если 1см. (3.2.27)1
(ф,-ф,) в -Ф*)-^ k N_p, (3.2 35)
ks2
то легко видеть, что ф* £ Q. При невыполнении неравенства
(3.2.35) множество Q не содержит элемента ф*. Вероятность
выполнения неравенства (3.2.35) или вероятность того, что
случайный эллипсоид содержит (покрывает) точю Ф . как
следует из (3.2.25), (3.2.27), (3.2.28), равна 1 а. Эта ве-
ро [тность не зависит от значений неизвестных параметров
о2, s Г, фг, ..., ф£.
Если ф/ = р* (/ 1,2,. .,р), то доверительная область
представляет собой множество всех тех р, которые у довлет-
воряют неравенству
(р.-р)'х х(р.-р) (3 2 36)
Р'-'1
1 р., — М1П от in а р Иными словами, неравенство
-Ь) определяет доверителглый эллипсоид с центром в
ючке (р;, рг....р^). На рис. 3.1 изображена (1 — а)-до-
107
верительная область лля этого случая, когда р = 2. На
’ , ж(. рисунке показаны индивидуальные доверительные
интервалы для pt и pj. Как
видно из рисунка области,
ограниченные эллипсом и
прямоугольником, являют-
ся существенно различ-
ными.
Укажем на связь между
задачей построения довери-
тельной области и провер-
кой линейной гипотезы ви-
да (3.2.14).
Пусть гипотеза Но состоит
в том, что ip* — ф0 или про-
сто истинное значение ф=
-тро- Согласно (3.2.34) ги-
потеза Но принимается, если
k, и—р
(4—4и) Ч'р)
ks2
или
Fa: fr. N—р-
(3.2.37)
Если гипотеза принимается, т е. выполняется (3.2.37), то
1см (3.2.34)] ip0 £ Q Очевидно, если доверительная область
Q не содержит яр0, то неравенство (3.2.37) нарушается и ги-
потеза Яо отклоняется. В рассматриваемом выше примере
гипотеза Но о том, что Р = Р°, где Р"= (р), р^)'. отклоняется,
так как точка р° не принадлежит (1 — а)-доверительнои
области, изображенной на рис. 3.1.
В заключение отметим существенную разницу между про-
веркой гипотезы адекватности модели п проверкой общей
линейной гипотезы. В первом случае вид модели наблюде-
ний нам неизвестен, во втором — предполагается, что вь'Д
► г г ли вид функции отклика точно известен. При несоблю-
нии последнего условия приведенные выше результаты
в целом будут несправедливы.
3.3. ПРОВЕРКА ГИПОТЕЗЫ О РАВЕНСТВЕ ФУНКЦИИ
ОТКЛИКА
3.3.1. ПОСТАНОВКА ЗАДАЧИ
Ввиду исключительном рели, которую играю! п разлн»
hi. х приложениях подходы, основанные ня анализе оби
линейной гипотезы (3.2,14), проиллюстрируем их примене-
ние при решении важных для практики адач сравнения
функций отклика или регрессии. Эти задачи возникают
при изучении изменений технологических, физических и др-
гнх процессов [23, 24]. Задачи сравнения обычно рассмат-
риваются как задачи проверки гипотез о равенстве (] ункцпй
регрессии или некоторых их параметров [21, 25, 2бГ Здесь
решение этих задач сводится к проверке общей линейной
гипотезы.
Перейдем непосредственно к постановке задачи сравне-
ния. Пусть имеется г функций отклика [см. (2 1.17)1 вида
Пт = £ fu•,**) Р/, /=1,2,..., г, (3.3.1)
/=|
определенных в области G, где G — подмножество
р-мерного евклидова пространства R₽; х2, ..., xh)}
(/ = 1,2, ..., г; j = 1 2,..., р) — известные функции; р; =
= (р\ Р'„, ..., рр)' (/ = 1,2,..., г) — вектор неизвестных па-
раметров.
Пусть далее задано г произвольных планов (Nz)
(/ = 1,2,..., г), матрицы которых Dz = (xL) (/ — 1,2, ...
..., г; i = 1,2,..., /г; и = 1,2,..., Лф).
Предположим, что yiu (и = 1,2,..., N i) — наблюдаемое
значение функции т]{ в и-м опыте при использовании плана
(Дф) (/ = 1,2,..., г). Полагаем, что дисперсионная матри-
ца вектора наблюдений Vf = (ytl, yt2, ..., т/tv,)' имеет вид
D {Yz} = о/21д /=1, 2,..., г, (3.3.21
где I,v/ — единичная матрица порядка о2 — неизвест-
ный параметр.
Случайные величины Ylt Y2, ... , Yr предполагают^
взаимно независимыми и имеющими соответственно Ax.
N2, ..., Лф-мерные нормальные распределения. Тогда зада-
ча о равенстве коэффициентов функций регрессии фор?и\
руется как задача проверки гипотезы Р, -=Рг “
= ... = Рг против альтернативы НА, состоящей в нарушени
этого утверждения
Функции Tjf и матрице плана D/ оответствус. матри ।
независимых переменных Х; = (Хр), где
x2u, ..,xft„) Поэтому можно япнеать. что
М {Yf} = Х,р(; D{YJ « а/2Ь 2. I = 1, 2. <. <3.3 3)
»0Ч
и проверку гипотезы Hti рассматривать как проверке
гезы J авенстве векторов Р2, ... 0, у г линейных ип"0’
лей (3.3.3). В частности, если /17 (•) _ fn} (.) _ _ '^Де-
то гипотеза Но есть утверждение о гом, что функции п
ка (регрессии) совпадаю! итклц.
Нами будет рассмотрена проверка гипотезы Ц
туаций, когда модели (3.3.3) являются моделями набл
НИИ как полного, так и неполного рангов. ЮДе‘
3.3.2. ПРОВЕРКА ГИПОТЕЗЫ О РАВЕНСТВЕ ФУНКЦИИ
РЕГРЕССИИ В СЛУЧАЕ МОДЕЛЕЙ НАБЛЮДЕНИИ
ПОЛНОГО РАНГА
Рассмотрим случай, когда о/ — об (/ == 1, 2, ... , г)
Полагая
совокупность моделей наблюдений (3.3.3) запишем в виде
одной [см. (2.1.22)]
Ai{Y°} = XT; О {Y°} = аёк0, (3.3.5)
где
0 \
о I
(3.3.6)
х, )
— матрица порядка No X р0, при этом No = V Мъ Ро
i 1
G Р° =(Рь Рг- Рр.У- Модель (3.3.5) является моделью
наблюдений полного ранга, по .жольку предполагается, что
rank Xt = р (1=1, 2,..., г) и, следовательно, rank Х°= /V
Проверка гипотезы Но о том, что = 02 = = Рг-
эквивалентна гипотезе Но:
Pi — 0/ + 1 = О, I = 1, 2, ... , г— 1 (3.3.7)
Гипотеза (3.3 7) можс i быть записана в виде общей лпп йи» й
гипотез!, дли модели (3 3 5)
ц- =« Срс ------ 0, (3.13)
где 0 — нулевой Р-мерный вектор;
/ 1 0 ... 0 0\
С = | 0 1р ~,₽ 0 0 I (3.3.9)
\ 0 0 ° - Ь -1р/
— матрица порядка k У. р0\
ответственно единичная и
Очевидно, что МНК-оценка
(1.2.19)1
(f 1) Р'» 1р и 0 — со-
нулевая матрицы порядка р
функции ф = ср° равна 1см.
Ч = с₽° = С (X°'xyiX°'Y°. (3.3.10)
Согласно (3.2.27) и с учетом (3.3.10) гипотеза Но принимает-
ся, если
^о = Ф' D-1!]?/^2)^^; k.ND-Po, (3.3.11)
где
О-о0“2Б{ф}; (3.3.12)
s2= (Y°-X°p°)'(Y°--X°r). (3313)
N 0 —Po
В соответствии с (3.2.18)
D {ф} = oo С (XC,XC)-’ С'. (3.3.14)
Из (3.3.6) следует, что [см. (2.2.30)1
((Х{ xj-1 о ... ° \
о (Х'Х,)-1 ... о 1 л _
• (3.3.15)
о о ... (х;хг)-1/
Статистика w0 имеет центральное F-распределение с k и
— р0 степенями свободы, если гипотеза Но истинна, и
нецентральное с параметром
= оо ’ фЪ-’Ф, (3.3.16)
если Но ложна
Мощность критерия в силу (3.2.29) равна
у ( у D-Чр > F , | нА ==
I 1
= Р{/ч А.-™ зъ> *. "<>-*}• (3<3J7)
111
Пусть г — 2, Xj = Х? — X, т. е. сравниваются д^-
функцпи регрессии вида
р
*11= 2 Х^)Р/;
/= 1
р
42= 2 Л(*1, *2, ...» Xft)|3?,
/= 1
для которых матрицы планов Di == (%/„) и D2 = (х?и)
(1 = 1, 2, ..., /г; и — 1,2, ..., N) совпадают. Легко видеть,
что в этом случае гипотеза Но: Рг — р2 = 0, где = ф},
..., Р₽)'; Рг = (Рь Р!> • ••» Рр)'. Очевидно, что линейная ги-
потеза имеет вид Но: ф = 0, где ф — СР°; С = (1Р, — 1Р); р°=
— (Pi, Рг)'. Отсюда, воспользовавшись (3.3.12), (3.3.14),
(3.3.15), имеем
D = C(X°4XS)“1C' = (IP, — 1р)РХ/Х)-1 ° W l₽V
\ О (X' X)-1/ 1р/
-2 (Х'Х)-1
или D-1 = (X'X)/2, где rank D = p, t. e. k = (r — 1)X
X p = p.
Таким образом, согласно (3.3.11) гипотеза Но принимает-
ся с уровнем значимости а, если
ф4 X4 X 4V(2ps§) < Fa.t р, д,й_ Ро, (3.3.18)
где ATO = 2 2V; р0 = 2р; s§ = (Г-ХТОГД.
5 = с (Х^Х0)-1 Х°' Y°; Y° =^Y{, Y^)'. Положив Y = Yx-
— Y2, легко убедиться, что ф — (Х'Х)1 X'Y. Используя
это соотношение, получаем
Ч/Х'Хф= Y'AY,
при этом А = X (Х'Х)-1Х/. Следовательно, неравенство
(3.3.18) можно записать в виде
Y> AV/(2ps8)< Fa. (3.3.19)
M щность критерия
Pn (6о)= Р {Fр Л о —р0; б Fa.-, Р, JV0—р0},
где параметр нецентральное™
₽= 11/Х?ХЧ’/2о8. (3.3.20)
на
Рассмотрим теперь задачу сравнения двух функций рег-
рессии
р .
П/ - /Ж, *2.....Хд)Р/, /= 1, 2, (3.3.21)
/ = 1
для случая, когда Xi = Х2 = X, rank X = р и а“ =/= al.
Иначе говоря, мы считаем, что
М {YJ = Хр,; D {YJ =a/2Lv, / = 1,2.
Гипотеза Но состоит в том, что Pi = Р2, альтернатива :
Pi ¥= Рг- Обозначим Y = Yi — Y2) Р = pj — р2. Тогда
М {Y} = Хр; D {Y} = о21дг, (3.3.22)
где о2 = о2 + al-
Таким образом, проверка гипотезы Но: Pi = Р2 эквива-
лентна проверке общей линейной гипотезы Ср = 0 для моде-
ли (3.3.22), где С = 1р. Очевидно, что ф = Р и МНК-оцен-
ка функции ф равна ф = (Х'Х)-1Х' Y. Отсюда
D {ф} = D {Р} = а2 (Х'Х)"1 => D = (Х'Х)"1.
Гипотеза Но принимается, если
^ = P'X'XP/(ps2)
Ра.', р, Д' — р»
(3.3.23)
где s2 = (Y — X Р)' (Y — X р )/(М — р). Статистика к-
имеет центральное F-распределение с р и N — р степенями
свободы, если истинна гипотеза //0, и нецентральное с пара-
метром
б2 = Р'ХХр/о2, (3.3.24)
если гипотеза ложна.
Мощность критерия равна
Fw(6) = P{Fp, Д’ —р; &Z>Pa; р. N-p}- (3.3.25)
Замечание Пусть of = о® = Ор. Если для проверки гипоте
вы Но использовать статистику w— Р'X'Xpz(2psg), то o2=2og,
и, следовательно PN (60) > Р; (6). Действительно, так как Л»
— Ро > N — р, то (см [3])
р {?₽. ДО, > ₽, Д-e-pJ > Р {fp. А ₽• Л '
НЗ
33 3 ПРОВЕРКА ГИПОТЕЗЫ О РАВЕНСТВЕ ФУНКЦИИ
’ РЕГРЕССИИ В СЛУЧАЕ МОДЕЛЕЙ НАБЛЮДЕНИИ
НЕПОЛНОГО РАНГА
Изложенные выше методы сравнения функций регрессии
легко обобщаются на случай, когда модели наблюдений яв-
ляются моделями неполного ранга. Это достигается сведе-'
нием моделей наблюдений неполного ранга к моделям пол-
ного ранга.
В качестве простого примера снова рассмотрим задачу
сравнения двух функций регрессии вида [см. (3.3.21)1
р .
^=2 *а)0/, /=1, 2. (3.3.26)
/= i
Пусть ytu (и — 1, 2,..., N; I — 1,2) — наблюдаемое зна-
чение функции отклика г]г в «-м опыте. Предполагается, что
векторы наблюдений Y2 = (г/п, угкУ и \2 = (у2Ь
У22’ независимы, имеют /V-мерные нормальные
распределения и удовлетворяют условиям
М {YJ = хрг; D {YJ = о/Чд/, /=1,2, (3.3.27)
где X = (х7-м) — матрица известных коэффициентов, эле-
мент которой xJu = /7- (х1и, х2и,..., xhv); р, = (Pi, Р', ...,
Рр)4 — вектор неизвестных параметров.
Пусть rank X = г < р — числа неизвестных парамет-
ров. Сформулируем задачу сравнения функций регрессии
(3.3.26) для случая моделей наблюдений неполного ранга
вида (3.3.27).
Без ограничения общности будем считать, что линейно
независимыми в матрице X являются первые г столбцов.
Тогда матрицу X можно записать в виде блочной матрицы
X = (X, X*), (3.3.28)
где X = (х]и) (j = 1,2,..., г; и= 1,2,..., N) — матрица ран-
га г.
Согласно лемме 1.16 модель наблюдений неполного ран-
га (3 3.27) может быть приведена к модели полного ранга
М {YJ = Хр,; D{ Yz} = а? 1л, / = 1, 2. (3.3.29)
Здесь р — (P’j, р‘)' ПрИ этом
р—
г =1’/ I У, алр,+г, / 1, 2, ..., г,
14
где а}й 2,..., П«-=1. 2,..., р — г) __ элемент матрицы
а = (х'хи х'х*. _ (3 з 30)
Используя (3.3.29) и полагая р = _ р2> задачу сравне-
ния функций регрессии можно сформулировать как провер-
ку гипотезы /70: Р = О против альтернативы Нг : р о.
Положив Y = Yj — Y2, получим, что 1см. (3.3.22)]
М {\} = XfrD = (3.3.31)
где о2 = of + of; X — матрица порядка N X г и ранга г.
Итак, задача сравнения функций регрессии для рассмат-
риваемого случая свелась к проверке линейной гипотезы
Но : СР = О (С = 1г) против альтернативы Нг : СР 0 для
модели наблюдений полного ранга вида (3.3.31).
Для проверки гипотезы Но, поскольку модель (3.3.31) яв-
ляется моделью наблюдений полного ранга, можно исполь-
зовать статистику вида (3.3. 23)
w = p'x'Xp/(rs2), (3.3.32)
где "р = (X'X)-1X'Y —несмещенная МНК-оценка век-
тора р;
s2 = (Y — ХР)'(Y —X P)/(jV— г) (3.3.33)
— несмещенная оценка о2.
Если Но истинна, то w = Fr, к _ г, т. е. имеет централь-
ное F-распределение с г и N—г степенями свободы; если
Но ложна, то щ имеет нецентральное F-распредсление с
параметром нецентральности
б^Р'Х'Хр/о2. (3.3.34)
Гипотеза Но отклоняется, если
bJ>Fa; г. ( 3.35)
в противном случае гипотеза принимается.
Мощность критерия
p(&) = P{Fr N_r.b>Fa- г. л ,}. (3.3.36)
Аналогичные результаты легко получить для случая,
когда of - о! = og, X, = Х2 = X и rank X = г.
Молин. показать, что статистика 1см. (o.o.io;J
Wo^pX4 XP/(2rsg) (3.3,37)
11б
имеет центральное /^-распределение с г и No___2г стелен
свободы, если Но истинна, и нецентральное с павямоЛМи
1см. (3.3.20)1 ^метром
68 = ₽' Х’Хр/2о8, (3.3.38)
если Но ложна. Здесь
(Y°—Vp/fY0— Х^р)
Sc ~ No—2r * (3.3.39)
v (X 0\
Х = (3.3.40)
\0 X J 1
— матрица_порядка No X 2г и ранга 2 г; Y° = (YJ, Ya)'-
F=(0i, Й)'; N0 = 2N;
1 = (X'X)-1X'Y; (3.3.41)
i?° = (X°' X°)-1 Xo/ Y°. (3.3.42)
Гипотеза Ho отклоняется, если
w0 > Fa-.r,'v- 2r- (3.3.43)
Пример 3.6. Проверим гипотезу о равенстве функций Агрес-
сии Т]1 = ₽! + ₽? + Р1/2 и 11-2 = ₽? + при условии,
что матрица плана является общей и равна
Очевидно, что Ху — Х2 = X, где
(! 1 1 \
1111
.
12 4 1
12 4/
Предполагается, что М {Y;} = Xfy; D {YU = (I
где
1 ’в
f ₽!\ / p?\
Pi= I Pi I P2^ 0? I
\₽V \Pi/
ЛегК' видеть, что p — 3, rank X ~ r = 2, матрицы
(1 1\ /1 \
111 I I I
I , X* = I I
1 2 Г I 4 I
12/ v /
Поскольку (см. n. 1.3.6)
A=(X X)~1 X' X* = ^~3),
то приведенные модели наблюдений полного ранга имеют вид
М {Yz} = X0Z; D {Yz} = o2I4, / = 1, 2,
где
= (Pi. Pl)'; Pi = Pi - 2Pi; Pl = Pl + 3PZ3.
Используя эти модели, построим линейную модель наблюдений
полного ранга вида
Л-1 {Y°} = Хсрс; D {Y0} = о218.
Здесь _ _
/X 0 \ о /УЛ - /рЛ
Х° = ; Y =1 ; Р„= Р •
\о х ; \fi.J
Гипотеза Но: Pi = р2 эквивалентна линейной гипотезе Но" 4- = Pi —
— Р2 = 0, где
/ рЛ
_ _ /1 0 —1 0\ R1 |
"=Но 1 о ->) •
По формуле (3.3.37) гипотеза Но отклоняется, если
W — 2г«2 г. N0~2rt
где
Л.=2Л' = 8, л = 2; Y=~Y( —Y2;
"р- (X' X)-i X' Y;
. „ _ ,х Х-.-Х- >•
‘ ли «„ < 4, гипотеза Ни при имастсл.
117
ГЛАВА 4
ПОЛНЫЕ ФАКТОРНЫЕ ЭКСПЕРИМЕНТЫ
ТИПА 2А И ДРОБНЫЕ РЕПЛИКИ
4.1. ОПРЕДЕЛЕНИЯ
При проведении экспериментальных исследований mlIpo
кое применение находят факторные эксперименты. По в0_'
просам их построения существует обширная литература
(127, 281 и др.). Здесь рассматриваются лишь полные фактор,
ные эксперименты типа 2k и некоторые задачи построения
и выбора дробных реплик.
Пусть имеется функция отклика п = / (Ал Х2,
Xh) и задан план £ (N), матрица которого D = (Xiu)
(i = 1, 2, .... k", и = 1, 2, .... N), где Xiu — значение пе-
ременной (фактора) Xt в и-м опыте. Каждое из различных
значений, принимаемых переменной Xt в эксперщ.енте, на-
зывают уровнем этой переменной 127]. Число различных
уровней фактора Xt обозначим через sf.
Определение 4.1. Эксперимент, в котором уров-
ни каждого фактора комбинируются со всеми уровнями дру-
гих факторов, называют полным факторным экспериментом
(ЛФ'Э).
Полный факторный эксперимент записывают в виде5г
Xs2 X ... X sh, поскольку число различных точек или раз-
личных опытов Sj X s2 . ... X sh- Говорят также, что
план £ (?/) представляет собой полный факторный план
Sj s2 X ... X $>h, если число точек спектра плана равно
N и N ~ Sj X s2X ... X sh.
Определение 4.2. План g (7V) называют не-
полным или дробным факторным планом, если числи '•;е-
чек его спектра равно N и 7V < Si X s2 X ... X sh.
Говорят также, что эксперимент в этом случае яслямпи ‘
неполным или дробным факторным экспериментом
Определение 4.3. План Е (N) называют симмет-
ричным, если все факторы имеют одинаковое число у: 1 1 '
т. е. Sj s2 == ... = sh = 127].
Привел м примеры записи полных факторных и;сп‘;
ментов. Так, например, полные факторные эксперт*
ЗхЗх4х4х4 и s х s X ... X «записывают соответ ci i 1
нс в виде З2 X 43 и s*, где k — число факторов
Ниже ра<<-.матриваются полные факторные эксперт
гы типа 2” и их роль пр# исследовании поверх пости
и решении других задач.
118
4 2 ПОЛНЫЕ ФАКТОРНЫЕ ЭКСПЕРИМЕНТЫ2*
4.2 1. ИН1ЕРВАЛ ВАРЬИРОВАНИЯ И КоДИРОВ ШН1
ПЕРЕМЕННЫЕ
Рассмотрим функцию отклика
>] / (Хп Х2, Xft), (4.2.1)
определенную в области G cr Rft. Пусть ~D = (Xiu) (I =
= 1,2, k\ и— 1,2, ..., TV) — матрица плана с (Д^Прел
положим, что число различных значений, которые может
принимать переменная Xt (I = 1,2,. . k), во всех опытах
равно двум, т. е. s; = 2. Ины ш словами, переменная X,
в каждом опыте принимает одно из двух возможных значе-
ний или, как говорят, варьируется на двух уровнях. Обо
значим через Хц значение, принимаемое переменной X,
(I = 1,2, ..., k) на /-м уровне (1—1, 2). Таким образом,
при измерении функции отк лика фактор Xt принял ает зна-
чения Х(1 либо Xi2, т. е. Xiu £ {Xfl, Xt2} (и = 1,2, ...
..., N). Будем считать, что Xl2> Xtl. Тогда Xf2 называют
верхним уровнем фактора Xt, a Xfl— нижним.
Введем кодированные переменные
xt = (Xt - Xt)/Sh i=l,2, k,
где
Xt = (Xrt 4- Xf2)/2, I =1, 2, ..., k\
Sf = (Xf2-Xn)/2, 1= 1, 2,
(4.2.2)
(4.2.3)
(4.2.4)
— соответственно основной уровень и интервал варьирова-
ния. Очевидно, что кодированная переменная х4 (I = 1 2.
..., k) в каждом опыте южет принимать значение 1 ли-
бо—1 Назовем эти значения ее верхним и нижним урон
ними. Функцию отклика (4.2.1) можно предвтавить в виде
Л = f U'i, я, • ••> Ал). (4.2.о)
Для удобства записи в (4.2.5) обозначение функции сохра-
няется прежним.
4.2 2. ПОЛНЫЙ ФАКТОРНЫЙ ЭКСПЕРИМЕНТ 22
Рассмотрим лучай, когда в выражении (4.2.1) чи^ло не
иных /? = 2, т
1] = f С'-i» *«)•
(4-6)
Все возможные комбинации уровней переменных и х
ПФг) 2- представлены в табл. 4 1, где символ (1) означ* L
вариант, в котором оба фактора и х2 находятся на ни
нем уровне. Символы а и b соответствуют вариантам исп-
Таблица 4.1
Номер опыта Матрица независимых переменных Вариант испытаний Наблю^ние
*0 *i к,
1 1 —1 —1 I (I 1/1
2 1 I —1 —1 а Уч
3 1 —1 1 — 1 b Уз
4 1 1 1 1 ab Уь
таний, в которых сначала фактор а затем фактор х2 на-
ходятся на верхнем уровне. В варианте ab оба фактора на-
ходятся на верхних уровнях. В таблице записаны также
значения хг х2 и фиктивной переменной х0, смысл которых
будет ясен ниже. Предположим, что функция отклика име-
ет вид
т) « М {у} = р0 + Рл + р2х2 4- Р12ВД <4-2
или
(4.2.8)
где х0 = 1 — фиктивная переменная; у — выходная пере-
менная. Пусть в каждом варианте испытаний проводится
по одному наблюдению. Такой эксперимент представляет
собой ПФЭ 22. Используя символы (1), а, Ь, его можно за-
писать следующим образом: (1), a, b, ab. Число опытов в
этом эксперименте W = 22. Запишем матрицу полногофак-
торного плана 22
(4.2.9)
Стрелками указаны наблюдения в соответствующих тс
плана. Схема 11ФЭ22 условно изображена на рис 4.1 • *е’
видеть, что наблюдения ylt у2, у3> yt выполняются сортВ
120
гтвенно в вершинах квадрата (—1,
— 1), 0> 0» (—1> I) ОЛ). Обозна-
чим ' через xiu значение переменной
г (i = 1, 2), полагая при этом хОи =
31(и = 1,2, 3, 4).
Очевидно [см. (4.2.7), (4.2.8)1, что
М {i/J = (Vou + Рли 4-
4~ Рг-^ги 4“ Pi2^iu-^2u-
f .VJ
(-W
Рис. 4.1
Отсюда, используя обозначения р12 = (З3, x8u = xlu х2и
имеем
з
MKI=2₽H/u.«=U3,4. (4.2.10)
/= о
Таким образом, матрица независимых переменных X =
=(хщ) (/ = 0, 1, 2, 3; и — 1, 2, 3, 4), соответствующая мат-
рице плана (4.2.9) и функции отклика (4.2.7), согласно
(4.2.10) может быть представлена в виде
(1 —1 —1 1\
1 1 -1 “’ |. (4.2.11)
1111/
Матрица независимых переменных приведена в табл. 4.1
Обозначим j-fi столбец матрицы X (/ — 0, 1, 2, 3) че-
рез xj. Поскольку
N _ _
У xluxsu = 0 или х/ х6 = 0, /, s=0, 1, 2, 3; l*£s,
'2=1
то планирование является ортогональным, при этом
N _
3 4« = l|x,||! = W,/= о, 1,2,3. (4.2.12)
u= 1
Для ортогонального планирования МНК-оценки парамет-
ров р0, р2, рз согласно (2.2.7) и с учетом (4.2.12)
равны
— _ 1 w
Р/ —-—х/¥нлиР/=— V '>, ч / — 0,1,2, -
Их; Г '
Оценки н<‘К(|ррглпп(1иянтл, и их нв пер-’ия
[){[>,} o'/N. / = О, 1, 2, 3.
121
Заметим чт< матрица полной факторно!; плана
—Ei\
\D! Е1/
4.2.3. ПОЛНЫМ ФАКТОРНЫЙ ЭКСПЕРИААЕНТ 2Э
Пусть функция отклика
П = / (х15 х2, х3). (4.2.14)
Все различные комбинации уровней переменных хх, х2 и
х3 в ПФЭ 23 представлены в табл. 4.2. Общее число вариан-
тов испытаний N = 23 = 8. Символ с означает, что фактор
х. в данном варианте испытаний установлен на верхнем
уровне 1. Так, в вариантах испытаний с, ас, be, abc пере-
менная х3 установлена на верхнем уровне, а в вариантах (1),
а, b; ab — на нижнем, поскольку ь записи этих вариантов
символ с отсутствует. Используя символы, ПФЭ 23 можно
записать в виде (1), a, b, ab, с, ас, be, abc. Предположим, что
в каждом варианте испытаний проводится по одном} наблю-
дению и функция отклика имеет вид
< 3 l^z<r$3
+ Р1>3Л4Х2х3,
(4.2.15)
туе фиктивная переменная х0 = 1. Произведение XfXj (i #= /)
назовем парным взаимодействием или взаимодействием 1-го
порядка факторов хг- и х7. Произведение х^Хз назовем
тройным взаимодействием или взаимодействием второго по-
Таблица 4.2
рядка факторов г, и хя. Покажем, что для фу икни
I, ин.а (4.2.15) могут бы гь получены MI 1К-оценки аы-\ неиз
вестных коэффициентов {[’>,}, {ро}, р123.
Матрица полного факторного плана 2*
/о-, — F.. i /Х1 х2 _е
= _ _ . (4.2.16)
\О; \Xi х2 Es/
где Ег = (1.1,1,!)', причем D2 Е2 = 0. Матрица плана D3 =
— (*iu) 2, 3; и — 1, 2, ..., М), а также матрица незави-
симых переменных X = (xju) (j = 0,1, .... р; и = 1,2,...,
М; р = 7) приведены в табл. 4.2. Как и в случае ПФЭ 22,
столбцы матрицы независимых переменных получаются
перемножением соответствующих столбцов матрицы плана
D3. Следуя [271, введем бинарную операцию 0 и назовем
произведением векторов а = (czlf а2, апУ и b = (6Х, Ь2,
..., Ьп)' вектор с = (a±blt a2b2t..., апЬпУ, обозначаемый
через а ® Ь.
Если {az} (/ = 1,2,..., N) и {bg} (s = 1,2,..., ЛТ)—столб-
цы матриц А и В, то произведением этих матриц назовем мат-
рицу
А® В = (a^b^ a2Ob2, ..., адгфЬлг).
Пусть {хг} — столбцы матрицы X, т. е. X = (х0, х^...
..., х7). Как видно из табл. 4.2,
х4 = х!®х2; х5 = х,®х3; х6 = х2®х_; х7 = (х1®х2)®х3,
при этом
xs = o, I, s = o, 1,.... р\ i^s-
N N _
2х,„=0; ||х,||г = .Л/=0,1,..,п.
и — I и ='
Так как планирование является ортогональным, то
rank X = р 4- 1 = ^ — числу неизвестных ко- i п ент<
уравнении (4.2 15). Если р — ф0. pr,.. Р7)' — '4НК
оценка вектора Р = ф0, pt, Р8, IS2, Pia> Р.з. °)
р, - -L i; y 1 v г,. о - —.
Оценки (Р/) (/ — 0,1....7) некоррелированы.
4.2.4. ПОЛНЫЙ ФАКТОРНЫЙ ЭКСПЕРИ ЛЕНТ 2*
Рассмотрим построение матрицы плана ПФЭ 2* в nD
положении, что т] = / (хь х2,..., хь)- Как видно из табл 4п ]
и выражения (4.2.16), матрица плана ПФЭ 23 получает
путем повторения матрицы плана ПФЭ 22 при х3 =________। М
х3 = 1. Для ПФЭ 24 матрица плана получается путем пое-с?
рения матрицы плана ПФЭ 23 при х4 = — 1 и при х4 = f
Символическая запись вариантов испытаний для ПФЭ
имеет вид: (1), a, b, ab, е, ав, Lo, abe, d, ad, bd, ,djj
acd, bed, abed. Символ d означает, что фактор x4 в данном ва-
рианте испытаний установлен на верхнем уровне.
Таким образом, матрица плана ПФЭ 2fe + 1 может быть
представлена в виде
— /Pfe —
Dft+i= _ (4.2.17)
\Dh Ej
где Eft = (1.1, .... 1)' — 2*-мерный вектор, — матрица
плана ПФЭ 2fe. Действительно, из структуры матрицы
(4.2.17) следует, что все ее 2fc+1 строк различные, при этом
элементы ее равны либо 1, либо — 1.
Лемма 4.1. Пусть хх, х2,..., xh + l— столбцы матрицы
плана Dh + 1. Тогда
х/х8 = 0, I, s — 1, 2,..., k + 1; / =А s. (4.2.18)
Доказательство. Применим метод индукции.
При k — 2 утверждение леммы справедливо. Предположим
теперь, что k > 2 и утверждение леммы справедливо для
3, 4, ..., k. Тогда из — Dt'Eh + D£ Eft = 0 вытекает, что
оно справедливо и для &-|-1, т. е. (4.2.18) выполняется для
ПФЭ 2* + \ Лемма доказана.
Если х1и (г = 1,2,..., k\ и = 1, 2,..., N\ ДГ = 2*) - эле-
мент матрицы Dft, то следующие ее свойства являются оче-
видными:
/v
2 = II *1II2 - W. I = 1. 2.k; (4.2.!"•
tt= 1
V xlu = 0, i= 1. 2P ..., k. (4.2.20)
M = 1
Бы) эжение (4.2.17) представляет собой рекуррентный &
горит, нестроения матрицы плана ПФЭ 2fe + 1 Прел”1
м, что функция отклика имеет вид
124
Уравнение
Ь +Р12... k ххх2... xh. (4.2.21)
регрессии (4.2.21) можно записать в виде
'П==Ро + 2 Sm,
m=I
(4.2.22)
где
(4.2.23)
I
X
X X/, Х1г... Xim, т — 2, 3, ..., k.
(4.2.24)
Произведение xtixis...xtrn в выражении (4.2.24), где 1
< i2 < ... <Z Im^k, назовем взаимодействием (т —
— 1)-го порядка факторов xit, xtl,..., xim.
В дальнейшем для удобства изложения коэффициент рег-
рессии Pi будем называть линейным эффектом переменной
хг, а коэффициент р ( { ... fm — эффектом взаимодействия
факторов xfl, xls, ..., xim. Заметим, что обычно эффектом
называют удвоенный коэффициент регрессии в уравнении
(4.2.21). Уравнение (4.2.21) помимо свободного и линейных
членов содержит все взаимодействия до (k—1)-го порядка
включительно. Число взаимодействий (т — 1)-го порядка
определяется по формуле
__ k\
h ] "1 ‘ ~ •
ml (k—m)l
in — 2, 3, .... k.
Поэтому в уравнении (4.2.21) число неизвестных коэффи-
циентов р + 1 = N =
Лемма 4.2. Если Dh = (xtu) (i = 1. 2,..., k\ и = 1,
.... Af) — матрица плана ПФЭ2». то матрица независимыхне-
ременных X = (х7-ц) (/ — 0,1.... р\ и — 1, 2, .... п
ств) ощая функции отклика (4.2.21), обладает св о *
2 *,„=0. / -1.2, -,Р,
I
V v? = II х; И7 - N, / 0. 1. Р-
(4 2.25)
(4 2 20)
’SI 'tи % Ju 0, I, / - 0, 1, .p, I д (4.2.27)
Доказательство. При построении матрицы не
ависимых переменных без нарушения общности можно счи"
тать, что все неизвестные коэффициенты в уравнении (4.2.21)
равны единице. В этом случае функцию отклика (4.2.21)
можно записать в виде рекуррентного соотношения '
Пл = Пл-i (1 + *л). (4.2.28)
где пл-i — функция отклика от k — 1 переменных.
Поскольку матрица плана [см. (4.2.17)].
_ /°Л-1 — ЕЛ-Л
Ол = I
\Dh-l Ел-Т/
то матрица независимых переменных для функции отклика
(4.2.28) имеет вид
/х^ -Xh_A
ХА=
\XA_J Х/г-2/
При k = 2 утверждение леммы справедливо. Так как
—X£—i ХА_! + X/' — iX^ = 0, то, применяя далее ин-
дукцию по k, приходим к ее доказательству.
Замечание. Хотя X #= ХА, однако столбцы этих матриц совпа-
дают. Поэтому из выполнения свойств (4.2.25)—(4.2.27) для матри-
цы ХА следует их выполнение для матрицы X. Очевидно, rank X =
= р + 1, т. е. является максимальным. Полагая = Pia»
Рл+2 = Pis. Р₽ ~ Pi2...A> имеем
1 j *
Р> = х/ Y=*/7" х}иУи> !»..•» Р< (4.2.29)
и= 1
COV РД =1 ’ (4.2.39)
I oW, /=/ (i, /=0, 1,..., р).
Таким образом, ПФЭ 2k позволяет получить несмещен-
ные оценки всех неизвестных коэффициентов в уравнении
рецессии (4.2.21). Оценки при этом являются некоррелиро
ванными, а их дисперсии одинаковыми. Пусть априори
веч тио что некоторые из коэффициентов при взаимодеис
виях равны нулю. В этом случае функция отклика (4.z
изменит я. Новой функции отклика будет соответствовя
новая матрица независимых переменных, которая пол)
126
ется из старой вычеркиванием некоторых столбцов. Поэтому
планирование будет по-прежнему ортогональным, и, сле-
довательно, для вычисления оценок ненулевых коэффици-
ентов регрессии и их дисперсии можно использовать фор-
мулы (4.2.29), (4.2.30).
4.3. ДРОБНЫЙ ФАКТОРНЫЙ ЭКСПЕРИМЕНТ
4.3.1. ВВОДНЫЕ ЗАМЕЧАНИЯ
В полном факторном эксперименте 2fe число опытов 7V =
= 2ft. С ростом числа переменных k число опытов N быстро
растет. Поэтому при больших k реализация ПФЭ 2* стано-
вится практически невозможной.
Наряду с ростом N происходит также увеличение числа
взаимодействий и их порядка в выражении (4.2.21). В ряде
случаев в уравнении (4.2.21) эффектами взаимодействий вы-
соких порядков можно пренебречь или априори известно,
что некоторые из них отсутствуют. Число опытов для на-
хождения оценок неизвестных коэффициентов такого урав-
нения может быть существенно уменьшено. Это достигается
с помощью применения дробных факторных планов или
дробных факторных экспериментов (ДФЭ), представляющих
собой регулярные и нерегулярные дробные реплики. Если
в ПФЭ 2fc наблюдения проводятся во всех вершинах й-мер-
ного гиперкуба, то при использовании дробных реплик на-
блюдения проводятся в некоторых из них.
Рассмотрим пример построения дробной реплики. Пусть
функция отклика имеет вид
з
Ч=₽»+ 2 (4.3.1)
i= I
В этом выражении эффекты парных и тройного взаимо-
действий отсутствуют, т. е. 012 = р13 = р23 = 0123 = 0.
Если для оценивания неизвестных коэфф! циентов {РД
(/ = 0, 1,2, 3) использовать ПФЭ 23, то ДГ = 8. Однако число
опытов можно уменьшить, поскольку в выражении (4.3.1)
эффекты взаимодействий отсутствуют. G этой целью пост-
роим план, матрица которого
(4.3.2)
127
Матрица плана D получена из матрицы полного фактору
плана 23 путем вычеркивания в ней указанных ниже стплФ*
(1 - 1 1), (—1 1 1). (-1 -1 -1). (1 1 - 0- Построен^
нами [см (4.3.2)] ДФЭ представляет собой полуреплНю,
[или Мг-реплику (часть)] от ПФЭ 23. Для ее записи исполь
зуется обозначение 23"1, где 2 — число уровней; 3 — ЧИсли
переменных; N = 23'1 — число опытов. Кодовое_ обозна-
чение полуреплики: с, a, b, abc. Матрица плана D = (Х/ \
(i = 1, 2, 3; к = 1, 2, 3, 4) полуреплики 23"1 обладает
теми же свойствами (4.2.25) — (4.2.27), что и матрица плана
ПФЭ 23, т. е.
4 4
yxiu = o, ;=1,2, 3; 2 xiuXju=e, /=1>2, 3;
И=1 «=1
2< = А/, «=1,2,3.
и=*\
Таким образом, для построения полуреплики взяты не
произвольные точки полного факторного плана 23, а такие,
при использовании которых выполняются условия симмет-
рии и нормировки плана, попарной ортогональности его
столбцов.
Рассмотрим особенности построения полуреплики 23"1.
Как видно из (4.3.2), переменная х3 в точках плана удовлет-
воряет уравнению
х3 = х1х2. • (4.3.3)
Соотношение (4.3.3) называется генерирующим. Зная гене-
рирующее соотношение, легко построить полуреплику
23"1. Алгоритм ее построения состоит в том, что сначала
формируется матрица плана ПФЭ 22, а затем с помощью ге
нерирующего соотношения (4.3.3) строится вектор-столбеп
представляющий собой значения переменной х3 в опытах
Матрица независимых переменных, соответствующая
функции отклика (4.3.1), будет матрицей ортогонального
планирования и имеет вид
1 - ф I ЦГШЯЯ и- ; ' <Н|Ц|Я.
128
Очевидно
что МНК-оценка параметра рj
— I 4
Р/= “ l=~^> L 2, 3.
а= 1
Оценки {р^} некоррелированы, при этом дисперсия оценки
D {PJ = о2/4, / = 0,1, 2, 3.
Еще одна полуреплика 23"1 может быть построена с по-
мощью генерирующего соотношения хд =—xtx2. Эта
полуреплика имеет вид
(4.3.4)
Ей и функции отклика (4.3.1) соответствует матрица незави-
симых переменных
Легко видеть, что других полуреплнк 23”1 не существует,
т. е. не существует матриц плана, для которых выполня-
лись условия попарной ортогональности столбцов, симмет-
рии и нормировки. Ниже рассматриваются общие способы
построения дробных реплик.
4.3.2. ПОСТРОЕНИЕ ПОЛУРЕПЛИК
Рассмотрим задачу построения полуреплик типа 24-1
от ПФЭ 24. Полный факторный эксперимент 23 позволяет
получить несмещенные МНК-оценки неизвестных коэффи-
циентов функции отклика
0 = 2
I <.г <
i’t *t + 2 Pt;*i*; +Pm *1*2*3. (4.3.5)
которой Соответс твует матрица независимых переменных
5 За<. («la ,2-
| 1 _ _l —1 1 1 !
/1 -1 1-1 -1 I
I —1 I —1 —1 1—1 ।
' I 1 1—1 -1—1 |
X“ 1 1 —1 -I . _ '4 vb)
11 1—1 1—1 1 — i - .
| 1 —1 1 i—i—i i-i
11 1 1 1 1 1 11
Marr 'W 11.4 .а П*Э 2
Поскольку столбцы этой матрицы попарно ортогоналы'ы,
то две полуреплики 24"1 можно построить, используя гене-
рирующие соотношения
х4 = хг х2;
Х* = — XjX2
Матрица плана первой полуреплики
соотношением (4.3.7) имеет вид
(4 1.7)
(4 8)
24-1 с генерирующим
D =
*1 «» к *4
—1 —1 -1 1
1 —1 —1 — 1
—1 1 — 1 — 1
1 1 — 1 1
—1 —1 1 1 •
1 — 1 1 — 1
—1 1 1 — 1
I 1 1 1
Матрица ЛЛ1Н. Г ' 2»
(4.4 ,
Эта матрица состоит из матрицы плана D ПФЭ ' и вектор-
столбца представ "яющегг собою значения ; р* • "f*
л4 = 4*2 в различных его точках. Кодона обозначение
полуреплики (4.3.7): 4, a, b. abd, cd, а-, Очевидно,
к д «в>е об значени второй полур< плшси получаемой* по-
мощью генерирующего соотн ’<м»я (4.3.8): (1) «4 М.
ah, ct acd, b- d .h Как видно из (1 4
ЛИКИ могут быть ПОСТР'и iii.1 ' ni’".'Г'. Н ЦП х СООТ-
ношеннй
х* ” X, х> Х4 »« X. X, «
х4 Xj X
но
tfNcno ПОЛ \ реплик 2*"1 равно удво<- i..-му числу всех взви-
щодейстинА в выражении (4.3 5), г. с. восьми.
Заметим, что матрицы планов двух произвольных полу-
реалнк 2*~*1, генерирующие соотношения которых отличи*
кл I ишь знаками, не имею г общих строк. Поэтому ьгл.еди-
неннс таких полуренлнк представляет собой ПФЭ 24.
Задача построения полуреплик 2*“1 для произвольного
числа факторов k решается аналогично. В этом случае гене
рирующие соотношения записываются как xh == хгха,
ль —Лд* > Аь — Л1А’з- xk = —х1хз и т- Д-; наконец,
XjVn—лд_1, X^"1^2-• 'Xh—!•
Таким образом, множество всех генерирующих соотно-
шений для полуреплик 2fe_1 совпадает со множеством всех
взаимодействий до (k — 2)-го порядка включительно, взя-
тых со знаком плюс и минус, вида xitxtt... Xim, где 1
*2< im < k — 1; 2 tn k — 1; k 3. Чис-
ло различных взаимодействий до (Л — 2)-го порядка рав-
но
vfe_2 = 2*"1 — k. (4.3.11)
Следовательно, число различных полуреплик 2*~х равно
$! = 2 (2*-1 —/г)- (4.3.12)
Матрицу плана реплики 2*-'1 можно представить в виде
DU» = (Dfc-i В), (4.3.13)
где Dn-t—матрица плана ПФЭ 2*"1; В — 2*“1-мер <й век-
тор-столбец, задаваемый дним из генерирующих ню г но-
шении, приведенных выше.
Пример 4.1. Пуств функция евклика
4
l|==l'’ ! х1*
I яш I
Определим ЧНК-оценки п 1Метров {0/}. Р спол' . - -урс:>
• и кой I енернруи.щп-. .•ЭТИО,| с-! Ч • . I О ,
2 х » х«} — мац h i n. л,,-, л.-- гд? "x,
X ’ 4-1 ЦЫ» T° M • ,IU‘' 1 •• ' У
ь ТВ В)
Матрица независимых переменных
'1 —1 —1 _1
1 l—1—i
1—1 1—1
1 1 1—1
1—1—1 1
1 1—11
1—111
1111
Отсюда МНК-оценки
1 ч 1
S Уи Pl = ч ( У\Кг ' J/4---и ' -и. '
I
и т. д. Здесь iiu — наблюдение в и-м опыте.
4.3.3 ПОСТРОЕНИЕ ЧЕТВЕРТЬ РЕПЛИК
Наряду в дробным факторным планом 2fe~l, представ-
ляющим собой полуреплику от ПФЭ 2*, в исследования
пользуются также дробные факторные планы 2где
д>1и q— целое. Дробный факторный план 2fe“2 назы-
вают четверть-репликой (или ^-репликой) от пол того
торного плана 2* или от ПФЭ 2*. В отличие от полуреплики
которая задается одним генерирующим соотношением
построения четверть-реплпкн от ПФЭ 2Л используются два
генерирующих соотношения.
В качестве примера ниже приводятся rctiepi руюицн со-
отношения для построения дробной реплик! .
1) Хц — Ху Х2, ХБ — Ху х.~ х.л\
2) x,t — Ху х2, хь= — Ху х , х.(;
3) Х^ Ху Х2) ХБ = Ху Хх Х3,
4) х4 = — Ху х2, хь = х, х . хя;
5) х4 = х4 х „ х^ — Ху х. xaj
6) х4 =-- Xj Х3, хв---X, х2 хя;
7) х4- — хгх3, хп= —Х1Хвду,
Ь) Х4= —X, х.„ Хь = Хд Х2ХЯ II т д.
Всего можно построить 24 дробные реплики 1 "ЦЗ I
число уровней, 5 — число переменных. 2й’*-*-4 пдА.
опытов. Гак, например, матрица дробней о
133
ка 2*“', сп редел яемпго
= aaas 11 Л6 = Ч»а*в.
генерирующими соотношениям»
имеет следующий вид;
Матрица плана ПФЭ 2
Кодовое обозначение этой */4-реплики: d, ае, b , abd, cdt,
ас, be, abede. Объединение дробных реплик 26-- с гене-
рирующими соотношениями х4 = XjX2 и хъ — XjXjXg;
х4 = хгх2 и х6 = — хр^; х4 = — хгх2 и х6 = — х^х^х*
а также х4 = — хгх2 и хь — Х]Х2х3 образует ПФЭ 2б.
Пусть функция отклика
5
П=Фо+ 2 ₽***•
i= ।
Для оценивания параметров {Р7} и (j — 0, 1, . , 5) в этом
случае можно использовать в.место полуреплнки 2Ь“1 чет-
верть-реплику 25-2, что позволит уменьшить число наб хе-
шт в 2 раз а .-Матрица независимых переменных X Е
Dt,-.), где D5_. — матрица дробно факторвОГО плана
26-2, Е=»(1, 1, . .. 1)' Матрица X (х, ) I о 1, . , 5,
и = 1,2 8) будет при этом матрицей ортогонального пла-
и
пирования, и, следовательно, р, — У <.>„ Очевид-
*« ~~ 1
но, что любая матрица дробного факторного плана 2* * со-
стоит из матрицы плана ПФЭ 2К’ 2 и столбцов, определяе-
мых двумя генерируют!! ш соотношениями. Иными слова-
ми, такую матрицу можно записать как
D - ц(,Э, i = 1, 2....... k; и = 1.2... AF»
(4.3.14)
где Щ_3— атрина плана ПФЭ 2*~ш; N =2*'2— число опы-
тов (А- 5); В - j) липрвии. с1<»лГ)Ны которой зада-
кггоя двумя различными генерирующими ооотношениммн.
133
представляющими собой в шмодеГи bus, ,о зн:и-,<..1 ।
или минус, не выше (/< П-го порядка l
где 1 h < G < ••• < im k — 2; 2 т k
k^b.
Определим общее число ^-реплик 2*“2. Оч< видно,
число всех взаимодействий до (& — 3)-ги порядка включи-
тельно равно 1см. (4 3.11)1
vh_ 3 = 2*~2 — (k — 1). (4 3 15)
Тогда число всех дробных реплик 2*~2 равно
% = «3.1 -
где Cvfc-g — число сочетаний из vft_3 элементов по 2.
Выше было кратко изложено построение1/,- и V. реп-
лик. Построение ^-реплики от ПФЭ 2fc или дробнпи pen.ni-
ки 2/г“3, У^-реплики от ПФЭ 2* или дробной реплики 2* *
и т. д. осуществляется таким же образом, как и дробных
реплик 2fe_1 и 2ft"2. Особенность состоит в том, что дроби с
реплика 2*“3 задается с помощью трех генерирующих соот-
ношений, дробная реплика 2*-1 — четырех и т п. Нетрудно
проверить, что число различных дробных реп тик
равно
где
sq = 27C’
fc-( +i)’
(1 .1'
(4.1.1 >
— число всех взаимодействий до [k — (q + 1)1 го ппрядк!
включительно, при этим q должно удовлетв< рять условию
vh_(w + 1) — q 0 или 1см. (4.3.18)1 эквивалентному ус-
ловию
k + 1.
(4 3. .19)
Очевидно, что 2^*~’ = Д/0—число разл! чных опытов в дроб-
ном факторном плане 2*“'.
Дробные реплики 2 —где g > 1 и у - целое, называ-
ют регулярными дробными репли» ши от ПФ. ‘ 1 ' н ,
чим через Mh множество точек полного факторного план*,
2fe и рассмотрим подмножество М ,, 1 ' н пи е 2‘”rf зле-
ентов. Г'< in {Л1л_б;} — мн • - _ «леменгнмх
подмножеств множества Alh. то их число
134
I /р<-л|?"Г"ъный план, мне *.ество точек к», горл г и является
Mt нт ныч подмножеством множества Л1к, будет
дробным факторным планом 2й*-’ только в том случае, если
его матрица D/_9 = (xtu) (I = 1, .... k\ и == 1, .... Д-о;
Л\, = 2*~‘/) обладает следующими свойства ли:
л
Vxlu = 0, Т-1, 2..А;
(4.3.20)
и= 1
N
V xtu = N0, i = 1, 2, .... k\ (4.3.21)
U«=l
JV0
2 %iu ^'su = Q» = 1, 2...........k\ I s. (4.3.22)
U=1
Связь между двумя’дробными репликами 2Й~’ устанавлива-
ется с помощью следующей леммы.
Лемма 4.3. Пусть М — {£ (7V0)} — множество дроб-
ных факторных планов 2й-’, где No = 2й-’Тогда для
двух произвольных планов (7V0), £2_0Vo) € М, матрицы
которых соответственно Di = (х/^) и D2 = (x-ua)) (i = 1, 2,
.... k\ u= 1,2,..., Л\>). существует ортогональная матрица
R такая, что
= RD2. (4.3.23)
Доказательство. Oбoзнaчг.•, через х]° (i =
= 1, 2, ..., k) столбец матрицы плана Dj (/ = 1,2). Сог-
ласно (4.3.20) — (4.3.22)
образуют две ортонормированные системы векторов 1101.
Так как k < No, то в Л/0-мерном евклидовом пространст-
ве существуют всегда два таких ортонормированиих бази-
са У1’\ у? yV,' и У1’\ у ...» уд.’, , ДЛЯ которых
ур = хр/У^ (/ = 1, 2; / 1, 2. Л) Поэтому по-
лагая
D* - ytp v ), Z« 1,2,
(4.3.24)
можно записать, что
Ь, rd;
где _ _ ,
R=Di D) (4.3 25)
__ортогональная матрица переходи. Из (4.3.25) вытека-
ет, что
x^=Rx}2’, /=1,2.....k, или D, = RD2.
Лемма доказана.
Заметим, что по построению_ матрица R не является
единственной, при этом (D*)"1 = D*' При формировании
матриц DJ и Ог можно использовать столбцы матрицу
независимых переменных X, соответствующей ПФЭ2Г, где
r — k—р, и функции отклика вида (4.2.22)
П = Ро+ 2 sm.
т=\
Пример 4.2. Заданы две полуреплики типа 2е-1 с генерирую-
щими соотношениями х3 = х3х2 и х3 — — х}х.. Необходимо по-
строить матрицу R. Очевидно, что
Используя далее в качестве матриц D* и DJ матрицы вида
имеем R == DfD*' или
4 4 ВЫБОР ДРОБНЫХ РЕПЛИК
4.4.1 ВВОДИМ! ЗАМЕЧАНИЯ
При рассмотрении ряда задач с использованием ре*
нриых реплик мы предполагали, что коэффициенты
при взаимодействиях факторов в (4.2.21) равны нулю.
В реальных экспериментах коэффициенты при тех или
иных взаимодействиях в (4.2.21) обычно отличны от нуля.
При применении регулярных реплик в этом случае воз-
можны ситуации, когда число неизвестных параметров
функции отклика будет больше числа опытов или наблю-
дений. Возникает вопрос: можно ли в подобных ситуаци-
ях использовать реплики, и если да, то каким образом?
В этой связи рассмотрим следующий пример. Пусть
функция отклика
'П = Ро+ S Pt*i+ 3 (4.4 1)
lsSZ</^3
где число неизвестных коэффициентов р + 1 = 7. Для оце-
ш вания неизвестных коэффициентов в уравнении (4.4 1)
воспользуемся дробным факторным планом, задаваемым
генерирующим соотношением х3 = хгх2’
-Ч Хг Xj
/—1 —1 1\ -*9i
- 1 1 0 = 1 —1 —1 I (4.4.2)
1 —1 1 —1 | -+У*
\ 1 1 1 / ~+У*
Число наблюдений No = 4 И No < - Р 4- - 1 — числа оце-
ниваемых параметров. Матрица независимых переменных
X, X, X < . Х,Х, XfX., XjX,
Информационная матрица Х'Х выр жденная, поскольку
она является матрицей порядка 7x7 и ее ранг равен 4.
Поэтому (см. п. 1.3.1) множество решений нормального
уравнения X'XfT«==X'Y будет бесконечным. Здесь 0 -»
“ Pi. 0s- 0 »• 0i •» 0t*.l* и Y •» (р(, Vt> УлУ • Л®’
помним, что если 0 * некоторое решение такого уравнения,
то М {0} 0, т. е. М. i 1\-сненка р является смещенной
137
Для г см ггрнмемого примера модель наблюдений уд(1Ь.
ЛеТВОряеТ у< -!• Н|< J '
И { Y} ХР; » {Y} u I н М)
и является м.одсл ю на*'1"’ " нпй неполного ранга вы
скольку rank X — Л'(( < р 4 1 Че?ь о - некввест nuft
jpa* ет Iv, — единичная матрица поря,, кд \0.
К ж было показано в гл 1, задача и< w ювания
наблюдений неполного ранга сводится к злите иеследпв».
ния модели наблюдений полного ранга вида (1.3.18k
0ШП показано, что, используя * ель нлбл ' ний .
наго ранга, можно получить несмещенные оценки для всех
; г \мр.Чг.к \ (*ун1 шй. дотекающих оценки Для
приведения .модели наблюдений неполного ранга (4.4.4)
к модели полного ранга и нахождения несмещенных МНК-
оценок линейных комбинаций параметров р0, рр ра, р8.
Р1я» Р1з» Рез воспользуемся следующим приемом.
Как видно из (4.4.2) и (4.4 3), в точках плана, в которых
выполняются наблюдения ylt yit у3, ул, имеют место сле-
дующие равенства:
х^ = х3 Vg, Xg== Xj Xjj Xg=?= x j Vo. (4 4 5)
Поэтому, используя (4 4.5), функцию отклика (4.4.1) в точ-
ках плана можно записать в виде
П = i (4-4-61
/-=о
где
ёп = Ре. ₽! = Р£ + Раз. Ра = Ра + р18,
Рз==₽3 + р18, (4 4 7)
а х0 = 1—фиктивная переменная. Фук» кия отклик*
(4.4.6) определена только п точка* плана, и ей соответст*
вует матрица независимых переменных
Модель наблюдений, соответствующая фумкпчм
(4 4 6) и матрице плана (4.4.2), >девлегиорлет
|см (1 3.18)1
138
И {V) X> >> (Y) о- |v> М 49)
м по . то ранга, так как rank X°^rankX«
e N* = * Матрица ,4.4 8) матрица , рюгонального
НДОШрОванйя и, следовательно, МНК-оценка вектора р =
= фо. 01. 02’ 0 зГ равна
К = (X Х”Г’Х Y = —I—X" Y
А о
ИЛИ
0/^V- v xUуи = V х}иуи, 1 = 0, 1,2,3.
u=l и=1
Таким образом, полуреплика 23-1, определяемая гене-
рирующим соотношением xs = xYx2, позволяет найти
несмещенные .МНК-оценки 015 02, 03, р4 соответственно
параметрических функций 0О, Pi + 023, 0а + 0is. 0з + 0ia-
Ниже приводится условная запись того, что {(Заявляются
несмещенными МНК-оценками этих параметрических функ-
ций:
00 ""00’ 01 “*" 01 + 023’
02—> 02 ~ 013- 0з—*" 0з 012* (4.4.10)
Среди полученных МНК-оценок лишь 0О является раздель-
ной (несмещенной) оценкой параметра 0в. Оценки {(' <}
(/ = 1, 2, 3) параметрических функций {р<} называют
иногда смешанными оценками линейных эф^ч кг.ч. и эф|и?к-
тпв взаимодействий. Заметим, что задача определения пара-
метрических .'унщий, допускающих оценку, можС1 быть
решена с применением формилы.. г<> подхода. Действитель-
но, запишем матрицу независимых переменных в виде
X - (Xе, X*).
Тогда r силу (1.3 19)
0 =- 0 А0*.
где F = фв (J- в фв, I),.
I* - Ф1а. |ji8. pt4)'; А — (X X X’ Поскольку
(4.4.3)1
го
/о о о\
А-Г ° 1 I
I ° 1 ° I
\J О О/
и, слелозательно,
Ро ~ Ро> Pi ~ Pi Ргэ^ Рг ~ Рг Piз Рз = Р и,
т. е получим систему параметрических функций 4.17!
допускающих оценку В следующем разделе изла! 1ется
способ нахождения параметрических функций, qon_
щих оценку, который позвопяет избежать вычисления мат-
рицы А и основан на применении определяющего к
та.
4.4.2. ОПРЕДЕЛЯЮЩИЙ КОНТРАСТ
Связь между линейными эффектами и эффектами
модействий можно задать с помощью определяют1 его конт-
раста. Иначе говоря, при использовании полу реплик 'п-
ределяющий контраст позволяет построить систе
но независимых параметрических функций, дот
несмещенное оценивание.
Определение 4.4. Определяющим к^ :
полуреплики типа 2*"1 назъс чают ее гснер о щя соотно
шение. умноженное насдаю ук> часть
Пусть полуреплика _ аадаея л гакряруюишм
кошением
*А=*| Х1 •• xt »
** г, rmF
где 1 < »! < i2 < ... <7 г м k — I; 2 т k — 1
нои в это геж ;
Поскольку иеремсшгая Д'л в опытах принимает значения
1 или 1, то определяющим контраст имеет вид
1 =л-.лч (4Л
140
Г:., >трг л теперь п rtf] , , рГПД , 08-1 за-.„Пз<-> к
генерирующим соотношением х, — jeprt Для этой поду
реплики определяющий контраст имеет вид
1 = Xi х2 хп.
У г< последов. ;> •]]< на ш зависимые переменные,
тучасм L: it patt'Hci i
Х1 '1 *2*8»
*г ‘.j x 2 xs = >1xs;
Xi~ '1 Х'г -л = *1 *2»
совпадающую c (4.4.5). Легко видеть, что существует сле-
дующее взаимное соответствие между системой парамет-
рических функций (4.4.7) и системой равенств (4.4.5):
Р1 4" ?23 *1 — *2 х&
Рг + Р1з 4=> x2 — *i *81
₽3 4" £12^*8 = *1*2-
Таким образом, зная систему равенств (4.4.5), можно уста-
новить, как смешаны между собой линейные эффекты и эф-
фекты взаимодействий при оценивании
Заметим, что |30, р12 |32, р3 образуют базис в 4-мерном
пространстве параметрических функций, допускающих
оценку. Поэтому параметрическая функция вида
з _
т|, = V аг рь
/=о
где ас аг, а2, а3— действительные коэффициенты, будет
параметрической функцией, допускающей оценку, причем
ее МНК-оценка равна х| У а,р,
/—в
Если полуреплии» 23-1 задается генерирующим соот-
ношением л 3 - — XjX,, то определяющим контрастом явля-
ется выражение
1 — XjXn.Xjt /4.4.12)
Система смешивания независимых переменных и взаимо-
действий согласно (4.4 1'2) имеет вид
— > । xt.
''AML Получены ЗЛИ ч .•!.;,<< > |Ц «8ЬН1 HMIJX ПЗр*-
метрических функций:
KJ
0* == Poi F* ~ Pi 02,; 0 ' 0 • ~ 01 . 4ft
i. e. p5->Po; pF->01“ 028*. Р‘~>01—Pi3l Л
P > —> 08 012* j
Каждая из двух приведенных выше полуреплик 23-’ f г
дельности не позволяет получить несмещенные (пазле
МНК-оценки параметров 0П 02, 03- Если в эксперинеЯ
используются последовательно обе полуреплики, то ье
смещенные МНК-оценки параметров^, 02, 03 могут быть
получены по формуле 0,- = 1/2 (0,+0/) (/ = 1, 2, 3).
Задача нахождения смешанных оценок или определе-
ния системы параметрических функций, допускающих не-
смещенное оценивание, для более общего случая, ко г и
£>3, решается аналогично рассмотренной. Покажем это
сначала на примере использования полу реплики 24-1 с ге-
нерирующим соотношением х4 — ххх2. Предположим, что
Л = 0о+ S 0i xi 4* 2 0OXi -Yi'r
*E S PijZ Xi Xj Xl 4" 0128-1 Л'1 XZ X3 r4- (4 4 .1 JI
l^f</ <2^4
Выясним, для каких параметрических функций можно по-
лучить несмещенные оценки. Запишем определяющий кон-
траст
1 = XjX2X4.
t4 4.14)
Для выражения (4.4.14) используется также символичес-
кая запись вида
1° •-= 124. (4 4 15.1
Умножив (4.4.14) последовательно на xt. xt II т л .
лучи и систему равенств, определяющую связь между перч-
енными и их взаимодействиями в точках плана для функ-
ции отклика (4.4.13):
1 “ Xj х2 х4; - х2 xt. хг = V, хд = л\ xt Xt Xt»
X* = x1x,1 XjX.^XjXgX^ Xj xa —.Xj X,x4; jk,x<“*»
Символически ее можно аапнсяты следующим
a S" Jn4* J "Hl 2—14; 3 - ISM;
4-12; 13 - 234; 23 —134; 84 — 129.
itt
С учетом (I I 16) I in (4.4.17) пол\чаем
Fo -* Ч* 0и«; К •* Pi + F> -> Р8 + IW, ft Ч*
Ч~ 012*4- 04 —* 04 “ 1'1 » 0Ь Р18 ~Г 02*4» 06 ~"*~Pt3 4” Р1М’
Р? “* 034 ' 012S- (4 4.18)
Здесь линейные эффекты и эффекты парных взаимодействий
оцениваются совместно Исключение составляет оценка
pF,. 1 ели, например, априори известно, что 0, ,<4 0, ю
р , будет несмещенной оценкей параметра 0П
Рассмотрим еще одну полуреплику 24-1, задаваемую
генерирующим соотношением >'4 = х1х2х3. Определяю-
щий контраст для нее имеет вид 1 = х^х^ или
Г = 1234. (4.4.19)
Параметрические функции, допускающие оценку, в соот-
ветствии с (4.4.19) задаются соотношениями
1° = 1234, 1 = 234, 2 = 134, 3 = 124,
4 = 123, 12 = 34, 13 = 24, 14 = 23. (4.4.20)
При использовании этой полуреплики в силу (4.4.2и) име-
ем
Ро —Ро + 01231'» Р1 Pl 0231"»
02 ~02 + 0131! Дз “* Рз + 0124»
Ра “*“ 04 + 0123» 06 ""* 012 “Ь 084»
06 01 3 4“ 024- 07 ”* 014 ’ 023- (4.4._1)
В отлич! е от полу реплики 24-1 с определяющим i 1 ; ) -
том (1.4.14) здесь линейные эффекты шениваются
н< с эффектами тройных взаимодействий. Отмети « еще раз
основные особенности применения пол' реплик от ПФЭ 2*
при оценивании параметров функции отклика вида 1 1 J.22).
число опытов <V0 — 2*"1 <С р + 1 2fc — числа не
извест ных параметров;
модель наблюдений является моде.и.ю неполн го ранга,
равного <V0;
матрица независимым переменю., х пр ни» леи ной модели
полного ранга является матрицей ортогонального планИ’
ров 1ния;
система параметрических функций, допускающих опен-
ь у, ы< л ет 6t тъ полу ч на и » гпе л« з i анис л определяющего
контраста (4.4.11).
из
443 ОБОБЩЕННЫЙ ОПРЕДЕЛЯЮШИП КОНТРАСТ
При оценивании napan'eipou функции отклика вида;
(4.2.22) наряду с полурепликами используются х/4 -репли-
ки, а также реплики более высокой дробно ги. Мг»д< ш цд(-,
людений в этом случае будут моделями наблюдений непол-
ного ранга, поскольку число опытов No 2 —ч <z р
-f-l=2* — числа неизвестных параметров в функции от-
клика (4.2.22), где 2. Система смешивания линейных
эффектов и эффектов взаимодействий между соб<>й полу-
чается значительно более сложной, чем при применении
полуреплик. Для нахождения системы смешивания строят-
ся обобщенные определяющие контрасты, поскольку д тя
задания (1/ф)-реплик (q 2) необходимо не менее двух ге-
нерирующих соотношений.
Рассмотрим построение обобщенного определяющего
контраста для четверть-реплики 26-2, задаваемой генерирую-
щими соотношениями х4 — хгх2 и хъ = х^Хд. Запишем
определяющие контрасты для этих соотношений
l-x^x^; 1=х1х2х3х^. (4.4/2)
Перемножением определяющих контрастов можно полу-
чить еще один определяющий контраст
1=х3х4хБ. (4.4.23)
Тогда с учетом (4.4.22), (4.4.23) обобщенный определяют й
контраст имеет вид
Х1 Х2 Х4 = Х3 Х4 ХЬ — Х1 Х2 А'з Хь-
(4.4.24)
Умножая обобщенный определяющий контраст последо-
вательно на хь х2, х3 и т. д., получаем следующую систе-
му смешивания независимых переменных и взаимодейст-
вий:
хг = х2х4 — х^х^ХцХ^ — х2х3хБ;
х2 = х^х4 = Х2х3х4х6 = XjXjX'h;
Х3 == XjX2X3X4 = Х4ХБ == XjXfXgj
Х4 = Х]Х2 == X :tXf, = Х-|ХеЛ jA'jJ
Xe = Х^Х^Х^Х^ == X<rV| -
XjXs = х2хчх* = xtx4x^ = А,',,;
А1ХЛ = Х2Х4ХБ =- XjX ..^ А,'., (4 4 .
Отсюда, а также с учетом (4 4.24) по «пзл» г ин с <4 1
и <4.4.18) можно записать несмещенные АШК опенки (|Ь)
для следующих параметрических функций:
144
Ро P'l 4~ Pl 4 4“ Pm Pl 35'
f l Г1 P Р1Я* I >
Pi + P2 P14 P. Mb 4* Pjw,
Рз “P 3 4 P12M 4“ p4b 4 P125?
P-i P4 P12 4" Ряь 4 Pimp, 11 т. Д. (4.4.26)
Совокупность несмещенных MHK-ou hoi {pj (/ 0,1.
7) пред тавляет собой ^овтестные оценки линейных
эффектов, эффектов парных, тройных в четверных в л-.'?••
действий. Те же результаты можно полечить, пользуясь
приведением модели наблюдений нспотного p<iHra к моде-
ли полного ранга. Схема построения приведенной • .•ли
аналогична рассмотренной в п.4.4.1, и поэтому мы <?е опус-
каем. Нетрудно проверить, что приведенная модель наблю-
дений полного ранга удовлетворяет условиям
М {Y} = ХСР; D {Y} = оЧе, (4.4.27)
где 1см. (4.3.6)]
I 1 _] _1 -1 1 1 1-11
/ 1 1 _] _1 _ I _ 1 1 1
1—1 i—1—i 1—1 1
уО_ 1 1 1—1 1 —1 —1 -1
- 1 _1 -1 1 1-1—1 1 ’
1 1—1 1—1 1—1-1
1 — 1 1 1—1—1 1 — 1
\ 1 1 1 1 1 1 1 1 /
Y—(1/ъ уг, .... у<У — вектор наблюдений; 0 (р.,. б,.. р,) .
причем в соответствии с (4.4 25)
Ро ~ Ро *4 Р124 p94f, 4 Р1235‘
Pl —Р1 4-Р24 + Р134Б Р
P7==Pn4-|W Рем ря. (4.4.28)
Следовать илю, в силу (4.4.27) (1.4 )
Piв -7 < — V\ 4- llt~ Va 4 Ул—Уь + У1 -I
— (— /6 4 №4- Уя' "i I ч ~ Уе~ Ут\- Уа)
Заметим, что матрица независимых перс *.и лиц ил X в модели
(4.4.27) совпадает с матрицей нравней мых nepi
(4.3.6), индуцированной ПФЭ 2“ и функцией отклика
(4.2.15).
В общем случае матрица независимых переменных а при-
веденной модели наблюдений полного ранга для 1/4-реплики
2к~: совпадает с матрицей незавш имых переменных, гост-
ветствующей ПФЭ 2f (г = k — 2) и функции отклика км.
(4.2.21)1
il = 0o+ S Mi + Z •••-+•! 12..-г 1У2 ->г
Построение обобщенного определяющего контраста для
реплик большей дробности производится так же, как и для
рассмотренной х/4-реплики. Так, например, для х/₽-р«п-
лики 2е-8. задаваемой генерирующими соотношения ш
х4 — Xi х2; хб = хгх3, хв = xr х2 xs, (4.4 29)
определяющими контрастами являются
1 = 1 = XjXgXg; 1 == х^х^.
Попарно перемножая их, получаем определяющие контрас-
ты
= x8xsx4x6;
1 = x3x4xb; 1
Перемножая первые три определяющих контраста, имеем
1 = хгх^х^хв.
Обобщенный определяющий контраст будет задаваться
выражением
1 = XiX^ = XiXgXz = XjXaX X, =
= XsXbXb - .v1x4xRxe. (4.4.30)
Выражение (4.4.30) определяет совокупность взаимодейн4
вий, значения которых в эксперимент совпадают < элемен-
тами первого стол61 а матрицы кезавнепмых переменных
В самом деле, пусть
D- (Xj, х2...х„) (4.4 31)
— матрица плана дробной реплики 2В“&, задаваемой гене-
рирующими соотношениям (4 4.2J)). Тогда из (4 4 30) £№
дует, что
146
х(1 '1 Х ' Х4 Х1 ® х» 8 Ж, - Xj ® Xj ® Х8 ® X, W
= х2 ® *в 8 ха ® хь = х# ® х4 ® хй Xj ® хв ® х, »
* *i 8 х. ® xfc $ xj (4.4.32)
г те х0 == (1, 1, 1J, 1, 1, 1, 1)', и наоборот, т. е. (4.4.30)
• (4.4.32). Здесь х,, первый < толбсп матрицы независи-
мых переменных, соответствующей плану (4.4.31) и \ нидии
отклика
'I — Ро ,.S „ PiJ xi X} “b ••• “I" P123458 X1X2T8X4X6 Xe.
4.4.4. РАЗРЕШАЮЩАЯ СПОСОБНОСТЬ И ВЫБОР
ДРОБНЫХ РЕПЛИК
Проблема выбора дробных реплик является одной из ос-
новных при планировании факторных экспериментов Ос-
тановимся лишь на некоторых наиболее существенных ее
аспектах.
Предположим, что заданы семейство Qfe 9 дробных реп-
лик 2k-v и функция отклика известного вида. Возможны
следующие ситуации: в Qfti 9 существует дробная реплика,
позволяющая получить раздельные МНК-оценкк для всех
неизвестных коэффициентов функции отклика; в не
существует такой дробной реплики.
Рассмотрим первую из них. Очевидно, для этой ситуа-
ции задача выбора дробной реплики состоит прежле всего
в нахождении такой дробной реплики типа 2*~*. которая
позволила бы получить нссм< щенные МНК-оценкп для всех
неизвестных параметров функции отклика.
Пример 4.3. Пусть яяданы семейство дробных реплик
2л-а и функция отклика вида
Т] = Г'1 *1 *’•.' Р11Л1» ’1 '1 1« **•
где параметры Pi, ра. Ри.-р. неизвестны Необходимо выбрать ’ «
реплику для получения посмешенных оценок этих параметров.
Рассмотрим 1/4-рег.'лику, "адавасмую темернртюшимн гпогноииа
ни [и xt xtx: и хъ - *1ХЭ. Определяющие К !U М*
соотношений имеют вид
1= Xtx. xt. 1 >- Ч Лл *»•
Перемножив определяющие ккшрасты, получим
1 — »» •», х. »».
и, следовательно, обобщенным ооредвлнлшмя контрастом будет
ыыраженне
> И»1 Ц *4
147
Умножив его ня г, находим что
Д1 «1 I , = Д3 < - Ч X 1, I. г,,
т. е. несмещенная оценке Г-, cyiueviByei лишь д.пч линейной комлц]
нации параметров Pt + Ра. + ₽зь + Pif31R идя р( -> р, р к i
4- Ре» + Рим»-
Таким образом, испод t. у я эту реплику, нельм получнп
дельных оттенок параметр >в р( и р(1 >Jt.
Рассмотрим теперь 1 .-реплику i;ina_2 ~3 с гвме|ирующимт- ।
отношениями xt — xixa и — А*»* а- Этой дробной реплн)
ттветсгвует [см (4.4.24)] обобщенный определяющий контраст
1 ajq х.у х4 = х-, х =-д j v х <*.
Согласно (4.4.26)
Р1 -► ₽1 + 1'24 +Р184Ь < Р.".;
Р. —* Рг +Р14 +PiM5 Г I та»’.
Pj -* Рт +- '’13 + Рз5 + Р12Й45 •
Так как р2д — Р1345 — Р235 — Pl j — Рззав — Piss — Рт — Pi =
— р„ =- о, то дробная реплика для параметров Ръ Р2, PiI3, поз-
воляет получить несмещенные МНК-оценки. Построим ее матрицу
плана и определим Д1НК оценки параметров Рх, Р2, Р12345. Л1а рн
ца плана
то иесчещенные МНК-> иенкн плрг1метрог р4, Рг Р|»«»
"л' 1
м I—!Z| i Р» — !/•,-[ 4/1 — V* ]- — "»’1
О
14*
Н» -<-'/1-<Л -| »г, I v,-Мн—г | (/.)j
I
f'nair. y <*/i Vi— Ул А-’1 -bjh — |/в — V?
Более сложной является сптулп.ня, когда при ксиоль
зованпи дробных реплик нель i получить раздельных «-пе-
нок для всех параметров. Несмещенные оценки в этом слу-
чае могут существовать лишь для некоторых параметрон
функции отклика. Каждой дробной рептике соот гвует
вполне определенно! система параметрит ких d пшпй
допускающих несмещенное оценивание Поэтому выбор
дробной реплики должен происходить с учетом требований,
предъявляемых исследователем к системе смешивания «|це-
нок.
Пример 4.4. Пусть заданы семейство полур плик 24"1 м функ-
ция отклика вида
П=Ри + У, Pi-«-4- У
Исследователю необходимо выбрать дробную реплику "пя нем цен
кого оценивания параметров 0Ь р2, Рз. Р< Здесь число я бл
меньше числа неизвестных параметров. Поэтому i ссм___нныс -
ки можно получить лишь для некоторых параметров Чгкс н теп
что полуреплика 24-1 с генериру »щнм с ютг; 1 ч м х —
позволяет опред- лить несмещенные МНК и р р.
Р2, Рз» Р4. Действительно, опрепаляющ1й контраст н- • ид
1 =*1 ,га ха х4.
Отсюда
х1=х,х3х4; х: =.^х-х4; xa^x]x^xi
и, п°довательно,
К^Ра+Риа! Р7^₽.-+Р.зр К-^Ря+tSj.:
Ио i -юьку Р = Pj Pi-.^f '. -
МН К-оценкой Pi (i 1, 2, }, И W-им -го ( >пурсп1мкг 2* ‘
< периру МВИМИ С«з >ТНО| IH I : . «.
Х,ЛСЯ, х4 xtx, Hf ПОЗНОЛЯЮ1 НйГиИ |'*1 !СЛЬНЫ* (Нч-СМеИСМНЫХ)
оценок параметрон р(1 р . Р1( Р«.
Как видно ! р ........... ii'p.i, icИ'пяп'.н»
должен сам установить, нгемгщеиные оценки каких именно
Пирес-егрНЧ! . I I ,||!.||НИ <ч 1 ИН П‘Р'> . к>1 •• t<illyCK3Cf ДН
И( 1кп|,«I>р г- р. с ни. । > • >t । - че" । •
к их i?nen< 11ли(.......... • к«'ГДЖ
апршфнпч иц<р(ц,.,,,ц।.ini I,- Iahisiich тнк.чнкл яртчеки
н* 1 их выбор регулярных
дробных реплик (в частности. полуреплнк) обычно происко.
т • I фешающей ик . обн<> ти.
Опр«Д< ieние 4.5. Разрешающей способысатью лодм.
реплики называют число элементов (независимых н
пых), входящих ч онрю'ь »*?/<.? .••, контраст.
Рассмотрим примеры полуреп ihk с рл ьчнчной р . р<
ЩСЙ СПОСЛбШЧ TI Ю.
Г1< лур( пт кн 24“1 < определяющими контрастами
1 Xj X A4j 1 —-Aj ^2'4
имеют разрешающую способность, равную трем. Полуреп.
лики такого вида записывают как 2fii1.
Полуреплики 24-1 с определяющими контрастами
1 = хх х8 х4; 1 = —Xj х2 xi
также будут полу репликами типа 24п *.
Примером полуреплик 24-1 с разрешающей способно-
стью IV являются полуреплики с определяющими контрас-
тами
1 Xj Хч Xg X4, 1 —— Xj X2 Xg X4.
Эти полуреплики называют главными в классе по чу реплик
типа24“’ и записываются как 2? v 1
В общем случае главными полу репликами в классе по-
чуреплик 2fe-1 считают реплики с определяющими контрас-
тами
1 — хг х2... xk, 1 —х, хг... xh.
В опытах наличие связи между всеми факторами менее ве-
роятно чем между какими-то их кол бинаннями. Поэтому
часп при отсутствии априорной информации о величине
Центов взаимодействий считают, что чем выше п п "<
. ; ' КТЛ 1 С1Р ‘ ТГ I, м м он Mcl ЛЧП ПО с{ 1Г” I '
с другими эффектами, тем с б< ей уведонш\тью им м<
пренебречь. Говорят, что главные полу реплики обладают
наибольшей pfupri ающей спо< обносу! по отв к
линейным ктам. понимая п । rnw ГО» что Л”пеймь,с
|ффЕКГЫ ГМ1 1Кы с чф^еь.'ами взаимодействий наиб»
DUCOKHX порядков. ..
I I'« С11 11 \ М Ц и Я < Т1< Л Р г . • '.ИЯ f \ ПМ111РЙ blt’I.H-i -•
I ”
фектог Вг»анмодействий оггучствук’! ТОГА* Д/’я глаьпое
независимые переменные <(, xt, Vj, Тд в точках плана рав-
ны взаимодействиям третьего порядка, т. е.
Pi -* Pi Ч^Рамз*. 1^а -*• |Ч + 08 4- р1х<А;
14 Р< Р123Л'< р . “* Рб ' Р1234-
Если э |)фекты взаимодейс гвий третьего порядка равны нулю
Т- е. p234j “ Р1345 “ Р1.Ч - ~ Р12ГТ, Р1234 == О, ТО Ру буДвТ
несмещенной МНК-оценкой Р/(/ = 1, 5). Праю ически cue i-
ку р/ считают несмещенной, если эффекты взаимодействий
третьего порядка незначимо отличны от нуля.
При использовании полуреплики 2*п’ определяющим
контрастом 1 = х1х2х-о некоторые линейные эффекты оце-
ниваются совместное эффектами парных взаимодейсты,
а именно:
Следовательно, эта полуреплика не позволяет получить
раздельных МНК-оценок парам тров р15 Р_. ;»5 при ото ттст-
вии эффектов взаимодействий третьего поряд га. Иной а
может оказаться целесообразным применение пол\репл1 к
с меньшей по сравнению о главными полу репликами раз-
решающей способностью.
Пример 4.5. Пусть априори известно, что Функ ля "ака
имеет вид
Необходимо выбрать полуреплику типа "л 'Т ’всме
Шеиных оценок рфектов п рных взаимод
При использовании полуреплики с определяющим конт-
растом 1 = х1х4х8х1 для оценки эффектов парных взаимодействий
имеем [см. (4.4.21)]
К -FlaH fW. К *Pt. I- • - 4А1-
Определить разделы• .ненки кт ' и: .•< ь ”и молейстиай с
ее п )мотьо не чь m । . । • ।• ।». 1 ' 1 ’ •''о ' -nt
с определяющим конгр^стом t = х. *°*Г подузить <м
м 1енны« цепки параметров р|t. рц 0 и >скольк>
<* соигветствии (4.4.1#)
14 * 14 4-.4i4i +
В» 4*f4*4i R ** Рм •FPimJ S7-fc.’H4n
Примеыеня< пл-ки/ ’ ч| тртемом примере, очеьид
но, арндлочгнтельнее. чем полурепликс
Таким образом, выбор дробных реплик зависит от ха.
ракгера pei шемой задачи и априорных сведений о вид»
функции отклика Схема выбора регулярных реплик Гюль-
шей дробности аналогична вышеприведенной. Приеереа.
лизации используется понятие разрешающей способности
для реплик произвольной дробности.
Определение 4.6. Пусть v2,..., vt — числа эдемеп.
тов определяющих контрастов, входящих в обобщенный оп-
реде чяющий контраст дробной реплики 2k~e/. Тогда разве-
тающей способностью этой реплики называют величину
v = min {dj, v2,..., Vi}.
Так (см. пример 4.3), дробная реплика 26-2 с обобщен-
ным определяющим контрастом
1 = х2 х4 = хЛ х3 хъ = х2 х3 хЛ хб
имеет разрешающую способность, равную трем, и записы-
вается в виде 2шг. В самом деле, входящие в обобщенный
определяющий контраст определяющие контрасты 1 —
== 1X2X4 1 1 = х2х3х4х6 содержат соответственно
3, 3 и 4 элемента, т. е. и=3.
4.5. АНАЛИЗ ФАКТОРНЫХ ЭКСПЕРИМЕНТОВ
4.5.1. СВОЙСТВА ФАКТОРНЫХ ЭКСПЕРИМЕНТОВ
Пусть функция отклика [см. (4.2.21)]
W.-: 2 ।
S fWt* ' л
Запишем ее в общем виде в предположении, что некоторые
взаимодействия могут отсутствовать:
П ’/(xi. х,....xh- рр. .....|1Г). (4.5.2)
Функция отклика линейна по параметрам, при з»Т'‘М
~ 1, где 2* — числе» пси н ci тных параметров а УР®®*
(4.3.1). Пусть D — (Xjj (t «ж 1,2..........*; « —
=1,2, . Л ) — матрица полного или дробного фечкторн^
го плана, а X = (xbj i, . о 1, . д» и - 1, 2. .. N)
ответствующая ей и функции отклика (4.5.2) матрица неза*
!Ь2
ВНСИМЫ.Х переменных. Сформулируем основные гм
факторных планов, когда г X if,
два случая.
1. Ранг матрицы X равен г ~ р + 1, т. е. модель н»бля>
дений является "Делыо годного ранга. Из условия
rank X р т Is* r^N Согласно (4 2 26)- (4.2.27) ц
(4.3 ’0)—(4.3.22) матрица независимых переменных t бла.
дает следующими свойствами:
V s 0» / = ь 2» р. (4.5.3)
и — 1
У xju = N, j=Q, 1, р; (4.5.4)
ы = 1
У, Xju х iu 0, i,j = 0, 1,..., р‘, (4.о.о)
Ы=1
Поскольку планирование является ортогональным, то ма-
трица (Х'Х)-1 диагональна и ее диагональные элементы
Cj} = 1/А’ (/ = О, 1....р). Поэтому [см. (4.2.29), (4.2.30)1
1 — 1
= — X/ Y — У XJU уи, / = 0, 1, , р;
/V /V
u= 1
D {PJ = о2 /V, / = 0, 1, . ., р;
cov {₽i5 р;} = О, г, j О, 1, . .. р; i #= /.
где {xj} (j = 0, 1, ..., р) — столбцы матрицы X; Y =
— Q/i» У2 •••> У^У — вектор наблюдений.
2. Ранг матрицы X равен г в г •< р 1. г е модель
наблюдений является моделью п< полного ранга В этом слу-
чае модель неполного ранга приводится к модели наблюде-
нии полного ранга, удовлетворяю! iicti усдлвиям|сх» <1 3.18)1
Л4 {Y} X р; D {Y} о I,
г Хг (х,и) (j О, 1, г 1 и «• 1. 2. . '
матрица раны г,
р р др*, (4.5.7)
Р = (Рп рь .. , Рг-])’ — векюр ппрлметрическнх функ-
ций, А = (Х-'ХТ^^Х*. Р Г1
== <р,. pr4i, ., р,.)' ! цч ь 11|»глно.т;н и п я. что ЯИНейИП
независимыми и мвТрмж* \ япляюпн первые г г сттыбнов,
и. следовательно, она предгтионми и виде ОламдеЛ магрн*
“Ы i М (! 3 8)1
X X X*). „ Ч|
Заметим ЧТО слагаемые в функции отклика (4.5.2) всегда
можно переставить так. чтобы условие (4.5 8) еыш
лось.
Таким сбраэом применение факторных планов позволя-
, г 1 учить HCXM4JL, Bin :с Л НК оценки для параметр! чс
ких функций
_ а-4 ; — •
V аЛр/+г_п / = 0, 1,.... г— 1, (4.5.9)
!=1
где aji — элемент матрицы А
Матрица Х° обладает свойствами. аналогичными (4.5 3)—
(4.5.5),
V х,ы = 0, /= I, 2, ...,r—1; (4.5.16)
Ы = ]
V^ = A', / = 0, 1,..., г— 1; (4.5.11)
и-=1
N
2x>ux/u=0’ *,/ = 0,1.......г—1; /=54=/. (4.5.12;
г =1
Поэтому в указанном выше смысле полные или дробные фу-
торные планы для оценивания функций (4.5.9) являются
ортогональными. Воспользовавшись соотношением
(Х^Х0)"1 = 1Г/М, (4.5.13)
получим, что МНК-оценка параметрической функции |
равна
о 1 А
fe = — 2 / 0. I....г-1. 0 5.141
«—I
В соответствии с (4.5.13k (1 3.21) находим, что коварен"*
онная матрица вектора р раена
D {?>} = o’ zX 'Xj-1 (o’ Л il < ’ ' 1 5)
или
/> {р,} - а-. Л ,
rnv 1Ъ) -()//= (1 , - I. । /
т С. опенки !1Ярг.М1 1 рц-н , J, их fn.lt.1Й »Ч
имеет одинаковую дв< м ю.
1М
За.учаниг Свойство факторных эксперимента сохрлжпсгея
и дл« сл)'<<а’*. мотал фунвимв uik^ihbs (4.5.2) ар»дсгавлмг гобой по
липом конечной сюлеми.
4 5.2. ФАКТОРНЫЕ ЭКСПЕРИМЕНТЫ С ПОВТОРНЫМИ
НАБЛЮДЕНИЯМИ
Пусть имеется функция отклика (4.5.2) от k переменных
и задан план g (N): хь х2, .... хп; тх т,.тп; /п, = Л.
где nii = т — число наблюдений в точке плана х( (/ =
1, 2, .... и) Обозначим через {ylt} ($ = 1, 2 .... tn') на*
блюдения в точке Х|. Иначе говоря, наблюдения {//ь} (/ =
= 1, 2, .... n; s — I, 2, .... т) являются повторными крат-
ности т.
Матрица плана D = (xiu) (i = 1. 2, ... /; и — 1 ?. ...
А’) может быть представлена в виде блочной матрицы
(4.5.16)
где Di — D2 == ... = D,n = D*. Здесь D* — матрица по-
рядка п х k, имеющая п различных строк я (/ = 1,
2, .. п).
Определение 4.7. План ; (N) намнем полным
{или дробным) факторны i п юном типа 2* {и и 'г~ )
торными наблюдениями кратности т, если »'u . . D*
ъется матрицей полного (или дробного) факторного л ю-
ни типа 2* (или 2;i^ i).
Поясним определение примером
Пример 4.6 Пусть 1] = Г« +f\ -|~Pi х звяа ’ля
4
xt. *t« Ж«. <«; Wf, mt, /74, т., т<«*8, <д* т«“2 ....4
—1)3 к. = (1, — 1)' «.,-0-1,1. ъ
Очевидно, чти матрмца лллиэ 1см (4.5 >6))
9.
— матрица плана ПС 2 Си квательно план £ (8) представляет
по"; i.:ii |ю , ный t лай i повторными наблюдениями кратко-
сти 2
Матрица «зависимых переменных
будет матрице!’ тональной, планирования
бшем случае легко убедиться, что при использовании
полных или дробных факторных планов 2* или 2*—fl свой
< ин i4.5.3)—(4.5.5), также свойства (4,5.10), (4.5.11) мв*
ч И __""'симых переменных сохраняются.
Есм X =- (х?,) (/ = ),!...р. /==1,2....... п) — ИГ
трина независимых переменных, соответствующая функцш
г- (4.5.2) и матриц» плана D* то из орто гона
.пирования н в силу (2.2.28) следует, чт> • МНК n.i ;
вектора £ равна
Э-* <Х X)-1X'Y = (1 /;)ХЛ (4 5 1")
где V = j уу. у( = 2 V 'У*; = Ь 2 ••
Более подробно (4.5.17) можно записать в виде
£•= - 2, -.с. 1.
>«в
Оценки 3n-
» o*<N
f fk Hopp. причем [) (PJ
Вол.)?ища'К’ь к прим, py 4.G hucvm
— 1 -1\
1 — 1 V
—i 1 I'
1 V
1
’ ~ 1 ii -гУ.'Р» f =
Отсюда |см. (4.5.18)]
~ 1 vi _ 1 _____
11 ~ 4 ' • Pi— 4 '—
i
Р»— —Ух—Щ Нл-blfa)-
4.5.3 НАСЫЩЕННОЕ И НЕНАСЫЩЕННОЕ ПЛАНИРОВАНИЕ
(Io-прежнему будем '-читать, что функция отклика
имеет вид (4.5.2). Введем понятия насыщенного и иенасы
щечного планирования для полных и дробных J i m рных
экспериментов.
Определение 4.8. Пусть ранг г матрацы X ро*
вен числу неизвестных параметров р + 1 н уравнении (4.5.2)
Та.ijti факторный пшн £ (N) наюпп> • ели г ~
= N, и ненасыщенным, если г <Z N.
Из ненасыщенн сти следует, что ПФЭ или ДФЭ обла-
дает избыточностью опытов [291
А - N - (р + 1).
необходимых для нахождения несмещенных МНК-оиеиок
параметров р0, &..|> Ниже приводятся примеры и
щенного к ненасыщенного планирования.
Пример 4.7. Пусть n в Р» + 14*1 + Pt*» + "
зуетси ПФЭ 22. Планирование будет насыщенным, поскольку рл*г
г матрицы независимых переменно* X [< м (♦ 2 II )| равен чиыу не-
известных параметров р 4- 1 и числу наблюдеини V. где Л' ₽ р 8
Пример 4.8. Ишотм п « ₽„ + Iho + 0i*s * задан* млтриоа
алана ПФЭ 2»
Иланириванве является ненасыщенным, 1ям как ран’ матрниы
1&7
I
г =. P + 1 - 3 и N ® 4.
Определение справедливо для моделей наблюдении П(,л
ноге ранга, т. е. когда rank X = г = р 1 Пусть теперь
модель наблюдений является моделью неполного ранга*
т. е. rank X < р + 1 или r< р : 1. В этом случа
щениые МНК-оценки можно получить_для_ линейно неза-
висимых параметрических функции 02, ..., 0, Ь1 3
(4.5.9).
Определение 4.9. Пусть ранг г матрицы X мены
те числа неизвестных параметров р + 1 Тогда факторный
план £ (N) назовем насыщенным в смыслу неемти иного оце-
нивания параметрических функций р2> •••» Рм если г —
= N, и ненасыщенным, если г <Z N.
Рассмотрим примеры.
Пример 4.9. Функция отклика
т]—Ро -J- Pi ^i + Рг *г + Р11 4"Р?2 х1-
Задана матрица плана ПФЭ типа 2е. Матрицей независимых ' ре* н-
ных для этой функции отклика является матрица
Хо *) К, • 1
/1 _1 — j 1 I \
Х-1 1 1—1111
Л“1 1—1 1111
\1 1 111/
ранг которой г ® 3. Здесь г < N — 4 и планирование т ।
сыщенным согласно определению 4.9, хотя число набиюдем^
W < Р 4- 1, где число неизвестных парвмегр<1 р 4- I — Н»
сыщенность планирования означает, что несмещенные гнои».
гут быть получены для трех линейно независимых параметр и-
функций при числе наблюдений 4. Избыт ’Ль
А — N — г = 1.
Действительно, из равенства, справедливого и в (очках ана.
1 = х / г’
вытекает, что несмещенные оиенк! и -
функции
Зи-М Ри I Рп. Th=Pt. "k-pf
Белее формально =,т г результат ..т-и-, и, н 7) '
158
A
1
1
Л — ("X0 X x*= p о .
\0 0/
Имея в виду, что | = (Р >. Pi. Ра)'. Р* = (Pit. Р88)', и испотмуя
(1 5 7), "случаем снова (4.5.19). МНК-оценки при этом равны (см.
(4.5J4)J
о 1 о 1 о 1
Рр = Г 2 У и* Pi = Г 91 + Уз — Уб + ВлУ, Р» в 7 (— W —
’ и=>1
— У? + Уз + Уд-
Пример 4.10. Функция отклика
>| = Р. 4"Pl Х1 4"Р» Х2 4“ Р12 Х1 Х2 4“Р11 х1 4* Рй2 Xl 4-P1S. Х1 Х*
и задан ПФЭ 23. Ранг матрицы
(1-1—1 Ill —1\
j 1 _1 _ 1 1 1 И
1-1 1 —1 1 1 —I I
1 1 1 111 1/
равен числу наблюдений N = 4. Поэтому планирование является
насыщенным. Из условий
1 = Х\ — Х% , Xf — XfXl
сразу получаем, что несмещенные оценки существуют для парамет*
рических функций
Fo = Ро 4- Pif 4- Р2а; Pi = Pi + Pla8;dPt « Р8| Ь = Р18.
Аналогично вводятся понятия насыщенного и ненасы-
щенного планирования для факторных экспериментов и пов
торными наблюдениями кратности т.
Определение 4.10. Факторный план £ (N) по*
торными наб падениями кратности т наза° м насыщенным
если г — п, и ненасыщенным , если г <Z п, где п — чи, то-
чек спектре плана, г — ранг матрицы независимых п.
мент lx X, N = пт.
Здесь понятие насыщенного и ненасыщенного планиро-
вания для моделей наблюдений полного и неполного ран-
гов является единым.
4 54 ПРОПГ.РКА ГИПОТ1 Ы 4 IF КВ ЛТНОСТИ
Гф ' 14 lit ' , HI .1 I»' М<41 . <Г'.*|'Ч|О1 Г>1П<».
’’ тошную р |ом ч । чч.нн wi.ie’п. вида (4 5 2)-
цт4мк наблю-
1MI
деянямн кратности т и вил модели неизвестен, то гипотез*
может состоять а ГОМ, что адекватна модель
п = р; 4- р’ xt + р; да ь р, х3 4- р;. >•, хг.
Рассмотрим факторный эксперимент с кратными повтор,
яыми наблюдениями {г/ц} (/ = 1,2, n; s — 1,2, ,nj
Проверим гипотезу Но о том, что адекватна модель вида
₽.
Т1 V // (Х1, х2, .... vfe) Р/, (4.5.20)
J-='J
где {ft ( • )} — известные функции; {р,} — неизвестные
параметры.
Функции отклика (4.5.20) и матрице D = (х1и) (/ =
= 1,2, ...» k\ и == 1, 2, .... TV; /V = mri) полного или
дробного факторного плана соответствует матрица незави-
симых переменных Х° = (х/ы) (/ = 0, 1, ..., р0; и = 1,
2, .... /V). Предполагается, что столбцы матрицы Х° удов-
летворяют условиям (4.5.3)—(4.5.5) или (4.5.10)—(4.5 12).
Будем считать, что наблюдения {yls} являются нормаль-
ными и некоррелированными, причем
D {Y} = о2Ь,
где 77 ^21> ^2а* *** ^2т* •••* •••
•••♦ У пт} — вектор наблюдений; о2 — неизвестный пара-
метр.
Гипотеза /То состоит в том, что М {Y} = Х°рс, аль-
тернатива Hf. М {Y} =/= Х°р°, где pe = (pg, р(, ppJ'
Для проверки гипотезы Но необходимо определить отно-
ение s2 s2 (см. (3.1,49)]. Величина s® представляет со-
бой несмещенную ©пенку о2 и согласно 3.1.37) i (3.1 35)
равна
= ^(Y'Y- VV-^Y),
г- = г/8, ^п)*; ^I=_. J. У yi (/= 1. 2, ..., п). 1ак
(3.1.40)1
V-1 = ml, (4 j.21)
у) (4.5.-'2)
как
то
«ли
•G0
Опенка s* дисперсно аг, связанная с неадекватностью
модели равна 1см (3.1 17)1
s = Qi/(n — г),
Г— pain МП! рин. i X Велич.. . I и. 12)1 Q. =
_ у V-1Y — p 'V'V-' Y или с > чс i • । 5.21)
Q7 = mY'Y — z/ф'X 'Y (4.5.24)
где p _ МНК-оценка вектора (Г Х° — (хц (I =* 1,..., П;
I = |),1, . р0} — матрица, состоящая из ч различных
строк матрицы Х°.
Пусть rank X'J = г = р0 -f- 1. Тогда rank XJ = р0 4- 1
и в соответствии • (2.2.28) МНК-оценка
'Р3 = (X X•)-1Xo,Y = (X"X°)-iXc,Y
В силу ортогональности планирования р° = (l/n)Xe* Y.
Поэтому [см. (4.5.24)1
Qx-mY'Y-WIlf |2
(4.5.25)
или
Л , А J
Qi = m 2 IJ?-N V р,) , (4.5.26*1
(=1 =
п
где К/ = 4 Z х'^ U = °’ 1 - РУ
i=i
Гипотеза /70 отклоняется еали ?м. (4.5.23), 4.5.26)1
W г = р0 + 1.
В матричной записи гипотеза //„ отклоняется если 1см.
(4.5.22), (4 5.27)1
1 V— н» (zhy' Y— ||р И2)
(П —г I (V ¥ - ?iY ’ Y
Проверка гнп«»тсзи ачсиинн к гп модели <«о«м4*т>м ЛИШЬ
при ненасып1епн<)м naaiiiipon.niiin. т е. когда ыик X
—' г «С zz — числа различных и<чск lOi oi *
б >мц 1013 J6)
v... 14.5.28)
Пример 4.11. Проверить с уровнем значимости О «= 005
WOW3V На СИ -лекилтн.чги Медели Ч - 4 , Ч + Р.<в иГи s
вин, Ч1Р Задана мзгряда алана
о повторными Н£б.тк>деии"ми 't/г*} (Z = l,2, 3,4; $ = 1,2).
- 1 /- - X
Очевидн< что У'. = — (у 11+У 1г); п = 4; т=--2; =8.
Гипотеза Но состоит в том что М {Y} = X°peB где
0° = (₽?.₽?, ₽£)'; гапкХ°=3;
7£=1(й1» У1г* Уъ1> Угг» Уз1» У32» Ун» Уьг)'*
Легко видеть, что
при этом
I 4 ]
₽0e“T“ S УГ> Р; =~г(— У1 i-7e— Уз~ Ул);
/>1 4
У1— Уз + Уз-\ Уд-
Гипотеза Н отклоняете . если
8( 2 yi-* 2
\=1 /«о
—---------------------------.о r
4 2 1 ' 0,96. • И»
2 2 - - 2 •'/
• — 1 * » 1 •’ — I
Где Г0.0в; 1.4 = 7-71 <’-м- 13))
16.'
Заметим, что при отсутствии повторных наблюдений и яеяасв-
щенном п.цнирнваииц проверка гипотезы адекватности аоаможм
о том случае, если имеются допотнительные наблюдения для иахож.
деиия несмещенной оценки дисперсии наблюдений аа В частность
>то могут быть набллтдення в центре п тана, когда свойство ортого-
нальности планирования сохраняется.
ГЛАВА 5
ЛИНЕЙНЫЕ ПЛАНЫ
6.1. ВВОДНЫЕ ЗАМЕЧАНИЯ
5.1.1. ОПРЕДЕЛЕНИЯ
Предположим, что функция отклика представляет собой
полином первой степени от k переменных хп хя, .... хк
П = Ро + Mi + ... + РйХл.
(5.1.1)
Определение 5.1. План, которому соответству-
ет функция отклика (5.1.1) и который позволяет получить
несмещенные (раздельные) МНК-оценки ее неизвестных па-
раметров ро, plt ..., Pft, назовем линейным.
Если
(«и г21 ... \
«12 «22 ••• «fea I /5.1.2)
X1N X2N - • xkX/
— матрица линейного плана, то матрица независимых пе-
ременных для этого планл имеет вид
х =
<«31 «и Х>11
х„„ «12 • • • XKt
• • • • • • « 1 •
\Х0Н «1 V • « • х *
(5.1.3)
где хои = 1 («= 1,2, ..., N)
Определение 5.2. план назовем линей-
ным ортогональным планом если чт^лб ы матрицы X по-
парно ортогональны:
2 xluxlu = O, I, I -О. 1.....*; I* I-
U «3> I
Для линейного ортогоплльног г;' !И'> Het П *< •*. при-
чем выполняется условие и.м\’« гр
V . „ - и ; -i.
u=l
(5.1 <ц
Опрсделе и п е 5.3. Линейный п юн нажеем насы,-
щенны.ч см i ni!: X — ! 1 ~ Лг ч н 1 иценным ес-
ли rank X — к И 1 <г л
Линейные планы широко исп< льзуюгся в эксперимен-
тальных исследованиях, где эффекты взаимодействий факто-
ров незначимы или вообще отсутствуют. Важную роль ли-
нейные планы играют в задачах поиска экстремума функции
отклика (см гл. 6). В этой главе в качестве примеря будет
рассмотрено применение линейных планов в задаче о взве-
шивании предметов.
5.1.2. ВЛИЯНИЕ ВЫБОРА МАТРИЦЫ ПЛАНА
НА ДИСПЕРСИЮ МНК-ОЦЕНОК
Пусть Ру — МНК оценки параметров Ру (/ = 0, 1, ...» 6)
функции отклика (5.1.1), получаемые при использовании
татрицы линейного плана D (5.1 2) и матрицы независимых
переменных X вида (5.1.3), где rank X = k + 1.
Рассмотрю на следующих примерах, как влияет выбор
матрицы плана D вида (5.1.2) на дисперсию D {Ру} МНК-
оценок Ру.
Пример 5.1. Функция отклика имеет вид rj = -Ь Pi*i + р2х8
Сравним два2?лача । о) и с? (7V) лиц- г D, D Маг-
риаа плана Dj и соответ гвующая ей матрица Xi имеют вид
Поскольку (t//V)2T— Nt где N = 6, и план является линей <им
I
ортогональным, дисперсия МН К оценок (см (2.2.6)1 одрэметроя
Пи, Р|, ф. рампа
("В'”) - п' /• О, 1. >
на плана Db. и матрица незапиенмых п
1И
Согласно плану ft'(V) е точках (—1, — 1), fl, — 1), ( —1, h проводится
по два наблюдения. Общее число наблюдение N « б, пре -
2(*/'8’)а==6 (/= 0,1,2). Легки показать что в Э1..м с уч ковари-
!1=1
аци. i-таг матрица вектора цепок 0G) вектора 0, Р1 | у s,„
/2. J. J_\
/ 4 8 8 \
D®2)}=(cov{£<2>,m })«о»| -L ± 2- |
I о V о / •
\ 1 1 /
\ а 4 /
где р(2) = (0<i ,0(2 , 0(2.)' Отсюда
D {0/2 } = о 4, / = 0, 1, 2.
Таким образом, хотя число наблюдений для планов ?. (\ и
£2 (N) одинаково и выполняется условие
N
2 (*/Г)2= S (4D2= v, /=о, i,
а=>1 «=1
однако дисперсии МНК-оценок D { 0/ } и D {0/‘
ны, причем D {0/1 ’} < D {0 }.
Следует отметить, что план а (N) в отлич» . от .. (\)
является неортогональньгл По тс " си i {, }
Пример 5.2. Функция отклтка чм •. т »ид т. - 0 0,^, -г
4- 02*2 4- 0эх8- Сравним два плана с и«накэ1'ыч <лсл '<< И9б*»юve-
ний N = 4. Воспочьзуемся снач :ла п( >м (\ i ого
матрица независимых пер менных
(! _1 _| _ 1\
1 1 —1 —1 | ।
1 —1 1 —11- Г. }•
I 1—1 1/
Нетрудно проверить, чю ;я гп план*
D {0 ? } = и ; D 1 1
Линейный план (Л) яаллмсл нгор нм ••н -шн ч •-
В качеств альтернативы рассм.прлы дни.
план (Д; для КЛ-.рОГо
—1 -I 1\
*! "I । — i i -1 I )
V 1 1 7
ОЦМДОО' WO дисперсия МНК-оцсиок плраметрав L£j) Cf = 1.2, SI
pauas
D [£/* } = <A*. /-0,1, 2. 3
N N
Здесь, таи же квк и в примере 5.1, X (<•«')’ У (42') =" N.
U«l Uh| *
Рассмотрение примеров легко про ю.ъкить Oeofk пи- , Гь
их состоит в ; ч чт1 щ тченич фактор »в п экспериментах
ограничены’ Как видно из примеров, влияние выбора ма-
трицы плана на ючность оценивания коэффициентов per-
рее см и яв гея суще твенным
Рассмотрим теперь задачу построения линейных пла-
I в, оптимальных г смысле критерия минимума дисперсии
К4НК । ценен коэффициентов регрессии.
5.2 ПОСТРОЕНИЕ ЛИНЕЙНЫХ ОПТИМАЛЬНЫХ ПЛАНОВ
5.2.1. ПОСТАНОВКА ЗАДАЧИ
Пусть D = (х( ) (i = 1, ..., k\ и= 1 N) — матри-
ца линейного плана, а X = (xju) (j — 0, 1, .... Л; ’ =
— 1,9 .... N) — соответствующая ей и функции отклика
I 1.1) матрица независимых переменных ранга k 4- 1.
Предполагается. что вектор наблюдений Y —
•= Ух >УыУ удовлетворяет слов i ям М {Y} —
Хр. D {Y} = о2In, и, следовательно, ковариационная
матр! на ?’НК-оц нки р вектора р равна [см. (1.1 35)1
D {Р} == О2 (Х'Х)-1.
Поскольку в опытах значения факторов ограничены то бу-
1 СЧ- аТЬ, 40
N
I 1,2......k, (5.2.1)
ке 1
где С,’ «лани И- (5.1.3) п (5.2.1)
SrJ. С/.)-0.1...........к, (5.2.2)
U-I
гле СД «• /V.
IB6
В рзссмпгре••'Ц.1Х примерах 5.1 и 5 2 С| » V (/ а»
ж» I. . 1, ). 1 .
независимых переменных X или матрицу пшенного плана
D, чтобы мкнихшзиривать дисперсии D {р,} МН К-оценок
Р параметров р, (/ в 0, 1, .., «) в класм линейных планов
с ограничениям (5.2.1). Заметим, что D {ру} = ufyt, где
Cjj — элемент матрицы (Х'Х)"1. Поэтому эта задача экви-
валентна задаче минимизации следа матрицы ''Х'Х)"1 „и
ограничениях (5.2.1) где tr (Х'Х)"1 = ^?я.
План, минимизирующий дисперсии оцеж ч ру. ч. . ве т
шнеиныч оптимально i Задача построения тин - * ы оп-
тимальных планов решается с помощью теоремы Бокса.
5.2.2. ТЕОРЕМА БОКСА
Рассмотрим задачу построения линейных оптимальных
(в указанном выше смысле) планов.
Теорема 5.1 [30, 311. Пусть функция отклика
1) ~ Ро Pi^i “Ь »»• 3“ Ph^k>
а столбцы матрицы D = (xfa) (г = 1, 2, .... k\ ц = 1. 2,
..., N) произвольного линейного плана £ (V) уд >влетвлр -
ют ограничениям (5.2 1), причем rank X =а k + 1. Тм.а
для плана £ (N)
D {0,}><т7СЛ / = 0, 1.....k. (5.2 3)
Минимум дисперсш" D {Вт-} МНК-опенок п р***' 'т в
р; (/ = о, 1, ..., k) в классе план »ь. удовлетворяющих огря-
иичениям (5.2.1), юсгиг гея .ог 1 гольк г ю ;огда
столбцы матрицы X — (t/„) попарно ортогональны, т. с.
N
когда 0 (/, ; 0,1, fe; 9
До ка з ате л ь т в о. О. п- ан ы чр t нен 1ем»
мы о разложении с г.гл триш м“ г гр i :
треугочьных матриц.
О предел нис 1 » <|7.’пр'*яЛ А нлш*
fHU'in I верхней (н'1 V':. .•< tu 1 ’ ч Ц/7С* М.
Р и ц.) t 'I I hn, •)
•A-
Определитель матрнцы
i АI = П
/ж |
1 ли верхняя (нижняя) треугольная матрица А не ырож-
дснная, то Обратная матрица А-1 — (о*) будет снова ырх-
нсй (нмжне й) треугольной матрицей, при этом
a,i = l/aif, i = 1, ..., п. (5.2.4)
Лемма 5.1 [121. Если S —симметричная положительно
определенная матрица ранга г, то ее можно представить в
виде
S = В' В,
где В — верхняя треугольная невырожденная матрица ран-
га г, все диагональные элементы которой отличны от нуля.
Приступим к непосредственному доказательству теоре-
мы Бокса. Выбор матрицы плана D эквивалентен выбору
матрицы независимых переменных X. Поэтому задача ми-
нимизации дисперсий D {(3;} = o2Cjj МНК-оценок ₽; (/ —
= 0, 1, /г) на множестве планов, удовлетворяющих ог-
раничениям (5.2.1), эквивалентна задаче минимизации диа-
гональных элементов матрицы (Х'Х)-1 = где cfJ-—
элемент матрицы (Х'Х)-1. По условиям задачи ранг матри-
цы X является максимальным и равным k + 1. Симметрич-
ная матрица Х'Х также имеет максимальный ранг k 4- 1 и
является положительно определенной. Поэтому, используя
лемму 5.1, можно записать
Х'Х = В'В. (5.2.5)
Здесь В — верхняя треугольная матрица порядка и ранга
k 1 у которой все k + 1 диагональных элементов {Ъц}
отличны от нуля. Поскольку матрицы В п В' невырожден-
ные, то существуют обратные матрицы В-1 и (В')-1. Матри-
цы В-1 н iB')-1 будут соответственно верхней и нижней
трс/п иными матрице ли С кватслыю. ’ложно записать
(Х'Х)-1 = (В'В)-1 - В-1 (В')-1 = В-1 (В-1) (5.2.6)
Полагая
Х'Х = S - (so); В В L (1и) В (5 2.7)
/V
и, используя соотношение 1см |5 2 2)1 У М
а • 1
(j 0, 1, А), легко lui.Kib, чю
ч'// Г V 6/ «=С|. (5.2 8)
Если В 1 — (A/)- I'-' (В *) — ifty,) и в соответствии с
(5.2.4)—(5.! Ь)
СЛ в ^И* Ь )* —-— -—— _ |
It-О &»' X 1
' 6<|
и, следоватечыю, 1см (5.2.3)1,
D {£}' ог/с;
Неравенство (5.2.9) переходит в рлвенсгво тогда и толь-
ко тогда, когда матрица Вдиагональна, ибо i i сч диагональ*
ности следует диагональность матриц В1 i (В-1) . Необ-
ходимым и достаточным условием (иагональиостп В яв
ется условие диагональности матрицы Х'Х или попарнэй
N
ортогональности ее столбцов У х1их = 0 (Z. s = 0 1, ..
«—1
.... /г; I #= s).
Теорема доказана.
Следствие 1. Поскольку xou 1, то необходи-
мым условием минимума дисперсии »ШК-ык ник является
Л
условие симметрии плана: xiu 0 (7 1,
U— 1
Таким образом, множество линейных 1>1лимал(.иых пла-
нов совпадает с множеством линейных ортогональных пла-
нов с ограничениями (5.2.1).
Следствие 2. Линейный план с (.V), ма
торого D — (xiu) удовлетворяет условиям
N
2 xiu 0, i 1,2,..ЧА; ( 1
з Xluxtl -0, 1,5 1,2, . Л; «
44 1
vxb-CZ, <-1.2........*. <5'2|2>
<1 = 1
является линейным оптимальным в яла
нов с ограничениями (5 2 1)
Следствие 3. Пусть Q || (ЛЭ) — МНожегпю
линейных планов, причем матрица D - <v(J плана Е (.V)
удовлетворяй ограничь ниям
У хД,^С’, «=1,2,...,£.
Тогда минимум дисперсий D {р,} ЛАНК-< . енок р на этом
множестве плане в дос тис аечея для тех планов, для которых
выполняются условия (5 2 1 )- < >-' 12).
Доказательство теоремы 5.1 выполнено в предг,< > „а -
нии, что наблюдения /1( ys. .. . не коррелировали В
[4] приводится изящное доказательств' Г лее общей, чем
рассмотренная, теоремы для случая корр< лированных на-
блюдений. Формуляре вьа_се приводится ниже.
Теорема 5.2. Пусть D = (xiu) — матрица линейного
плана £ (ЛЭ; X = (х;и) — матрица независимых перемен-
ных; т] = Ро + Pixi + — функция отклика.
Пусть вектор наблюдений Y = (ylt у2, ...» r/N)' удов-
летворяет условиям (1.1.61)
М {Y} = ХР; D {Y) = o2V,
где V — изгестная положительно определенная матрица.
Тогда при ограничениях вида
xjV-%- = Cf, / = 0, 1.... k, (5.2.13)
где xj — столбцы матрицы X; Cf заданы, имеем
D {?/}>a2/Q / = 0, 1, ..../е. (5.2.14)
Неравенство (5.2.14) переходит в равенство, когда
Г;у-% = 0. (5.2.15)
Замечание. Теорема 5.1 может быть получена как следствие тео~
ремы 5.2 при V =- 1Л где 1Л — единичная матрица.
5 2.3. ЗАДАЧА О ВЗВЕШИВАНИИ ПРЕДМЕТОВ
В качестве примера применение. теоремы Бокса рассмот-
рим задачу о взвешивании трех предметов Лх. Л,. Л, на
весах 1.321. Пусть Й-1е |ie, ря — неизвестные веса соответст-
венно предметов Л. Л#, Л4. Задача состоит в том. чтобы
путем четырех изнеживаний наилдчшнм образом оценить
веса этих предметов
* обозначим 4epej у показание шкалы вссюв при нявешн*
инн предметов. Паза случайного характера погрешво*
( 7 J , . .
переменные A g. A' j. Будем считмть что если пргдмет
Л, находится на ж eax, то X, =* 1, в противном случае
Х( в 0 (/ — 1 2, 3)
Математическое ожидание покачан ня шкали весов прн
взвешивании предметов (при различных комбинациях пред-
метов 1 а весах)
м х2 xs} = м {//} ч = Ро t Mi н М«
4- РзАв. (5.2.16)
Здесь По — математические ожидание показания шкалы ве-
сов при отсутствии предметов на весях, т. г р,,
= М {i/|X\ = О, X, = О, X= 0}. Функция отклика
(5.2.16) определена в вершинах куба (0,0,6), (1,0 0)
(О, 1 0), (0, 0, 1), (1, 1, 0), (1, 0, 1), (0, 1, 1), (1. 1. 1).
Введем кодированные переменные х, (X - 1 2| (1 д
(I = 1, 2, 3).
Очевидно, если предмет At на весах, xz - 1, иначе
х, = —1 (i = 1, 2, 3). Можно записать, что
"П — По Pi ri Р.'*2 ргз> (•’-> 2 17)
где ₽о = Ро + (Pi Р2 Р.<) Р/' Р?( 1
Функция отклика (5.2.17) опредеч. на в верн инах кеба
(-1,-1, -1), (1,-1,-1), (-1, 1,-1). (1
(—Е, —1, 1), (1, —1, 1), (—1,1.1), (111). П ...
ли D = (xiu) (i = 1, 2, 3; и = 1, 2, 3, 4) — матрица пла-
на, то |xiu| = 1 и, следовательно, выполняются условия
2 xk 4. (5.2.18)
««=i
Поскольку D • (т„Л является матрицей линейного плана
и удовлетворяет ограничениям (5.2.18), то задача выбора
наплучшей схемы вш цшвания сводится к задаче построе-
ния линейных оптимальных планов.
В соответствии с теор м й Бокса 1 рл i г л ю
схеме с использованьем полуреллики 2**1
дисперсии оценок pz, а следов»гельио, и оценок J4. будут
минимальны и рл ны
•Г»
d (М «= п*/4 л {PJ = а’.
причел*
Р, e 2^i — 2 ( У\ Н~ tit — </> 4- у л)'.
Р, = 2pj = 2 (—//> — 1,2 + У» -г Ул)\
= 2 Ол — — I/, -г Ул)
Для сравнения при взвешш лли.. м- ди купель оьать ма-
1 ь ина
/-1 -I 1\
г I 1
ь=| — 1 1 lb
\ 1 1 V
В этом случае
D {р, } = а»/2; D {Р (} = 2о2, i = 1, 2;
D {F’} = о2, D {fT3} = 4о2.
Как видно из сравнения, отличие в точности оценивания при
различив схемах взвешивания весьма значительное
6.3. СВОЙСТВА ЛИНЕЙНЫХ ОРТОГОНАЛЬНЫХ ПЛАНОВ
6.3.1. РОТАТАБЕЛЬНОСТЬ
Предположим, что функция отклика т] = Ро + Pi*i +
~ • + Г’ х*. определена в области G.
Пусп D (xlu) (i = 1 ..., k\ и = 1, ..., N) — матри-
плана, а X = (xju) (j — 0, 1, k; и = 1, N)—
матрица независимых переменных. Полагая план линей-
1; । ортогональным, определим дисперсию оценки функ-
гклика । произвольной точке (д^, х2, ...,xh)CG.
1 г’1' Pi—ЛНК-оценка параметра (t = 0,l, ...» k), то
l ! функции отклика в точке (хх, хй, ..., xh) можно
записать как
'П ₽о + + ••• +
(5.3.1)
При данной матрице плана D дисперсия D {?)} оценки
П има.-ц 1 поскольку функция т гл ка в з ч
ха, .. ,Хх) представляет собой параметрическую
функцию относительна параметров 0О, ..., |4Л. Так как
Мани ро ванне ортогональное, то оценки ••’Р* нс кор-
релированы и, следовательно,
17^
я £>{&) + v о(£).
<== i
Если на столбцы матрицы план.. D (хь) наложены or
раничения
У >1. = ?-2 . i I,,.., k (
« = 1
где Х2 — некоторая константа, то
/ k
£>{п} -2—
Л»Л к
В этом случае дисперсна оценки ц в точках, равч.л далец-
А
ных от центра плана, т. е. в точках, для которых у- = У
<=1
равна
D ft} = ((Ж#) (Х2 + р2). (5.3.4)
Отсюда следует, что дисперсия D {т]} оцен! и i] функции
отклика т| для точек, находящихся на гиперс; сре, завис it
от ее радиуса и не зависит
от их положения на ней.
Планы, обладающие таким
свойством, называют рота-
табельными. Таким обра-
зом, линейные ортогональ-
ные планы с ограничения-
ми вида (5.3.3) являются
также ротатабетьными.
Справедливо также об-
ратное утверждение [30,
311, состоящее в том, что
из свойства ротатабельно-
сти линейного плана, удов-
летворяющего ограничения I ),
нальность (см. гл 7)..
II рис. 5 1 ИК'1Г). .'Il||irillll.!!f (>р|««ГОНДЛЬ<1ЫЙ ПЛАН
для случая k — 2, матрица i н>
/1. -Л
f’-i ;)’*!•)
\ I /
летворяет условию £ С — 4 (i - ], 2), где >.а«ж i,
V ₽ 4. Изображенный на ътом рисунке план по iv J ян
ляется рентабельным. Дисперсии оценок функции откли-
ка в двух произвольных точках (хъ х2) и (xi,-‘>), удов-
летворяют! х уравнению окружности р2 - - (х[ 4- х‘) =
х= I (xi)* + (xs)2l, где р — некоторая постоянная, рав-
ны между собсю. Иными словами,
D {?(*„ х2)} = D ft <хГ, х5)} = (nW) (1 4- р»),
где т) (Xj, х2) — Ро И- Pi Xj -J- Р^2> 4 (xi > х2) = р0 4~
+ Р1Х1* + Р2*2.
5,3.2. ИНФОРМАЦИОННЫЙ ПРОФИЛЬ ПЛАНА
Важной характеристикой плана является его информа-
ционный профиль.
Определение 5.5. Пусть ri(xltxs, ...,xk)—
несмещенная МНК-оценка линейной по параметрам
Ро» Pi, ••» Рр функции отклика вида
х2,..., kh) = f (Xj, х2,..., хА; ро, Pi.Эр)-
Тогда информацией о поверхности отклика, содержащейся
в точке (Xj, х2, ..., хА), называют величину [30]
-------------------• (5.3.5)
^{тЦхпХг.......................ха Л
где D {4 (хъ х2, ..., хА)} — дисперсия оценки ц (хь х2, ...
..., хА) функции отклика т] (xlt х2, ..., хА) в точке (хь
х2...хА) при использовании плана Е (N).
Информация представляет собой некоторую локальную
меру точности оценивания функции отклика, отнесенную к
одному наблюдению. Согласно (5.3.4) для линейных орто-
гональных планов о ограничениями (5.3.3).
—--------!-------- -----------h--------------------- (5.3.6)
' D {VXj, Х2,..., X; )j О® (^3 4 Ра (Xj, ла,.. ,
где р2 (хь х2, xh) = v
/« 1
оаьис! члъ информации от радиус.') гипсрсф ; IJ Р
*5.3.6) на л. лают и ^рмани « // * п Ьл
ви но из (5.3.6), информ.шия уи(вьет о увеличь. . «*' I •
са р Гиперсферы.
ГЛАВА б
ПОИСК ЭКСТРЕМУМА ФУНКЦИИ ОТКЛИКА
6.1. ВВОДНЫЕ ЗАМЕЧАНИЯ
6.1.1. ПОСТАНОВК/Х ЗАДАЧИ
Одной из центральных задач планирования эксперимен-
та является задача поиска экстремума функции отклика.
Эта задача возникает при < птимизации производственных,
биологических и других процессов, улучшении свойств из-
делия и т. д. 120, 28, 30, 33]. Так, например, поиск рабо-
чих условий (технологических режимов), при которых сред-
няя производительность процесса (среднее количество про-
дукта, производимого за смену) является максимальной,
в ряде случаев может рассматриваться как поиск экстре-
мума функции отклика многих переменных.
Действительно, количество производимого продукта за
смену у — величина случайная и зависит от технологичес-
ких управляемых переменных Х15 Х2, Х&. Очевидно,
что средняя производительность процесса за смену
М {г/|Хъ Х2....Xfe) = f (Хъ Х2, ..., ХД
т. е. представляет собой функцию отклика. Тогда задача
нахождения максимума средней производительности в этг и
случае сводится к отысканию max f (Xlt Х2, ..., ХД где
Ft? о __
G — область определения функции отклика, а X =
= (Xlf Х2....ХД.
Приведем еще пример. Предположим, что случайная
величина у представляет собой некоторую хар.п герметику
изделия, при этом ее математическое ожидз! ие
М {y\Xlt Х2, ..., ХД /(Хъ Х2> ... ХД
где Х1г Х2, ..., Xh — контролируемые г ‘ременные.
Задача поиска экстремума среднего значения характе-
ристики изделия будет задачей поиска экстремума функции
отклика т] = / (Хп Х8, .... ХД
6.1.2. СТРАТЕГИЯ ПОИСКА
Поиск экстремума функции отклика происходит путем
исследован и я поверхнопи отклика. Это исследование осу*
Щ^ствляется посредством измерении поверхности отклика «•
различных точках факторного пр«’‘ц апстэа. Возникает
вопрос: какой дплжня быть стратегия планирования экст-
пернмента, чк«»ы число опытов (измерений) иеобходи ,
д 1Я нахождения эксфсмума или 'лизкнх к нему значений,
было как х!ожн< кнньи
Воспользоваться с этой целью непосредственно извест-
ными Мете поиска экстремума функции многих пере-
иных невозможно, поскольку «измерение» функции от-
клика в каждой точке факторного пространства, где ставит-
ся опыт, происходит с ошибкой Однако эти методы состав-
ляю) основу методов поиска экстремума функции отклика
Б настоящее время при решении задач планирования
эксперимента н аибольшее распространение получили ал-
горитмы поиска, использующие градиентные методы. Их
<с‘ осин ость с «.тент в том. что движение при поиске (при
нахождении максимума) происходит в направлении не са-
лоп градиента, который нам неизвестен, а его оценки.
Оценка градиента grad / (Хр Х2, ..., Xh) в точке
(Хг, Х2, .., Xky факторного пространства при этом нахо-
дится по результатам измерений, проводимым в ее окрест-
ности. Задачей исследователя является построение ра-
-умпоп плана с центром в точке (Хь Х2, .... Xh)' для оп-
ределения в ней оценки градиента.
Одним из наиболее известных в классе градиентных ме-
тоде поиска экстремума функции отклика в практике пла-
нирования эксперимента можно считать метод, разработан-
ный । 1151 г Боксом и Уильсоном 130]. Идея его заклю-
чается в использовании метода крутого восхождения (наи-
скорейшего подъема) в сочетании с последовательно плани-
руемым факторным экспериментом для нахождения < цен-
। ip ; нт а. Изложению метода Б( кса и Уильсона по я-
। д ш! основные разделы глагы При применении градиент-
ных методов поиска экстремума функции отклика одной из
наиболее важных является задача статистически) оцени
я о тавляющих градиента. Поэтому при и сложении
мет<ыа Б< кса i Уильсона га задача рассматривается н.."
б л< * потно. Исследование вопр< сов стали гпческого оис-
ЯИВЯВня градиента при поиске имеет большое значение
для понимания особенностей использовано ; i i ыиснтш 4
методов при планировании эксперимента В обна-м г1 *
'ГОД Бою ; и У ИЛЬ она СОСТОИТ I ПОВТ'И'СШШ ср"
лры:
||<>стр< ен1*е факторного экспернмси)а и окре- тьосП' не-
которой точен;
вычисление оценки гр а тента и «г< Л ючке пс резулыа-
IBM эксп- pi м< ша;
)7«
крутое восхождение в направлении опенки градиен
нахождение опенки минимума (минимума) функции
отклика по этому направлению,
Хотя изучение методов оптимизации не является пашей
задачей аднако ниже для удобства вгн приятия материала
приводится раткое изложение метода крутой восхожде
ния 134, 35, 36, 37].
6.2. МЕТОД КРУТОГО ВОСХОЖДЕНИЯ
6.2.1. УНИМОДАЛЬНОСТЬ
При описании метода крутого восхождения будем счи-
тать, что функция отклика т] = f (Хь Х2, .... Xfe) непре-
рывна и имеет непрерывные частные производные первого
порядка на множестве G с= R*. Здесь G — замкнутая и
ограниченная область, Rfc — й-мерное евклидово прост-
ранство.
Определение 6.1 [34]. Функция f (Xn Х2,. ..,Xfe)
называется унимодальной в области G, если она в этой об га-
сти имеет единственный экстремум.
В дальнейшем будем предполагать, что точка экстрему-
ма является внутренней точкой множества G, а функция
отклика строго унимодальна [34, 38, 39].
Определение 6.2. Функция одной переменной
f (X) называется строго унимодальной на отрезке G ~-
= {X : а <1 X <1 Ь), если существует на этом отрезке
внутренняя точка X* такая, что f (X) строго возрастает
(убывает) при X < X* и строго убывает (возрастает) при
X > X*
Примеры строго унимодальных функций представлены
на рис. 6.1. Функция, изображенная па рис. 6 1, и, явля-
ется также выпуклой.
Иными словами, функция f (X) будет строго унимодаль-
ной в области G, если в этой области существует внутрен-
няя точка X* максимума (или минимума), такая, что для
любых Xi, Х2 € G, где Хг > Хъ из неравенства Xi > X*
следует / (Xi) > / (Х2) [или f (Xi) < f (Х2)1, а из нера-
венства Х2<Х* следует /(Xi)</(X2) (или f (XJ >
>/(Х2)1.
Используя понятие строго возрастающей (строго убы-
вающей) траектории в области G, аналогичным образом
можно дать определение строгой унимодальности для функ-
ции многих переменных.
Пусть изменение функции многих переменных вдоль не-
которой траектории, определенной в области G, из точки
Xi € G в точку Х8 € G задается уравнением
П = т] (Я) = f (Xi (А), Х2 (X)........Xh (X)), (6.2.1)
где X — параметр, причем 0 sC X =С 1.
Траектория называется строго возрастающей (или
строго убывающей), если для любых Хг, Х2 £ Л =
= {X : 0 X 1} из условия Xj 2> Х2 следует rj (XJ >
> т) (Х2) [или т] (Xj) < 1] (X2)J.
Определение 6.3. Пусть функция отклика т] =
= / (Xi, Х2, ..., Хй), определенная в области G, имеет во
внутренней точке X* б. G максимум (или минимум). Функ-
ция называется строго унимодальной, если прямая, прове-
денная из любой точки Хг б G в точку X*. является строго
возрастающей (или строго убывающей) тракеторией в об-
ласти G.
Параметрическое представление функции отклика ви-
да (6.2.I) в этом случае легко записать, используя уравне-
ние прямой
X — Xi = X (X* — Xi)
или
Xt -X,1 = X (X* — Xj), i = 1, .... k,
гдеО< X С 1;X = (Xi, X2, ..., Xft),;X1 = (XLXL-Xi);
X* = (XL XI....x*ky.
Запишем уравнение
/ (Xi, X2..Xh) = c.
Это уравнение можно рассматривать как уравнение поверх-
ности уровня. Если С принимает значения Ct, ...» Go
то получим совокупность поверхностей уровня или при
178
Л = 2 совокупность линий уровня. На рис. 6.2 условно
изображены линии уровня строго унимодальной функции
двух переменных, имеющей
вид холма с вершиной в од-
ной точке. Функция, приве-
денная на этом рисунке, яв-
ляется также линейно-уни-
модальной.
Определение 6.4.
Функция f (Хъ Х2, ..., Xh),
определенная в области G, на-
зывается лин ей но-унимодаль-
ной, если она строго унимо-
дальна вдоль любой прямой,
Рис. 6.2
соединяющей произвольные
точки X1 6 G и X2 £ G.
6.2.2. ГРАДИЕНТНЫЙ МЕТОД
Основу методов отыскания максимума (или минимума)
функции k переменных f (Хь Х2, ..., Xh) составляет метод
подъема (или спуска). Идея его состоит в спуске (или подъе-
ме) по исследуемой поверхности.
Определение 6.5. Любой метод получения точек
~Х°, X1,..., Хт,... в области GjnctKux, что f (Х°) > f (X1) >
>...>/ (Xm) > ... [или f (Х°) < f (X1) < ... < f (Хт) <
< ...], называют методом спуска (или подъема) [34].
Среди методов спуска (или подъема) наибольшее рас-
пространение в практике исследований получили градиент-
ные методы. Градиентным методом называют метод, соглас-
но которому точка Xm+1 выбирается из условия
Х'п+1 = хт + a grad / (Xm). (6.2.2)
Здесь
gradf(Xm) = Vf(*'") =
/ df df , df \*
\ dXp ’ dX™ ...... dXk )
— вектор-градиент функции / (Xn Хг, ...» X&) в точке
= (ХГ, X™, .... XT)1; а — некоторая положительная
скалярная величина.
Различные варианты градиентного метода отличат этся
друг от друга способом вы ора величины а. Одним из вари-
антов градиентного метода является метод наискорейшего
178
спуска (или подъема). При оптимизации технологических,
биологических и других процессов в теории планирования
эксперимента используется его статистический аналог-
метод Бокса и Уильсона. Заметим, что при оптимизации ча-
ще встречается задача поиска максимума, а не минимума
функции отклика. Поэтому ниже приводится схематичес-
кое описание метода наискорейшего подъема или крутого
восхождения. Применение этого метода в задачах планиро-
вания эксперимента будет рассмотрено в п. 6.3.2.
Пусть Х° = (XL XL ...» XX)' — начальная точка поис-
ка максимума (см. рис. 6.2). Запишем вектор-градиент функ-
ции /(Хь Х2, Х0 в этой точке
..Х»=(-Д-,-А-........ Jy)'
где
df df{x°,x<>..................Xg)
dXf dXi ’ ........
Если точка (XL XL ..., XX)' не является стационарной,
т. е. все частные производные {д[/дХ?} не обращаются
в нуль, то направление вектор-градиента в этой точке
будет направлением наибыстрейшего возрастания функ-
ции 134, 40]. Заметим, что направление антиградиента
—grad / (XL XL •••» XX) будет направлением наибыстрей-
шего убывания функции.
Как видно из рис. 6.2, точка Х° не является стационар-
ной. Сделаем некоторый шаг в направлении градиента. Ко-
ординаты новой точки X = (Xt, Х2, ..., Xh)' определяют-
ся по формуле
х,=х,"(«)=х.’ + а-^-, 1=1,2...., k, (6.2.3)
где а 0 — параметр шага;
AXf = X, — XL (6.2.4)
Выражение (6.2.3) представляет собой уравнение луча.
Полагая, что функция / (Х19 Х2, ..., XJ является_ли-
нейно унимодальной, найдем координаты точки X1 =
== (Хь Х2, ..., XI)', в которой функция достигает макси-
мума при движении в направлении градиента:
/ (XI, XL .... Х|) = / (X) (а0), ХЬ (а0)..Xk (а0)) =
= max I (XX (а), Х°2 (а), .... XX (а)). (6.2.5)
180
Очевидно, что
X1 = Х° + «о grad f (Х°),
где а0 определяется из уравнения_ (6.2.5).
Вычислим градиент в точке X1 = (X], Х|, ..., X*)' и
снова повторим описанный выше процесс движения, но уже
в направлении нового^ градиента grad / (XI, Х£....XI),
закончив его в точке X2 = (X?, XI...XI)', и т. д. до до-
стижения максимума функции f (Хь Х2, ..., Хй) (см.
рис. 6.2).
В общем случае при наискорейшем подъеме координаты
точки Xm+1 = (Х^+‘, Х^+1, ...» X™41)' находятся из урав-
нения
Z(Xf+>, Х?+>......Х?+’) = f(X? (а„), Х?(«Д ....
ХТ (ап)) = max f (XT (а), X" (а)...X? (а)), (6.2.6)
а
где
ХГ(а) = Х?Ч-а-5г; (6-2.7)
ОЛ-
Х?+1 = XT (ат) = ХТ + ат . (6.2.8)
при ЭТОМ
....“Л, г=1>2.......k.
дХ™ dxi
В векторной записи выражение (6.2.8) имеет вид
Хт+г = Xm ат grad f (Хту (6.2.9)
По построению f (Xm+1) > f (Хт) (tn = 1, 2, ...), и, сле-
довательно, если последовательность {Хт} конечна, то ее
последний элемент является точкой максимума.
Известно, что если G является замкнутой и ограниченной
областью пространства Rfe, то для строго унимодальных и
непрерывно дифференцируемых функций, т. е. когда
grad f (X) существует и непрерывен в G, метод наиско-
рейшего подъема сходится к максимуму [34, 361. ?го озна‘
чает, что предельная точка последовательности (Х/я) яв-
ляется точкой максимума.
181
Таким образом, в методе наискорейшего подъема пара
метр сст (tn = 1,2, ...) определяется путем решения одно
мерной задачи максимизации [34]
max / [Х™ + a grad / (Х'«)], где а > 0.
а
Иными словами, задача многомерного поиска при исполь-
зовании метода крутого восхождения свелась к поиску од-
номерному. Заметим, что градиент grad / (Xm+1) на
(т + 1)-м шаге будет ортогонален градиенту grad f (Хт)
на /n-м шаге.
6.3. ПОИСК ЭКСТРЕМУМА ФУНКЦИИ ОТКЛИКА
С ИСПОЛЬЗОВАНИЕМ МЕТОДА КРУТОГО ВОСХОЖДЕНИЯ
6.3.1. ОЦЕНИВАНИЕ ГРАДИЕНТА
Как в методе Бокса и Уильсона, так и в других методах
поиска экстремума функции отклика, основу которых со-
ставляет метод градиента, используется не сам градиент,
а его оценка. Ниже приводятся общая постановка задачи
оценивания градиента и ее решение.
Пусть функция отклика
П = /(Х1, Х2, .... Xk) (6.3.1)
определена в области G a Rfc.
Рассмотрим произвольную точку Х° £ G (рис. 6.3). Ис-
пользуя точку Х° = (X?, Х£, ..., X*)' как центр плана,
построим полный или дробный факторный эксперимент.
Обозначим через X?i значение, принимаемое переменной
Xi (i = 1, 2, ..., k) на /-м уровне (1=1, 2). Верхний Х?2
и нижний Ха уровни выбираем симметричными относитель-
162
но центра плана, чтобы выполнялось условие X? =
= (Л' 1 4- X/e2)/2 (I — 1, 2, .... А;). Очевидно, что кодиро-
ванная переменная
Xi = (Xt — X?)/S?, i = 1, 2, ...» k, (6.3.2)
где Si — (X,°2 — Xh)/2 — интервал варьирования.
Выразим функцию отклика (6.3.1) через кодированные
переменные:
= х2,..., xk). (6.3.3)
Переход к новым переменным означает перенос начала ко-
ординат в точку Х° и сжатие (растяжение) по координатным
осям. В новой системе координат функция отклика для
случая двух переменных показана на рис. 6.4.
Под задачей оценивания градиента будем понимать оп-
ределение оценки градиента функции отклика Д (хь
х2, ..., xh) в точке х° = (х?, х°2, ..., х£)', где х? = О
(I = 1, ..., k). Предположим, что в окрестности точки
(х®,Х2, ..., Xk)' функция (6.3.3) допускает разложение по
формуле Тейлора вида
^ = 11(хъ х2,..., хЛ) = Д (х?, хВ,..., х£)+ S +
k k
+4- s s x‘ x>+° <ii x~x" «*>-
2 dx,P dx?
z=l/=1 ' 1
где lim о (||x — x°||2) = 0.
x->x°
Используя обозначения
P8 = /1 (4, A...4); ₽? = -§-:
p-,. . B._
* 11 2d (xf )2 ’ ' dx? dx^
можно записать, что функция отклика
+ 2 р»4 + о(|1х-х<’||*). (6-3.4)
Легко видеть, что grad /, (х°) — (Pt, Р8, •••» Р8) •
задача оценивания градиента СВОД“Т^Я_0К нао?Жгц,сть
МНК-оценок неизвестных параметров рь рг, Р*- У
b = (xlu) (i 1, 2, .... /г; и - 1, 2, .... N) — матрица
183
полного или дробного факторного плана с центром в точке
x°=(ai , а ,-4)' На рис. 6 4 показана матрица пол-
ного факторного плана типа 22:
— 1 I х У 2
1 1-+Уя
V -> У 4
для случая, когда 1] = (%!, х2). Для простоты изложе-
ния будем считать, что в области Т ~ { (%,, х8, ..., хЛ)';
—1 Xi 1} поверхность отклика достаточно точно ап-
проксимируется гиперплоскостью, т. е.
k
(6.3.5)
i— i
Тогда, если X = (xJu) (j = 0, 1, ..., k\ и = 1,2, ..., N) —
матрица независимых переменных, соответствующая мат-
рице плана D = (xiu) и функции отклика (6.3.5), МНК-
оценка параметра равна
- 1 N
Р7=— S х}иуи, / = 0, 1,..., Л,
где Ух, у2, ..., уn — наблюдения в точках плана.
Для случая, изображенного на рис. 6.4, матрица неза-
висимых переменных
Поскольку (3°, Р°, .... Р£ представляют собой оценки состав-
ляющих градиента (3°, |3", .... Pi или частных производных
~ ~ , ..., , то МНК-оценка градиента функции
дх\ дх°2 dxk
отклика в точке {х\, х%, ..., х%)' равна
g^d /, (4, 4............4) = V/, (х°)= (₽!, й, .... Й)' <6.3.6)
ИЛИ
grad /. (4, 4....4) = ( JL , .....-SL ') . (6.3.7)
I t)x’l дх% дх% J
Оценка градиента функции отклика (6.3.5) в точке
‘x'i, х%, ..., xlY совпадает с градиентом ее оценки в этой
точке. Действительно, оценка функции отклика
184
-ч k хч.
п = А(ч. хг,..., xh) « pg + 2 № xt
I = 1
и, следовательно,
grad А (xt xt .... х°.) = (р?, рВ, .... pl)' =>
=4-grad fx (х? xt ..., х£) = 4rad А W, х£......х£).
Проиллюстрируем задачу оценивания градиента на бо-
лее общих, чем рассмотренный, примерах.
Пример 6.1. Пусть функция отклика г) =» Д (хх, х2) — функция
кодированных переменных хх и ха. Матрица плана и результаты наб-
людений приводятся ниже:
*1 х2
(—1 —1\->^=124
1 _1 | _> у2 = 116
— 1 1 1->у =102
J 98
Используя результаты наблюдений и аппроксимацию функции
отклика в области Т — {(Xj, х2)': — 1 х^ С 1) вида т] « Зо +
+ Р1Х1 + Рах2 + 312*1 х2> необходимо найти оценку градиента в цент-
ре плана, т. е. в точке (х9, xg)', где х? = xg = 0 Очевидно, что
) =(₽п ГгГ.
\ t/A-j МЛ j у
Так как матрица независимых переменных
1
1
1
1
— 1 1—11
1 1 7
является матрицей ортогонального планирования, то
31 =® (— У1 4- Уа •— Уз + £«)/4 ~ Ь
За = (— 4/1 — Уз + Уз + 4/а)/4 в — 1°«
Отсюда МНК-оценка градиента в точке (xf, х£)'
grad Д (х?, xg) = (Pi, Зя)' =• (— 3, — 10)'.
Пример 6.2. Пусть г) =» (хь х„ xs) — функция отклика коди-
рованных переменных Xi, х2, х9. Предполагается, что функция от-
клика в области Т = {(х,. х2, хя)'; — 1 xt 1} досгаточ о хорошо
аппроксимируется функцией вида
•1*Ро+ У dtXib v 1X.XJ,
1</</
18Л
8 матрица плана
Xt X, хя
— 1 —1 -*«/1 = 16
1 —1 —1 \ -+у = 18
— 1 1 —1 \ ->«/я = 8
1 1 —1 \->у4 = 12
-1 -1 1 ->«/6 = 14«
1 —1 1 /->«/6 = 13
— 1 1 1 / ->«/7 = 10
1 1 1 / -*«/8 = 11
Необходимо найти оценку градиента функции отклика в центре
плана или в точке (х{, х§, х§)', где х^ = 0 (7 = 1, 2, 3). Легко видеть,
что градиент
grad ft (х?,х®, xg)=(pt, ₽а, р8)'
и, следовательно, оценка градиента
grad fj (xj, х°, х®) =(Pt, Рг» Р3)',
где Pt — МНК-оценка Pt (/ = 1,2,3). Поскольку планирование явля-
ется ортогональным, то
Pi = | (—01 + 0а — Уз + f/4 — Уь + Ув — Ут + Уе) = 0,75;
"р2 = (— У1 — Уз + Уз + Уь—Уъ —Уз + Ут + Уз)~ — 2,5,
Ра = д’ (~* У1 — Уз ~ Уз — 04 + Уь + Уз + Ут + Уз) = — 0,75
и окончательно
grad ft (х?, xg, ®х) = (0,75, -2,5} -0,75)'.
В рассмотренных примерах при оценивании градиента
в центре плана по результатам факторного эксперимента
использовались нелинейные аппроксимации поверхности
отклика. В силу ортогональности планирования значение
оценок градиента в этих примерах не изменяется, если для
описания поверхности отклика воспользоваться полинома-
ми 1-й степени от тех же переменных.
6.3.2. МЕТОД БОКСА И УИЛЬСОНА
Полагая, что функция отклика
Ч = f (Х„ X.....X») (6.3.8)
в областиGстрого унимодальна, рассмотр: м задачу поис-
ка ее максимума с помощью метода Бокса и Уильсона.
Пусть Х° — (XL XL .... X'k)' — начальная точка по-
иска максимума (см. рис. 6.3). Задаваясь величиной ин.
186
тервала варьирования, перейдем по формуле хг —
(Л4_____A?)/S/ (i — 1, 2, ...» k) к кодированным перемен-
ным. _
При таком переходе точке Х° соответствует точка х° ==«
= (х?,х$, где хГ =0 (/= 1, 2, ...,/г) (см. рис. 6.3),
а функция отклика (6.3.8) примет вид
т] • — fx (х1г Xg, •••» %k)' (6.3.9)
Пусть далее grad Д (х?, х£, ..., х£) — оценка гра-
диента в точке (хь хг, .... х^У, полученная с использо-
ванием факторного эксперимента, матрица плана которого
D = (Xiu) (I = 1, 2...k\ и = 1, 2......N) (см. п. 6.3.1).
Для поиска максимума сделаем некоторый шаг из точки х°
в направлении оценки градиента grad Д (х°) 1см. (6.2.2)]
хо = х° -Ь<хо grad Д (х‘) == ab grad Д (х°) = ab0°, (6.3.10)
где ссо > 0 — параметр шага ДхЬ = xb — х°; (3° =
= Ф1, Й» — МНК-оценка градиента; х* = (х}0,
Хг°...х|°)?. Очевидно, что
х/° = ода, i — 1, 2,
(6.3.11)
Точке хо (см. рис. 6.4) в системе координат кодированных
переменных соответствует точка Xb = (Xi°, Х20, ...» Xi0)*
в системе координат натуральных переменных (см. рис. 6.3),
при этом Х/° = Х° 4- x/°S° или
X1 = Xs 4- xb ® S0, (6.3.12)
где So = (S?, SB, .... S?.)e
Выполним в точке хЬ (или Xb) наблюдения yi°, 1/2°,
и найдем в ней оценку функции отклика
‘»1Ь=— S Уи°.
П
(6.3.13)
Поскольку измерение функции отклика происходит с ошиб-
кой, то в точке хЬ можно найти лишь ее оценку, i не точное
значение. Предположим, что оценка т]Ь значимо больше
оценки т]0 функции отклика в точке хч, где согласно (6.3.5)
По й.
187
в этом случае сделаем еще шаг в направлении оценки
гпалиента grad Л (х°). В общем виде для l-го шага имеем
(см. (6.3.10), (6.3.12)]
X* = х° + х' ® S0; (6.3.14)
4 = Ч0°> (6.3.15)
где а1 > а**1 > ... > «о- Оценка функции отклика при
этом в точке х1 ]см. (6.3.13)]
_ 1 п
По 1 Уи
ы = 1
где {у1и } — наблюдения в точке х10. Пусть xz — первая точ-
ка, для которой имеет место неравенство т]^1 > ф0, при-
чем tj*-1 > > По- Тогда величину т]'-' прини-
маем за оценку максимума функции отклика (хъ
х2, •••♦ Хь) ПРИ движении в направлении оценки градиента
grad (х°). На рис. 6.4 такой точки является точка хо.
На этом рисунке показано, что По > По > По, а По < По-
Возвращаемся в точку xz“* и находим по формуле
(6.3Д4) координаты точки Х'-’. Обозначим точку Xz0-' че-
рез X1 (см. рис. 6.3) и построим в ее окрестности факторный
план. Поскольку точка X1 = (Xf, Х2.......Х|)' является
центром плана эксперимента, то верхний ХА и нижний Х/2
уровни выбираем так, чтобы выполнялось равенство
X/ = (ХА + Х/2)/2, /=1,2, ..., k.
Вводя снова кодированные переменные
xt = (Xt — (=1......k,
где Si1 = (X,-2 — X/li)/2, запишем
функцию отклика (6.3.8) в виде
И = /2 (Н. *2, ...» xh).
Для удобства записи обозначение
новых кодированных переменных
сохранено прежним ]вм. (6.3.9)].
При замене переменных происходит
перенос начала координат в точку
X1 = (Xi, Х2, XI)' и растяже-
ние (сжатие) по осям. Линии уровня
функции отклика f2 (хь х2, , Xh) для k iZ= 2 показаны
на рис. 6.5.
Пользуясь допущениями, аналогичными сделанным пя-
нее, запишем 1
k
П~Р& + 5 р/хь
<=1
(6.3.16)
где ро = /2__(4, 4, ..., 4); р/ = dfjdxj (i = 1, 2, .... k).
Если Dt = (х/и) 0=1,2, ц = 1, 2............. N) —
матрица факторного плана с центром в точке х1 =
= (4, хг, .... х*)', а X — (х)„) — соответствующая ей
и функции отклика (6.3.16) матрица независимых перемен-
ных, то МНК-оценки составляющих градиента в этой точке
равны
Р/1 - 2 У и. / = 1, 2,..., k,
1 U—1
где у], у}, ..., yht —наблюдения в точках плана. На рис. 6.5
в качестве примера приведена матрица плана ПФЭ типа 22.
Используя оценку градиента
grad /2 (xj, х£, ..., х£) = (р{, pl, ..., pi)',
делаем шаг в ее направлении из центра плана 1см. (6.3.10),
(6.3.11)1
х| = a} grad /2 (xl, х£, ..., х-) == aiP1
или
х’ = а®1, I = 1, 2, ..., k,
где а} > 0 — параметр шага; Р1 = (Pi, р£, .... Р*)'-
Далее повторяем весь цикл поиска максимума функции
отклика /2 (xi> х2> • ••> хь) п0 направлению оценки гра-
диента grad /2 (х1) в новой системе координат. В этом слу-
чае для l-го шага имеем (см. (6.3.15)1
х, = «iP1. где а\ > > ... > <4.
Пусть
S
П а
«— 1
189
— оценка функции отклика /2 (хъ х2 xh) в точке
xi пи результатам наблюдений у{1, у%, у„ в этой точке.
Если х* — первая точка, для которой ni-1 > nZi, то возвра-
щаемся в точку х/1“"1*). На рис. 6J5 такой точкой является
точка X?, т. е. предполагается, что nt >П1 > По,
Переходим к натуральным координатам по формуле
Х'г1 = х1 4- х'г1 ® S1,
где s1 = (Si, S2, S|)\ Обозначим точку Xz-’ через X2
и снова построим в ее окрестности факторный план. На
рис. 6.3 такой точкой является точка Xt = X2. Далее ор-
ганизуем новый цикл и т. д. до достижения области экс-
тремума.
Легко видеть, что для /-го шага на m-м цикле имеем
Х« = «тИ Хт = Хт + 4 ® S«,
где — вектор-оценка градиента функции fm (хъ
х2> •••> *k) в центре плана на m-м цикле; а!т — параметр
Z-го шага на m-м цикле; Sm = (S™, S'", ..., Smk)', при этом
S™ (i= 1, 2, ..., k)— интервал варьирования на т-м цикле.
Здесь приведено лишь схематичное изложение метода
Бокса и Уильсона.
В заключение отметим, что при планировании основная
задача состоит в повышении эффективности эксперимента.
Если эксперимент является дорогостоящим, то поиск часто
заканчивают при получении удовлетворительных для ис-
следователя значений функции отклика без достижения об-
ласти экстремума. Достижение области экстремума в этом
случае по экономическим соображениям может оказаться
нецелесообразным.
6.4. СВОЙСТВА ОЦЕНКИ ГРАДИЕНТА
ПРИ ИСПОЛЬЗОВАНИИ ПРИБЛИЖЕННЫХ МОДЕЛЕЙ
ДЛЯ ОПИСАНИЯ ПОВЕРХНОСТИ ОТКЛИКА
6.4.1. ПОСТАНОВКА ЗАДАЧИ
При оценивании градиента в задаче поиска экстремума
предполагалось, что функция отклика в окрестности цент-
*) Из условия тф—1 > г]* не следует, что т)!”1 >’ll- Поэтому
сравнение значений функции отклика в точках xz—l и xz по резуль-
татам наблюдений в этих точках целе ^образно проводить с исп ’
зованием статистических критериев.
190
ра плана факторного эксперимента достаточно точно ап-
проксимируется гиперплоскостью. В реальных ситуациях
это условие часто не выполняется. В этом случае оценки
составляющих градиента могут быть смещенными. Сущест-
вует связь между оценками составляющих градиента и
оценками параметров модели, используемой для описания
поверхности отклика. Зная смещение оценок параметров
модели, можно найти смещение оценки градиента. Вопросы
смещения оценок подробно рассмотрены в § 2.3. Проиллю-
стрируем на простом примере применение результатов § 2.3
в задаче оценивания градиента.
Пример 6.3. Пусть задана матрица полного факторного пла-
на 2»
Исследователь полагает, что функция отклика х2) имеет
вид I]=Ро + Pi Х1+₽2 х2, хотя в действительности [см. (6.3.4)]
У—Ро + Pi Х1 Ч~₽2 х2-ЬР12 Х1 *а + Р11 ха>
где
df
Ро = f (xi» хъ)1 Pi — I
д2?
~ 2д (xf)2 ~~ 1 * = д х% Зх§
Здесь точка (х?, х§)' — центр плана, т. е. х? = х§ = 0. Необходимо
найти оценку градиента функции отклика в центре плана.
Легко видеть, что grad f (х^, х§) = (Р1, Рг)'. Таким образом, ис-
следователь считает, что модель наблюдений имеет вид [см. (2.3.6)]
М {¥}=» Х°р°, (6.4.1)
где Y = (yit ул, gs, g^', Р° = (Ро, Pi, Pa)'l
На самом деле [см. (2.3.7)]
M {Y} =ж хр = Х°р° + Х*р\
101
где Р* — (Pia> Pi!» Р«з) »
1 Л
1 1 1
1 1 I
1 1 /
Поскольку rank Х° = 3, т. е. матрица XX — невырожденная,
то МНК-оценка параметра р°, полученная исследователем, равна
р° = (Х°'Х°)-х хо/ Y
Матрица смещения [см. (2.3.9)] при этом равна
/О 1 1\
А=(Х°'Х°)~1 Х°'X* = I О 0 0 .
\0 О О/
(6.4.2)
Отсюда следует, что при использовании исследователем модели
(6.4 1)'МНК-оценки "Pl, Р2 параметров Р(, Р2 будут несмещенными,
так как [см. (2.3.8)]
М {Р°} = р° + Ар*
или [см. (6.4.2)]
/Р. +Р11+Р22
М{рс}= р,
\ Рг
Очевидно, оценка градиента в центре плана
grad / (xj, xg) = (Pl P2)',
где
Pt = J" (— У\ + Уч — Уз + ЧьЪ
Pa = (— У\ — Уч + Уз + У4).
будет также несмещенной. Иначе говоря,
М {grad/(х?, xi*)} =(р,, p2»'=f .
Из рассмотренного примера вытекает чрезвычайно важ-
ный для практики исследований вывод: применение даже
грубых моделей для описания поверхности отклика может
не приводить к смещению оценки градиента в центре пла-
на Это обстоятельство отчасти объясняет причину доволь-
но успешного применения метода Бок а и Уильсона в при-
кладных исследованиях при относиедльно грубой аппрок-
симации поверхности отклика.
192
6.4.2. СВОЙСТВА ОЦЕНКИ ГРАДИЕНТА
Задача несмещенного оценивания градиента щас] f (х'(
х$, .... 4) при разложении функции отклика n J
= / (4, 4, ...» 4) по формуле Тейлора |см. (6.3 4)]
в окрестности центра плана х° = (х\, 4, х^)' состоит
в нахождении несмещенных оценок составляющих градиен-
та Р, = dfldx'l, где 4 = О (Z = 1, 2.Л).
Рассмотрим случай, когда
П=/(хьх2,..., хА) = р0+ 2 IV,+
Pi j xi 4 +
(6.4.3)
Очевидно, что grad f (4, 4, ...,4) = (Pi, р2, ...» Pft)'.
Справедлива
Лемма 6.1. Пусть функция отклика имеет вид (6.4.3).
При использовании дробного факторного плана типа
МНК-оценка градиента grad f (4, 4, •••, 4) будет не-
смещенной тогда и только тогда, когда переменные хь
х2, • ••> xh удовлетворяют условиям
±х, ф Xj, i, j = 1, 2, ..., /г; i #= j; (6.4.4)
+хг #= хг 0 xs, i, I, s = 1, 2, ..., /г; I y= s. (6.4.5)
Доказательство. Пусть D — (хг) (t = l, 2,...,
/г) — матрица факторного плана типа 2*~« и выполняются
условия (6.4.4), (6.4.5). Запишем функцию отклика (6.4.3)
в виде
п= 2 ₽ix! + ₽„+ 2 2 ₽(1хЛ (6.4.6)
Тогда нетрудно проверить, что столбцы матрицы независи-
мых переменных X = (х7) (/ = 1, 2, ..., р 4- 1) соответст-
вующей функции отклика (6.4.6), удовлетворяют условия'
1|Х;1|2 = N, j = 1,2 1; (6.4.7)
4ху = 0, i *= 1, 2 k\ / = 1, 2 р + 1; i (6-4.4
Отсюда вытекает, что матрица X может быть представле-
на в виде блочной матрицы 1см. (2.3.5)!
X == (Xе, X*),
7
Зак. 1013
юз
где Х° = (xj) (j = 1, .... k) Согласно (6.4 8) Xo/X* = 0 и,
следовательно, по лемме 2.4 МНК-оценка ₽' = (рь fi2, ...
К)' вектор-градиента (0n ₽2» •••» Ph)' будет несме-
щенной и равна
р = (Xе'Xе)'1 Х°' Y,
где у == (yv у2, ..., ум)' — вектор наблюдений.
Поскольку столбцы матрицы Х° попарно ортогональны
[см. (6.4.7)]
fG = (1/Ж-У, / = 1, ..., k. (6.4.9)
Легко видеть, что если МНК-оценка градиента grad / (х?,
...» х®) несмещенная, то выполняются (6.4_.4), (6.4.5).
Следствие I. Если матрица плана D == (х£ы) (/ =
= 1, ..., k\ и = 1, ...» N) является матрицей полного фак-
торного плана 2ft, то условия (6.4.4), (6.4.5) выполняются
для любого k и, следовательно, несмещенная МНК-оценка
существует и определяется по формуле (6.4.9).
Следствие 2. Если условия (6.4.4), (6.4.5) лем-
мы 6.1 выполняются, то для аппроксимации поверхности
отклика может быть использована зависимость вида
П = Ро + Р1^1 + ... + PhXfe. (6.4.10)
В этом случае МНК-оценка градиента для моделей (6.4.3)
и (6.4.10) совпадает.
Замечание. Условия (6.4.4), (6.4.5) выполняются в том и толь-
ко в том случае, когда разрешающая способность (см. определение
4.6) дробной реплики 2k~Q больше трех.
Переформулируем лемму 6.1 с учетом замечания.
Лемма 6.2. Применение дробной реплики типа 2*~/7 по-
зволяет получить несмещенную МНК-оценку градиента
grad f (х®, Хг, ...» х1) функции отклика (6.4.3) в точке
(х?, хЦ, ..., х%У тогда и только тогда, когда ее разрешаю-
щая способность больше трех.
Рассмотрим примеры.
Пример 6.4. Функция отклика т) == / (xlt ха, xit х4) имеет вид
(6.4.3). Легко видеть, что полуреплика 2fv ‘ с определяющим конт-
растом 1=х1х2х3х4 имеет разрешающую способность, равную
четырем, и по лемме 6 2 позволяет получить несмещенную оценку
градиента grad /(0, 0, 0, 0) функции отклика в центре плана. Очевид-
но, что
194
grad / (О, О, О, 0) = (₽ь ₽а, р4)',
где
₽i = 4 (— Уг + Ув — Уа + Ул — Уъ + — у, + 9в);
₽2 = 4 (— У1 — Уг + Ув + Ул — Уб — У» + Уч +{/8);
1
₽з = 4 (— У1 — Ув — Уд — Ул + Уб + Ув + Уч + £/8);
Р-» = 4 (— У1 + Ув + Уд — Ул + Уб — Ув — Уч + Ув)-
Если для этой же цели использовать полуреплику 2fn 1 с определи
ющим контрастом 1 — х,х2х., то МНК-оценка градиента будет сме-
щенной, причем [см. (4.4.18)’
М {grad / (0, 0, 0, 0)} =
= (Л4 {ft, М {ft}, Л4 {ft, М (ft)' = (Pi +₽24, Р, + Р14, Р„
Р* 4" Р12) •
В этом случае только оценка составляющей градиента р3 будет не-
смещенной; оценки остальных составляющих являются смещенными.
Пример 6.5. Функция отклика т) = / (х1э х2, .... х7) имеет вид
(6.4.3). Убедимся в том, что 1/4 -реплика 2’-2, задаваемая генерирую-
щими соотношениями хв — ххх2х3, х7 — x9xtx5, имеет разрешающую
способность, равную четырем, и, следовательно, позволяет получить
несмещенную МНК-оценку градиента в центре плана. Действитель-
но, определяющие контрасты, задающие дробную реплику, равны
1 —Х± Х2 Xs XeJ 1=Х3Х4ХбХ;.
Отсюда обобщенный определяющий контраст
1 =хг х2 х3 x6 = х3 х4 хъ х1 = х1 х2 Хл хь х6 х7
имеет разрешающую способность, равную четырем, т. е. дробная
реплика является репликой 2iv2.
Легко проверить, что в классе дробных реплик 27-8 не существу-
ет дробной реплики, позволяющей выполнить несмещенное оценива-
ние градиента.
Приведенные примеры иллюстрируют лишь общие под-
ходы к решению задачи оценивания градиента в ситуациях,
когда принятая исследователем модель приближенно опи-
сывает поверхность отклика Из их рассмотрения следхет,
что в некоторых важных для практики случаях возможно
совпадение оценок градиента для моделей рвзличнс й слож-
ности. Это позволяет иногда ноль опаться б< "е< простыми
и менее точными описаниями pxHot iH отклика при оне-
нннании гралшнта. (ichophwc Г» 1 н при этом сво-
7
106
дятся к выбору дробных реплик с наибольшее j .. .
щеЛ
Весьма сложной является проблема сравнения эффек-
тивностн планов при оценивании градиента которая н т
здесь не рассматривается 141J.
6.5. ПРОВЕРКА ГИПОТЕЗЫ АДЕКВАТНОСТИ МОДЕЛИ
ПРИ ПОИСКЕ ЭКСТРЕМУМА
6.5.1. ВВОДНЫЕ ЗАМЕЧАНИЯ
При поиске экстремума функции отклика часто после
проведения факторного эксперимента выполняют провер-
ку гипотезы адекватности модели. Эта проверка возможна
лишь при ненасыщенном планировании (см. п. 4.5.3). Ее
особенность определяется видом модели, аппроксимирую-
щей поверхность отклика в окрестности центра плана, на-
личием повторных наблюдений в точках плана и его цент-
ре, структурой плана.
Ниже рассматриваются различные задачи проверки ги-
потезы адекватности модели при поиске экстремума и нена-
сыщенном планировании.
6.5.2. ПРОВЕРКА ГИПОТЕЗЫ АДЕКВАТНОСТИ МОДЕЛИ
ПРИ НАЛИЧИИ ПОВТОРНЫХ НАБЛЮДЕНИЙ В ЦЕНТРЕ
ПЛАНА
Предположим, что при построении факторного экспе-
римента и оценивании градиента исследователь полагает,
что функция отклика имеет вид
Ро
Л 2 ^2’ Xfe) р/1
/ = 0
(6.5.1)
гДе {/> (•)} — известные функции; {₽/} — неизвестные
параметры.
Рассмотрим проверку гипотезы /70, состоящей в том,
что модель (6.5.1) адекватна. Пусть Ь =(xiu) (i = 1, ...»
u=l, ..., N) —матрица полк ого или дробного фак-
торного плана типа ° ~Q г г< рными н. б ь тени ми
yi У1-, Уп„ в центре плана Очевидно, что А п
где п = Будем считать, что матрица независимых пе'
ременных X = (х/ы) (/ = о. 1, ... Р1); и = i.V). соот-
ветствующая функции отклика (6.5 I) ннлнстся матрицей
ор । < ч । и! j. ।ыи h । планир<и по . * । t условиям
N
v х1« n- i 1 - р -
к — 1
% Хои /V.
«=1
(6 5.2;
(6.5.3)
Обозначим через ylt yit yN наблюдения в точках п ia-
на. Тогда yn+i = yl (I = 1, ..., л0). Так, например, если
имеется ПФЭ 22 с повторными наблюдениями у\. у±, у, в
центре плана, то
D =
— 1
1
— 1
1
О
О
о
— 1
— 1
1
1
о
о
о
~*У1
~+Уз
~^yt
~+Уь
~*Уе
-+У1
(6.5.4/
где у°х = уь\ у2 = уъ\ уз = у7; п = 22 = 4; N = 7. Гипоте-
за Но в этом случае может состоять в том, что адекватна
модель
Л — Ро 4“ Р1Л1 ’ р2*2-
(6.5.5)
В соответствии с (3.1.27) и (3.1.37) несмещенная оценка дис-
персии наблюдений о2 равна
s*.== -Ц- S (у, -у«У, '6.5 6)
/V—(п + 1) л0 —1
it — 1 X?
где п + 1 — число различных точек плана; у0 — у}
п' г?о
Оценка параметра о2, обусловленная неадеквата ть '
модели, равна [см. (3.1.47)1
s’ Qx/(n 1—г), (6.5.7)
где г — р0 + 1 — ранг матрицы X. Легко ви" ть что
п 1 г п Ро
Величина [см. (3.1.24)] = Qo Q2. Согласно
(3.1.35)
Qi Y'V »Y 0 X Y
или
(6 В)
(3.1.33)
Qj Y'V *Y 0s'X'Xpe,
где 0’ (X'X)-1X'Y; Y (yt. ut. y...i/i,V'>
«ак. 1012
I 1
о
c°
и,у
1,
п
о
1
о
Поскольку планирование ортогональное, го 1см. (6.5.9)]
Qi = 2 + 2 ₽Г-Лфоа, (6.5.10)
п=1 /=1
где
1 ”
Р/ Xi xJu Уи> ] 1,2,..., ро,
п
и=\
- 1 N
Ро = — s хОиуи.
ы=1
Для матрицы плана (6.5.4) и функции отклика (6.5.5) име-
ем
п0 — 1 = 2; п — р0 = 2; п — 4; N = 7;
1 1
Ро=~ ^Уи', ₽1 — ~( — + +
7 4
Р2 — — (—У1 — t/z + ^s + f/i)-
4
Гипотеза Но отклоняется, если [см. (3.1.51), (6.5.6) —
(6.5.10)]
sr Isl > Fa- n-p0, По-1"
Здесь порог Fa: п_Ро> определяется из условия
Р {^п-Ро, По-1 п- Ро, По —1} = а»
где а — заданный уровень значимости, a Fn_Poi п,_х — слу-
чайная величина, имеющая распределение Фишера си — р0
и п0 — 1 степенями свободы.
6 5.3. ПРОВЕРКА ГИПОТЕЗЫ АДЕКВАТНОСТИ МОДЕЛИ
ПРИ НАЛИЧИИ ПОВТОРНЫХ НАБЛЮДЕНИИ В ТОЧКАХ
ПЛАНА
Задача проверки гипотезы адекватности модели (Ь 5.1
для случая, когда матрица плана Do (х°и) (i
= 1, 2, ..., k\ и 1,2. , No) является матрицей плана
факторного эксперимента с кратными повторными наблю
198
дениями {z//s} (/ = 1, 2, п; s = 1, .... tn; No — mn) и
когда наблюдения в центре плана отсутствуют, рассмотре-
на в п. 4.5.2. Если Х° (х/°ы) (j = 0, 1.........р0; ы =
= 1,2, ..., N) — матрица независимых переменных, удов-
летворяющая условиям (4.5.3)—(4.5.5), то гипотеза Но от-
клоняется при выполнении неравенства [см. (4.5.27)]
(п _ Ро \
т £ yf-N° 2 ₽/°2
I — 1 / = 0 / £7
/пт п \ а’ n~r‘ N°~n'
(п—/)( s 1j уК—т S У?
\/=1 S=1 1=1 /
где г = р0 + 1; ₽/° = дг 2 О' = 0. 1............Ро); Уг =
° и= 1
т
= <Z = 1- 2'
s= 1
Предположим теперь, что в центре плана также имеют-
ся повторные наблюдения yl, у %, ...» уп,, т. е.
где Do = (xz°u) (i = 1, 2, ..., k; и = 1, 2, ..., No); No =
= mn) — матрица факторного плана с повторными наблю-
дениями {уis}; 0 — нулевая матрица порядка nox k. Оче-
видно, что D = (xiu) (i = 1, 2.k; и = 1, 2, ..., N) —
матрица порядка N X k, где ЛГ = No + n0.
Несмещенная оценка параметра о2 в этом случае равна
[см. (3.1.37)]
N-(п + 1)
пт п0
S S (у is—yiY+ X (у°—уо)2
_Z=1 s=l z= 1
(6.5.11)
При f (0, 0, ...,0) — Ро матрица независимых переменных
х = lxiu) (j = 0, 1, ..., р0; и 1, 2, N) удовлетворя-
ет условиям
У,х}и N, j l,2,...,po;
«=1 «—1
N
У XiuXju 0, z, / 0, 1,. , p0: i Aj-
<4—1
7B* 199
Оценка параметра а2, связанная с неадекватностью модели
на основании (3.1.47), (6.5.9) равна
«—Ро
(6.5.12)
где г = ро 4- 1;
= V у!-\-ПоУо — No
z=i j=i
причем
Ро —-
v (P7)2-A4PS)2.
1 N»
07 = — U xjuyu, /=1,2,..„ Ро.
N° u=l
Гипотеза Но отклоняется, если
Sr2/s/ fa-, п-Ро, Ti^i (6.5.13)
где п* = N — (п 1).
6.5.4. ОБЩИЕ ЗАМЕЧАНИЯ
Принятие решения о продолжении поиска экстремума
после проведения факторного эксперимента существенно за-
висит от результатов проверки гипотезы Но об адекватно-
сти модели (6.5.1). При проверке гипотезы адекватности
необходимо иметь в виду следующие обстоятельства. Во-
первых, из адекватности модели не следует, что она истин-
на (см. §3.1). Во-вторых, исследователю неизвестна мощ-
ность критерия, когда гипотеза Но ложна, поскольку она
зависит не только от вида матрицы плана, но и от дисперсии
наблюдений и вида истинной модели. Так, если дисперсия
наблюдений велика, то мощность критерия может быть ма-
ла и при значительном различии между истинной и посту-
лируемой моделями.
Однако если гипотеза Но при проверке не отклоняется,
то предположение о том, что модель истинна, не противо-
речит результатам наблюдений. В этом случае обычно при-
нимается решение о продолжении поиска и из центра плана
делается некоторый шаг в направлении оценки градиента.
Сложнее обстоит дело, когда гипотеза адекватности мо-
дели отклоняется. Ее отклонение указывает на возможность
нахождения исследователя вблизи области экстремума,
200
так как при этом возрастают эффекты взаимодействий более
высоких порядков. При достижении области экстремума
возникает задача ее исследования, которая в дальнейшем
будет рассмотрена самостоятельно.
Если на основании априорных сведений исследователь
полагает, что область экстремума функции отклика им не
достигнута, то причиной неадекватности модели может быть
неточность аппроксимации функции отклика в окрестности
центра плана. В этой ситуации возможны следующие реше-
ния. Крутое восхождение может быть продолжено без про-
ведения дополнительных наблюдений относительно центра,
поскольку при использовании неадекватных моделей оцен-
ки составляющих градиента для истинной модели могут
быть несмещенными (см. п. 6.4.2).
Пример 6.6. Пусть имеется ПФЭ типа 22 с двумя повторными
наблюдениями при каждом варианте испытаний. При проверке гипо-
тезы Но модель т] = Ро + РЛ + Ргхг оказалась неадекватной.
Исследователь априори полагает, что можно использовать в этом
случае модель
П = Ро + Р1*1 + Рг*2 + Р12*1*2 + Р1Рч + ₽22*2‘
Так как оценки рх, р2 составляющих градиента для этой модели будут
несмещенными (см. § 6.4), то им принимается решение о крутом вос-
хождении из центра плана. Заметим, что при этом МНК-оценки па-
раметров ро, Ph, Р22 будут смещенными, а проверка гипотезы адекват-
ности модели невозможна.
Другое решение при отклонении гипотезы Но состоит в том, что
крутое восхождение выполняется при условии проведения дополни-
тельных наблюдений относительно центра плана. Это происходит,
когда возникает необходимость в более сложной аппроксимации по-
верхности отклика. С этой целью план «достраивается» и в его новых
точках проводятся наблюдения. После проведения дополнительных
наблюдений находится оценка градиента и осуществляется крутое
восхождение.
Пример 6.7. При поиске экстремума использовалась главная
полуреплика (без повторных наблюдений) типа 24-1 с определяющим
контрастом 1 = х^ХдХ^. В центре плана имелось л0 повторных наб-
людений. При проверке модель ц = р0 + У Р{Х< оказалась неадек-
/=1
ватной. Исследователь считает, что причиной ее неадекватноеги
является наличие эффектов взаимодействий высокого порядка. Поэ-
тому поверхность отклика им аппроксимируется уравнением
4 4 4
Т1= Ро + У Pi Xi 4- У, Pi/ Xi Xj-]- У РIJI Xi Xj X/-J- Pjjji X1 ' X» X* '
i 1 ill
План путем реализации tin одной полуреплики 2* 1 с опр> о ляющим
контрастом 1 — XjXgXgXj д страивается до плана ПФЭ 2*, пос ir чс-
Г" находятся несметен и ьи оценки рх, Pr>Pi, Р« оставляющих гради-
201
ента ₽i, ₽,. Ра. ₽« и производите» крутое восхождение При ислс.Л|.
оо ии этой мод( ли план является на< iидейным и up, a iик,
об et адеквз пост» нсз »зм я на.
В зак ючение от метим, что нами были затрону ты лишь
некоторые важные аспекты проблемы проверки гипотезы
адекватности модели при поиске экстремума
6.6. РОЛЬ МАСШТАБА ПРИ ГРАДИЕНТНОМ МЕТОДЕ
ПОИСКА ЭКСТРЕМУМА
6.6.1. УРАВНЕНИЕ РАЗМЕРНОСТЕЙ
В рассмотренных выше задачах планирования экспе-
римента в уравнении
Л = f -^2’ •••> Xh) (6.6.1)
контролируемые переменные (факторы) Хг, Х2, ..., Xk пред-
ставляли собой либо безразмерные величины, либо вели-
чины, имеющие одинаковую размерность. В реальных зада-
чах планирования эксперимента размерности факторов
Хх, Х2, ..., Xh различны. Покажем на простом примере, что
в этом случае воспользоваться непосредственно понятием
градиента нельзя.
Пусть, например, т] = f (Хг, Х2) — средняя произво-
дительность оператора (размерность которой т/мин) зави-
сит от температуры окружающей среды (размерность кото-
рой °C) и от почасовой платы Х2 (имеющей размерность
руб/мин).
Запишем формально перемещение на некоторый шаг
в направлении градиента grad f (X?, Х£) из точки Х° =
= (X?, Х%)' (см. рис. 6.2). Согласно (6.2.1) координаты но-
вой точки
Х1 = Х? + е-^; (6.6.2)
дХ" v
х'. х°>-| o-*L (6.6.3)
где 0 — параметр шага; (41 —-J). (j = 1, 2).
>Xi дХ)
Уравнения размерношей для (6.6 i < ».G.3) имеют вил
[°C] lQ.oI— ‘ ।
L аС 1
руб ] Г_рг2. I । и I — мин
МИН J [ МИН J L I Г’ ми"
(6 6 4)
(6.6,5)
202
Для этих уравнений величина О имеет различные размер-
ности, т. е. мы пришли к противоречию.
Таким образом, понятие градиента в общем случае, ког-
да факторы Xj, Х2, .... Хь имеют различную размерность,
лишено смысла. Для устранения противоречия необходи-
мо в выражении (6.6.1) перейти к безразмерным величинам.
Этот переход осуществляется с помощью выбора масштаба.
Перейдем, например, к кодированным переменным по
формуле [см. (6.3.2)! Xf = (X<— Xi)/Sf, где St—интервал
варьирования. Величина интервала варьирования S® пере-
менной Xi (i = 1, 2, ..., k) здесь задает фактически мас-
штаб. Очевидно, что кодированные переменные хх,
х2, ..., xk будут безразмерными величинами. Если
в выражении (6.6.1) перейти к кодированным переменным,
то функция отклика т] = Д (хх, х2) будет иметь ту же раз-
мерность, что и т] = f(Xlt Х2), т. е. [т/мин]. Точке (X?, Х2)'
соответствует точка (х°, х2)' в системе координат кодиро-
ванных переменных. Запишем перемещение в направлении
grad h (х®, х2) из точки (х®, х2)'. Получим
xi = х? + а ; (6.6.6)
ох?
xj = x§ + a2^_, (6.6.7)
дх°г
где а — параметр шага; х? = х2 = 0. Производные
(i= 1, 2) имеют одинаковую размерность—т/мин.
dxi
Отсюда а в уравнениях (6.6.6) и (6.6.7) также имеет одина-
ковую размерность -, и, следовательно, уравнения не-
противоречивы.
6.6.2. НЕИНВАРИАНТНОСТЬ ГРАДИЕНТА
Пусть заданы функция отклика
т) = /(Хх, Ха, ...» Х„) (6.6.8)
и произвольная точка (X?, Х2,..., XI)' Введем кодирован-
ные переменные
Xi = (Xf — X?)/Sf, (6.6.9)
где S" — интервал варьирования.
Выразим функцию отклика (6.6 8) чере < кодированные
переменные:
Ц fi (Хп ха, .... лк). (6.6.10)
газ
i< К» О l^Tb, что
, i 1,2,..., k, f6611.
где r“ = 0 (i 1,2,
Запишем перемещение на некоторый шаг в направлении
grad К (xi, х°.х%) из^ точки (х?, х%, ..., xi)'
xi х° + а~^Г’ z,= 142...k>
или
Xi a dx?
[(6.6.12)
где a — параметр шага. Для случая двух переменных
такое перемещение показано на рис. 6.6.
Введем новые кодированные переменные
xt = (Хг — X?)/S?, i = 1, 2, ..., k. (6.6.13)
Произведя замену переменных в выражении (6.6.8), полу-
чим
(6.6.14)
х2,..., Хъ).
Функция отклика /2 (7Ъ х2, .... xft) для k 2 изобра-
жена на рис. 6.7.
Рассмотрим связь между перемещением в направлен и
[ралиента grad Д (х?. х£, .... х^) по формуле (6.6.12) <•
1 и 6.6) и соответствующим ему перемещением в сислсме
координат кодированных переменных х,. х* Так ючк
2(М
Аф 3) al?
(6.6 r,:.
де xf -- U (r — 1, 2, --•» k),
dh si dt*
dxf st dxt
то согласно (6.6.11)
i 1,2,...,/?.
(6.6 16;
В соответствии с (6.6.9) и (6.6.13)
xt - (St/S?)xh i = 1,2, (6 6.17)
Используя (6.6.12), (6.6.16) и (6.6.17), находим, что
SP
х,=а
2 df2
S?
dxt
i = 1, 2,..., k,
(6.6.18)
или
где
dxf
i — 1,2,..., k,
st
st
(6.6.19)
(6.6.20)
Л1 Г г ~
2
В общем случае yf =/-- const. Поэтому перемещение, зада-
ваемое уравнением (6.6.19), не будет перемещением в на-
правлении градиента grad /2 (*ь *2, •••, л$). Это пере-
мещение будет перемещением в направлении градиента
grad f2 (х°, %2, •••, 4), если уг- = у = const, т. е. если
xi — Y (dfjdxt) (i = 1,2, ..., k). Очевидно, справедливо
обратное утверждение.
Если сделать некоторый шаг в направлении град ei га
grad (х?. х§, .... xty из точки (х?, 4, • . xt)' то
соответствующее ему перемещение в системе ко< р [Hi it
кодированных переменных хх, х2, ..., х» не будет в
общем случае перемещением в направлен ни градиента
grad /у (х?, х®, ..., х£) из точки (х°, х". . /•)' Гаккм
образом, градиент неинвариаш ь отнпситгсмши н< и
hi ix преобразований [см. (6 6 1 )] ат» р кения
по координатным осям.
Однако шли частных пр водных или составляквцнх
градиента при переходе <>т одной ин и-мы !.,<•< рдинл j к др у •
не меняются. Действительно, как ВЯЛЮ из формул
(о-6.И) и (5 6.15), знаки частных проихводныл d/pd*/’ и
dlaldx* (i -т 1,2.jt), (. е. эн жи < • •>. 1 ,шляюшнх градв*
emcв ped A (4, 4, .-,4) и grad f2 (4, Гч, .
совпадают ('iu щ < и OvT, что знак приращения по (1~(I
। При движении в направлении grad А (х°, х$, . ф
совпадает си знаком приращения по оси х( (i «= £, 2,
при движении в направлении grad /2 (х?, х", ..., xj).
Поэтом) мете д наискореишего подъема в различных систе-
мах координат сходится к максимуму. Скорость сходимо-
сти меч ода наискореишего подъема, а следовательно, и ме
тода Бокса и Уильсона к максимуму зависит от выбора
масштаба или интервала варьирования.
Проблема выбора масштаба является одной из наиболее
сложных в задаче поиска. Известны рекомендации по вы-
бору масштаба для некоторого класса функций [28, 30,
38]. При решении практических задач планирования экс-
перимента интервалы варьирования при поиске изменяются
на каждом шаге с учетом скорости сходимости алгоритма.
ГЛАВА 7
ИССЛЕДОВАНИЕ ОБЛАСТИ ЭКСТРЕМУМА
7.1. ПОСТАНОВКА ЗАДАЧИ
После достижения области экстремума проводится ее
исследование. Это исследование выполняется путем постро-
ения планов более высокого порядка, поскольку поверх-
ность отклика вблизи экстремума обычно плохо аппрокси-
мируется гиперплоскостью.
Определение 7.1. План S (А), которому соот-
ветствует функция отклика
П Ро 4“ "У) Pi %i + У р/li» +
+ -+ 2 И...................( х'», (7.1-1)
‘....h k
2 lj = d
представляющая собой полином степени d от переменны:
хг, ..., х , называют планом порядка d, если он позволя-
ет получить несмещенные (раз дельные) М.НК оценки н> к
еестных параметров р0. {0г}, , {0ц . tft}- Очевид-
но, число неизвестных параметров в (7.1.1) равно Сь
Для аппроксимации области экстремума вначале обы
но используется полином 2-й степени
206
n i- v Р-' IL 1 ' V г-;, г?
1- <•« ।
(7.1.2)
Если такая аппроксимация оказывается неудовлетворитель»
ной, то для описания этой области применяют полиномы
более высокой степени.
При аппроксимации области экстремума гиперповерх-
ностью второго порядка возникает задача выбора плана экс-
перимента. Для построения планов второго порядка не.ть
зя непосредственно воспользоваться факторными экспе-
риментами, в которых переменные варьируются на двух
уровнях. Эти эксперименты не позволяют получить раз-
дельных оценок параметров 0О, {0п}, так как для них 1 =
= xi = xi = ••• — Поэтому при построении пла-
нов второго порядка применяются факторные эксперимен-
ты, в которых переменные варьируются на трех или более
уровнях. В полных факторных экспериментах типа 3fc чис-
ло различных точек плана 7V = 3fc; здесь 3 — число уров-
ней.
Однако, как будет показано, ПФЭ типа 3fc нецелесооб-
разно использовать для построения планов второго поряд-
ка, так как избыточность опытов Д = N — (р + 1), где
р _|_ 1 = (k + 1) {k + 2)/2 (7.1.3)
— число неизвестных параметров в (7.1.2), при этом ве-
лика.
Ниже рассматриваются примеры построения так назы-
ваемых центральных композиционных планов второго по-
рядка и их особенности. В этих планах переменные варьи-
руются на пяти уровнях. Заметим, что планы второго по-
рядка используются также в тех случаях, когда положение
области экстремума априори известно исследователю или
когда проводятся самостоятельные исследования поверх-
ности отклика.
7.2. ЦЕНТРАЛЬНЫЕ КОМПОЗИЦИОННЫЕ ПЛАНЫ
ВТОРОГО ПОРЯДКА
7.2.1. СТРУКТУРА ЦЕНТРАЛЬНЫХ КОМПОЗИЦИОННЫХ
ПЛАН! >В
Один из подходов при построении ii.iaiui второго поряд-
ка cud от в iiijiimihoii.ihiiii результатов планирования на
п'” 1,'знем ша .... 11 ми ,.
получается достраиванием плана, представляющего собой
факторный эксперимент, и называется композиционным или
последовательным (последовательно строящимся) [30].
Рассмотрим пример построения центрального компози-
ционного плана, когда число факторов k = 3. Предполо-
жим, что при поиске экстремума использовалось линейное
приближение описания поверхности отклика
Т] Ро “Ь Р1Ч “Ь ^2^2 “Ь Рз*3-
Схема наблюдений при оценке градиента в некоторой точке
факторного пространства показана кружочками на рис. 7.1.
Эта схема представляет собой полуреплику 23-1, матрица
плана которой
Предположим, далее, что при проверке гипотезы адек-
ватности модели линейное приближение оказалось недо-
статочным. Пробный шаг в направлении оценки градиента
из центра плана D также не показал прироста функции
отклика. Полагая, что область
экстремума достигнута, для ее опи-
сания воспользуемся полиномом
2-й степени. Число неизвестных
коэффициентов полинома р + 1 =
= 10. Для их оценивания построим
композиционный план. Сначала
достроим полуреплику 23 -1 до ПФЭ
23. Полный факторный эксперимент
23 образует ядро композиционного
плана (на рис. 7.1 ядро плана изо-
бражено кружочками и зачернен-
ными точками). В качестве дополнительных точек для на-
блюдений возьмем еще шесть так называемых «звездных»
точек с координатами (— 0, 0), (eq, 0, 0), (0,—ая, 0),
(0, а2, 0), (0, 0, —а3), (0, 0, а3) (на рис. 7.1 отмечены крес-
тиками). Кроме указанных точек при построении компози-
ционного плана используют /?0 параллельных (повторных)
опытов в его центре (зачерненный квадрат на рис. 7.1). I а*
блюдения в нем либо уже имеются до построения компози-
ционного плана, либо их выполняют. Они необходимы для
208
проверки гипотезы адекватности модели и получения ин
формации о центре плана.
Матрица плана (см. рис. 7.1) при п0 = 2 имеет вид
* IQ IQ II IQ (7.2.1)
где
|-1 -1 -1 —«1 0 0
I -1 -1 аг 0 0
— 1 1 — 1 0 —а2 0
1 1 —1 — 1 —1 1 ; d2 = 0 сса 0 0 0 —а3 •
1 —1 1 0 0 «о о
— 1 1 1 ООО
1 1 1 ООО
План представляет собой композицию или соединение двух
планов, матрицы которых Dt и D2, и поэтому называется
композиционным. Поскольку точки построенного компози-
ционного плана расположены симметрично относительно
центра, то его называют центральным. В рассмотренном
композиционном плане число опытов М =23 + 2 • 3 + 2 =
= 16, а в ПФЭ З3 N = 27.
Аналогично строятся центральные композиционные пла-
ны второго порядка для произвольного числа факторов k,
при этом каждый из факторов варьируется на пяти уров-
нях: —аг, —1. О, аг, 1 (t = 1,2, ..., k). Центральный ком-
позиционный план (ЦКП) второго порядка получается до-
страиванием двухуровневого факторного плана типа 2*—*
(О + q <zk) путем присоединения к нему «звездных» и цент-
ральной точек. Факторный план типа 2r (г = k — q) в этом
случае называют ядром плана.
Возможно также построение ЦКП, использующих в ка-
честве ядра нерегулярные реплики 142, 43]. Матрица ЦКП
второго порядка
где DT — матрица факторного плана;
209
1 —«1 0 0
1 0 0
0 -Ог ... 0
0 а2 • • 0
D2_ 0 0 —аь
0 0 ... «Ь
0 0 ... 0
0 0 0
— матрица «звездного» плана. Матрица D2 имеет порядок
L k, где L = 2k + п0. Очевидно, число наблюдений
N = No + 2k + n0, (7.2.2)
где No — число наблюдений в точках ядра плана; 2k —
число «звездных» точек; п0 — число наблюдений в центре
плана. Число различных точек плана
N* = 2r +2k+ 1, (7.2.3)
где г — k — q.
В дальнейшем нами будут рассматриваться планы, для
которых af = a (t = 1, 2, ..., k). Эти планы получили наи-
большее практическое применение. Все точки таких планов
расположены на трех гиперсферах, одна из которых вырож-
денная. Необходимым условием существования несмещен-
ных МНК-оценок р + 1 неизвестных коэффициентов в
уравнении (7.1.2) при выборе регулярной дробной репли-
ки в качестве ядра плана является условие
р<2г + 2^+1, (7.2.4)
где г = k — q. При г = k это условие является достаточ-
ным для любого k 2.
В табл. 7.1 приведена матрица независимых переменных
ЦКП второго порядка. Знаки плюс и минус означают,
что переменные хх, х2, ..., х& и их парные взаимодейст-
вия принимают значения либо положительные, либо отри-
цательные. Дробная реплика, используемая в качестве яд-
ра ЦКП, должна удовлетворять определенным требованиям.
В противном случае ЦКП не позволит получить несмещен-
ные МНК-оценки неизвестных коэффициентов в уравненииJ
(7.1.2). Иначе говоря, он не будет планом второго порядка.
Лемма 7.1. Дробная реплика типа 2>—* может быть
ядром центрального комп<» шпи» нн< >• > .... вюрого во
рядка тогда и только тогда, когда два любых парных взэн-
210
План Число наблюдений
Хо Xi
ДФЭ 2*— 2fe-<7 1 ± 1 ± 1 ±
< >»»<_• - .'Hi. Пл 2 А 1 —а 1 а 1 0 1 0 Т ’6 1 0
Наблюдения • «И^тре плана п» 1 0 0
Таблица 7.1
Матрица независимых переменных X
*2 • • • Xh xt х, ... Xk-lXk Х2 . - Я 1 г • • хк
1 ±1 ... ±1 1 ±1 ... ±1 ±1 ... ±1 ±1 ... ±1 ±1 ... ±1 ±i ±i 1 1 ... 1 1 1 ... 1 1 1 ... 1
0 ... 0 0 ... 0 —а ... 0 а ... 0 0 ... —а 0 ... а О ... О о ... о о ... о о ... о 'о ’6’ о ... о а2 0 ... О а2 0 <' О а» ... (’ О а2 . • ( ' ‘6 6’ О О
0 .. 0 6’ о’ о ... о о’ о' о о • • • • • • • 1 'о 0 ... 0
ЫОДеАствня ДЛЯ ЭТОЙ реплики по модулю не равны между
собой, г с. когда
х,:\j ±xlxi (i, j, l,s 1,2, ..., k\ i -r- I =*= s), (7.2.5)
где о. /I :i (-' s).
Доказательство. Центральный композицион-
ный пл гл бу *.ет планом второго порядка в том и только в том
случае, когда матрица независимых переменных, соответст-
вующая полиному 2-й степени, имеет максимальный ранг.
Пусть некоторые парные взаимодействия в ядре плана
по модулю равны, т. е. нарушается условие (7.2.5). Тогда
столбцы матрицы независимых переменных (см. табл. 7.1),
соответствующие этим взаимодействиям, будут без учета
знака также равны и, следовательно, линейно зависимы.
Пусть теперь выполняется условие (7.2.5). Тогда, как
видно из табл. 7.1, ни один столбец матрицы независимых
переменных не может быть представлен в виде линейной
комбинации ее остальных столбцов и, значит, ее ранг будет
максимальным.
Вывод. По построению центрального композиционного
плана второго порядка два любых парных взаимодействия
в точках ядра плана по модулю не равны, т. е. выполняется
условие (7.2.5).
Замечание. Из (7.2.5) вытекает, что переменные хх, x2,...,Xfe в яд-
ре плана не равны по модулю.
Вид матрицы независимых переменных, а также форму-
лы для вычисления МНК-оценок приведены в [29].
Отметим основную особенность ЦКП — они позволяют
применять методы последовательного планирования экс-
перимента. При таком планировании сначала для анализа
поверхности отклика строится ДФЭ типа 2k~q. Далее, если
результаты анализа не удовлетворяют исследователя, то
ДФЭ достраивается до ЦКП и проводится более полное
изучение поверхности отклика.
Ниже рассматриваются два класса ЦКП второго поряд-
ка, известных как планы Бокга и Хартли [42].
7.2.2 ПЛАНЫ БОКСА
Среди центральных композиционных п панов наиболее
широкое применение благодаря некоторым гноим ценным
свойствам имеют планы Бокса.
Определение 7.2. Центральный композициои-
ный пиан второго порядка называют питом Бикеа, о теги
212
м является ПФЭ 2k или рег<: ьчрная реплика типа y—i'
которой парные взаимодеистин t ж равны по модулю
нейным переменным, т. е.
х,^±Х}Х1, , /, I = 1,2, j I. (7.2.6)
Для построения плана Бокса, когда ядром является
дробная реплика 2Л—?, используется q генерирующих соот-
ношений, которые должны задаваться с помощью перемен-
ных хх, ха, хг, где г — k — q (см. § 4 4). Из (7.2.5) и
(7.2.6) сразу следует, что для построения ядра плана нель-
зя использовать генерирующие соотношения вида
Xi = ± xtxj, г + 1 I =С k\
xa — ± XtXjXi, r+ls^ss^fc; 1 i<f> I г;
или, иначе говоря, определяющие контрасты
1 = ±XiXjXt, 1 < i < j г, г +
1 = ± XtXpCiXs, 1 < г < / < / < г, г + 1 С s k.
Таким образом, разрешающая способность дробной реп-
лики 2/г~<? должна быть больше четырех. Легко показать,
что ЦКП будет планом Бокса, если дробная реплика 2*“*
входящая в него в качестве ядра, име-
ет разрешающую способность, боль-
шую или равную пяти. Задача пост-
роения плана Бокса тем самым све-
лась к задаче построения регуляр-
ных реплик о разрешающей способ-
ностью R 5. Ядром плана Бокса
при k < 5 является ПФЭ 2*, при
k 5 может быть полуреплика, чет-
верть-реплика и т. д. В качестве при-
мера на рис. 7.2 изображен план Бо-
ft#'
а а зг.
№
:-К
рис. 7.2
кса при k = 2 и п0 — 1. Ядро плана — ПФЭ 2а, а мат
рица независимых переменных
*0 1 Х1 —1 X» —1 X, Xt 1 Г' X* a 1
1 1 —1 —1 1 1
1 —1 1 -1 1 1
1 1 1 1 1 1
X 1 —а 0 0 а» П
1 а 0 >) а» 0
1 0 — 0 (I
1 1 0 о 0
11 0 0 0 0 0
(7.2.7)
2<3
При k — 5 ядром плана Бокса кроме ПФЭ 2В сможет быть
полуреплпка 2v 1 задаваемая, например, генерирующим
соотношением хь = xlx2x.Jx/i или определяющим кон-
трастом 1 = Парные взаимодействия дЛя
этой реплики равны тройным и, следовательно, выполня-
ются условия (7.2.5) и (7.2.6). Еще один план Бокса можно
построить, используя в качестве ядра полуреплику 2у~’
с определяющим контрастом 1 = — х1х2а:зх4хв-
Определение 7.3. Пусть Bh (Nl0) — план Бокса
для фиксированного числа переменных k, ядро которого со-
держит Nl0 различных точек. Пусть далее Bh — {Bh
(1= 1,2, .... L)—множество всех планов Бокса для данного
k. План Бокса Bh (No) назовем минимальным, если No =
— min {Wo, Но, •••» Nfr}.
Так, при k = 5 планы Бокса, использующие в качестве
ядра полуреплики 2v~ *, будут минимальными. Число опы-
тов в таком минимальном плане при п0 — 1 равно N =
= 26-1 + 2 • 5 4- 1 = 27, а в ПФЭ З6 — N = 81.
Вопросы построения планов Бокса исследовались в
[44, 451. Наиболее сложной оказалась задача построения
минимальных планов при больших значениях k. В зависи-
мости от выбора величины а план Бокса может быть сделан
либо ортогональным, либо ротатабельным. Добиться того,
чтобы он был одновременно ортогональным и ротатабель-
ным, нельзя. Способы построения ортогональных и рота-
табельных ЦКП второго порядка рассматриваются в § 7.3,
7 4.
7.2.3. ПЛАНЫ ХАРТЛИ
Перед исследователем часто возникает необходимость
применения планов с небольшой избыточностью опытов.
К числу таких планов в классе ЦКП относятся планы
Хартли [461.
Определение 7.4. Центральный композицион-
ный план второго порядка назовем планом Хартли, если в
качестве его ядра используется регулярная дробная реплика
от ПФЭ типа 2k, в которой некоторые парные взаимодей-
ствия равны по модулю линейным переменным.
Согласно определению, для плана Хартли выполни
ется (7.2.5), но нарушается условие (7.2.6). Таким образом,
произвольный ЦКП второго порядка будет либо планом
Бокса, либо планом Хартли. Обозначим через С* множест-
во ЦКП второго порядка для фиксированного числа пер1
менных k, а через Il k = {Hh (.4'%)) (t = 1, 2, .... I) —
214
подмножество планов Хартли Здесь Ж'( — чи< по точек в яд-
ре плана Hh (^, | Тогда (см определение- 7 3) Ch «= Il II
U Bk, Hh A th = 0.
Наибольший практический смысл имеет применение ми
нимальных планов Хартли. Понятие минимального плана
Хартли вводится аналогично понятию минимального плана
Бокса.
Определение 7.5. План Хартли Hh («4%) назо-
вем минимальным если = min {Жщ ^о, ...» *4^}
Для построения ядра плана Хартли могут использовать-
ся только дробные реп л и ки с разрешающей способностью,
равной 3, т. е. типа 2пГ7. Эти реплики должны удовлетво-
рять условию (7.2.5). Плану Hh («4^п) соответствует ядро
2ц7^> где 2k~Ql = *4^^ (/ = 1,2, ..., Г). Построение минима-
льного плана Хартли для данного k эквивалентно задаче на-
хождения q0 = max {qly q2, .... qr}-
Пример 7.1. Построим план Хартли для k — 4 и п0 = 1. Для
этой цели в качестве ядра возьмем полуреплику типа 2?н генери-
рующим соотношением х4 = х4х2. Система равенств для парных
взаимодействий для нее имеет вид
Х^ Х2 — Х4, Xj Хд — Х2 Xg Xj J X-j х4 х2,
х2х3=х1х3х4; х2х^хр х3х,=Х1Х2х8.
Парные взаимодействия не равны между собой, а сама она имеет раз-
решающую способность, равную трем.
Матрица плана Хартли
где
—а 0 0
а 0 0
0 —а 0
0 а 0
d2 = 0 0 —а
0 0 а
0 0 0
0 0 0
\ 0 0 0
О
О
(j
J
О
о
—а
О
Число опытов в этом плане N = 24'* -}- 2-4 4- 1 = 17 План явля-
ется минимальным, поскольку в качестве ядра нельзя использое ть
дробную реплику 24*я. а
Пример 7.2. Построим ядро плана Хар-.ли для к » '. Я-ДР1'
плана может быть полуреплнка 2fn' 1- риру щкч соотношением
х6 = х1ха. Полуреплика и-; г разрешающую cn . 6i ^ав' '" '
и парные взаимодействия в не не ~вяз ны между собой J "
минимальным. В самом деле, для дробных реплик 2iij нек >ь рые
215
парные взаимодействия равны по модулю друг другу Например
пусть реплика 2ш задается определяющими контрастами
1—хАх2х^, 1=х2х3х6.
Тогда обобщенный определяющий контраст имеет вид
1 Х2 Х4 — Х2 Xs Хл— X, ха х., х6.
Отсюда следует, что парные взаимодействия хххв и х4хь равны.
Аналогично можно показать, что и для остальных реп-
лик из семейства реплик 2ш2 существуют парные взаимо-
действия, которые по модулю будут равны между собой.
Итак, для k == 5 и при одинаковых значениях п0 = 1 ЧПс1
ло опытов в минимальном плане Хартли совпадает с числом
опытов в минимальном плане Бокса. Сравнение по числу
наблюдений минимальных планов Бокса и Хартли приво-
дится в табл. 7.2. Согласно табл. 7.2. минимальные планы
Таблица 7.2
Число факторов План бокса План Хартли
ядро ЧИСЛО опытов ядро число опытов
3 ПФЭ 23 15 Реплика 23“i 11
4 ПФЭ 24 25 Реплика 24-1 17
5 Реплика 26-1 27 Реплика 26-1 27
6 Реплика 26~1 45 Реплика 26~2 29
7 Реплика 27-1 79 Реплика 27-2 47
Хартли требуют меньшего, чем минимальные планы Бокса,
числа опытов для оценивания коэффициентов полинома 2-й
степени. Однако планы Хартли уступают планам Бокса в
точности оценивания этих коэффициентов. Кроме того, из-
менением «звездного» плеча план Хартли нельзя сделать ни
ротатабельным, ни ортогональным. Планы Хартли целе-
сообразно использовать в тех случаях, когда число опытов
по условиям проведения эксперимента ограничено или ког-
да априори известно, что дисперсия наблюдений относитель-
но мала.
7.3. ОРТОГОНАЛЬНЫЕ ПЛАНЫ ВТОРОГО ПОРЯДКА
В общем случае центральный композиционный план вто-
рого порядка не является ортогональным Однако если
он представляет собой план Бокса, то изменением звездного
216
плеча а и преобразованием функции . t (7.1.#) мож-
но сделать его ортогональным.
Пусть D =* (xiu) (i 1, 2. .... к-, и = 1,2,.., V)
матрица плана Бокса, где N No 2k ф n(, а X — (rJu)
(/ = 0, ..., р\ и — 1, ..., N) — соответствующая ей и функ
ции отклика (7.1.2) матрица независимых переменных, при-
чем р Ф 1 (k 1 1) (k ф 2)/2. В качестве примера в
Таблица 7.3
План Матрица независимых переменных X
х0 xt xt х, Xt Xt Xt X, х, хг x2 X* X* 12 3
ПФЭ 23 1 —1 —1 —J 1 1—1—1 1—1 1—1 1 11—1 1—1—1 1 1 1—11 1—111 1111 1 1 1 —1 —1 1 —1 1 —1 1 —1 —1 1 —1 —1 —1 1 —1 —1 —1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
«Звездный» 1 —а 0 0 1 а 0 0 1 0 —а 0 1 0 а 0 1 0 0 —а 10 0а 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 а2 0 0 а2 0 0 0 а2 0 0 а2 0 0 0 а2 0 0 а2
Наблюдение в центре плана 10 0 0 0 0 0 ОСО
табл. 7.3 приведена матрица независимых переметны>. пла-
на Бокса, изображенного на рис. 7.1, для Л = 3 и п0 1.
Как видно из табл. 7.3, и все столбцы 1трицы X — (хдЗ
(/ = о, 1, .... р, и — 1, 2. N) являются попарно орто-
гональными. Действительно,
N N
У, Voux?u V V О, i 1,2 .. , к.
и •---1 и 1
N
X #!• --А о, I, / = 1. ?...i + /•
U-1
По, . м i* . pi ч" 1 ’ ' '' '' 1 *
выбором величины t h.mii Г"’к» • иол и» ( [слать пртого-
Н I "CHI (. . V!. '! . ' ............. •>’ !'
Я - ...
В 3«« |0|7
4 ' л/ ™ 1’2’ (7 3.1)
перейдем от модели (7.1.2) к модели
П = Ро 4 РгЧ 4 ... 4- pftxh 4- Pis-Ms 4- ... 4
Р< -d* -V.-i'fe Ри-ч' 4 ... 4 Pfthxl, (7.3.2)
где
k
Po -Po (7.3.3)
f=l
Заметим, что у моделей (7.1.2) и (7.3.2) все неизвестные ко-
эффициенты, за исключением первого, совпадают. Легко
видеть, что
х/2 (No 4- 2a~)/N, i = 1, 2, ..., k, (7.3.4)
т. e.
xf = с = c (a). (7.3.5)
Матрица независимых переменных X для модели (7.1.2) бу-
дет отлична от матрицы независимых переменных X* для
модели (7.3.2) Матрица X* для k — 3 и п0 = 1 приведена
в табл. 7.4.
Таблица 7.4
План Матрица независимых переменных X*
Хо Xt xt хг *1 x, xt x, xt x, X'i *1 x3
ПФЭ 23 1 —1 .-I -1 1 1—1—1 1—1 1—1 1 11—1 1-1—1 1 1 1—11 1—111 1111 1 1 1 — 1 —1 1 — 1 1 —1 1 —1 —1 1 —1 —1 — 1 1 —1 — 1 —1 1 1 1 1 1—c 1—c 1—c 1—c 1—c 1—c 1—c 1—c 1—c 1—c 1—c 1—c 1 — c 1—c 1 — c 1—c 1—c 1—e 1—c 1—c 1—c 1— c 1— c 1—c
« W ыный* 1 -а 0 0 1 a 0 0 1 0 a 0 1 0 a 0 1 0 0a 1 0 0a 0 0 0 0 0 0 0 0 0 0 0 0 ooo ООО a4—f —c —• 0C»—C c —c г a8—c ~~ • —c a8—r —£ —c — c *
Наблюдение в центре 1 000 0 (' 0 1 - £ —£ ~r j
21Н
Для преобразованной модели (7.3.2) столбцы матрицы
X* (см табл. 7.4), соответствующие переменным х0 и xlt
будут попарно ортогональны. Действительно,
N
~^i и %1и 0» ~ 1» 2, kt
и = 1
так как
2 х^хш = 2j xiu =
U = 1 U==l U — 1
Попарно неортогональными будут лишь последние k столб-
цов матрицы X*:
2S хш xiu °’ / = 1,2, ..., k\ i =# /.
Н=1
Ортогонализация этого соотношения достигается специаль-
ным подбором величины а путем решения уравнения (см.
табл. 7.4)
N
У, x'iuXju — No (1 — с)2 — 4 (а2 — с)с + (2/е — 4)с2 +
и=1
4- п0с2 = 0, i, j, = 1, 2, ..., k\ i =£ j. (7.3.6)
Отсюда
— 2 (tf0 4- 2a2)c 4- c2 (No 4- 2/г 4- n0) = 0
или с учетом (7.2.2), (7.3.4), (7.3.5) имеем, что с2 — No-N-
Из этого уравнения следует, что
а = 1 (УЛ\Л(7-3.7)
Пример 7.3. Пусть k - 2, No : 2* и п0 1. Построим ортого-
нальный ЦКП второго порядка. Поскольку N 9, то согласно
(7.3.7) а = Г и [см. (7.3.4), (7.3.5)] с (4 4- 2а’) 9 2 3. Матри-
ца независимых переменных X для плана Бокса имеет ви i (7.2,7).
Матрица независимых переменных дли ор гпгонялыюго план* Бок-
са и функции отклика (7.3.2) прикидио i ниже
8*
?19
X*-
1 I
1 1
1 1
1 1
— 1 о
1 о
и —1
О 1
О о
1
—I
I
1
о
о
о
о
о
Пример 7.4. По им ортиго a. i ыи план Ьокса для k и
п0 1. Матрица X*, пр кнная ь табл. 7.4, будет матриц i
epi огональноги планирования, если в ней а 1,215 (см. табл. 7.5)
ис (Мо М)1/2 (8/15),/5.
Таким образом, если а является решением уравнения (7.3.G),
то центральное композиционное планирование для функции откли-
ка (7.3.2) будет ортогональным. Значения а для некоторых планов та-
булированы. В табл. 7. 5 приведена зависимость а от числа факторов
при п0 = 1.
Таблица 7.5
Число факторов 2 3 4 5
Ядро 2а 2з 24 25-х (1 =Xt Х2 Хд Х4 ХЬ)
Величина а 1,000 1,215 1,414 1,547
Если х*и — элемент матрицы X*, то оценки параметров
Р1> Рг> •••» Рр» гДе Pfe+Х ~ Р12> Р/г+2 — Р13> •••» Рр Рь*>
определяются по формуле
Л АГ I N
₽;= 2 х'1и уи > 1= •• 2...........Р- <7-3-8>
и=1 I и=1
Дисперсия оценки
о(₽;}=о2/2^„2’./ 1,2..........р. (7.3.9)
I и«1
Оценка параметра
Л 1
U 1
COOTDCTCTBI нно
Р {Ро} 0s/N. (7.3.1J)
220
Согласно (7.3 3) и (7.3.4)
Л Л * Л
Ро р; — с V (7.3.12)
1=1
и, следовательно,
D Ш == ~ + c2V D {рп}. (7.3.13)
i=i
Дисперсии D {0,} оценок коэффициентов регрессии для
планов второго порядка в отличие от линейных планов яв-
ляются различными [см. (7.3.9), (7.3.11)]. Оценка функции
отклика в точке (хх, х2, ..., xh)'
Л Л Л Л Л
n=Po+ 2 Pi*i+ S 2
(7.3.14)
а ее дисперсия [см. (7.3.12)]
S £>{₽„}+ 2 (х;-с)2о{р„}. (7.3.15)
Таким образом, дисперсия оценки т] функции отклика в
некоторой точке (лу, л'2, ...» xh)' £ G зависит не только
от расстояния этой точки до центра плана р, но и от ее по-
ложения на гиперсфере.
7.4. РОТАТАБЕЛЬНЫЕ ПЛАНЫ ВТОРОГО ПОРЯДКА
7.4.1. ВВОДНЫЕ ЗАМЕЧАНИЯ
При исследовании области экстремума часто наиболь-
ший интерес представляет оценивание самой функции отк-
лика, а не ее коэффициентов. Априори неизвестно, в каких
точках факторного пространства может возникнуть при та-
ком исследовании необходимость нахождения оценок функ-
ции отклика. Может оказаться, что в точках, одинаково
удаленных от центра плана, дисперсия этих оценок будет
существенно различной. Иными словами, точность оцени-
вания функции отклика в общем случае для планов второю
221
порядка п выше является неодинаковой по различным на-
правлениям факторного пространства. Это обстоятельство
вызывает определенные затруднения при исследовании ста-
ционарной области. Исключение в этом отношении состав-
ляют ротатабельные планы, получившие значительное рас-
пространение в практических работах.
Определение 7 6. План порядка d называют
ротатабельным, если дисперсия D {i] (хп х2, ..., xh)} оценки
Я (%i, х2, •••» хь) функции отклика т] (хь х2, %/()
в точке (хх, х2, xh)' зависит лишь от расстояния
р (хх, х2, •••» ха) этой точки до центра плана и не зави-
сит от ее положения на гиперсфере.
Итак, пусть функция отклика
'П = f С^х» х%, •••> хю Ро» Pi, ••» Рр) (7.4.1)
— полином степени d от k переменных. Пусть далее
Ч — f (х^, х2, •••» хю Ро» Pi, • ••» Рр) (7.4.2)
— МНК-оценка функции отклика (7.4.1), полученная при
использовании плана £ (М), матрица которого D = (xfu)
(i = 1, ..., /г; и — 1, ..., N). План £ (N) по определению
будет ротатабельным порядка d, если
D {п (хь х2, ..., xfe)} = ф [р (хх, х2, ..., xft)], (7.4.3)
где
k
Р2 = Р2 (Х1, Х2, ... , xft) = 2 Х‘?- (7-4-4)
i=l
Иначе, план порядка d называют ротатабельным, если для
любых х1 = (xi, xl, ..., Xk)', х2 = (Xi, Хг, ..., х£)', удов-
летворяющих условию Их11| = ||х2||, имеет место
(Л 1 (Л 1 _ . ...
D )т]х«/ — D . (7.4.5)
/г ,
Здесь ||х*11 = (^ (х/)2)1/2 — норма вектора хг (I — 1, 2);
1=1
\i = Л (xzi, х’2, .... xi; ?Лг» ...,Тр)—МНК-оценка функ-
ции отклика (7.4.1) в точке хг.
7.4 2. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ
СУЩЕСТВОВАНИЯ РОТАТАБЕЛЫ1ЫХ ПЛАНОВ
Сформулируем в общем виде необходимые и достаточные
условия существования ротатабельиых планов произволь-
ного порядка.
222
Теорема 7.1. Пусть D = (xiu) (t 1, ..../г; ц 1,...
..., TV) — матрица плана g (TV) порядка d, а X* =
= (Xju) (J — 1» •••> р\ « = 1, 2, ..., TV) — матрица не-
зависимых переменных ранга р + 1, соответствующая этому
плану. План g (TV) будет ротатабельным тогда и только тог-
да, когда матрица Х'Х будет инвариантна относительно ор-
тогонального преобразования R матрицы плана Т).
Здесь под инвариантностью матрицы Х'Х относительно
ортогонального преобразования R матрицы плана ЁГпони-
мается условие
Х'Х = Х°'Х°, (7.4.6)
где Х° — матрица независимых переменных, соответствую-
щая матрице плана Do = DR и той же функции отклика
(7.4.1), что и матрица X.
Доказательство. Приведем его для планов вто-
рого порядка. Пусть D = (xfu) (Z = 1, 2, ..., k; и —
= 1, 2, ..., TV)— матрица плана второго порядка. Ей
соответствует функция отклика
ч=₽»+ 2 2 ₽«*<*,+ 2 (7-4.7)
Пусть далее х =? (хх, х2, ..., xh)' — некоторая точка
в факторном пространстве. Рассмотрим связанную с ней ор-
тогональным преобразованием точку
хо — x'R,
где х0 = (х®, Хг, ..., х^)'; R — произвольная ортого-
нальная матрица. Точки хих0 одинаково удалены от центра
плана и расположены на гиперсфере радиуса р = ||х0|| =
= ||х||. Для доказательства теоремы достаточно убедить-
ся, что [см. ( 7.4.5)]
D К.} = D {£} (7.4.8)
тогда и только тогда, когда выполняется (7.4.6).
Используя обозначения
Х=(1,хх......хЛ, 2*/2х1 х2,2’/2лхл8, ...
..., 2*^2 Хд—1 Хд. X],.., xj) , (7 4 9)
P~(Po.Pi.....Р/..2 ’'зр12,...
.2 1)>,Рн.Р .РАА)'.
2»
функцию отклика (7.4.7) можно записать как
Т] = х'в, (7.4.10)
причем
INI = (1 + ||х||2+ ||х||4)1/2. (7.4.11)
Функции отклика (7.4.10) и матрице плана D соответствует
матрица независимых переменных
х1
ГДе Xй — (1, Х1и, ..., 21^2Х1иХ2и» •••» ^2X(f{-i)Xf{U,
Xiu, .... х^и) (и = 1, 2, ...» N).
Очевидно, что
т)х = х'р,
где f = (X'X)_1X'Y.
Дисперсия оценки т]х [см. (2.2.5)! равна D {т]х} —
= x'D {₽}х или
D ftx} = о2? (Х'Х)“*х. (7.4.12)
Определим дисперсию D {т]Хо}, полагая
J. = (l,x?,...,xl21/2x?x§,2*/2x?xl...
...,21/2xL,x?, (х?)2.....(4)*)'- (7.4.13)
В соответствии с (7.4.9) и (7 4.13)
Ox. = х; 0,
при ЭТОМ ||ХО|| = (1 + ||х0[}2 -Ь ||х0||4)у2. Поскольку
1|х0|| = ||х||, то [см. (7.4.11)1 ||х0|| = ||х||. Поэтому сущест-
вует ортогональная матрица А такая, что
х;=х'А. (7.4.14)
В силу того что
Л - А
Лх. = Х0 0,
224
дисперсия оценки функции отклика в точке х0 равна
D Ш == хо D {р } х0 о2 х'о (X' Х)-‘ х0
или [см. (7.4.14)1
£>{ъ.} = о2х' А(Х' X)-1 А'х.
Используя A's= А”1, легко проверить, что (АХ'ХА')-1 =
= А (Х'Х)-1А' и, следовательно,
D Ш = о2 х' (AX' ХА')"1 х. (7.4.15)
Согласно (7.4.8), (7.4.12) и (7.4.15) план будет ротатабель-
ным тогда и только тогда, когда АХ'ХА' = Х'Х или когда
Х'Х=А'Х'ХА. (7.4.16)
Введем в рассмотрение матрицу плана
Do - DR.
Очевидно, что
х“ = x«R, и = 1, 2, ..., М, (7.4.17)
где х" и хы — строки соответственно матриц Do и D. Можно
показать, что матрице плана Do и функции отклика (7.4.10)
согласно (7.4.14) и (7.4.17) соответствует матрица незави-
симых переменных
Х° = ХА. (7.4.18)
Необходимые и достаточные условия ротатабельности
(7.4.16) с учетом (7.4.18) можно записать в виде
Х°'Х° = Х'Х. (7.4.19)
Из инвариантности матрицы Х'Х относительно ортогональ-
ного преобразования матрицы плана D следует инвариант-
ность относительно того же преобразования матрицы X X
и наоборот. Иначе говоря,
Х°'Х° = Х'Х <=> Х°'Х° = Х'Х.
Поэтому план будет ротатабельным тогда и только тогда,
когда выполняется (7.4.6).
Теорема доказана.
Используя аналогичную схему рассуждений, а также
понятие степени вектора 130], можно доказать теорему для
планов произвольного порядка.
Замечание Из инвариантности информационной матрицы у х
относительно ортогонально!о преобразования матрицы плана р
следует, что дисперсия оценки функции отклика i]x х'0 в точке
х при использовании матриц планов D и Do —DR одинакова
Действительно, дисперсия оценки функции отклика
— х'0 при использовании матрицы плана Do равна
Р{^}=о2Г'(Х°'Х°)-1Г
или [см. (7.4.19)]
Г{т£} = оаГ/(Х,Х)-1х
Отсюда [см. (7.4.12)]
7.4.3. СТРУКТУРА РОТАТАБЕЛЬНЫХ ПЛАНОВ ВТОРОГО
ПОРЯДКА
Если D = (,vlu) (i - 1,..., k;
на второго порядка, то
и— 1,... N)— матрица пла-
0 1 . . . k 12
1 (1 ХЦ..еХк1 xn *21
-2I 1 *12 • • ‘Xfa X12 *22
. . ....
\1 xlN ...xkN XIN *2V
E D
или X = (E, D,
(fe-l) A 11 . . . kk
••• X(A—1)1 *11 • у 2 \ \
• • • x(k— I) 2 Xk2 *12- у 2 I • Х/г2
•
• • • *(*—!) TV xkN у 2 X\N r2 / •‘xkN /
Bi B.
B,. B2). (7.4.20)
Назовем моментом элемент матрицы Х'Х. Момент считает-
ся нечетным, если в его выражении содержится хотя бы один
сомножитель в нечетной степени вида G == 0» В-
Можно показать, что необходимое и достаточное усло-
вие ротатабельности планов второго порядка выполняется,
если все нечетные моменты вплоть до четвертого порядка
равны пулю, а четные соответственно равны [30]
2 М2, i - 1,2.....k- (7.4.21)
u = I
v 3/VX4,i 1,2.., k; (7.4.')
u= 1
226
N
v, Xfu xfu --= JV14, i, j = 1,2,..., k\ i #= /. (7.4.23)
U=1
Здесь параметр X2 определяется из условия выбора масшта-
ба плана, Х4 выбирается с учетом ограничений, смысл кото-
рых будет понятен ниже.
Легко видеть [см. (7.4.20)], что столбцы матриц D и Вх
в этом случае_будут попарно ортогональны. Кроме того, са-
ми матрицы D, Вх, В2 будут взаимно ортогональны, т. е.
D' Вх = 0;D'B2 = 0; В[В2 = 0,
где 0 — нулевая матрица. Выполняется также условие сим-
метрии плана
n - —
2 XiU = 0, i = 1, 2,..., 7г или Е' D = 0.
ы==1
Нормировав кого плана вто] 0 1 2 k 12 13 (k — 1) k 11 22 L [ная )ОГО 0 1 | информационная матрица ротатаб порядка при этом имеет следующий — X' х = N 1 2 ... k 121 3... (fe— 1) k 11 22 . . kk 0 0...0 I 0 0... 0 | Х2 х2...х2 ель- зид:
0 0 i X2 0...0 0 x2...o 0 0...X2 0 0
0 0 0 0 X4 0 ... 0 0 X4... 0 0 0 ... к 0
^2 ^2 й 0 0 3X4 X<. • • Xg Xg ЗХ4... Xg X4 X4 1X4
Нетрудно проверить, что, для того чтобы матрица X X бы-
ла невырожденной, должно выполняться условие
¥=*/(* 2). (7.4.24)
Существует связь между числом и радиусами гиперсфер,
на которых лежат точки рптатаб< льного плана, с одной cro-
ss?
роны, и параметрами Ха и Х4 — с другой. Так, суммируя по
i равенство (7.4.21)
N k
V V X/u=kNk>
u=l Z=1
k
и используя соотношение рй = у х’и,
получаем
Pu
«±1
(7.4.25)
или
У ^р^ = ^,
(0 = 0
(7.4.26)
где» +1 — число различных гиперсфер, на которых лежат
точки плана; Na —число точек плана на гиперсфере ради-
S
уса Ра, при этом 2 = N.
С0 = 0
Суммируя далее по i равенство (7.4.23) и используя
(7.4.21), находим
у
и=1
k
xfu V xfu = (k — 1) МЦ 4- ЗП4
r=i
или
у
и I
Р« x;tt = (^ + 2)N^.
(7.4.27)
Наконец, суммируя по / равенство (7.4.27), получаем
N
У ptu=k(k + 2)Nli (7.4.28)
«=1
и окончательно
У р«, = k (k + 2) М4. (7.4.29)
со О
Таким образом, в соответствии с (7.4.26) и (7.4.29)
, ™ (И
=, (7.4.30)
Ч / • V *
(Л + 2) V ЛГШ р»
\ (0=о /
228
Согласно неравенству Коти (471
и, следовательно, [см. (7 4 25) (7.4.29)1
s \2 я
2 W £ Л^р*.
(0=0 / (о о
С учетом последнего неравенства и (7.4.22) получаем сле-
дующее ограничение на выбор параметров Х2 и Х4:
ЛЛ! > k! (k + 2).
(7.4.31)
Как видно из (7.4.30), не существует ротатабельных пла-
нов, все точки которых расположены только на одной ги-
персфере, ибо в этом случае 14/Хг — k/ (k 2), т. е. матри-
ца Х'Х будет вырожденной [см. (7.4.24)]. Следовательно,
точки ротатабельного плана должны быть расположены на
концентрических гиперсферах, число которых не меньше
двух. Одна из гиперсфер при этом может быть центральной
точкой плана, т. е. вырожденной. В частности, если s + 1 =
= 2 и одна из гиперсфер вырождена (р0 = 0), то [см.
(7.4.30)]
ХД! = k 4- п2)/ (k 4- 2)лх. (7.4.32)
Таким образом, можно отметить следующие особенности
структуры ротатабельного плана:
план должен удовлетворять условиям симметрии;
столбцы плана должны быть попарно ортогональными;
точки плана должны быть расположены на концентри-
ческих гиперсферах, число которых не меньше двух.
7.4.4. ПРИМЕРЫ РОТАТАБЕЛЬНЫХ ПЛАНОВ
ВТОРОГО ПОРЯДКА
Общая теория построения ротатабельных планов вто-
рого порядка является достаточной сложной [30, 48, 491.
Поскольку задача построения ротатабельных планов не
имеет однозначного решения, рассмотрим лишь некоторые
примеры таких планов.
Разберем сначала случай когда число факторов k 2.
Известно [30, 481, что при k 2 планы, для которых точки
равнорасположены на окружности радиуса pi =# 0 и име
ется п0 центральных точек, будут ротатабельнымн тогда и
229
только тогда, когда п > I. 11а рис. 7.3, аиб приведены при
меры таких планов, определяемых вершинами правильны
многоугольников и цен тральными точками.
Рис. 7.3
Матрицы этих планов
Х1 х» х»
1 0 1 0
0,309 0,951 0,5 0,866
—0,809 0,588 —0,5 0,866
—0,809 —0,588 ; Da= — 1 0 >
0,309 —0,951 —0,5 —0,866
0 0 0,5 —0,866
0 0
Точки каждого плана расположены на двух концентричес-
ких окружностях, одна из которых вырождена.
Еще пример ротатабельного плана второго порядка
для k = 2, точки которого расположены также на двух
концентрических окружностях, приведен на рис. 7.4. На
Рис. 7 4
композиционный
этом рисунке звездное плечо а —
1,414. Ротатабельный план, легко
видеть, явлется центральным компо-
зиционным планом Бокса.
Перейдем к рассмотрению случая
k > 2. Среди ротатабельных планов
второго порядка наибольшее практи-
ческое распространение получили
центральные композиционные рота-
табельные планы. Ротатабельным
можно сделать только центральный
план Бокса Это достигается специаль-
ным подбором звездного плеча а. План Хартли, как
230
было отмечено ранее, изменением а сделать ротата-
бельным нельзя.
Если регулярная дробная реплика 2k ч является ядром
плана Бокса, то центральный композиционный план второ-
го порядка будет ротатабельным при а = 2^~«>/4 1301. В ча-
стности, при k = 3 (см. табл. 7.2) ядро плана Бокса пред-
ставляет собой ПФЭ 2s. Все точки такого ротатабельного
плана расположены на трех концентрических сферах, ра-
диусы которых равны: р0 = 0; рг = 23/4 1,633; р2 —
= УЗ = 1,73. Если k 5, в качестве ядра ротатабель-
ного плана можно использовать полуреплику 2fe-1. При
a=2(ft —1)/4 и 5 Л 7 ротатабельный план будет мини-
мальным планом Бокса. Если k 8, ядром ротатабельного
плана может быть ^-реплика, причем в этом случае а =
== 2<ft-2>/4 и т. д. В табл. 7.6 для k = 8 приведены различные
варианты построения центральных композиционных рота-
табельных планов второго порядка.
Таблица 7.6
Номер варианта Ядро плана Звездное плечо Радиус сфер
Ро Pi Ро
1 ПФЭ 28 22 0 2з/г 2’
2 Реплика 28-1 27/4 0 23/2 27/4
3 Реплика 28-а 2з/г 0 . 2з/2 23/2
Для третьего варианта Pi = p2==23/2, т. е. число гиперсфер
для плана, ядром которого является ^-реплика 28-’, рав-
но двум. Здесь предполагается, что для всех вариантов число
центральных точек или число наблюдений в центре плана
является одинаковым.
Таким образом, из рассмотренных примеров видно,
что задача построения ротатабельного плана не имеет
единственного решения. Однако в реальных задачах больших
трудностей в выборе плана обычно не возникает. Это обстоя-
тельство часто связано с различными ограничениями, воз-
никающими при проведении эксперимента, как на общее
число точек плана, так и на их расположение в пространст-
ве. Кроме того, на выбор плана большое влияние оказыва-
ет требование к информационному профилю план.’ Вопро-
231
сы, связанные с выбором информациоиного профиля плана
рассматриваются в следующем разделе. ’
7.4.5. ИНФОРМАЦИОННЫЙ ПРОФИЛЬ ПЛАНА
Информация о поверхности отклика в точке х =
= (*1, ...» xk)' была определена ранее (см. п. 5.3.2)
как величина
1WD ОМ,
где N — число наблюдений в точках плана; D {т]х} — дис-
персия оценки функции отклика в точке х.
Для определения D {*пх} введем нормированные пере-
менные
х* = хАУ2, i = 1, 2, ..., k. (1АЖ)
Тогда условия ротатабельности (7.4.21)—(7.4.23) можно
записать в виде
N
2 £=1,2, ..., k\
«=i
N
2 **« = 3№J, i = 1, 2, ..., k;
U=1
N
2 xtfxtf = Ж, i, j, = 1, 2, ..., k; i i,
i=\
где Xg = 1; X4 = X4/X2.
k
Если p = ( 2 xf)1!2 — расстояние точки хдо центра пла-
= i
на, то
k
Р* = р/Ц/2, где р* = ( 2 *П1/2.
/=1
Таким образом, без нарушения общности можно рас-
сматривать случай, когда — 1 или А? = л4. Обратная
матрица (Х'Х)-1 для этого случая приведена в [48] и имеет
сравнительно простую структуру. Если
АЛ Л Л , Л
Пх=₽о+ 2 2 М«х/ + 2
232
__МНК-оценка функции отклика в точке х и планирова-
ние является ротатабельным, то, используя обратную ма-
трицу (Х'Х)-1, можно показать, что
ND {?,} = Ло2 {2 (k + 2)?4 + 2Х4 (Х4 - 1) (k i- 2)р2 +
+ I (k + 1)Х4 — (Л — 1 )lp4}, (7.4.34)
где А = {2Х4 [(& + 2)14 — &]}-1.
Как видно из выражения (7.4.34), дисперсия D {т]х}
оценки функции отклика в точке х зависит от расстояния
этой точки до центра плана и не зависит от ее положения на
гиперсфере радиуса р. Выражение (7.4.34) можно записать
в виде зависимости
-----— = ф (о2; k\ Х4; р),
ND {Qc J
представляющей собою информационный профиль ротата-
бельного плана второго порядка. Здесь k, о2, Х4— парамет-
ры, определяющие профиль плана. Профиль плана обычно
выбирается для заданного числа факторов k, причем пара-
метр о2 неизвестен. При заданном k и при различных Х4 мож-
но получить различные информационные профили. Так как
Х2 = 1, то параметр Х4 связан с общим числом наблюдений
N соотношением (7.4.30). Выбор информационного профи-
ля плана зависит от особенностей выполняемого исследо-
вания. Исследователь должен хотя бы примерно знать, в
какой области • факторного пространства информация о
функции отклика представляет для него наибольший ин-
терес, и на основе этого формулировать свои требования к
информационному профилю плана.
Часто исследователя интересует информация о функции
отклика в некоторой окрестности центра плана. Один из
подходов в этом случае к выбору профиля плана состоит
в том, чтобы информация была практически постоянной
внутри гипершара радиуса р = 1, т. е. для р £ [0, 1]. Такое
планирование называют униформ-ротатабельным плани-
рованием. Для получения униформ-ротатабельного пла-
нирования практически достаточно обеспечить равенство
дисперсии в центре плана (р == 0) и на поверхности гипер-
сферы радиуса р =•= 1. Согласно (7.4.34) искомый параметр
а4 при униформ-ротатабельном планировании является ре-
шением квадратного уравнения
2М^ - 1) (& + 2)4 14(* | 1) (k 1) 0. (7.4.35)
2л I
При этом всегда существует Л4, удовлетворяющее (7.4.35)
такое, что Л4 > kt (k + 2). Построение информационного
профиля плана проиллюстрируем на следующем примере.
Пусть k = 2 и точки плана расположены на двух кон-
центрических окружностях, одна из которых р0 0. Тог-
да 1см. (7.4.32)1
Ъ = 2 (/?! -ь п0)/4п1г
где п0 — число наблюдений в центре плана; пх — число то-
чек плана, расположенных на окружности радиуса р4 0.
Рассмотрим ротатабельный план, точки которого рас-
положены в центре и вершинах правильного шестиугольни-
ка (см. рис.^/.З). Предположим, что число наблюдений в
центре плана 'п0 = 6. Поскольку и пх = 6, то N — 12, и
Х4 = 1. Используя (7.4.34) и полагая о2 = 1, в этом случае
получаем, что информация
'1 1
На рис. 7.5 изображен
информационный про-
филь этого плана.
В качестве при-
мера униформ-рота-
и . табельного планиро-
2^ p вания ниже приво-
РИС. 7.5 дится матрица цент-
рального композици-
онного униформ-ротатабельного плана ^второго порядка
для k = 3 [30] Униформ-ротатабельное планирование здесь
достигается подбором числа наблюдений п0 в центре плана
[см. (7.4.30)].
В заключение отметим, что, используя обратную матри-
цу (Х'Х)"1, можно получить следующие выражения для
дисперсии оценок коэффициентов регрессии (7.4.7) и их
ковариаций [301:
D {₽„} = ~ 2М (* + 2) A; D {₽„} • £
234
- 1 - 1 -1
1 1 1
— 1 1 1
I 1 - 1
— 1 — 1 1
1 —1 1
— 1 1 1
1 1 1
—1,682 0 0
1,682 0 0
D = 0 —1,682 0 •
0 1,682 0
0 0 — 1,682
0 0 1,682
0 0 0
0 0 0
0 0 0
0 0 0
0 0 0
0 0 0
(7.4.36)
D (₽„} = V № + 1) Л.—(*—1)] Д ;
cov {₽„, pj = —£ 2А»Л;
COV {piit pj = (1—x4) A.
Остальные ковариации равны нулю.
7.4.6. ПРОВЕРКА ГИПОТЕЗЫ АДЕКВАТНОСТИ МОДЕЛИ
ПРИ РОТАТАБЕЛЬНОМ ПЛАНИРОВАНИИ
Пусть D = (xiu) (Г= 1, 2, ..., k\ tT~ 1, 2, ...» А7) -
матрица плана второго порядка, а X — (%;н) (/ = 0, 1, ...
..., р; и = 1,2, ..., N) — соответствующая ей и функции
отклика (7.4.7) матрица независимых переменных.
Рассмотрим задачу проверки , гипотезы адекватн-сы
модели (7.4.7). Обозначим через ylf у2, .i/.v наблюдения
в точках плана. Будем считать, что повторные наблюдения
{Уои} (и = 1,2, ..., п0) имеются лишь в центре плана..В на-
ших обозначениях уОи- y{N rt,)+u (w 1. 2, . .. «Так.
например, для плана, матрица которого (7.4.36), повторные
наблюдения имеются только в центре плана, при этом п0 =
= 6; Voi = У1ъ> У02 = •••. Ум = У го- В соответствии с
(3.1.27)
"о
и=1
По
где уи = — Z y0U’
0 ы= 1
Число различных точек плана n=N—п0 4- 1. Поэтому
[см. (3.1.37)].
se2 = Q2/ (N — n) = Qj (no— 1)
будет несмещенной оценкой дисперсии наблюдений о2. Сум-
ма квадратов [см. (3.1.24)] (^ = Qo — Q2, Hie остаточная
сумма” квадратов [см. (3.1.33)] Qo = Y'Y — [TX'Y, причем
(X'XHX'Y.
Величина [см. (3.1.47)]
«г = Qi/ (и — г),
где г = р + 1 = (k + 1) (k + 2)/2 — ранг матрицы X,
равный числу неизвестных коэффициентов в уравнении
(7.4.7). Гипотеза адекватности модели (7.4.7) отклоняется,
если
sr /se Z> F'a; n—r, n0 —1 •
Порог Fa>n_r п,_г выбирается из условия
F {Fn—r, n0—1 ^-> Fa- n—r, n0 — 1 } = ОС,
где a — уровень значимости; Fn_r По_х — случайная вели-
чина, имеющая распределение Фишера си — г и п0 — 1
степенями свободы.
При отклонении гипотезы для описания поверхности
отклика'могут быть использованы полиномы 3-й степени.
Планирование эксперимента при этом может осуществлять-
ся с помощью ротатабельных планов третьего порядка. Для
них, так же как и для планов второго порядка, могут быть
аналогичным образом сформулированы необходимые и до-
статочные условия ротатабельности [30].
'•В случае принятия гипотезы дальнейшее исследование
сводится к исследованию поверхности второго порядка.
236
ПРИ ЛОF. i
П1.1. НЕЦЕНТРАЛЬНОЕ ^ РАСПРЕДЕЛЕНИЕ
Пусть ylt y2, .... Уп — независимые случайные величины, имею-
щие нормальное распределение со средним р,г (i = 1,2, ...» л) и дис-
персией 1, т. е. yi ~ N (|1{, 1) (i 1,2, ..., л). Тогда распределение
случайной величины
и= 2 yi
Z = 1
называется нецентральным х2 (хи-квадрат)-распределением [3,5].
Величина Д/u представляет собой радиус гиперсферы в л-мерном
пространстве.
Распределение случайной величины и зависит только от пара-
п
метров пиб= (Sp/2)1^2- Поэтому его также называют нецеятраль-
«=1
ным х2-распределением с п степенями свободы и параметром не-
центральности б [3]. В этом случае, следуя [3], случайную величину
и будем обозначать
(П1-1)
Если б = 0, т. е. = О (t = 1,2, ..., л), то распределение слу-
чайной величины и называют центральным х2-распределением или
просто ^’-распределением с л степенями свободы и случайную вели-
чину и будем обозначать
л = Хп. (ГН.2)
Пусть Р {хп > Х«;п} — а- Величину Ха; п > 0 называют поро-
гом или a-процентной точкой х2‘Распределения с л степенями свобо-
ды. Ее значения для различных аил табулированы (см., наприм' •,
[5,20]) Математическое ожидание и дисперсия случа! ной величины
2
Ул; б равны
'>+«’; 3>te;6}"2"+4t*-
Если — х „ . а и и2 = X2 -в -—независимые случайные
величины, то из определения нецс трального у.а-р ас л ределения epasy
следует, что их сумма и ut и3 б имеет нецентральное х1
распределение с л Лл ns ( о ы'нчми свободы и параметром не
центральности 6 (6J ’ Л-)1-'.
П1 2 НЕЦЕНТРАЛЬНОЕ / РАСПРЕДСЛЕМИЕ
Пусть М] и пв нсчлвисимые случайные величины, причем ui я
и п, /\|(м(1Н 1|. (Ill .2)1 Тогда распрвдолеиие случай-
ВОЙ величины
называют нецентральным /•'-распределением с Л| нгц степенями сео
боды и параметром нецентральности 6. Плотность распределения
случайной величины F зависит от п1г п2; 6. Полагая 6 О, введем
обозначение [3] F — Fд.
Если 6=0, то распределение случайной величины F называют цент-
ральным /7-распределением или просто F-распределением с пг н п
степенями свободы. При этом используется обозначение F ~ Г
Из определения г-распределения непосредственно следует, что
nt — Fnt. п,-
Если P{Fnitnt> Fa.ni nt} = а, то величину называют
порогом или а-процентнон точкой /^-распределения с nj и л2 степе-
нями свободы. Таблица процентных точек /•’-распределения приведе-
на в [3,5].
П1.3. НЕЦЕНТРАЛЬНОЕ /-РАСПРЕДЕЛЕНИЕ
Пусть v — случайная величина, имеющая нормальное распреде-
ление N (6, 1), а и — случайная величина, имеющая ^-распределе-
ние с п степенями свободы.
Если случайные величины v и и независимы, то распределение
частного
v
<п,3>
называют нецентральным /-распределением (распределением Стью-
дента) с п степенями свободы и параметром нецентральности 6 [3].
Распределение зависит от параметров п и 6. Величину / (П1.3)
обозначают через /п. Если 6 — 0, то распределение случайной ве-
личины / называют /-распределением с п степенями свободы и обозна-
чают ее через /п. Очевидно, что /®. e = F{ п. в.
Пусть Р {/п>/а. „} = а. Тогда величину /а. я называют порогом
или a-процентной точкой /-распределения. Таблицу процентных то-
чек /-распределения см. в [5, 20, 49].
ПРИЛОЖЕНИЕ 2
ТЕОРЕМА КОХРАНА. АНАЛИЗ РАЗЛОЖЕНИЯ
ОСТАТОЧНОЙ СУММЫ КВАДРАТОВ
Рассмотрим разложение остаточной суммы квадратов (3-1.24)
Со - (21 + (2я <П2- 0
и докажем независимость слагаемых Qt и Qs.
Для доказательства нам понадобятся теорем» Кохрана и две
вспомогательные леммы.
238
(сорема Кохрана [3j Ну., и. и л н j.... ими. вормаль
ни» н. лнчнх >/(/• 1.5,..., -V). таких, что у/ Л <>jz, 1). Пусть
далее
i>?=Qi+Q2 f Qt.
1=1
где Qi (i 1.2, ..,«)—квадратичная форма от переменных yJt
..., ранга лд. Тогда условие
(П2.2)
i^A
является необходимым и достаточным для того, чтобы Qlt Q2, •••» Qa
были независимы и имели ^-распределения. Если выполнено усло-
вие (П2.2) и 6/ — параметр нецентральности Q,, то б/ мо бль
получено заменой yi на т]/ в Qf.
Следствие. Если Qi — Y'A/Y и выполнено (П2.2), то
6i2 — ij'=Az Ч>
где т) = (т]1, Т]а,..., У~-(Уъ Уг> •••» Ун)'. (Напомним, что ран-
гом квадратичной формы Qi называют ранг ее матрицы А,-.) Доказа-
тельство теоремы приводится в [3, 4], и здесь мы его опускаем.
Приведем теперь вспомогательные утверждения [3].
Лемма П2.1. Ранг суммы квадратичных форм не пр. во тит
суммы их рангов.
Следствие Если
У? — Qi +^2 + • • - + Qs.
где rank Qi rtf, и, кроме того, выполнено (П2.2), то rank Qt
= tii (i = 1, .... s).
Лемма П2.2. Пусть Q — квадратичная форма от переменных
У1, Уг,--ч Ум и может быть выражена как квадратичная форма от пере-
менных zx, z2, ..., zp, являющихся линейными формами отух..'/а
.... yN. Тогда rank Q < р.
Используя приведенные выше утвержд< ни г, при ryi 11
тельству независимости Qx и Q2. Согласно (3.1.33)
Y'Y - Qo f X V
в твстствии (П2.1)
Y'Y Qi Q Qs. (•- •)
t.iL Q, 7’'Ха'У Y'A3Y: А3 Х’(Х Х'Х
Опре-..-лим ранги м i.ip-ii H'liiu.x фирм <?,. Q, н Q, клк
rank Л., I т> lahl Q, п, уп
П. ptCl.) М К и ЗЛИ НГ.1Л{ >1 ИЧЦ...1 МП
^l)a-
ВмяеМ «ременные /|а «• Уи — yi 1, 2, .... л; й |2
Очевидно, чти
Так как
WJj OTj—1
У (yla—yt) =° => У 2/s =0,
в=1 в=1
то
т1~1
2/н^ — — zln'
Поэтому
п rzij -1 п п ml 1 п / ,ni — 1 \ 2
с»=3 2»?.+ 2гЦ“2 2 г?» + 2(-2 *<. •
l=~l s=l 1=1 /=1 s=l /=1\ / = 1 /
Как видно из этого выражения, Q2 является квадратичной формой
от л3 переменных {z/s} (Z — 1,2, .... n; s = 1,2, /л/ — 1), где
п
п2 — У (пц — 1) — N — п. Поскольку переменные {z/s} являют-
ся линейными формами от {y/s}, применяя лемму П2.2, получаем
rank Q3 na = N — п.
Следуя аналогичной схеме рассуждений, из (3.1.41), применяя
л^мму П: 2, находим
rank Qi < пх — п — р0.
Действительно, квадратичная форма Qj от переменных {yis} может
быть записана согласно (3.1.41) в виде
Qi — z'Tz,
где z — л-мерпый вектор, a rank Т л — р0.
Таким образом,
W = n,4 ла ns
и на основании следе.вия леммы П2.1 и м гл I п
ran. Q2 N — п rank Q3 Ро.
В < илу того что случайные величины независимы и и
ют нормальное распределение N (n*S1 1), где тр» Ч/» °
пере от равен тва (П.2.3) к равенству
Y'Y/o3 + Q} о» I (?»'•«’
позволяет применить теорему Кохрана. По этой теореме случайные
величины Qi/o8, Qv/g* и Q3/oa независимы и имеют /“-распределе-
ния соответственно с п — р0, N — п и р0 степенями свободы.
Замечание. Применяя теорему Кохрана для вычисления пара-
метра нецентральности квадратичной формы Q2'o2, легко убс
диться, что независимо от того, истинна гипотеза Но или нет, 6® О
т. е. величина и2 = QJg* имеет центральное ^-распределение.
СПИСОК ЛИТЕРАТУРЫ
1. Закс Ш. Теория статистических выводов: Пер. с англ./Под ред.
Ю. К. Беляева.— М.: Мир, 1975.
2. Левин Б. Р. Теоретические основы статистической радиотех-
ники. В 2-х кн. — Изд. 2-е.—М.: Сов. радио.—Кн. 2-я, 1975.
3. Шеффе Г. Дисперсионный анализ: Пер. с англ. — М.: Физ-
матгиз, 1963.
4. Рао С. Р. Линейные статистические методы и их применения:
Пер. с англ./Под ред. Ю. В. Линника.— М.: Наука, 1968.
5. Кендалл М., Стьюрт А. Статистические выводы и связи: Пер. с
англ./Под ред. А. Н. Колмогорова. — М.: Наука, 1973.
6. Де Гроот М. Оптимальные статистические решения: Пер. с
англ. — Под ред. Ю. В. Линника и А. М. Кагана. — М.: Мир,
1974.
7. Ланкастер П. Теория матриц: Пер. с англ. — М.: Наука, 1978.
8. Асатурян В. И. Теория планирования эксперимента. — М.:
МИЭМ, 1974.
9. Мишина А. П., Проскуряков И. В. Высшая алгебра, СМБ.—
Изд. 2-е. — М.: Наука, 1965.
10. Ильин В. А., Позняк Э. Г. Линейная алгебра. — М.: Наука,
1974.
11. Денисов В. И. Математическое обеспечение системы ЭВМ —
экспериментатор. — М.: Наука, 1977.
12. Гантмахер Ф. Р. Теория матриц. — М.: Наука, 1967.
13. Асатурян В. И. К вопросу о структуре общего решения нор-
мального уравнения при оценивании параметров детерминиро-
ванного сигнала. — Радиотехника и электроника, 1975, № 11,
с. 2402 — 2404.
14. Асатурян В. И. О линейном несмещенном оценивании парамет-
ров детерминированного сигнала. — Радиотехника и электрони-
ка, 1978, №5, с. 1088—1090.
15. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных
задач. — М.: Наука, 1979.
16. Себер Дж. Линейный регрессионный анализ: Пер. с англ. — М.:
Мир, 1980.
17. Круг Г. К-, Сосулин'Ю. А., Фатуев В. А. Планирование экспе-
римента'" в задачах ^идентификации н экстраполяции.—М..
Наука, 1977. ~
18. Федоров В. В. Теория оптимального эксперимента. — М.: На-
ука, 1971.
Ю. Дрейпер Н., Смит Г. Прикладной регрессионный анализ:
Пер. с англ./Под ред. 1О. П. Адлера и В.Г. Г< р< кого М . ' r<i-
тистика, 1973.
£41
20 Химмельблау Д- Анализ процессов статпстич скимн методами;
Пер- с англ./Под ред. В. Г. Горского. — М.: Мир, 1973.
21 Леман Э. Проверка статистических гипотез: Пер. с англ./
Под ред. Ю. В. Прохорова.— М.: Наука, 1964.
22 . Уилкс С. Математическая статистика: Пер. с англ./Под ред.
Ю. В. Линника.— АГ: Наука, 1967.
23 - Бородюк В.П. Проверка однородности статистических данных в
регрессионном анализе. — В кн.: Проблемы планирования экс-
перимента/Под ред. Г. К- Круга. — М.: Наука, 1969, с. 12—17.
04 . Box G. Е. Р. Problems in the analysis of growth and wear cur-
ves, — Biometrics, 1950, v. 6, p. 362—389.
25. Holl P. G. Methods for comparing growth curves. — Biometrics,
1964, v. 20, p. 859—872.
26. Rao C. R. Some statistical methods for comparison of growth
curves. — Biometrics, 1958, v. 14, p. I —17.
27. Бродский В. 3. Введение в факторное планирование эксперимен-
та. — М.: Наука, 1976.
28. Адлер Ю. П., Маркова Е. В., Грановский Ю. В. Планирова-
ние эксперимента при поиске оптимальных условий. — М.:
Наука, 1976.
29. Зедгинидзе И. Г. Планирование эксперимента для исследования
многокомпонентных систем. — М.: Наука, 1976.
30. Налимов В. В., Чернова Н. А. Статистические методы планиро-
вания экстремальных экспериментов. — М.: Наука, 1965.
31. Горский В. Г., Бродский В. 3. О симплекс-планах первого по-
рядка и связанных с ними планах второго порядка. — В кн.:
Новые идеи в планировании эксперимента/Под ред. В. В. На-
лимова. — М.: Наука, 1969, с. 59—118.
32. Налимов В. В. Теория эксперимента.— М.: Наука, 1971.
33. Горский В. Г., Адлер Ю. П. Планирование промышленных
экспериментов.— М.: Металлургия, 1974.
34. Аоки М. Введение в методы оптимизации: Пер. с англ./Под ред.
Б. Т. Поляка. — М.: Наука, 1977.
35. Васильев Ф. П. Лекции по методам решения экстремальных
задач. — М.; МГУ, 1974.
36. Демьянов В. Ф., Малоземов В. Н. Введение в минимакс. — М.:
Наука, 1972.
37. Растригии Л. А. Системы экстремального управления.— М.:
Наука, 1974.
38. Уайлд Д.Дж. Методы поиска экстремума: Пер. с англ./Под ред.
А. А. Фельдбаума.—М.: Наука, 1967.
39. Беллман Р., Дрейфус С. Прикладные задачи динамического
программирования: Пер. с англ./Под ред. А. А. Первозванс-
кого. — М.: Наука, 1965.
40. Ильин В. А., Позняк Э. Г. Основы математического анализа.
41 т 2'Х Ч” Г"»ИзД- З е- “ М-: НаУка- —1, 1971.
. I алалаи А.[М. К сравнению способов нахождения частных про-
изводных в условиях случайных помех. — Техническая кибер-
нетика, 1973, № 3, с. 189—194.
. Лисенков А. Н. О некоторых планах второго порядка и Гих
использовании при исследовании многофакторных объек-
Тов,. В К1,-: Проблемы планирования экспсримснта/Под ред.
43 w ЛРуга-—Наука, 1969. ч --
Westlake W. J. Composite designs based on Irregular fractions
ol factorials. — Biometrics, 1965, v. 21, p. 324—-336.
242
44 Draper N. Л., Mitchell T. J. The construction of saturated
designs. —Ann. Math. Statist., 1967, v. 38, p. 1110—1126.
45. Box G. E. P., Hunter J. S. The 2k r fractional factorial desing.,,
P. 1.2. — Technometrics, 1961, v. 3, p 311—351; p. 449—458.
46. Hartley H.^O. Smallest composite designs for quadratic response
surface. —Biometrics, 1959, v. 15, p. 611—624.
47. Беккенбах Э., Беллман P. Неравенства: Пер. с англ / Под ред.
В. И. Левина. — М.: Мир, 1965. ,
48 Горский В. Г., Бродский В. 3. О построении рота табели пых пла-
нов второго порядка на базе симплексов.— В кн.: Проблемы
планирования экспернмента/Под ред. Г.К. Круга.—М.: Наука,
1969, с. 79—88.
49. Браунли К. А. Статистическая теория и методология в науке и
технике: Пер. С англ./Под ред. Л. Н. Большева. — М.: Паука,
1977.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Базис пространства параметри-
ческих функций, допускаю-
щих оценку 41, 42
Вектор наблюдений 10
— неизвестных параметров 10
Вероятность ошибки второго
рода 99
---- первого рода 99
Вещественное пространство па-
раметров 15, 98
Взаимодействие факторов пар-
ное 122
---- тройное 122
---- произвольного порядка
125
Генерирующие соотношения
128, 130
Гипотеза адекватности модели
86, 196, 235
---- функции отклика 84
— о равенстве функций регрес-
сии ПО, 115
Дисперсия МНК-оценки пари-
метра 20
параметрической функции
функции on лика G0
наблюдения 10
обобщенная 18
-Цоверительпый интервал ПИ»
---- для параметра, парамет-
рической функции, функции
отклика 102
Доверительная область 100
----для вектора параметров
107
-------множества параметри-
ческих функций 107
Дробная реплика 127, 132, 134
---- регулярная 134
Дробный факторный экспери-
мент (ДФЭ) 118
Интервал варьирования 119
Информационный профиль пла-
на 174
------- ротатабельного второ-
го порядка 233, 234
Ковариация случайных векте
ров 18, 67
- — величин 10
Коднрс литые переменные 1И
Критерий гппотс«ы 97
— состоятельный
Критическое множество 98
Кр'с.. и1 I и п г |
99
Коэффициент i<»>»cpw»i 102
— 14 пн Г'
JI1KU ин.. М |Ь г WI'1 OI
'И ', I III 1.1 М М г " ' ' ' 111 ' о 1 Н
Линейный план насыщенный
163. пл
- эффСХТ 12.»
М м । тическое ожидание
1 [1 Lal I • Л' 1ИИ 10
МНК-оценки вектора па-
раметров 15
----парзметриче.кой функ
нни 28
---оценки дисперсии наб но
и пни 22
Матрица базисных функций 54
— единичная 10
— идемпотентная 21
— известных коэффициентов 10
— информационная 15
— ковариаций вектора наблю-
дений 10, 109
---МНК-оценок 17, 31
— наблюдений 69
— невырожденная 15
— независимых переменных 54
— неотрицательно определен-
ная 22
— нормированная информаци-
онная 15
— обобщенная обратная 33
— плана эксперимента 53
— планирования 54
— положительно определенная
17, 18
— симметричная 17, 21
- случайная 16
— смещения 75
— транспонированная 10
— треугольная верхняя 167
---нижняя 167
Метод наименьших квадратов
(МНК) 12
— Бокса — Уильсона 186
— градиента 179
— спуска 179
— подъема 179
МНК-оценка 13, 60
— градиента 184
— параметрической функции
28. 31, 40
— функции отклика 60
Множество критическое 98
Модель наблюдений адекват-
ная 86
--- истинная 87
--- линейная 11
— — непсиного ранга 11
--- — полного ранга 11
244
pei ресснош in я псpiiMcin >
53, 56
- с некоррелирииаппимн н.ш
людеиаями 11
Мощное гь критерия 97
Наб. пи гения повторные 64
Неинвариантпсд ть i ра шеи г а
205
Некоррелированность МНК
оценок параметров 17
Неравенство Коши 229
Несмещенная оценка ли. Персия
наблюдений 20
Норма вектора 14
Нормальное решение системы
47
— уравнение 14
Область подобная критическая
99
Объем критического множест
ва 99
Определяющий контраст 140
----обобщенный 144
Остаточная сумма квадратов
96
Отклик 51
Оценка линейная 13
— метода наименьших квадра-
тов (МНК) 13, 60
---- градиента 184
----параметрической функции
28, 31, 40
------- функции отклика 60
— раздельная 143
— смешанная 143
Параметр нецентральности рас-
пределения Стьюдснта 238
-------Фишера 238
------- хи-квадрат 237
Параметрическая функция 25
----допускающая оценку 26
Парное взаимодействие 122
Переменные качественные 48
количественные 48
— неуправляемые 48
— управляемые 48
План линейный 163
----оптимальный 1'»'
----ОрТ СГОН.1ЛЫ1ЫЙ 163
ротлтабельный *73
- неполный факторный 118
----с повторными ИяОЛН»ДсМИ’
ями 155
— ортогональный 61
---- второго порядка 216
— полный факторный 118
------с повторными наблю-
дениями 155
— произвольного порядка 206
— ротатабельный второго по-
рядка 229, 230
---- произвольного порядка
222
— симметричный 118
центральный композицион-
ный 209
------ Бокса 212
------Хартли 215
— эксперимента 52
Планирование насыщенное 157
— ненасыщенное 157
Полный факторный экспери-
мент (ПФЗ) 118, 120, 122
Полуреплика 128, 130, 131
Приведенная модель наблюде-
ний полного ранга 37
Проверка гипотезы адекватно-
сти 91, 196, 235
----о равенстве функций рег-
рессии НО, 115
----общей линейной 118
Поверхность отклика 51
Произведение векторов ® 128
Пространство вещественное па-
раметров 15, 98
— параметрических функций,
допускающих оценку 41
— факторное 51
Ранг квадратичной формы 239
— матрицы 11
Разрешающая способность по-
луреплики 150
---- произвольной дробной
реплики 152
Разложение остаточной суммы
96, 238, 239
Распределение квадратичной
формы 22
— нормальное 96, 237
— Стьюдента нецентральное
238
---- центральное 238
— Фишера нецентральное 238
---- центральное 238
— хи квадрат нецентральное
237
центральное 237
Реплика дробная 127, 132 134
— регу ярная 134
Решение нормального уравне
ния общее 35, 36
След матрицы 21
Смещение оценки 75, 80
Спектр плана 53
Степени свободы распределе-
ния Стьюдента 238
-------Фишера 238
— — хи-квадрат 237
Теорема Бокса 167
— Гаусса—Маркова 19, 28
— Кохрана 239
— о существовании ротатабель-
ных планов 223
Точечная оценка 13
Уравнение нормальное 14
— размерностей 202
Уровень значимости 96
— фактора 118
---- верхний 1'9
----нижний 119
Факторы 49
Формулы Тейлора 183
Функция мощности критерия
99
— отклика 51
---- одномерная 51
----многомерная 52
— унимодальная 177, 178
---- линейно 179
---- строго 177, 178
Центральный композицион-
ный план (ЦКП) 209
------- ортогональный второго
порядка 218
------- ротатабельный второго
порядка 221
— — — униформ-ротатабель-
ный 234
Четверть-реплика 132
Эксперимент активный 53
— пассивный 53
)ффс..г взаимодействия факто-
ров 125
линейный фактор? 12
Я ipo плана 208. ° 10
245
ОГЛАВЛЕНИЕ
Предисловие
3
Глава
1. Оценивание параметров в регрессионном анализе
9
1.1. Метод наименьших квадратов.............................
1.1.1. Линейная модель наблюдений (9). 1.1.2. Оценивание коэффициен-
тов регрессии методом наименьших квадратов (12). 1.1.3. Матрица ко-
вариаций оценок метода наименьших квадратов (16). 1.1.4. Свойства
оценок метода наименьших квадратов коэффициентов регрессии (18).
1.1.5. Оценивание дисперсии наблюдений (20). 1.1.6. Метод наимень-
ших квадратов в случае коррелированных наблюдений (23)
9
1.2. Оценивание параметрических функций .
1.2.1. Параметрические функции, допускающие оценку (25).
1.2.2. Оценка метода наименьших квадратов параметрической функции
(27). 1.2.3. Совместное оценивание параметрических функций (31)
1.3. Оценивание параметров линейной модели наблюдений не-
полного ранга ..........................................
1.3.1. Общее решение нормального уравнения (33). 1.3.2. Структура об-
щего решения нормального уравнения (35). 1.3.3. Приведение модели
наблюдений неполного ранга к модели наблюдений полного ранга (36)
1.3.4. Условия существования несмещенных оценок параметров модели
наблюдений неполного ранга (38). 1.3.5. Несмещенное оценивание пара-
метрических функций в случае модели наблюдений неполного ранга
(40)
1.4. Заключение
33
4G
Глава 2. Пассивный эксперимент..............................49
2.1. Регрессионные модели эксперимента ... . . 49
2.1.1. Схема объекта исследований. Факторы (49). 2.1.2. Функция от-
клика (51). 2.1.3. План эксперимента (52). 2.1.4. Одномерная регрес-
сионная модель эксперимента (53). 2.1.5. Многомерные регрессионные
модели эксперимента (56)
2.2. Оценивание функции отклика и ее параметров ....
2.2.1. Оценивание одномерной функции отклика (59). 2.2.2. Оценивание
параметров модели при ортогональном планировании (61). 2.2.3. Оцени-
вание параметров модели при повторных наблюдениях (64). 2.2.4. Оце-
нивание многомерной функции отклика и ее параметров (67). 2.2.5. Оце-
нивание многомерной функции отклика в случае коррелированных
наблюдений (69)
59
2.3. Смещение оценок параметров модели.......................74
пн»1»'»Постановка задачи. Матрица смещения (71). 2.1.2 Смешение
91 ч °*г ПРН использова1,ии моделей наблюдений полною раи (77).
?Мещ“нне °ченок при использовании моделей ваблю иий не-
полного ранга (80)
Глава 3. Анализ пассивного эксперимента . 84
3 1 Проверка гипотезы адекватности модели
11’2 *™иУЛ»Ир'ВКа гипотезы аденшюпи ф кцин
Пений ГИПОТ'‘“‘1 адекк., ти л>.игй„..П
. ии (’>). 3 1 |. Прогм-пк, пики
критерия (97)
к В.1 t
71 . 4)
лк Н«6Л1Р
14 Л\'"Ц
84
246
12. Дивернтсльиыс ннтеряялы и aowpirrt дымя облает». к . 1(И)
32 1 Посгроепве ДПИвркТЯАЬЯЫХ U >П ерВл ЛИВ ДЛЯ ПЯрлМе, (>нч,ч».иХ
фуикииЛ (Тог» >2.2 Проверка общее л»»..г-л... .О гммтема (НМ)
I2i Построение довериеелкиоП области ала множества парьметрияе
с*1г» функций 1’4 )
3J. Проверка гипотеаы о равенстве функций отклики . . 108
г.| П-сг»ч"»м ладами (1с.ч) 332 Проверка гипотезы о раясиегм
Функций регрессий в случае моделей iiaO.waciHlR ivuittnrn ранга (ИО).
Т Ч Прлнерча . Xil'-'T’-IJ о i- "->L..n lHL фуМКЦНЛ рсГреССКИ И СЛ)Ч«с МО-
J блюзепий неполного ранга (Ш>
Г , > н л 4 Полные факторные акспсримгнты типа 2* и
дробные реплики........................................... .... 118
4.1 Определения . . .......................... 118
4.2. Полные факторные эксперименты 2* . .110
4.2.1 Интсгзал влрьнр. .нянин и кознровлиные пеммгрные (ИЭ1.
4.2.2. Полный факторный .ксперичент 2 (НО). 4.2.3. Полный фа,
ный вгамумгмеиг 2 (122). 4.2 1. Полный факторный эксперимент 2* (124)
4.3. Дробный факторный эксперимент.............................127
4.3.1. Вводные замечания (127). 4.3.2. Построена nonyi ч пл ин (120).
4.3.3. Постро иие четверть-рсплик (132)
4.4. Выбор дробных реплик......................................137
4.4.1. Вводные замечания (137). 4.1.2. On; п.тчющмй контрас» (140).
4.4.3. Обобщенный определяющий ко.чтрсст (141). 4.4 I. Разрешающая
способность и выбор дробных реплик (147)
4.5. Анализ факторных экспериментов . .... 152
4.5.1. Свойства факторных эксперимента» (152) 4 5.2 Факгорвые эк-
сперименты с повторными наблюдениями (? । 4.5 3 На. ......е
и ненасыщенное планиров пне (157). 45.4. 1 г ; ы
ватности (159)
Г л а в а 5. Линейные планы...................................... 163
5.1. Вводные замечания........................................... 163
5.1.1. Определения (163). 5.1.2. Влияние выбора матрицы плана Яй дне
Персию МНК-оцеиок (164)
5.2. Построение линейных оптимальных планов 166
5.2 1. Постановка задачи (If.G). 5.2 2 Теор ма Во (167). ' Зф*а
ча о взвешпвзпия предметов (170)
5.3. Свойства линейных ортогональных планов . . 1 "2
5.3,1. Ротятабельность (172’. 5.3.2. Ирфорылпиоиный профиль ила
и» (174)
Глава 6. Поиск экстремума функции отклика . 175
<>.1. Вводные «амечлния......................................... 175
6.1.1. Пог। чО,ч11 тллчн (1751 6 1.2. Стрлпчин поиска (|~>
6.2. Метод крутого восхождения . ......................1 ’ ’
б 2.1. Учимо 14ль. < Ь (1771. ; у ( рлдчг мЛ м• •• 11 <1
*1.1 Пои< К >!,. t f» M'. ,4 I no.ll 4 ll’WCM ••••
тад» крутого восхож пения ... 1X2
б.ВЛ. Оа**чия«чие гра»иг>П4 |1ЙГ.') ЛЛ? F- --.-Я м Ун» »• 1*М)
< 4 Г ,(), 71
HUX моделей ДЛЯ ППЯКДННЯ Н1»иирХН1М-ТВ ОТХЛЯХВ . , - 1ЭД
* ПоСтвнсфк* 4140» 4.43 Сямвстм пиниям ГV4 имея»* (1**)
6 5. Провер .а гипотезы адекватности модели при поиске экст-
ремума .............................................. . 19R
6.5 1. Вводные замечания (196). 6.5.2. Проверка гипотезы ад-квяти
сти модели при наличии повторных наблюдений в центре плана (1рй
6.5.3. Проверка гипотезы адекватности модели при наличии повтооны
наблюдений в точках плана (198). 6.5.4 Общие замечания (200) Р х
6.6 . Роль масштаба при градиентном методе поиска экстре-
мума .................................................. . 202
6.6.1. Уравнение размерностей (202). 6-6.2. Неинвариантность гради-
ента (203)
Глава 7. Исследование области экстремума . . . . 206
7.1. Постановка задачи...................... .... 206
7.2. Центральные композиционные планы второго порядка . 207
7.2.1. Структура центральных композиционных планов (207) 7.2.2. Пла-
ны Бокса (212). 7.2.3. Планы Хартли (214)
7.3. Ортогональные планы второго порядка....................216
7.4. Ротатабельные планы второго порядка....................221
7.4.1. Вводные замечания (221). 7.4.2. Необходимые и достаточные ус-
ловия существования ротатабельных планов (222). 7.4.3. Структура ро-
татабельных планов второго порядка (226). 7.4.4. Примеры ротата-
бельных планов второго порядка (229). 7.4.5. Информационный про-
филь плана (232). 7.4.6. Проверка гипотезы адекватности модели при
ротатабельном планировании (235)
Приложение 7 .................................... 237
П1.1. Нецентральное ^-распределение (237). П1.2. Нецентральное
F-распределение (237). П1.3. Нецентральное f-распределение (238)
Приложение 2. Теорема Кохрана. Анализ разложения остаточ-
ной суммы квадратов.........................................238
Список литературы...........................................241
Предметный указатель ,
243