Теория эксперимента - Налимов В.В.

Автор: Налимов В.В.

Теги: фундаментальные и общие проблемы математики экспериментальные исследования издательство наука главная редакция физико-математической литературы теория эксперимента

Год: 1971

Похожие

Статистические методы в имитационном моделировании. Выпуск 2

Статистическое оценивание

Прикладной регрессионный анализ. Книга 1

Планирование эксперименты для исследования многокомпонентных систем

Текст

эксперимента
Физико-
Математическая
Библиотека
Инженера
В. В. НАЛИМОВ
ТЕОРИЯ
ЭКСПЕРИМЕНТА
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧ ЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА 1971
51
Н 23
УДК 510 + 519.24/27
Теория эксперимента. Налимов В. В. Физико-математи-
ческая библиотека инженера, Изд. «Наука». Главная редакция фи-
зико-математической литературы, 1971 г., 208 стр.
В книге делается попытка показать, как под влиянием идей
математической статистики формируется математическая теория
эксперимента. В ней вводится понятие сложной — плохо органи-
зованной — системы и показывается, что математическое описание
таких систем стало возможно после того, как снизились требования,
предъявляемые к математическому описанию и вместо старого поня-
тия — закона в науке появилось представление о модели; рассмат-
ривается также несколько наиболее интересных типов математи-
ческих моделей. Излагаются основные концепции математической
статистики — рандомизация условий проведения эксперимента,
стратегия последовательного эксперимента и т. д. В книге излага-
ются методы статистического исследования, основанного на изуче-
нии рассеяния, и методы планирования эксперимента, основанные
на оптимальном использовании пространства независимых перемен-
ных. В заключение обсуждается логика развития идей математи-
ческой статистики. Книга представляет собой своеобразный путево-
дитель по идеям математической статистики, интересный для экспе-
риментатора.
Таблиц 13, рисунков 30, библиография 118 названий.
г-2-з
*5-70
ОГЛАВЛЕНИЕ
Предисловие............................................... 4
Глава I. Изучение плохо организованных систем — за-
дача математической статистики и кибернетики 7
§ 1. Что такое плохо организованная система............... 7
§ 2. Гносеологические проблемы, возникающие при изуче-
нии плохо организованных систем.......................... 9
§ 3. Модель вместо закона................................ 12
Глава II. Методологические концепции математической
статистики.................................. 29
§ 1. Проблема получения устойчивых частот........... 29
§ 2. Природа статистических выводов................. 31
§ 3. Концепции рандомизации......................... 50
§ 4. Концепция последовательного эксперимента....... 51
§ 5. Концепция оптимального использования пространства
независимых переменных.......................... 55
§ 6. Концепция редукции (свертки) информации........ 57
§ 7. Возможность представления результатов исследования
множеством моделей.............................. 64
§ 8. Анализ данных.................................. 67
Глава III. Методы исследования, основанные на изуче-
нии рассеяния............................... 69
§ 1. Стратегия рандомизации. Дисперсионный анализ . . 69
§ 2. Выделение доминирующих факторов в ситуациях, когда
эксперимент ведет природа. Метод главных компонент.
Факторный анализ........................................ 87
§ 3. Дискриминантный анализ и классификация............. 100
§ 4. Изучение процессов, протекающих во времени .... 109
Глава IV. Методы, основанные на оптимальном исполь-
зовании пространства независимых переменных 137
§ 1. Линейная модель.................................... 137
§ 2. Планирование экстремальных экспериментов. Предста-
вление результатов эксперимента поверхностью отклика 150
§ 3. Планирование отсеивающих экспериментов............. 163
§ 4. Адаптационная оптимизация технологических процессов 174
§ 5. Планирование эксперимента при изучении механизма
явлений................................................ 180
Глава V. Заключение..................................... 192
§ 1. Логика развития идей математической статистики . . . 192
§ 2. Математическая статистика как метаязык эксперимента 196
Список использованной литературы........................ 201
ПРЕДИСЛОВИЕ
Экспериментатор с некоторым беспокойством воспри-
нимает то все увеличивающееся давление, которое оказы-
вает на него математическая статистика. Под ее влиянием
изменились методы анализа, оценки и представления ре-
зультатов наблюдений. Во многих областях знаний сейчас
уже явно неприлично представлять для опубликования
экспериментальную работу, игнорируя статистические
методы анализа данных. Выводы, сделанные в такой ра-
боте, будут восприниматься с недоверием. Редакции неко-
торых журналов просто не примут такую работу для опуб-
ликования. Под влиянием математической статистики
стала изменяться и сама стратегия эксперимента. Поя-
вился новый раздел математической статистики: планиро-
вание эксперимента. Теперь стало возможным говорить о
возникновении математической теории эксперимента или,
точнее, о теории экспериментальных исследований, бази-
рующейся на математической статистике. Почему же все
это вызывает беспокойство у экспериментатора? Почему
математическая теория эксперимента не преподается
экспериментатору? Почему с планированием эксперимента
знакомы лишь отдельные экспериментаторы?
На эти вопросы легко ответить. Все дело в том, что мате-
матическая статистика или, точнее, ее теоретические ос-
новы развиваются, как правило, математиками, совсем
плохо знающими эксперимент. Их логические концепции
часто оказываются мало понятными экспериментатору.
Сложный, вполне современный математический аппарат,
делающий задачи статистики столь привлекательными
для математиков, часто только отпугивает эксперимен-
таторов. С позиций экспериментатора нередко наиболее
важными и интересными оказываются те аспекты матема-
ПРЕДИСЛОВИЕ
5
тической статистики, которые с позиций математика ка
жутся совсем второстепенными. Математики, занимаю-
щиеся разработкой математической статистики, подчас
бывают совсем мало озабочены возможностью практиче-
ского применения их идей и методов.
Цель этой книги — посмотреть глазами эксперимен-
татора на развитие математической статистики и особенно
на развитие работ по планированию эксперимента. Нам
представляется, что экспериментатору нужно знать то
принципиально новое, что внесла математическая статис-
тика в методологию, или, если хотите, даже в философию
эксперимента. С позиций экспериментатора нам хочется
посмотреть на логическое развитие идей математической
статистики.
При изложении материала мы обращали особое внима-
ние на основные концепции, опуская трудные для пони-
мания строгие математические обоснования и избегая
рецептурного изложения, столь загромождающего многие
руководства. Нам представляется, что экспериментатору
прежде всего нужно хорошо понимать идейную сторону
математической теории эксперимента. Можно надеяться,
что затем в своей повседневной работе он сможет постоян-
но обращаться за советом к немногочисленным пока еще
в нашей стране специалистам нового профиля — консуль-
тантам по методологическим вопросам математической
статистики. Естественно, что ему придется также широко
использовать различного рода специализированные руко-
водства и справочники, в том числе и руководства
рецептурного характера. Сейчас уже совершенно невоз-
можно написать обстоятельное всеобъемлющее руководство
по математической статистике — особенно такое, которое
удовлетворяло бы одновременно и математиков, и экспери-
ментаторов. И совсем иллюзорной была бы попытка сделать
экспериментаторов одновременно и специалистами по мате-
матической статистике.
Эту небольшую книгу, если угодно, можно рассмат-
ривать и как путеводитель по тем идеям математической
статистики, которые представляют интерес для экспери-
ментатора. Если что-либо особенно заинтересует читателя,
то в обширной библиографии, приведенной в конце книги,
он найдет руководства, к которым следует обратиться для
6
ПРЕДИСЛОВИЕ
более обстоятельного изучения. Автор просит читателя
быть снисходительным в своих суждениях об его книге,
поскол1ку эта первая в мировой литературе попытка сос-
тавить путеводитель такого типа.
Книга была задумана как популярная, но автор отнес-
ся к ней вполне серьезно. В ней сделана попытка изло-
жить те мысли, которые возникли в результате последних
десяти лет, когда автор работал как профессионал-ста-
тистик. В ней нашли отражения и те дискуссии, которые
нам приходилось вести со своими коллегами, как отечест-
венными, так и зарубежными. Мне кажется, что экспери-
ментатор, занимаясь применением математической ста-
тистики, должен знать не только ее фасад, который выгля-
дит вполне респектабельно, но и то, что находится за ним.
Книга рассчитана на читателей, знакомых с элементами
теории вероятностей и математической статистики и имею-
щих некоторое представление о линейной алгебре. Чтобы
не загромождать книгу, автор не касается здесь такого
фундаментального раздела математической статистики,
как учение о функциях распределения, поскольку он дос-
таточно подробно изложен во множестве руководств, на-
писанных на различном уровне строгости. Малоподго-
товленному читателю мы рекомендуем предварительно
тщательно проработать совсем маленькую, но хорошо
написанную книжечку Б. В. Гнеденко «Разговор о мате-
матической статистике» (изд. «Знание», 1969). Наиболее
трудным в книге оказался § 4 гл. III «Изучение процессов,
протекающих во времени». При первом чтении этот пара-
граф можно опустить.
Хотелось бы надеяться, что материал, изложенный в
книге, послужит в дальнейшем и основой для преподавания
теории эксперимента всем экспериментаторам.
В. Налимов
ГЛАВА I
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ -
ЗАДАЧА МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
И КИБЕРНЕТИКИ
§ 1. Что такое плохо организованная система
По-видимому, одно из самых примечательных явлений,
наблюдающихся сейчас в науке,— это стремление перейти
от изучения хорошо организованных систем к плохо орга-
низованным — диффузным — системам или, пользуясь
терминологией Ньюэлла и Саймона [1], перейти к изуче-
нию задач с плохой структурой. Со времен Ньютона и до
начала ХХ-го века точные науки стремились иметь дело с
хорошо организованными системами, в которых можно
было выделить явления или процессы одной физической
природы, зависящие от совсем небольшого числа перемен-
ных. Результаты исследований можно было представлять
хорошо интерпретируемыми функциональными связями,
которым приписывалась роль неких абсолютных законов.
В течение более чем 200 лет экспериментаторам внушали,
что единственно правильной является методология одно-
факторного эксперимента. Предполагалось, что исследо-
ватель мог с любой степенью точности стабилизировать
все независимые переменные (факторы) своей системы. За-
тем, поочередно варьируя некоторые из них, он устанав-
ливал интересующие его зависимости. Лишь в начале
ХХ-го века математическая статистика стала делать пер-
вые шаги по изучению плохо организованных—диффузных
— систем, в которых нельзя четко выделить отдель-
ные явления. В этих системах нельзя установить непро-
ницаемые перегородки, разграничивающие действие пере-
менных различной физической природы. Такие системы
8
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ
[ГЛ. 1
иногда называют также большими системами, поскольку
здесь надо учитывать действие очень многих разнородных
факторов, задающих различные по своей природе, но тесно
взаимодействующие друг с другом процессы. Наверное,
почти любой технологический процесс может рассматри-
ваться как пример такой плохо организованной системы.
Известно, например, что в химико-технологических про-
цессах надо одновременно учитывать такие не поддающие-
ся в реальных условиях разграничению процессы, как
теплопередача, аэродинамические и гидродинамические
процессы, а также кинетику множества одновременно про-
текающих реакций. Примером плохо организованной сис-
темы может служить хорошо известный процесс эмиссион-
ного спектрального анализа.
Рассмотрим этот процесс несколько подробнее. Между двумя
электродами подается высокое напряжение — возникает искровой
разряд, спектр которого несет информацию о химическом составе
электродов. На электродах и в межэлектродном промежутке про-
исходят сложные процессы. В момент пробоя возникает нитевой
разряд с температурой в несколько десятков тысяч градусов. При
этом на отдельные участки электродов подается энергия с колос-
сальной плотностью. Возникает взрывное испарение, которое затем
переходит в равновесное. Между электродами образуется облако из
вещества электродов, в котором происходят процессы диффузии,
возбуждения и излучения. Одновременно на поверхности электро-
дов возникают избирательные окислительно-восстановительные
процессы, а в их толще — диффузия элементов, зависящая от тем-
пературного градиента, фазового состава электродов, дефектов ре-
шетки и пр. Все эти явления носят периодический характер, соот-
ветствующий периоду колебания напряжения. На периодическую
составляющую накладывается временной дрейф, связанный с эро-
зией электродов. Чтобы количественно описать все эти явления,
надо привлекать чуть ли не все разделы физики и химии: спектро-
скопию, статистическую физику, физику твердого тела, физическую
химию. В одном из своих выступлений Г. С. Ландсберг, один из ос-
нователей отечественной спектроскопии, обратил внимание на сле-
дующий исторический курьез: в 1910 г., на заре эмиссионного спек-
трального анализа, один из крупных немецких физиков утверждал,
что количественным эмиссионным спектральным анализом нельзя
управлять, так как нельзя стабилизировать столь большое число
переменных. В 1928 г. уже другой немецкий ученый писал, что спек-
тральный анализ, по-видимому, возможен, но непонятно почему.
Спектральный анализ действительно оказался возможным, но
его результаты до сих пор остаются не очень надежными, зависящи-
ми от ряда факторов, природа которых часто до конца не известна.
Большинство факторов все же удалось стабилизировать в такой
§ 2] ГНОСЕОЛОГИЧЕСКИЕ ПРОБЛЕМЫ 9
степени, что они стали давать вклады примерно одного порядка в
суммарную ошибку. Проблема повышения надежности и универсаль-
ности эмиссионного анализа, тем не менее, не была снята с рассмот-
рения. Ее пытались изучать традиционными методами — так, как
физики привыкли изучать хорошо организованные системы. Деся-
тилетия были потрачены на исследование физических основ эмис-
сионного спектрального анализа. Были написаны сотни статей и
много интеллектуальной крови было Пролито в попытке доказать,
что какой-либо один из физических процессов имеет доминирующее
значение. Результат оказался печальным. Пользуясь традицион-
ными методами, не удалось построить количественной теории, опи-
сывающей поведение этой системы и предсказывающей поведение
ее при переходе от одного комплекта эталонных проб к другому,
хотя совершенно ясно, что в ней протекают только такие процессы,
которые, будучи взятыми в отдельности, хорошо известны физикам
и химикам. Система была слишком диффузной — здесь оказалось
невозможным разграничить различные по своей природе явления.
С еще большими трудностями пришлось столкнуться
при попытке изучать такие диффузные системы, для кото-
рых неизвестны протекающие в них элементарные процес-
сы. Примером такой системы служит, например, интел-
лект человека.
§ 2. Гносеологические проблемы, возникающие
при изучении плохо организованных систем
Можно указать на два существенно различных подхода
к изучению плохо организованных систем, четко выкрис-
таллизовавшиеся за последние десятилетия. Первый под-
ход — использование идей и методов многомерной матема-
тической статистики. Это направление начало разви-
ваться в 20—30 годах нашего века, его возникновение
связано в значительной степени с именем английского
ученого Фишера. Многомерная математическая статисти-
ка — это, по существу, просто хорошо логически обоснован-
ная формализация эмпирических методов изучения диф-
фузных систем, применяемых тогда, когда исследователь
сознательно хочет отказаться от детального, традицион-
ного изучения механизма всех явлений, протекающих в
системе. Например, в рассмотренной выше задаче эмис-
сионного спектрального анализа можно отказаться от
четкого разграничения всех сложным образом переплетен-
ных физических и химических процессов. К задаче
можно подойти чисто эмпирически — варьируя одновре-
10
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ
[ГЛ. I
менно возможно большее число переменных, пытаться
найти оптимальные в каком-то смысле условия протекания
процесса. Тогда немедленно возникнут такие проблемы:
как выбрать оптимальную стратегию эксперимента, как
обрабатывать результаты наблюдений, как принимать
обоснованные решения? Это типичные задачи математи-
ческой статистики. Развитие многомерной математической
статистики существенно связано с развитием электронной
вычислительной техники, что иллюстрируется данными,
приведенными в табл. 1.1. Мы видим, как на Ротамстед-
ской агробиологической станции (Великобритания) после
появления ЭВМ начинает расти число многомерных задач.
Второй скачок в росте происходит в 1965 г., когда в распо-
ряжении станции оказывается новая, более мощная ма-
шина. Сейчас уже становится реальностью решение задач
с числом независимых переменных, близким к ста.
Таблица 1.1
Рост числа экспериментов с повторениями,
анализировавшихся в статистическом отделе
Ротамстедской агробиологической станции [2]
Годы Число экспериментов, обработанных Число независимых переменных, приходя- щихся на один экспери- мент
вручную на ЭВМ
1934 115
1951 437 — —
1955 384 419 2,9
1957 98 1253 4,0
1959 67 2649 4,2
1961 89 2862 5.3
1963 72 2770 5,2
1964 88 3383 5,3
1965 69 4151 6,0
Второй подход к изучению диффузных систем — чисто
логический анализ процесса управления ими. Здесь мы уже
имеем дело с кибернетическим подходом — его возникно-
вение связано с именем Н. Винера. Естественно, что как
только возникло представление о плохо организованных
системах как самостоятельных структурах, подлежащих
§ 2] ГНОСЕОЛОГИЧЕСКИЕ ПРОБЛЕМЫ И
изучению, так сразу же встал вопрос об исследовании про-
цесса управления ими, ибо этот процесс является сущест-
венным элементом самого понятия диффузной системы.
Было бы бессмысленно ставить вопрос об изучении про-
цессов управления в традиционной физике, имеющей дело
с хорошо организованными системами. В таких систе-
мах все однозначно управляется действующими в них
функциональными связями — например, движение планет
управляется законами Кеплера.
Нужно подчеркнуть, что два подхода — статистический
и кибернетический — существенно различны, хотя объект
изучения один — плохо организованные системы. Неред-
ко мы можем видеть, как одна и та же система изучается
одновременно и совершенно независимо двумя методами.
Например, интеллектуальная деятельность человека изу-
чается, с одной стороны, методами так называемого фактор-
ного анализа, являющегося одним изприемов многомерного
статистического анализа. Многие психологи и статистики
уверены, что с помощью этого метода удастся разобрать-
ся в результатах множества тестовых испытаний. С дру-
гой стороны, интеллектуальная деятельность человека
изучается путем создания искусственного интеллекта,
т. е. путем построения программ для ЭВМ, имитирующих
деятельность человека. Такие программы создаются на
основании логического анализа поведения человека в
процессе решения им интеллектуальных задач [1, 3].
Переход от изучения хорошо организованных систем
к изучению плохо организованных, диффузных, систем,
естественно, оказал влияние на общеметодологические
концепции науки. Стали изменяться некоторые гносеоло-
гические представления, задающие понятие истинности и
ложности в научных построениях и выводах. Здесь мы
будем говорить о гносеологии не как о некоторой фило-
софской науке, а как о системе взглядов, которой пользу-
ются научные работники в своей повседневной работе.
Эта система, может быть, никогда четко не сформулиро-
ванная, постепенно изменяется, часто малозаметным об-
разом для людей одного поколения. Сейчас интересно по-
пробовать проанализировать те изменения, которые наме-
тились за последнее время в связи со стремлением изучать и
описывать поведение диффузных систем. Мы видим прежде
12
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ
[ГЛ. I
всего, как изменяются требования, предъявляемые к
математическому описанию наблюдаемых явлений. Поня-
тие закона в науке заменяется более широким, хотя и очень
расплывчатым понятием модели. Изменилась в связи с
этим и сама система построения научных выводов. Стало
меняться отношение к тому, что допустимо и что недопус-
тимо в науке. Этот процесс еще далеко не закончился —
быть может, он только начался. Более того, сейчас наряду
с учеными нового направления, занимающимися изуче-
нием плохо организованных систем, существуют ученые
традиционного направления, занимающиеся изучением
хорошо организованных систем, и таких ученых боль-
шинство. Много досадных недоразумений возникает, когда
работы, выполненные с позиций статистических или кибер-
нетических, обсуждаются учеными другого направления.
§ 3. Модель вместо закона
Модель — это весьма многозначное понятие. Чжао
Юань-Жень в статье «Модели в лингвистике и модели
вообще» [4] приводит «... список 30 синонимов, или харак-
теристик, «модели» и 9 несинонимов, или понятий, противо-
поставляемых модели А). Мы видим, что слова, синони-
мичные с одним и тем же словом, не всегда синонимичны
между собой, а иногда одно и то же слово даже не сино-
нимично самому себе». Вряд ли тут стоит давать скрупу-
лезное определение понятия модели. Читатель получит
ясное представление о нем из рассматриваемых ниже при-
меров. Нам хочется обратить здесь внимание лишь на то,
что понятию математической модели, существующему сей-
х) В статье Чжао Юань-Жень дается также интересный истори-
ческий анализ развития смыслового содержания слова «модель».
В английском языке слово «модель» обозначает нечто образцовое или
идеальное. Например, «model husband» означает «образцовый суп-
руг». В математику понятие модели было введено, по-видимому,
Клейном (70-е годы XIX века), а затем Расселом. Одно из примене-
ний этого понятия в математике состоит в доказательстве внутренней
непротиворечивости теории путем нахождения реально существую-
щей модели — ибо то, что существует, не может быть внутренне
противоречиво. В математике модель оказывается, таким образом,
конкретнее, чем то, что моделируется. Это явно противоположно
смыслу, который сейчас придают ему в кибернетике.
§ з] МОДЕЛЬ ВМЕСТО ЗАКОНА 13
час в кибернетике, можно противопоставить понятие за-
кона в науке. Такое противопоставление потребовалось,
когда пришлось снизить требования, предъявляемые к ма-
тематическому описанию наблюдаемых явлений. Закон в
науке имеет характер некоторой абсолютной категории на
данном уровне знаний. Он может быть либо безусловно
верен, либо безусловно неверен, и тогда просто отверга-
ется. Нельзя говорить о хороших и плохих законах — та-
кое утверждение просто лишено смысла. Точно так же
нельзя говорить о том, что одно и то же явление можно
объяснить двумя или несколькими слегка различными
законами. Если в точных науках иногда и проявлялся дуа-
лизм, например в концепции корпускула — волна, то он
всегда вызывал чрезвычайную озабоченность, и в конце
концов выяснилось, что какая-то одна сторона наблюден-
ного явления однозначно описывается одними закономер-
ностями, другая — другими. В методологии научных ис-
следований не рассматривался специально вопрос о том,
как проверить истинность закона в науке, но всегда пред-
полагалось, что такую проверку можно осуществить дос-
таточно точно и так, чтобы результаты можно было одно-
значно интерпретировать по крайней мере на некотором
отрезке времени при данном уровне знаний. Совсем иные
требования предъявляются к математической модели, при-
меняемой для описания поведений диффузной системы.
Здесь уже не идет речь об абсолютной категории. Матема-
тическая модель может давать лишь какое-то представле-
ние о поведении плохо организованной системы. Одни и те
же аспекты изучаемой системы можно описывать различ-
ными моделями, одновременно имеющими право на сущест-
вование. Можно говорить о том, что одни из этих моделей в
каком-то смысле хороши, другие — плохи. Всегда нужно
специально оговорить, как и с помощью каких критериев
производится оценка модели.
Понятие модели отличается и от хорошо и давно из-
вестного в науке понятия гипотезы [5]. Наука допускает
существование нескольких гипотез, поскольку одни и те
же наблюденные явления могут одинаково хорошо под-
тверждать различные гипотезы. Но наличие нескольких
гипотез всегда рассматривается как некое временное явле-
ние — предполагается, что рано или поздно из нескольких
14
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ
[ГЛ. I
конкурирующих гипотез удастся выбрать одну. Матема-
тические же модели не всегда нужно считать конкурирую-
щими друг с другом. Если после выбора одной из конку-
рирующих гипотез удается представить ее в математи-
ческой форме, оценив количественно входящие в нее кон-
станты, то она приобретает уже статус закона.
Раньше считалось, что язык математики строго одно-
значен и этим отличается от многозначного — полиморф-
ного — естественного языка людей [6]. Снижение требо-
ваний, предъявляемых к математическому описанию,
замена закона моделью привели к тому, что математический
язык, однозначный по своей природе, стал применяться
как многозначный. Начала стираться столь четкая грань,
которая ранее существовала между математическим и
вербальным описанием явлений. На это очень важное
обстоятельство до сих пор не обращали достаточного вни-
мания при обсуждении гносеологических проблем кибер-
нетики.
Еще и сейчас очень часто можно слышать споры о воз-
можности математического описания столь сложных систем,
как, скажем, социальные системы. Нам кажется, что в боль-
шинстве случаев эти споры основаны на недоразумении. Те,
кто утверждают, что нельзя, имеют в виду математическое
описание в старом, традиционном смысле. Те же, кто гово-
рит, что можно, исходят просто из совсем других методо-
логических концепций, понимая под математическим опи-
санием не установление законов, а создание моделей с
резко ослабленными требованиями.
Опишем теперь несколько наиболее интересных под-
ходов к созданию моделей для описания плохо организо-
ванных систем.
а. Эскизная модель, заданная дифференциальными урав-
нениями. В рамках этих представлений математические
модели предлагаются лишь для описания отдельных, может
быть, наиболее интересных явлений, протекающих в слож-
ной диффузной системе. Не делается попытка описания
системы в целом. Не рассматриваются все возможные взаи-
модействия между отдельными процессами, развивающи-
мися в системе. Образно говоря, здесь мы имеем дело с
математическим описанием, напоминающим современную
модернистскую живопись. Можно сказать, что попытки
§ з]
МОДЕЛЬ ВМЕСТО ЗАКОНА
15
реалистичного описания слишком сложных систем иллюзор-
ны — такое описание не воспринималось бы читателем из-за
чрезмерной громоздкости. Примером эскизного описания
сложной системы может служить написанная мною сов-
местно с 3. М. Мульченко книга «Наукометрия. Изучение
развития науки как информационного процесса» [71.
В ней мы использовали самые простые дифференциальные
уравнения для описания лишь отдельных, наиболее инте-
ресных сторон сложной системы.
Ясно, что при таком описании отдельные явления могут
оказаться слишком подчеркнутыми, другие — затушеван-
ными или даже искаженными. Различные исследователи
могут предлагать существенно различные математические
модели для описания одной и той же системы, и здесь
нельзя указать простого и четкого критерия для их дискри-
минации. Выбор одной из множества возможных моделей
будет определяться уровнем интеллектуального эстетизма.
Хорошо воспринимаются лишь те модели, которые попада-
ют в резонанс с интуитивными представлениями читателя о
природе рассматриваемой системы. Явное раздражение
вызовут слишком сложные модели с множеством оговорок
и поправок. Изящество становится одним из критериев
достоинства математической модели. Модель, конечно,
должна быть не только изящна, но и содержательна. Это
значит, что она должна хорошо объяснять множество уже
известных фактов, выявлять новые, незамеченные яв-
ления, в какой-то степени предсказывать их дальнейшее
развитие и, что, вероятно, имеет наибольшее значение,
должна выдвигать перед исследователями новые проблемы.
Путь построения модели таков: вначале предлагают
некоторые, логически обоснованные постулаты. Исходя из
них, записывают дифференциальные уравнения, которые
затем интегрируют. Полученные таким образом функ-
циональные зависимости сопоставляют с наблюденными
явлениями, пользуясь обычными статистическими крите-
риями. z
С познавательной точки зрения очень важно задать ис-
ходные модели в виде дифференциальных уравнений — они
легче поддаются осмысливанию, чем записи в интеграль-
ной форме. Например, в экономической литературе часто
можно встретить утверждение о том, что сложность управ-
16
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ [ГЛ. 1
ления растет пропорционально квадрату числа объектов,
подлежащих управлению, т. е. у = кх\ На первый взгляд
это утверждение вызывает недоумение — почему все уве-
личивается пропорционально квадрату числа объектов?
Однако если то же утверждение записать в дифференциаль-
ной форме dy = х tic-const, то все сразу проясняется.
Кажется вполне естественным, что приращение сложности
управления должно быть пропорционально числу уже
действующих объектов, так как каждый новый объект
должен взаимодействовать со всеми уже существующими.
Второй пример — экспоненциальный рост числа публи-
каций, количества научных работников и пр. Эта законо
мерность становится сразу же понятной, если мы запишем
ее в дифференциальной форме: dy!dt = ку. Представляется
вполне разумным предположить, что скорость роста числа
публикаций и количества научных работников должна
быть пропорциональна достигнутому уровню — чем
больше публикаций, тем больший отклик они вызы-
вают. Нам нередко приходилось слышать, что рост
числа научных работников во времени можно пред-
ставить и прямой, ибо прямая может идти и круче, чем
экспонента. Но нелепость такого утверждения стано-
вится опять-таки очевидной, если представить его в
дифференциальной форме. Концепция линейного роста
эквивалентна утверждению о постоянстве скорости роста,
т. е. dyldt = к. Трудно представить себе, чтобы число
научных работников в наши дни росло с такой же скоро-
стью, как, скажем, во времена Ньютона. Здесь хочется
обратить внимание на одно обстоятельство: одну и ту же
функцию — экспоненту — можно использовать как для
записи четких физических закономерностей, которым под-
чиняется, например, радиоактивный распад или поглоще-
ние излучения, так и для эскизного описания поведения
сложных систем. Чтобы четко разграничить эти два способа,
проведем следующий мысленный эксперимент: забросим,
скажем, на Луну порцию радиоактивных веществ и неко-
торое множество научных публикаций. Радиоактивные
атомы будут продолжать распадаться по экспоненте —
здесь мы имеем дело с законом природы. Публикации,
естественно, расти не будут— на Луне нет той системы —
науки, развитие которой лишь эскизно можно опи-
§ 3]
МОДЕЛЬ ВМЕСТО ЗАКОНА
17
сать приведенным выше дифференциальным уравнением,
где скорость роста пропорциональна достигнутому
уровню публикаций. Аналогию здесь можно провести-и
дальше: как в случае радиоктивного распада, так и в слу-
чае роста числа публикаций мы имеем дело только со ста-
тистическим, описанием явлений; В обоих ему чаях экспо-
нентой задается функция распределения, ’но в Пертом
случае экспоненциальное рапределение рассматривается
как закон природы, во втором случае — лишь как элемент
эскизного описания сложной системы.
Не нужно слишком серьезно относиться к эксперимен-
тальной проверке моделей, предложенных при эскизном
описании диффузных систем. Хорошее совпадение с дан-
ными эксперимента наслужит достаточно сильным подтвер-
ждением правильности модели, ибо всегда можно предло-
жить и другие модели, которые также не будут противо-
речить наблюденным явлениям. При плохом совпадении
всегда можно придумать достаточно разумные объясне-
ния — ведь изучаемая система по определению диффузна;
можно даже ввести поправки в модель, что, правда, пове-
дет к нежелательному ее усложнению. Иногда сама поста-
новка задачи о строгой проверке моделей теряет смысл.
Так, обсуждая вопрос об адаптационном торможении в раз-
витии науки [7], мы записали модель dy = (dnhi) const,
где у — некий результат научной работы (не просто публи-
кация), п — число научных работников. Модель пред-
ставляется вполне разумной: приращение результатов
научной работы оказывается обратно пропорционально
общему числу научных работников, так как каждому вновь
вступившему в коллектив научному работнику приходится
тратить время на обмен информацией со всеми уже рабо-
тавшими в нем, что тормозит деятельность каждого члена
коллектива. Интегрируя, мы получаем логарифмический
закон роста — он, в общем, хорошо согласуется с наблю-
даемым в нашей повседневной работе. Но вряд ли имеет
смысл здесь говорить о строгой проверке. Мы не очень
хорошо знаем, как измерять результат научной работы,
и, кроме того, при тщательной проверке мы должны были
бы учесть множество дополнительных факторов: ведь не
всегда вновь поступающие сотрудники вливаются в старый
коллектив, иногда они образуют новые, совершенно
18
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ
[ГЛ. I
замкнутые группы; вступают в игру и такие не учтенные
моделью факторы, как старение коллектива и т. д.
Нам кажется, что разумнее обсуждать достоинство
модели на уровне ее логических предпосылок. Но тут мы
сталкиваемся с новой трудностью. К системе логических
предпосылок здесь нельзя предъявлять столь излюблен-
ного математиками требования внутренней непротиворе-
чивости. Ведь мы имеем дело с диффузной системой и опи-
сываем лишь отдельные, часто противоречивые тенденции,
задаваемые различными механизмами, сфера деятельности
которых четко не разграничивается.
Можно поставить вопрос — в чем же смысл таких мо-
делей? Ответ на него очень прост. Такие модели позволяют
лицам определенной интеллектуальной настроенности по-
нимать поведение системы лучше, чем если бы оно было
изложено вербально. Это происходит, видимо, потому, что
математический язык и, в частности, язык дифференциаль-
ных уравнений обладают очень высокой степенью общно-
сти. У ученого, владеющего этим языком, сразу же возни-
кает множество ассоциаций с аналогичными, хорошо
известными ему ситуациями, описываемыми такими же
уравнениями. Математическая модель сразу же становится
на свое место в системе тех представлений, которыми распо-
лагает ученый, мыслящий на языке математики. Но все это
вызывает страшное раздражение со стороны представителей
гуманитарных наук, для которых язык математики все же
остается лишь плохо выученным иностранным языком.
Их точку зрения можно сформулировать так: зачем го-
ворить и мыслить на неродном языке?
б. Программная модель. В некоторых случаях модель
диффузной системы можно представить совокупностью
программ, написанных для ЭВМ. Сейчас очень большая
работа ведется по составлению программ, имитирующих
деятельность человека при решении интеллектуальных
задач некоторого типа [1, 3]. Составлены программы для
игры в шахматы и шашки, программы для доказательства
теорем математической логики и планиметрии, программы,
отвечающие на вопросы об игре в бейсбол, программы для
интегрирования функций и т. д. Среди широких кругов
научных работников у нас распространено ошибочное
мнение о таком построении программ, которое позволяет,
§ 3] МОДЕЛЬ ВМЕСТО ЗАКОНА 19
используя колоссальные возможности ЭВМ, осуществлять
полный перебор всех возможных вариантов. Даже совре-
менные ЭВМ не справились бы с такой задачей. Нетрудно
показать, что мощной современной ЭВМ для доказатель-
ства более или менее простой десятишаговой теоремы путем
полного перебора всех вариантов потребовалось бы не-
сколько тысяч лет. Все перечисленные выше программы
построены как эвристические. Они составляются на основа-
нии тщательного логического анализа поведения человека
при решении подобных задач, причем предполагается, что
сложные процессы мышления состоят из элементарных
процессов оперирования над символами. Допускается
возможность различных путей дальнейшего действия в
зависимости от исхода операции сравнения. Задача иссле-
дователя заключается в том, чтобы найти такую упорядо-
ченную последовательность процедур, которая не отли-
чалась бы от поведения человека. Предполагается, что этот
путь приведет к созданию искусственного разума и, вместе
с тем, позволит познать процесс мышления. Сейчас
очень много пишут об эвристическом программировании и
противопоставляют ему традиционные строго математи-
ческие методы исследования. Эвристическое программи-
рование — это все же лишь перебор вариантов, но перебор
с наложением некоторого ограничения. Вся эвристичность
заключается именно в этом ограничении, налагаемом на
перебор всех вариантов. Ограничения налагают, исходя
только из интуитивных соображений, подражая деятель-
ности человеческого интеллекта — строгого математиче-
ского обоснования им не дается. Подробнее мы проиллю-
стрируем эту мысль при описании метода случайного ба-
ланса (см. ниже стр. 163).
Часто можно слышать критические высказывания,
основанные на попытке противопоставить человека машине
с каких-то принципиальных позиций. Утверждается, на-
пример, что ЭВМ делает только то, что запрограммировано.
На это можно ответить, что и человек делает только то, что
запрограммировано в его сознании. Иногда составляются
длинные и интересные списки ситуаций, в которых прояв-
ляется глубокое и пока не устранимое различие в поведе-
нии человека и ЭВМ. Вероятно, одно из самых серьезных
различий состоит в том, что человек, в отличие от ЭВМ,
20
ИЗУЧЕНИЕ ПЛОХО ОРГАН 1 ЗОВАННЫХ СИСТЕМ
(ГЛ. I
может решать плохо сформулированные задачи. Или ина-
че — машине нужен однозначный математический язык,
человеку — естественный, полиморфный, язык. Естест-
венный язык, как раз в силу своей полиморфности, оказы-
вается мощнее любого строго формализованного языка;
это почти самоочевидное утверждение, не раз обсуждавше-
еся и в нашей литературе, очень хорошо сфорулировано
английской лингвистической философской школой [8]. Но
не объясняется ли такое различие результатов тем, что
пока еще никто не понял, как в сознании человека работает
программа семантического анализа предложений, форму-
лируемых на полиморфном языке. Если бы удалось понять
механизм подобного анализа, то это существенно продви-
нуло бы все работы, направленные на создание искусствен-
ного интеллекта. Создание искусственного разума — мо-
дели человеческого интеллекта — является сейчас цент-
ральной проблемой кибернетики.
Здесь хочется опять обратить внимание на неприятную
для докибернетической методологии науки многозначность:
можно предложить множество моделей человеческого ин-
теллекта, представленных существенно различными про-
граммами. Нужно придумывать специальные критерии для
сравнения работы программ с мышлением человека и для
сопоставления программ между собой. Опять в каком-то
одном смысле данные программы будут хорошими, в дру-
гом — плохими.
в. Комбинированная модель, представленная дифферен-
циальными уравнениями. Два рассмотренных выше типа
моделей носили познавательный характер. Модели такого
типа создаются для того, чтобы лучше понять структуру
той или иной диффузной системы. Иногда моделирование
ведется, исходя из иных, чисто практических задач. Модель
может строиться только для предсказания поведения диф-
фузной системы в изменяющихся условиях, или для того,
чтобы в каком-то смысле оптимально управлять системой.
Хорошо известны модели такого типа, например, в здра-
воохранении, в экологии и т. д. В экологии [9], скажем,
может идти речь о выборе наилучшей стратегии для борьбы
с насекомыми-вредителями или о создании модели, позво-
ляющей построить разумную систему ограничений на лов
ценных пород животных или рыб и т. д. При построении
§ 3]
МОДЕЛЬ ВМЕСТО ЗАКОНА
21
таких моделей, естественно, стремятся учесть возможно
большее число факторов. Модели строятся на основании
всестороннего анализа поведения диффузной системы —
к работе привлекается, как правило, множество специа-
листов различного профиля. Широко используются как
результаты проведенных ранее статистических исследо-
ваний, так и математические модели отдельных явлений,
заданные дифференциальными уравнениями. Сейчас из-
вестны хорошо разработанные модели таких явлений, как
рост популяций, развитие эпидемий и пр. [10]. При этом
часто исследователи располагают весьма ограниченными
данными — скажем, известны параметры для модели роста
лишь для популяций одного вида, но затем эти данные ис-
пользуют для моделирования роста популяции совсем
другого вида. Нередко в ЭВМ вводится очень много мате-
матических моделей. Например, в задаче, связанной с
поиском разумных ограничений на лов лососевых рыб [9],
в ЭВМ было введено 1000 уравнений. При моделировании
часто пытаются выяснить поведение изучаемой системы в
различного рода экстраординарных ситуациях, например,
при вспышках эпидемий, при больших пожарах, вырубках
больших площадей леса и кустарника и т. д.
При построении моделей подобного типа исследователь
не стремится к вполне адекватному описанию изучаемой
системы. К тому же проверка степени адекватности часто
оказывается трудной или просто невозможной. Так, на-
пример, нельзя сопоставить поведение модели с реальной
действительностью, когда моделируется поведение системы
в таких условиях, как вспышка эпидемии или большой
пожар, которые для данной системы реально еще не на-
блюдались. Задача исследователя здесь ограничивается
лишь тем, чтобы предложить модель, в какой-то степени
напоминающую предполагаемое поведение реальной си-
стемы. Он надеется таким образом найти разумную страте-
гию поведения при управлении подобной системой, пола-
гая, что человек в своей повседневной жизни поступает так
же, принимая решения в сложных ситуациях при непол-
ном знании.
Модели описанного выше типа из-за их чрезвычайной
сложности и далеко неполной адекватности могут вообще
не иметь никакого познавательного значения.
22
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ [ГЛ. I
С гносеологических позиций здесь интересно снова
отметить многозначность — различные коллективы иссле-
дователей могут создавать различные модели для описания
одной и той же диффузной системы. Любопытно отметить
еще одно обстоятельство — строгие математические моде-
ли отдельных явлений (например, рост популяций, разви-
тие эпидемий и пр.) начали создавать уже давно, но внима-
ние биологов они привлекли лишь после того, как оказа-
лось возможным проигрывать с помощью ЭВМ ситуации
во всей их сложности, в условиях, подражающих ре-
альным.
а. Локально-интегральная (полиномиальная) модель.
Появление ЭВМ воскресило интерес к полиномиальному
описанию поведения сложных систем. В такое описание
оказалось возможным включить много десятков незави-
симых переменных. В этом случае мы представляем себе
диффузную систему в виде некоторого «черного ящика»;
исследователь ищет связь между выходным параметром и
множеством входных параметров (независимых перемен-
ных), почти ничего не зная о механизме явлений, проте-
кающих в системе.
Несколько подробнее это можно изложить следующим
образом. Исследователь полагает, что, вообще говоря,
механизм явлений можно записать дифференциальными
уравнениями, но, практически, из-за сложности системы
этого сделать нельзя. Далее он полагает, что систему диф-
ференциальных уравнений можно решить, но ее решение
ему неизвестно и неизвестен даже аналитический вид той
функции, которой оно задается. Коэффициенты регрессии
(коэффициенты полинома) можно интерпретировать как
коэффициенты ряда Тейлора, т. е. как значения частных
производных в точке, вокруг которой производится раз-
ложение неизвестной нам функции, задающей решение
неизвестных нам дифференциальных уравнений. Поль-
зуясь статистическими методами, легко оценить степень
адекватности представления результатов наблюдений
полиномом заданного порядка.
С познавательных позиций полиномиальная модель не
представляет особого интереса. Зная численные значения
коэффициентов отрезка ряда Тейлора, нельзя восстановить
исходную функцию, аналитическое выражение которой
§ 3] МОДЕЛЬ ВМЕСТО ЗАКОНА 23
остается неизвестным исследователю, и тем более нельзя
восстановить исходные дифференциальные уравнения, ко-
торыми описывается механизм процесса. Здесь мы опять-
таки сталкиваемся с той же пресловутой неоднознач-
ностью модели, о которой мы уже столько раз говорили в
этой главе. Некоторое, может быть, не очень полное пред-
ставление о механизме явлений можно, конечно, получить
и из анализа полинома, используя хорошо известные ме-
тоды аналитической геометрии. В практическом отношении
полиномиальные модели могут оказаться очень полез-
ными, если они используются для решения экстремальных
задач (например, при разработке оптимальных условий
протекания технологических процессов) и в планировании
эксперимента [11]. К этому вопросу мы еще раз вернемся
позднее (см. § 1 и 2 гл. IV). С позиций статистики полино-
миальная модель очень удобна, так как мы можем улучшать
аппроксимацию, повышая порядок полинома, и при этом
наша аппроксимирующая функция остается линейной по
параметрам, что облегчает все последующие статистиче-
ские процедуры, а именно, применение метода наименьших
квадратов для оценки параметров, выбор оптимального
расположения точек в пространстве независимых перемен-
ных и т. д.
Заканчивая настоящий раздел, хочется поставить воп-
рос, остающийся пока еще без ответа: не приведет ли
многозначность, о которой так много здесь говорилось, к
засорению науки множеством моделей, имеющих одина-
ковое право на существование?
* *
*
В заключение нам хочется рассмотреть логическую
модель системы, в которой возникают новые идеи; в даль-
нейшем мы будем называть ее просто информационно
развивающейся системой. Здесь мы имеем в виду само-
организующиеся системы, управляющиеся своими инфор-
мационными потоками и, вместе с тем, создающие новую
информацию. Такими системами являются биологическая
система, создающая новые виды, наука, рассматриваемая
как самоорганизующаяся система, интеллект человека,
мыслящий автомат (если он возможен). Можно ли
24
ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ [ГЛ. I
представить себе принцип организации таких систем?
Можно ли построить хотя бы логическую модель такой
системы? Эти вопросы время от времени возникают в лите-
ратуре по кибернетике.
Задачу можно поставить несколько иначе: способна ли
сколь угодно долго информационно развиваться система,
состоящая из некоторой совокупности аксиом и правил
обращения с ними. Мы вправе рассматривать аксиомы как
некоторые строки символов, а правила вывода — как спо-
собы получения новых строк. Если правила конечны и
строго детерминированы, то на такую систему наклады-
вает ограничения известная теорема Гёделя о неполноте
(1931). Из нее следует существование истин, выразимых на
языке этой системы, которые, темне менее, нельзя вывести
из системы, как бы ни задавались аксиомы и конечные и
детерминированные правила вывода х).
Нагел и Ньюман [13] утверждают, что из теоремы
Гёделя следует невозможность построения думающих
машин. Но так же можно обосновать и невозможность
творческого мышления человека и необходимость призна-
ния виталистического начала в биологической органи-
зации. Представляется более интересным другой подход
к построению логической модели информационно разви-
вающейся системы. Следуя Кастл еру [14], можно ввести
в модель что-то вроде генератора случайных чисел,
случайным образом изменяющих систему аксиом и пра-
вила вывода. В биологической эволюции этот гене-
ратор физически реализуется, скажем, в виде жесткого
излучения, действующего на гены и вызывающего мута-
ции. В модель нужно, конечно, включить еще и блок обу-
чения, отсеивающий неблагоприятные идеи. Интересно
замечание Кастлера о том, что пришелец с другой планеты
не смог бы отличить систему, построенную таким образом,
от системы, наделенной «свободной волей». Из теоремы
Гёделя следует, во всяком случае, что информационно
развивающуюся систему нужно освободить от безуслов-
ного детерминизма и она должна иметь какие-то степени
х) Подробное и вполне доступное доказательство теоремы Гёделя
можно найти в книге Арбиба [12], где эта теорема используется для
обсуждения вопроса о возможностях человека и ЭВМ.
I з] МОДЕЛЬ ВМЕСТО ЗАКОНА 25
свободы. Генератор случая является той моделью, которая
описывает такое свободное поведение системы. Модель с
генератором случая имеет хотя бы одно бесспорное преи-
мущество —она дает нам в руки оператор, поведение кото-
рого можно изучать и которым можно действовать при
создании искусственного интеллекта. Концепция генерато-
ра случая является операционной, в отличие от концепции
особого жизненного начала или концепции сверхлогиче-
ского мышления, которые обрекают исследователя на роль
пассивного наблюдателя. Здесь дело не сводится к простой
замене слов.
По-видимому, в модели информационно развивающейся
системы, как и при эвристическом программировании,
весьма существенную роль должна играть какая-то неиз-
вестная еще нам система ограничений, налагаемых на гене-
ратор случая или на правила отбора генерированной идеи
до ее проверки. Быть может, системой таких ограничений и
определяется гениальность отдельных людей? Во всяком
случае, ясно, что, создавая искусственный интеллект,
нужно ввести туда генератор случая и систему отбора,
иначе нам придется иметь дело с уже совсем скучным интел-
лектом, построенным по принципу ветвящегося логиче-
ского дерева с четко прогнозируемым поведением. Про-
блема создания искусственного интеллекта — это вполне
реальная задача, возникающая в различных областях
деятельности человека и прежде всего в информационной
службе. В частности, в области математической статис-
тики сейчас нужно думать о создании интеллектульной
машины — машины-консультанта, работающей в режиме
диалога. Сейчас специалисты по математической статис-
тике слишком много времени тратят на оказание консуль-
таций. Эта работа носит как рутинный, так и творческий
характер. Удастся ли полностью передать ее машине-
консультанту? Во всяком случае, работая над созданием
такой машины, можно будет лучше понять как логические
основы математической статистики, так и механизм мыш-
ления исследователя.
Генератор случая и блок обучения придают системе
способность к адаптации. Система приобретает возмож-
ность нетривиально приспосабливаться к изменяющимся
условиям. В биологии уже давно делались попытки
26
ИЗУЧЕНИЙ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ (ГЛ. t
провести границу между живой и неживой природой. Сей-
час ясно, что неконкурентноспособными оказываются гипо-
тезы, пытающиеся проводить такое раз] раничение на осно-
вании особых свойств вещества. По-видимому, различие
между живой и неживой природой надо искать в особен-
ностях организации информационной системы. В живой
системе она построена так, что одной из основных ее
особенностей является способность к адаптации. Так же
организованы жизнеспособные системы, созданные чело-
веком: наука и общество. В неживой природе — при росте
кристалла или развитии плазмы, не происходит нетри-
виальных адаптационных процессов, т. е. система не
обогащается информационно в процессе своего эволю-
ционного развития. Может быть, в способности к адап-
тации больше, чем в чем-нибудь другом, проявляется грань
между живой и неживой природой. Построенная таким
образом логическая модель информационно развиваю-
щейся системы оправдана хотя бы тем, что она задает то
направление, в котором интересно вести исследование в
ближайшем будущем.
Из обсуждения приведенной выше модели следует и ряд
других выводов.
Рассмотрим здесь два из них.
1. Поведение системы с генератором случая непрогно-
зируемо. Нельзя прогнозировать эволюционное развитие
биологической системы, открытий в науке, поведение
мыслящего автомата (если он будет создан). Невозмож-
ность прогнозирования в науке мы уже ранее обосновы-
вали, исходя из других соображений х) [7].
2. Мы уже упоминали о том, что естественный
полиморфный язык мощнее любого строго формализован-
ного искусственного языка. Полиморфность языка позво-
х) Тем не менее ученые постоянно пытаются прогнозировать.
Какая-то часть этих прогнозов иногда даже оправдывается. Однако
прогностическим высказываниям нельзя приписать статус научных
высказываний — они в момент своего появления принципиально
неверифицируемы, даже в вероятностном смысле нельзя оценить
степень их достоверности. Хотя, конечно, всегда можно выявить
некоторые тенденции в развитии того или другого явления; экст-
раполируя некоторые кривые роста, можно довести их до абсурдных
значений и, следовательно, таким образом показать, что механизм
роста как-то должен измениться и т. д.
МОДЕЛЬ ВМЕСТО ЗАКОНА
27
« 3]
ляет преодолевать гёделевскую трудность в мышлении и
интеллектуальном общении людей. Может ли, например,
достаточно долго развиваться какая-нибудь научная си-
стема, если приверженцы ее всегда совершенно формально
опираются только на буквальные высказывания своих осно-
вателей? Если и может, то только в силу полимофности
языка: этим высказываниям придается все новый и новый
смысл. Разговаривая на естественном, полиморфном, языке
ученый может пользоваться строгой дедуктивной логикой,
оставаясь в то же время не вполне логичным. Нелогичность,
нужная для преодоления гёделевской трудности мышле-
ния, оказывается завуалированной полиморфностью язы-
ка,— это не вызывает раздражения. Вместе с тем, за поли-
морфизм приходится нередко дорого расплачиваться —
часто бесконечно долгие споры возникают только из-за
того, что одним и тем же словам упорно приписывается
разный смысл. Впрочем, быть может, в результате таких
споров и возникают новые идеи. Если соблюдать крайнюю
осторожность и принять гипотезу о непонятом механизме
сверх логического мышления х), то это все равно не сни-
мет гёделевской трудности; возможно, что разные ученые
находятся на разных уровнях иерархии мышления, но
коммуникация между ними всегда ведется на одном —
строго логическом уровне (подробнее см. [1081).
♦ *
♦
В настоящей книге мы не будем ничего говорить о кри-
териях, проводящих грань между детерминированными
и случайными явлениями — это слишком сложный и до
сих пор не решенный вопрос. Мы не будем также пытаться
осмыслить философскую природу случая. Для нас важно
х) Если, скажем, речь идет о мышлении человека, то можно до-
пустить существование целой иерархии его форм. На нижней сту-
пени этой иерархии стоит образное мышление, далее следует логи-
ческое мышление и т. д. Не стоит ли выше логического мышления
другая, совершенно не понятая нами форма творческого — сверх-
логического — мышления, которое мы пытаемся описать вероятност-
ной моделью с генератором случая только в силу нашего непонима-
ния реально существующего механизма?
28 ИЗУЧЕНИЕ ПЛОХО ОРГАНИЗОВАННЫХ СИСТЕМ [ГЛ. I
другое — показать, как вероятностный подход можно
применить к описанию сложных, плохо организованных
систем, где строго детерминированное описание становится
невозможным. Ниже (см. стр. 70) будет рассмотрена про-
цедура рандомизации, позволяющая искусственно соз-
давать ситуацию случайности при изучении сложных сис-
тем. Во всяком случае, читателя не должно смущать то
обстоятельство, что вероятностные методы можно применять
и для описания поведения систем, которое на самом
деле имеет детерминированный характер. Вероятностные
модели в некоторых случаях просто отражают недоста-
точность наших знаний.
ГЛАВА II
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
В этой главе мы хотим дать некоторое представление
о тех совсем новых общеметодологических концепциях,
которые внесла математическая статистика в теорию экспе-
римента. Нам хочется разрушить превратное и слишком
широко распространенное представление о том, что с по-
зиций экспериментатора математическая статистика —
это только некоторый набор более или менее полезных ре-
цептов, к которым надо лишь изредка обращаться.
§ 1. Проблема получения устойчивых частот
Если при изучении какого-нибудь явления не удается
построить детерминированную модель, то естественно обра-
щаться к вероятностным моделям. Но всегда ли это можно
сделать? Случайная величина считается заданной, если
определена ее функция распределения. Отсюда следует,
что математическая статистика применима не к любым
хаотическим данным, а только к тем, для которых можно по-
строить функции распределения. Практически это значит,
что должна наблюдаться устойчивость частот. Но далеко
не всегда сразу удается обнаружить устойчивый характер
поведения функций распределения, что часто портит наст-
роение исследователям — не только экспериментаторам, но
и специалистам по вероятностным методам. Обычно удается
добиться устойчивости поведения случайной величины
путем подходящего выбора системы классификации для
наблюдаемых величин. Поясним эту мысль примером.
Производилось сравнительное изучение двух существенно
различных методов анализа вещества в пробе. Расхождение
30
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
ГЛ. II
в результатах анализа, найденных двумя равными
методами, задавало значение случайной величины. По
результатам наблюдений, полученным за год, была пост-
роена функция распределения и она оказалась бимодаль-
ной. Это сразу настораживает исследователя — разумно
ли здесь применять математическую статистику? Ведь рас-
стояние между модами мы вправе также рассматривать
как случайную величину, о поведении которой мы за
прошедший год еще ничего не узнали и, следовательно,
ничего не можем сказать о том, каково будет расстояние
между модами в будущем году. На самом же деле поло-
жение оказывается уже не таким плохим. Первое, что
может сделать статистик — это обратить внимание хими-
ков-аналитиков на бимодальность функции распределения
как на явление явно ненормальное, указывающее на нали-
чие каких-то причин, обусловливающих относительно
большое и возможно неустойчивое систематическое сме-
щение в результатах анализа. Можно пытаться вскрыть
причину этого смещения, усилить контроль и т. д.
Можно поступить и совсем иначе, а именно, группи-
ровать материалы по малым интервалам — по месяцам,
неделям или даже по дням — и рассматривать две случай-
ные величины: одна из них задает рассеяние за короткий
промежуток времени, другая — за длительный. Исполь-
зуя такую иерархическую классификацию наблюдений,
мы получим устойчивые функции распределения. Подроб-
но этот статистический прием будет рассмотрен в следую-
щей главе, в разделе «Дисперсионный анализ». Сейчас нам
важно обратить внимание на то, что иерархическая сис-
тема классификаций — это не просто практически удоб-
ный прием. Использование такого приема позволяет ис-
следователю-экспериментатору иначе смотреть на изучае-
мые им явления — он видит, что рассеяние интересующей
его величины задается разными системами причин, распо-
ложенными на разных этажах иерархии классификацион-
ной схемы.
Конечно, далеко не всегда подбором подходящей клас-
сификационной схемы можно добиться утойчивости рас-
пределений. Допустим, например, что мы изучаем распре-
деление дислокаций на поверхности полупроводникового
материала. Дислокации, наблюдаемые в виде точек, обра-
§ 11 ПРИРОДА СТАТИСТИЧЕСКИХ ЙЫЙОДОЙ 31
зуют сложные картины — туманности с локальными сгу-
щениями, фигуры, напоминающие наложенные треуголь-
ники, и т. д. Можно, конечно, пытаться описать характер
расположения точек, образующих эти фигуры, функциями
распределения (распределение частиц, попадающих на
единицу поверхности), но вряд ли такой способ описа-
ния будет признан удачным. Функции распределения
оказываются смешанными и, следовательно, многопара-
метрическими и неустойчивыми — они изменяются при пе-
реходе от одного образца к другому. К обсуждению пос-
леднего примера мы вернемся ниже.
§ 2. Природа статистических выводовх)
Как известно, статистические методы играют в научных
исследованиях весьма важную роль, но все же до сих пор
широко распространено совершенно превратное представ-
ление о природе статистических выводов. Слишком часто
приходится слышать утверждения примерно такого рода:
«... Пользуясь объективными методами математической
статистики, мы вывели из результатов наблюдений следу-
ющую функциональную зависимость...». Такое утвержде-
ние неверно, и оно может вызвать раздражение, а иногда и
совершенно необоснованные возражения против приме-
нения математической статистики. Нельзя предложить
набор алгоритмов, которые выводили бы новые закономер-
ности из результатов новых наблюдений. Сначала иссле-
дователь должен выдвинуть несколько гипотез * 2), а
х) Этой проблеме посвящена последняя книга одного из основа-
телей современной математической статистики Фишера [15]. Она
представляется нам малоудачной, и мы не опираемся на нее при
изложении материала в данной главе.
2) Под гипотезой мы здесь понимаем любое утверждение, под-
дающееся проверке. Например, гипотезой является и совсем про-
стое утверждение о том, что результаты анализа одной и той же про-
бы, выполненные в разных лабораториях, существенно различны.
Эта гипотеза может проверяться против конкурирующей с ней аль-
тернативной нуль-гипотезы (терминология, введенная Фишером),
утверждающей, что между результатами двух анализов не сущест-
вует статистически значимого различия. Гипотезой мы будем также
называть и более серьезные утверждения — например, утверждение
о том, что механизм химической реакции описывается некоторым
математическим выражением, а также совсем серьезные утвержде-
ния — скажем, предположение о расширяющейся Вселенной.
32
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
(ГЛ. Н
затем, пользуясь статистическими методами, выбрать одну
из них< Иногда статистические методы используются для
уточнения одной выдвинутой априори гипотезы. В этом
процессе всегда участвует исследователь, и его резуль-
татам нельзя приписывать слишком большую объектив-
ность — ведь если бы не была выдвинута плодотворная
гипотеза, то все ухищрения с использованием самых тон-
ких статистических методов не привели бы к интересным
данным. Если результаты статистического анализа покажут!
что выдвинутая гипотеза не противоречит результатам
наблюдений, то отсюда еще не следует, что она безусловно
верна. Практически всегда можно предложить много дру-
гих гипотез, столь же хорошо согласующихся с резуль-
татами наблюдений. Исследователь, конечно, может всег-
да потребовать, чтобы проверяемые гипотезы испытывались
в некоторой критической для них области значений неза-
висимых переменных. Но о проверке в критической об-
ласти можно говорить опять-таки только для некоторых
наперед заданных гипотез. Исследователь никогда не может
быть уверен, что он предложил все возможные гипотезы.
Нужно подчеркнуть, что природа статистических выво-
дов не находится в каком-либо противоречии с общей для
всех экспериментальных наук системой построения ги-
потез. Новые гипотезы выдвигаются либо для объяснения
вновь наблюденных, подчас неожиданных явлений, либо
для устранения оставшихся незамеченными противоречий
в ранее существовавших концепциях. Разумеется, каждая
новая гипотеза должна пройти проверку, и можно утвер-
ждать, что в экспериментальных науках всегда сначала
выдвигается гипотеза, а затем она проверяется экспери-
ментально. Положительные результаты проверки, сколь
бы сильными они ни были, еще нельзя считать достаточным
основанием для безусловного принятия гипотезы. Гипо-
теза всегда остается открытой для дальнейшей проверки —
этим определяется прогресс в экспериментальных науках.
Вместе с тем, хотя бы один экспериментальный факт, про-
тиворечащий гипотезе, служит уже достаточным основа-
нием для того, чтобы ее отбросить. Здесь проявляется
любопытная асимметрия в проверке гипотез [5, 16] —
множество положительных результатов недостаточно для
подтверждения гипотезы, один отрицательный результат
§ 2] ПРИРОДА СТАТИСТИЧЕСКИХ ВЫВОДОВ 33
достаточен для ее опровержения. Правда, этот отрица-
тельный результат должен быть установлен вполне надеж-
но. Здесь возникает необходимость в установлении неких
правил игры. Должна быть разработана какая-то дого-
воренность, дозволяющая считать серьезными одни ре-
зультаты проверки и браковать другие как недостаточно
надежные. Такие правила игры вытекают из некоторых
концепций математической статистики. Так, условились,
что различие между проверяемой гипотезой и результатом
наблюдений статистически значимо, если вероятность его
случайного появления меньше некоторой критической
величины. Критические уровни значимости — например,
5- или 1-процентный — определяют лишь систему догово-
ренности в правилах игры, и здесь не нужно искать ка-
кого-то другого, более глубокого смысла. После того как
была принята такая договоренность, сразу же несколько
ослабляется отмеченная выше асимметрия в проверке
гипотез. Теперь уже отдельный отрицательный ответ не оп-
ровергает гипотезу, если только полученный результат не
выходит за определенные доверительные границы. Провер-
ка простейших гипотез сводится к оценке числового значе-
ния константы (или констант) функций распределения[16].
< Таким образом, математическая статистика оказалась
в роли арбитра при решении вопроса о не отбрасывании
гипотез в экспериментальных науках. Здесь сразу же воз-
ник вопрос — на каких логических основаниях базируется
возможность столь широкого использования математиче-
ской статистики, а следовательно, и теории вероятностей —
дисциплины чисто математической, т. е. построенной стро-
го дедуктивно? Вероятность события — понятие абстракт-
ное, и если приходится пользоваться им для описания
реальных ситуаций, то следует отвлечься от рассмотрения
множества второстепенных явлений, связанных с рас-
сматриваемым реальным событием. Если, например, речь
идет об эксперименте с бросанием монеты [16], то с этим
событием связано не только положение упавшей монеты
(орел или решка), но и характер звука, возникающего при
падении, длительность падения и бесконечное множество
других явлений. Вероятность совместного появления всех
этих событий ничтожно мала. Появление любого реального
события, рассматриваемого с учетом всего многообразия
2 В. В. Налимов
34
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
связанных с ним явлений, нужно было бы считать чудом.
С гносеологических позиций вероятностное описание реаль-
ного мира не обеспечивает адекватное, фотографическое
отображение всего его многообразия, а является глубокой
абстракцией, позволяющей отвлекаться от второстепенных
явлений при изучении сложных систем.
Для логического обоснования всей концепции статис-
тических оценок пришлось ввести совсем новое и глубоко
абстрактное понятие гипотетической генеральной совокуп-
ности, которая представляет собой совокупность всех
мыслимых (но реально не существующих) наблюдений над
случайной величиной при заданных условиях эксперимен-
та. Если в результате эксперимента получены значения
У11 Уч,-", Уп, т0 они интерпретируются как случайная вы-
борка из некоторой гипотетической генеральной совокуп-
ности. Задача ставится так: по результатам данной выбор-
ки оценить параметры функции распределения для гене-
ральной совокупности с учетом того элемента неопределен-
ности, который вносится ограниченностью эксперимен-
тального материала. Это значит, что по выборке надо найти
некоторые, совместимые с опытом (в вероятностном смысле)
границы для параметров генеральной совокупностих).
Таково логическое обоснование концепции доверительных
границ. Если проведено несколько серий опытов, то можно
проверить гипотезу о том, что все серии наблюдений явля-
ются случайными выборками из одной и той же генераль-
ной совокупности. Эта гипотеза не отвергается, если дове-
рительные границы, построенные для разных серий, пере-
секаются. Опыт показывает, что концепция генеральной
совокупности совсем не легко воспринимается широким
кругом исследователей. Высокий уровень абстрактности
вероятностных концепций, быть может, и служит причиной
того, что такой подход с трудом воспринимается некоторыми
старомодно воспитанными учеными.
х) Во избежание путаницы вводится различная система обозна-
чений: параметры функции распределения для генеральной сово-
купности обозначаются греческими буквами, параметры этой функ-
ции, найденные по выборкам,— латинскими буквами. Например,
выборочная дисперсия обозначается s2, генеральная — о2. Иногда,
впрочем, обозначения выборочных значений снабжают также специ-
альным значком — крышечкой, например о2, или волной о2.
§ 2] ПРИРОДА СТАТИСТИЧЕСКИХ ВЫВОДОВ 35
Понятие генеральной совокупности, по крайней мере
в простейших случаях, позволяет несколько смягчить
сформулированное выше утверждение о том, что гипотеза
всегда остается открытой для дальнейшей проверки. До-
пустим, например, что мы проверяем гипотезу о том, что
паспортные данные некоторого эталона совпадают с резуль-
татами измерений, выполненных в нашей лаборатории.
Это означает необходимость проверки утверждения о том,
что нашу выборку можно считать выборкой из генеральной
совокупности с математическим ожиданием, соответствую-
щим числовому значению, указанному в паспорте эталона.
Результаты проверки можно сформулировать, скажем, так:
«Паспортные данные эталона с доверительной вероятностью
в 99% не противоречат результатам измерений . Такая
формулировка допускает возможность того, что дальней-
шие наблюдения не подтвердят нашу гипотезу, и оценивает
вероятность этой возможности. Правда, подобное утвержде-
ние справедливо только в рамках выбранной модели, т. е.
тогда, когда задан закон распределения результатов изме-
рения и есть уверенность в его устойчивости. Логика ста-
тистических рассуждений соответствует тому интуитив-
ному представлению об устойчивости результатов из-
мерений, которое есть у исследователя. Альтернативное
суждение, совсем нелепое с позиций здравого смысла,
формулировалось бы примерно так: «Наши измерения
соответствуют паспортным данным, но это ничего не
значит, так как любое последующее измерение может все
опровергнуть».
Нужно придавать особое значение простому здравому
смыслу при выдвижении гипотез, подлежащих статисти-
ческой проверке. Рассмотрим несколько анекдотическую
задачу о четырех английских королях, которая недавно
стала предметом обсуждения в передовых статьях серьез-
ного, широко известного журнала «Нэчур» (Nature) [17,
18]. Четыре короля — Эдуарды I, II, III и IV — из Гано-
верской династии умерли в один и тот же день недели —
в субботу. Вероятность случайного события здесь чрез-
вычайно мала: 1/74 х 1/2500. Можно ли сделать вывод
о том, что суббота является зловещим днем для дан-
ной династии, и если это так, то в чем же ценность ста-
тистических методов проверки гипотезы? Отвечая на
Г
36
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
поставленный вопрос, нужно прежде всего обратить внима-
ние на нелепость гипотезы: выше уже подчеркивалось, что
успех статистического анализа определяется прежде всего
разумностью постановки задачи. Но если такая странная
гипотеза все же кем-то была выдвинута, то один из воз-
можных ответов будет звучать примерно так: «Вы-
двинутая гипотеза в статистическом смысле не проти-
воречит имеющимся наблюдениям, но в силу очевидной
ее нелепости с позиций оппонента можно потребовать, что-
бы проверка гипотезы была поставлена в более жесткие
условия.» Это значит в данном случае, что наблюдения
просто нужно продолжить. Оппонент может также предло-
жить несколько переформулировать задачу, придав ей
большую реалистичность и включив в нее имеющиеся до-
полнительные данные. Если учесть, что Гановерская ди-
настия насчитывала 53 короля, то вероятность четырех
смертей для королей какого-либо одного имени в какой-
либо один из дней недели составит уже всего 1/7.
Теперь можно поставить следующий вопрос: каким
образом исследователь выдвигает новые гипотезы? Отве-
тить на него можно только в весьма общей форме: новые
гипотезы выдвигаются интуитивно, на эвристическом уров-
не. Здесь нам опять хотелось бы провести сопоставление
между мышлением человека и деятельностью ЭВМ, так
как такое сопоставление позволяет лучше понять особен-
ности интеллектуальной деятельности [16]. Если мы можем
запрограммировать какой-то интеллектуальный процесс,
то это значит, что мы в каком-то смысле уже понимаем, как
он происходит. Как уже указывалось выше, одно из прин-
ципиальных различий между человеком и ЭВМ состоит в
том, что человек, в отличие от машины, может подвергать
семантическому анализу вопросы, сформулированные на
полиморфном языке. Второе столь же важное различие
состоит в том, что человек, наблюдая новые явления и ис-
пользуя имеющиеся у него априорные сведения х), может
выдвигать новые, подчас даже совсем неожиданные гипо-
г) Здесь следует обратить внимание на многозначность термина
«априорные сведения». В статистике априорными называются сведе-
ния, полученные на основании предыдущих экспериментов. По отно-
шению к (п + 1)-му эксперименту априорными являются сведения,
полученные из п предыдущих экспериментов.
§ 2] ПРИРОДА СТАТИСТИЧЕСКИХ ВЫВОДОВ 37
тезы, а вычислительная машина этого сделать не в состоя-
нии. Или, может быть, более осторожно нужно было бы
сказать так: процесс выдвижения новых гипотез, по край-
ней мере сегодня, запрограммировать нельзя. Если, про-
должая сопоставление с ЭВМ, мы попытаемся проанали-
зировать введенное еще Аристотелем понятие индуктивной
логики, то увидим, что оно лишено «алгоритмического
смысла». В чисто математических исследованиях также
можно говорить об интуитивной составляющей, которая
определяется уровнем математической фантазии исследо-
вателя, и о строго дедуктивной составляющей. Сколь бы
сложна ни была дедуктивная составляющая, она всегда
тривиальна, и, следовательно, ее можно вложить в ЭВМ.
Именно в этом смысле ЭВМ скоро станут весьма серьезными
конкурентами и для весьма высококвалифицированных
математиков. А хорошо известный индуктивный метод
доказательства в математике, как замечает Кендалл [16],
есть все же всего лишь одна из форм дедуктивного. Пытаясь
создать машину-консультанта в области статистики, о
которой мы уже говорили выше, нам придется думать над
тем, как решить (или хотя бы обойти) трудность, связан-
ную с тем, что индуктивная логика не поддается алгорит-
мизации.
Лишь в руководствах последних лет специалисты по
математической статистике стали обращать особое внима-
ние на необходимость четкого логического обоснования
даже самых простых гипотез. Так, например, Хан и Ша-
пиро [19] обращают внимание на то, что в статистических
исследованиях часто слишком злоупотребляют гипотезой
о законе нормального распределения. Выдвигается она
нередко в силу слишком общих соображений, иногда
просто в результате недостаточного знания учения о функ-
циях распределения. Далее эта гипотеза не отвергается,
если она, в соответствии с правилами статистической про-
верки гипотез, не противоречит в некотором вероятностном
смысле имеющимся наблюдениям, часто выполненным в
узком интервале варьирования. При этом не учитывается,
что данные, наблюденные в узком интервале, можно столь
же хорошо согласовать и с каким-либо другим законом,
который не был включен в рассмотрение просто в силу
недостаточной осведомленности. Если затем принятый
38
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
таким образом закон нормального распределения исполь-
зовать для экстраполяции за границы исследованной об-
ласти, то это может привести к большим ошибкам. Важно,
чтобы выбор функции распределения, скажем, в задачах
надежности, где нужна далекая экстраполяция, базиро-
вался прежде всего на глубоком понимании физического
механизма изучаемого
явления. Здесь еще раз
хочется подчеркнуть,
/ что результатам провер-
ки, подтверждающим
выдвинутую гипотезу,
нельзя приписывать
слишком большое зна-
чение.
При проверке гипо-
тезы естественно стре-
миться поставить ее в
критические условия,
или, как иногда гово-
рят, в условия боль-
шого риска. Иногда кри-
тические условия мож-
но создать, просто рас-
ширяя область варьи-
рования переменных
(рис. 2.1). Практически,
Рис. 2.1. Графическое представление
двух конкурирующих моделей, опи-
сывающих механизм химической
реакции: Л -* В С и А В С
[20].
По оси абсцисс отложено время, по оси ор-
динат — концентрация продукта [В]. Из
рисунка ясно, что проверяемые гипотезы
поставлены в критические условия, если из-
мерения производятся близ Г « G. Совер-
шенно бессмысленно проверять гипотезу о
правильности одной из моделей при значе-
ниях t < ti.
правда, последний совет далеко не всегда выполним.
И все же вряд ли безусловно прав К. Поппер [5], склон-
ный придавать большее значение тем гипотезам, которые
сформулированы так, что при проверке их легче поставить
в условия большого риска.
Поясним нашу мысль примером. При изучении науко-
метрических задач [7] мы столкнулись с тем, что гипотеза
экспоненциального роста для числа научных публикаций
далеко не всегда подтверждается результатом наблюдений.
Исходя из простого здравого смысла, было естественно
несколько модифицировать эту гипотезу и заменить экспо-
ненту суммой экспонент, поскольку разные страны мира и
различные области знаний вступают в игру в разное время
И для них цонстанты скорости имеют разные значения,
§ 2]
ПРИВОДА С*ГАТИСТИЧЕСкЙ* ЁЁГЙОДОЙ
39
Новую гипотезу трудно поставить в критические условця
при проверке, так как суммой небольшого числа экспонент
можно представить очень обширный класс кривых роста
даже в сравнительно широкой области изменения незави-
симой переменной. Следует ли отсюда, что модифицирован-
ной гипотезе, логически лучше обоснованной, нужно при-
давать меньшее значение, чем первоначальной моноэкспо-
ненциальной гипотезе?
Вероятно, самым примечательным в современной мате-
матической статистике оказывается не только стремление
к возможно большему логическому обоснованию выдви-
гаемых гипотез, но и стремление к самому широкому ис-
пользованию априорной информации, задаваемой вероят-
ностным образом. Все большее развитие получает так
называемый необейесовский подход к проверке гипотез
(см., например, [21—25]). Здесь нужно подчеркнуть, что
необейесовский подход отнюдь не исчерпывается исполь-
зованием хорошо известной теоремы Бейеса (математик,
живший еще в XVIII веке), которая является тривиальным
следствием аксиомы умножения вероятностей. Этот под-
ход характеризуется стремлением включить интуитивную
вероятность в обоснование математической статистики.
Интуитивную вероятность иногда называют также субъек-
тивной, или персональной, вероятностью х). Здесь речь идет
о некоторой мере персональной уверенности исследователя.
Естественно, что статистики-необейесианцы чаще применя-
ют теорему Бейеса, чем противники этого метода.
Какой смысл нужно придавать интуитивным оценкам
вероятности того или иного события? Этот вопрос вызвал
очень острую дискуссию, продолжающуюся до сих пор.
В его изучение включились и психологи-экспериментаторы,
показавшие на ряде примеров, что интуитивные оценки
вероятностей имеют определенный физический смысл. Во
всяком случае, ясно, что человек как в своей научной, так и
в повседневной деятельности постоянно оценивает субъек-
тивные вероятности различных событий. Ему все время
приходится принимать решения при неполном знании,
основываясь на догадках. Может быть, в наиболее рафи-
1) Концепция персональной вероятности была впервые введена
Рамзеем в 1926 г.
40
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. 11
нированной форме это проявляется в тех ситуациях, когда
заключают пари или, скажем, делают разные ставки на
скачках и, таким образом, количественно оценивают
вероятность того или иного исхода состязания. Ясно, что
персональная вероятность оценивается с большой ошибкой
и, более того, оценка всегда остается субъективной, т. е.
смещенной. Это смещение определяется интеллекту-
альной настроенностью субъекта. Впрочем, необейеси-
анцы полагают, что они имеют дело с разумными, настро-
енными в каком-то смысле одинаково наблюдателями.
Как бы там ни было, если субъективная вероятность
какого-либо события оценена, то с ней можно поступать
так же, как с вероятностью, найденной математическим ме-
тодом, полагая, что она обладает теми же свойствами и под-
чиняется тем же аксиомам. Понятие субъективной вероят-
ности не следует рассматривать как некоторую альтер-
нативу к хорошо известным определениям вероятности:
«классическому» и «статистическому» (в смысле Мизеса),
хотя некоторые крайние представители необейесианства
как раз на этом настаивают. Если мы теперь вернемся к
принятому нами приему — сопоставлению человека с
ЭВМ, то следует указать на третье глубокое различие —
человек, в отличие от машины, может интуитивно оцени-
вать вероятность при неполном знании ситуации. Иногда
это формулируется даже так: человек может оценить вероят-
ность даже такого события, которое еще никогда не проис-
ходило. В виде алгоритма этот процесс записать нельзя —
механизм его еще не понят. Здесь мы сталкиваемся с очень
интересной проблемой, в которой пересекаются пути
гносеологии, математической статистики, психологии,
кибернетики. В кибернетике (в ней она является одной
из центральных проблем) нельзя задать поведение ав-
томата, не умея написать алгоритм для оценки вероятно-
сти еще не произошедшего события в условиях неполного
х) Термин субъективная (или персональная) вероятность нуж-
но признать очень неудачным, так как он может привести к непра-
вильному его истолкованию. Может возникнуть впечатление, что
делается попытка ввести в науку чуждую ей субъективность. В дей-
ствительности же здесь речь идет об оценке вполне объективных яв-
лений, и если они оцениваются различными наблюдателями нс оди-
наково, то это просто объясняется различной степенью их информи-
рованности (подробнее см. [23]).
§ 21
ПРИРОДА СТАТИСТИЧЕСКИХ ВЫВОДОВ
41
знания ситуации. Работая над машиной-консультантом
в области статистики, мы должны пытаться как-то прео-
долеть эту трудность.
Чтобы дать некоторое представление о бейесовском
методе, рассмотрим самую простую задачу — измерение
величины р для некоторого объекта Я. Имеется простран-
ство Y всех возможных результатов измерений у. На дан-
ном пространстве задана вероятность р (у [ р); в простей-
шем случае это просто функция нормального распределе-
ния для ошибок наблюдения при измерении характеристик
объекта Я. Далее, если считать, что нам известна априор-
ная вероятность р (р), т. е. априори известно распределе-
ние всех возможных значений р, то можно воспользоваться
теоремой Бейеса, т. е. написать
I7 \У /
где р (р | у) — апостериорная вероятность, вычисляемая
после проведения опыта. Коэффициент к = 1/р(у} вычис-
ляется из условий нормировки
$ Р (ц I у) = к\р (у I ц) р (ц) = 1,
и теорему Бейеса можно записать в следующем виде:
p(p|y) = A:p(i/|p)p(p).
Вся трудность в применении теоремы Бейеса заключа-
ется в оценке субъективной априорной вероятности р (р),
которая на самом деле в большинстве задач неизвестна.
Если априори мы ничего не знаем о характере распреде-
ления р (р), то наше незнание можно выразить, априори
приняв равномерное распределение всех значений р.
В этом случае, как нетрудно видеть, апостериорное рас-
пределение р (р | у) сведется к исходному распределению
ошибок р (у | р), построенному относительно найденного в
эксперименте значения у (коэффициент к будет равен еди-
нице). Мы получим в конце концов измеренное значение
у с теми же двух-или трехсигмовыми границами, что и в
традиционной статистике. Все различир сводится лишь к
логическому обоснованию. При бейесовском подходе,
вводя априорную вероятность, мы задаем вход в систему и
затем, используя теорему Бейеса, получаем логически
42
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
безупречным образом выход из системы в виде апостериор-
ной вероятности. В традиционной статистике доверитель-
ные границы задаются еще до проведения измерений, и оста-
ется непонятным, почему они должны сохраняться и после
выполнения измерений — в ряде случаев здесь возникают
весьма серьезные трудности. Рассмотрим, например, за-
дачу с выделением сигнала на фоне шума при анализе
вещества [26]. На первый взгляд кажется естественным
принять за пороговый сигнал (граница обнаружения)
величину у За (критерий Кайзера), где а — квадра-
тичная ошибка, характеризующая флуктуацию фона.
Получается простое правило принятия решений: вещество
в пробе отсутствует, если у За. Но мы здесь не использу-
ем всей информации, содержащейся в наблюдениях. В ча-
стности, мы не придаем никакого значения тому, что для
какой-то пробы было получено значение у 0, хотя заранее
знаем, что содержание вещества в пробе не может быть
меньше нуля. Отрицательные значения могли бы служить
еще и основанием для утверждения о том, что действитель-
ное содержание вещества в пробе ниже некоторой вели-
чины, значительно меньшей трехсигмовой границы обна-
ружения. Вся трудность здесь связана с тем, что при
значениях у <"3а мы не можем построить функции рас-
пределения, не попав в область отрицательных значений
сигнала, что, конечно, уже не имеет физического смысла.
Все существенно упрощается при бейесовском подходе.
В правило принятия решений надо ввести априорное утвер-
ждение о невозможности отрицательных значений кон-
центрации, а далее можно принять равновероятными1) все
положительные значения сигнала (конечно, в некоторых
границах). Тогда на выходе решающей системы мы естест-
венным образом получим апостериорные вероятности.
В случае равновероятного априорного распределения зада-
ча в конечном счете сведется просто к перенормировке —
единице приравнивается часть площади под тем участком
г) Конечно, далеко не всегда мы имеем дело с полным априор-
ным незнанием, записываемым равновероятным распределением
(аксиома Бейеса). В некоторых случаях, например в статиспгче-
ских задачах связи, можно воспользоваться данными статистического
анализа языка или кода, предшествующими данными о работе ра-
диолокатора и т. д.

прйроДа СФАТЙС^ИЙВСЙЙХ йЫвоДой
4з
кривой дифференциальной функции распределения, кото-
рому соответствуют положительные значения сигнала.
Используя апостериорную вероятность, мы принимаем
решения, основываясь на некоторой смеси из новых знании
и прошлого знания или незнания, т. е. поступаем так,
как человек в своей повседневной деятельности.
Бейесовский подход можно использовать и в более
сложных задачах — при наличии двух или нескольких
конкурирующих гипотез. Пользуясь приведенной выше
формулой Бейеса, мы можем вычислить апостериорные
вероятности для каждой из конкурирующих гипотез.
Далее можно поступать так, как нам заблагорассудится.
Можно принять ту из конкурирующих гипотез, у которой
окажется больше апостериорная вероятность или, если
апостериорные вероятности мало различаются,— продол-
жить испытания до тех пор, пока различие в апостериор-
ных вероятностях не превзойдет некоторый критический
уровень. С позиций бейесовского подхода легко дать чет-
кое логическое обоснование всем последовательным про-
цедурам статистического анализа. В последнее время пы-
таются также применить бейесовский подход при принятии
решений в коммерческой деятельности [27], но этот инте-
ресный вопрос уже не относится к теме нашей книги. Воз-
можно, что такой подход удастся использовать и при фор-
мализации процесса принятия решений в деятельности
исследователя-экспериментатора. Но последняя проблема
еще находится в стадии изучения.
Если исследователь почему-либо стоит на антибейесов-
ских позициях и не хочет вводить априорной вероятности,
то принятие решения можно производить в рамках тради-
ционного статистического мышления, используя принцип
максимального правдоподобия. Чтобы разъяснить этот
принцип, нам надо напомнить два хорошо известных ста-
тистических понятия, а именно, понятия ошибок первого
и ошибок второго1) рода. Как нетрудно видеть, при нали-
2) Напомним здесь, что ошибка первого рода заключается в не-
принятии проверяемой гипотезы, когда она верна; вероятность со-
вершения такой ошибки обозначается через а и называется уровнем
значимости. Ошибка второго рода — принятие проверяемой гипоте-
зы, когда она неверна; вероятность совершения ошибки второго
рода обозначается через р.
44
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. П
чии двух конкурирующих гипотез Яо и Н1 правило приня-
тия решения сводится к разделению пространства наблю-
дений Y на два подпространства Уо и У1в Если в резуль-
тате измерения мы получаем некоторое значение г/, попа-
дающее в подпространство Уо, то не отвергаем нуль-ги-
потезу HQ, если же мы попадаем в подпространство У1? то
принимаем альтернативную гипотезу При этом, естест-
венно, мы можем допустить одну из двух ошибок, а именно,
отвергнуть нуль-гипотезу Яо> когда она верна, т. е. совер-
шить ошибку первого рода, или принять нуль-гипотезу,
когда в действительности верна альтернативная гипотеза
т. е. совершить ошибку второго рода. Ясно, что послед-
ствия этих двух ошибок обычно оказываются совершенно
различными. Предположим, например, что на металлур-
гическом заводе-изготовителе выполняется анализ стали
на содержание вредной примеси серы. Если лаборатория
допустит ошибку первого рода — забракует годную
сталь,— то это приведет к некоторому экономически четко
оцениваемому убытку. Если будет сделана ошибка второго
рода — некондиционная сталь будет признана годной—то
могут произойти крупные аварии с человеческими жерт-
вами. При такой постановке задачи четко разграничивается
риск поставщиков продукции и риск ее потребителей.
Вероятность отвергнуть нуль-гипотезу Яо, когда на
самом деле она верна, называется уровнем значимости кри-
терия. Вероятность отвергнуть нуль-гипотезу Яо, когда
она является ложной, называется мощностью критерия.
При неизвестных априорных вероятностях и заданном
числе измерений нельзя построить решающее правило,
минимизирующее вероятности обеих ошибок. Приходится
поступать иначе — поддерживать значение вероятности
ошибки первого рода меньшим или равным некоторой напе-
ред заданной величине и обеспечивать минимум ошибки
второго рода. Хорошо известная в математической статис-
тике теорема Неймана — Пирсона утверждает, что если
£ — действительное неотрицательное число, то критичес-
кая область (£), состоящая из всех значений у, для
которых отношение максимального правдоподобия х)
2) Напомним здесь определение функции правдоподобия. Если
мы имеем дело с выборкой обьемом т из генеральной совокупности
§ 2]
ПРИРОДА СТАТИСТИЧЕСКИХ ВЫВОДОВ
45
^1(у)/^о(у)^1» определяет критерий выбора между HQ и
обладающий максимальной мощностью по сравнению со
всеми критериями с уровнем значимости (1)1- Вся
трудность здесь заключается в выборе числа g, которым
задается граница, при переходе через которую принимается
решение.
Поясним алгоритмический смысл отношения максималь-
ного правдоподобия на примере последовательного анализа
[28], где число измерений не задается заранее. Допустим,
что экспериментатор проводит последовательно ряд опытов,
получая значения относящиеся к нормальной
совокупности с неизвестным средним и известной ошибкой
опыта а. Проверяемые гипотезы: HQ : ц ц0 и Нг : р, цр
Смысл последовательного анализа заключается в том,
чтобы, не устанавливая заранее некоторого фиксирован-
ного числа опытов, продолжать испытания до тех пор,
пока они не попадут в область Yr или Уо. После каждого
испытания вычисляется отношение максимального прав-
доподобия Pi (ут)/-Ро (Уш), где для совокупности с нормаль-
ным распределением можно написать
т
p°{Vm} = (мУ”*ехр [“ 2^2(J/i ~ Ио)2]’
т
рЛут) = (т75^)техр[_2^2 (№ — Pi)2] -
Испытания продолжают до тех пор, пока отношение
максимального правдоподобия Рг (ут)/Ро (Ут) мало отли-
чается от единицы; правило выбора определяется со-
отношением go Ра (Ут)/Ро (Ут) < gi, где go и gx -
некоторым образом выбранные постоянные числа. Как
только окажется, что Рг (ут)/Ро (Ут) £1 или что
Pi (Ут)/Ро (Ут) £о, так процесс испытаний заканчивает-
ся принятием гипотезы Hi или, соответственно, HQ.
с плотностью вероятностей р (у), то функцией правдоподобия назы-
вается выражение
р (Ут) = Р Ы Р (Уг) -Р {ут>
для выборки, задаваемой т-мерным вектором уш.
46
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
(ГЛ. II
Постоянные g0 и gi выбирают заранее, фиксировав а и р—
вероятности допустить ошибки первого и второго рода.
Вальд [28], в частности, показал, что при последовательном
анализе можно выбрать go и gx, положив
1 — а а
Итак, при использовании принципа максимального
правдоподобия нужно выбрать число £ или — при последо-
вательном анализе — два числа £0 и что, как мы видим,
сводится к выбору вероятностей для ошибок первого и
второго рода. Возникает вопрос: можно ли разумным об-
разом выбрать а и р, не зная априори распределения всех
возможных значений у? Нам кажется, что этого сделать
нельзя. Вернемся к ранее уже рассматривавшемуся при-
меру с анализом содержания вредной примеси серы в стали.
Если кто-либо хочет действительно разумным образом
установить риск поставщика и риск потребителя, учиты-
вая при этом и соображения экономического характера, то
ему, конечно, должна быть известна функция распреде-
ления для содержания серы в готовой продукции. Надо
знать, как часто появляется продукция с содержанием
серы, меньшим или равным у0 и большим или равным ух —
не зная этого, нельзя отдать предпочтение тем или иным
значениям аир1). Во всяком случае, если мы хотим, задав-
шись параметрами контроля а, р и а = ух |хэ, оценить,
например, стоимость последовательной процедуры, то нам
безусловно понадобится знание функции распределения у,
поскольку среднее число испытаний в последовательном
анализе становится, грубо говоря, тем меньше, чем дальше
находится измеряемое значение у от критического интер-
вала у0 — ух. Здесь, правда, следовало бы еще учесть, как
изменится функция распределения для вредной примеси
после того, как будет введена новая форма контроля, но
это уже совсем трудно сделать.
Итак, мы видим, что различие между бейесовским и
традиционным, небейесовским, подходами заключается,
*) Из-за отсутствия места мы здесь не будем излагать необейе-
совский подход к обоснованию последовательного анализа. Инте-
ресующиеся могут обратиться к книге [29], специально посвящен-
ной последовательным методам в математической статистике.
§ 2] ПРИРОДА СТАТИСТИЧЕСКИХ ВЫВОДОВ 47
главным образом, в глубине логического обоснования. При
традиционном подходе статистик при построении решаю-
щего алгоритма потребует от исследователя знания вели-
чина ир, совершенно не заботясь о том, откуда взялись эти
знания. При необейесовском подходе статистик попы-
тается проникнуть в задачу глубже, потребовав от исследо-
вателя задать в явном виде априорные сведения в виде
субъективной вероятности. На первый взгляд может пока-
заться, что различие между бейесовским и традиционным,
небейесовским, подходами не столь уж велико. Но на самом
деле это не так — в некоторых случаях борьба между
обоими направлениями приобретает очень острый ха-
рактер.
Заканчивая настоящий параграф, нам хочется подчерк-
нуть, что с позиций математической статистики удалось
подвергнуть четкому логическому анализу процесс выдви-
жения и принятия гипотез в экспериментальных науках.
Каждый из нас знает, что принятие решений — одна из
самых трудных и неприятных, а иногда даже мучительных
сторон интеллектуальной деятельности человека. Мате-
матическая статистика не сумела полностью формализо-
вать процесс принятия решений даже в самых простых
ситуациях. Единственное, что пока удалось сделать,—
это подвергнуть всю процедуру принятия решения четкому
анализу и показать то звено, которое не поддается форма-
лизации. Априорная информация во всех случаях вно-
сится человеком.
С общетеоретических позиций особенно важно обратить
внимание на альтернативную формулировку задачи в
процедуре принятия решения — противопоставление кон-
курирующих гипотез. При такой постановке задачи как
исследователю, так и его возможному оппоненту ясно,
против чего ведется игра. Устраняется неопределенность в
принятии решений, с которой приходится сталкиваться в
тех задачах, где выдвинута всего лишь одна гипотеза.
Мы уже говорили выше, что при одной проверяемой гипо-
тезе однозначно интерпретируется лишь негативный ответ—
тогда ясно, что гипотезу надо отбросить. Если же наблю-
дения согласуются с единственной выдвинутой гипотезой,
то она остается открытой для дальнейшей проверки. Те же
наблюдения можно столь же хорошо согласовать с множест-
48
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
вом других, не выдвинутых гипотез. При такой постановке
задачи исследователь не знает, против чего он ведет игру,
формулировка задачи в виде альтернативных гипотез сни-
мает эту неприятную асимметрию в проверке гипотез. Здесь
положительный результат одной проверки уже достаточен
для принятия проверяемой гипотезы, а не ее альтернативы.
Конечно, альтернативная гипотеза должна быть сформули-
рована содержательно. Если, скажем, проверяется гипо-
теза о том, что наблюденные значения согласуются с неко-
торой функцией ф (/), то содержательной альтернативной
гипотезой должно служить предположение о согласовании
с какой-то другой функцией ф (£). Если же в качестве
альтернативы мы будем просто рассматривать утверждение
о наличии неслучайного отклонения наблюдений от ф (i),
то мы вернемся к прежней неприятности с неоднозначной
интерпретацией положительного ответа.
Конечно, далеко не всегда можно сформулировать
задачу так, чтобы проверяемой гипотезе была противо-
поставлена содержательная альтернативная гипотезаг).
А когда это сделано, то все же не исключается возможность
появления в дальнейшем новых альтернатив. Но хотя бы
локально, на некотором уровне развития знаний, содер-
жательная альтернативная формулировка позволяет изба-
виться от неприятной неоднозначности в результатах про-
верки гипотез.
До сих пор мы рассматривали только задачу проверки
простых гипотез, когда проверяется одна гипотеза отно-
сительно другой. Возможны и более сложные ситуации, в
которых приходится прибегать к проверке сложных ги-
потез, являющихся группами простых гипотез. Обозначим
через Q совокупность всех символов или индексов, отно-
сящихся к проверяемым гипотезам. Допустим, что множест-
во Q состоит из двух подмножеств Qo и Qb одно из
которых соответствует нуль-гипотезе, другое — альтер-
2) Например, в наукометрических задачах, о которых уже не
раз упоминалось выше, выдвигая гипотезу о том, что рост числа
публикации задается экспонентой (или суммой экспонент), мы —
по крайней мере на начальных стадиях роста — не могли выдвинуть
интересных альтернативных гипотез. На поздних стадиях роста, ког-
да появится затухание, такой альтернативой будет логистическая
кривая роста, имеющая точку перегиба.
ПРИРОДА СТАТИСТИЧЕСКИХ ВЫВОДОВ
49
§ 2]
нативе. Если каждое из множеств Qo и Qi содержит только
по одному элементу, то говорят, что гипотезы простые.
Если Qo содержит один элемент, ай, — много, то говорят
о проверке простой гипотезы против сложной Нх. Пояс-
ним сказанное примерами. Когда проверяется гипотеза
о среднем HQ : ц — при альтернативе Нх\ ц =
и о2 известна, то это простая гипотеза. Если же, ска-
жем, проверяется гипотеза нормальности и параметры
не фиксированы, то такая гипотеза уже относится к
сложным.
Мы не можем более подробно останавливаться на этом
вопросе. Проверке статистических гипотез целиком посвя-
щена известная книга Лемана [30].
Мы видим, что в любом исследовании, большом или ма-
лом, чрезвычайно большую роль играет постановка зада-
чи — формулировка гипотез и их логическое обоснование.
Процесс создания гипотез не поддается алгоритмическому
описанию. В этом смысле его можно назвать метафизиче-
ской составляющей науки [5], если будет позволено этот
термин понимать в общежитейском, а не строго философ-
ском смысле. Строго научной частью является проверка
гипотез, хотя она во многом также задается постановкой
задачи. Кун 131] замечает, что отвергнутые ныне гипоте-
зы, например флогистонная теория или калориметриче-
ская термодинамика, выдвигались методологически так
же, как и признанные теперь теории.
Если мысленно представить себе цивилизации, нахо-
дящиеся где-то на других планетах и достигшие примерно
того же уровня развития, что и наша цивилизация, то их
научные теории могут оказаться совсем отличными от на-
ших. Вряд ли прав известный науковед Прайс [32], при-
писывающий появлению определенных научных теорий
некоторый неизбежно закономерный характер. Вопреки
Прайсу, можно думать, что любая крупная научная те-
ория также связана с индивидуальностью ее создателя,
как, скажем, и произведения искусства. Разница вся,
видимо, в том, что крупные научные теории должны со
временем сходиться к некоторому экстремуму, но не
ясно, какова скорость их сходимости и как долго может
продолжаться зацикливание на ложных локальных эк-
стремумах. Здесь уместно сравнение с численными мето-
50
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
дами поиска экстремума, где столь сильно все зависит от
удачного выбора начального приближения. В науке
ситуация, вероятно, осложняется еще тем, что заранее
неизвестны все переменные, подлежащие изучению. Появ-
ление каждой новой переменной выявляет смещение всех
ранее полученных оценок.
§ 3. Концепции рандомизации
Во многих руководствах по математической статистике
утверждается, что основная ее задача — это принятие
решения в условиях неопределенности. Нам кажется, что
такое утверждение недостаточно сильно. На самом же деле
математическая статистика сделала нечто гораздо боль-
шее — она внесла концепцию случая в эксперимент, за-
ставив исследователя искусственно создавать случайную
ситуацию в эксперименте. Эта концепция послужила
толчком к развитию работ по планированию выборок
(отбор проб) и позднее к развитию работ по планированию
эксперимента в самом широком понимании этого понятия.
Программу эксперимента стали составлять специалисты
по математической статистике так, чтобы рандомизиро-
вать (т. е. сделать случайными) те систематически дейст-
вующие факторы, которые трудно поддаются учету и кон-
тролю, с тем, чтобы можно было рассматривать их как
случайные величины и, следовательно, учитывать стати-
стически. Такой подход чужд традиционному пониманию
эксперимента, изучавшего хорошо организованные си-
стемы. Там предполагалось, что изучаемое явление можно
отделить от мешающих факторов со сколь угодно боль-
шой точностью. Переход к изучению сложных — диффуз-
ных — систем заставил усомниться в реалистичности та-
кого подхода. Рандомизация условий проведения экспе-
римента стала одной из основных предпосылок в концеп-
ции планирования эксперимента [33]. Полная рандомиза-
ция не всегда оказывается возможной. Как, например,
рандомизировать во времени эксперимент, если исследо-
вателю нужно последовательно выполнить несколько цик-
лов, состоящих из четырех опытов, а в день он может по-
ставить только по три опыта? Появилась потребность в соз-
дании рандомизированных экспериментальных планов с ог-
$ 4] КОНЦЕПЦИЯ ПОСЛЕДОВАТЕЛЬНОГО ЭКСПЕРИМЕНТА
51
раничениями, наложенными на рандомизацию. Так поя-
вились неполноблочные сбалансированные планы, латин-
ские и греко-латинские квадраты и кубы и т. д. Подроб-
нее об этих планах будет сказано в следующей главе.
§ 4. Концепция последовательного эксперимента
В математической статистике глубокое развитие полу-
чила интуитивно достаточно очевидная концепция после-
довательного эксперимента. Смысл ее, грубо говоря,
заключается в том, что нужно использовать последователь-
ную — шаговую стратегию. После каждого шага произ-
водится анализ результатов, и на основании этого анализа
принимается решение о дальнейшей деятельности. Иссле-
дователь отказывается от попытки заранее задать строго
фиксированную схему проведения эксперимента — при-
нимаемая им стратегия предусматривает возможность
принятия решений в зависимости от результатов, полу-
чаемых на отдельных этапах исследования.
Попробуем разъяснить стратегию последовательного
эксперимента на самой простой задаче — анализе вред-
ной примеси серы в стали. В простых сортах стали содер-
жание серы не должно превышать 0,050%. Ошибка в опре-
делении серы может составлять, скажем, а — 0,003%.
Представим себе теперь такую ситуацию: на металлурги-
ческом заводе отлита плавка в 500 Т стали; горячие слитки
погружены на платформы и остывают, а машинист ждет
сигнала из лаборатории — в зависимости от результатов
анализа он повезет слитки на тот или иной блюминг или,
быть может, даже на склад некондиционной продукции.
Допустим, что лаборант получил первый результат:
0,053% серы. Можно липлавку браковать? Пусть следую-
щий результат равен 0,048% — что теперь делать? Еще
один результат — 0,051 %. Когда лаборант может пре-
кратить анализы и выдать средний результат? Вряд ли
имеет смысл устанавливать заранее некоторое обязатель-
ное, строго фиксированное число параллельных определе-
ний. Если, скажем, в какой-то другой плавке лаборант
получит первый результат 0,023%, то вряд ли нужно де-
лать еще хотя бы одно определение, если учесть, что
ошибка определения о = 0,003%.
52
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. И
Поставленная здесь проблема совсем просто решается
методом последовательного анализа, в котором использу-
ется отношение максимального правдоподобия (см. стр.
44). Нам надо задаться вероятностями аир (ошибок
первого и второго рода) и затем установить численные зна-
чения для гипотез //0: ц = Но |х = Ц1- В нашем слу-
чае — анализа серы — мы, скажем, можем положить
Но: Но 0,048 и Hi > 0,050, полагая, что интервал
0,048—0,050% остается областью неопределенных зна-
чений (если действительное содержание серы находится
в этом интервале, то последовательный анализ закончит-
ся выбором Но или Н}). Последовательный анализ легко
поддается графической формализации. Зная Но и Hi и за'
давшись величинами а и Р, нетрудно построить две прямые
Lq и Лх, определяемые уравнениями
где
= а0 + Ьт,
Ty = а± + Ьт,
б2 , р
Яо = in -г2-— ,
и 6 1 — а ’
б2 . 1-р
а. -= In--------- ,
1 <5 а '
Ъ __ Цо +
6 = Н1 - Но-
Построим номограмму, задаваемую прямыми Zo и L1? так,
как показано на рис. 2.2. По оси абсцисс откладывается
порядковый номер испытания т; по оси ординат — накоп-
ти
ленная сумма результатов анализа Т = Испытания
г=1
продолжаются до тех пор, пока точки попадают в область,
ограниченную параллельными прямыми Lo и Lx, и пре-
кращаются, когда точка выйдет за эти пределы. Оказалось,
что последовательный анализ, различающий гипотезы
Но: н Но и Hi* Н Pi> требует в среднем в два раза
меньше опытов, чем традиционный метод, когда при задан-
ных аир заранее фиксируется число параллельных опы-
§ 4] КОНЦЕПЦИЯ ПОСЛЕДОВАТЕЛЬНОГО ЭКСПЕРИМЕНТА 53
тов и — что, вероятно, особенно важно — исследователь
получает четкое решающее правило для принятия реше-
ний, хорошо согласующееся с его интуицией. Ведь и рань-
ше разумный экспериментатор как-то варьировал число
параллельных опытов в зависимости от получаемых резуль-
татов — беда была только в том, что у него не было для
Рис. 2.2. Пример применения последовательного анали-
за [47].
Определялось содержание примеси в эталонном образце. Рас-
сматривались две гипотезы, а именно, Hi.' ==» 24,50%; Нр: у.0 =
₽= 24,25%. После четвертого испытания была принята гипотеза
рь =« щ. Для удобства при вычислении накопленной суммы здесь
вычитается число 24.
этого хорошо обоснованного правила принятия решения.
В работе [34] дано описание различных частных прие-
мов последовательного анализа, представленное в форме,
легко доступной для экспериментатора.
Рассмотрим еще один пример, а именно, применение
последовательного анализа при контроле за спонтанно из-
меняющимся процессом — технологическим или каким-то
другим. Всем хорошо известны обычные контрольные кар-
ты, где по оси абсцисс откладывается время, а по оси орди-
нат — каким-то образом представленный результат на-
блюдений. Это может быть текущее среднее, т. е. среднее
по заданному числу наблюдений, смещающееся при движе-
нии во времени каждый раз на одно наблюдение. Особенно
эффективными, как показал опыт, оказались так назы-
ваемые ко.чмулятивно-суммирующие карты (Бернард,
1960), построенные по принципу последовательного
анализа. В этих картах по оси ординат откладываются
54
методологические концепции
(ГЛ. It
коммулятивные суммы
m
Sm = s & - л)’
где А — значение параметра, на котором нужно поддер-
живать контролируемый, скажем, технологический про-
цесс. Наклон кривых на коммулятивно-суммирующих
картах служит мерой среднего
рактеристики процесса, т. е. (Sm
Рис. 2.3. Р-маска для коммулятпвно-
суммируютцей карты.
Параметры маски — угол 0 и горизонталь-
ный интервал d. Решение об изменении ус-
ловий протекания процесса принимается,
когда BD ВС.
значения численной ха-
— Sm_r)/r = уг. Масштаб
по оси ординат обычно
выбирается так, чтобы
отклонению от желае-
мого уровня А на вели-
чину 2сг соответствовал
угол 45°. Контроль за
стабильностью процесса
осуществляется с помо-
щью F-маски так, как
показано на рис. 2.3.
Здесь важно обратить
внимание на следующее
обстоятельство: к рити-
ческое изменение в зна-
чении среднего оцени-
вается по углу накло-
на — это придает высо-
кую степень наглядно-
сти, и, что особенно
важно, правило выбора
решений не содержит фиксированного числа наблюдений.
Если среднее скачкообразно изменилось на большую ве-
личину, то это будет обнаружено при меньшем числе на-
блюдений. Далее, пользуясь такими картами, легко ука-
зать номер наблюдения, с которого начался дрейф про-
цесса, что иногда позволяет выяснить причины, вызвав-
шие дрейф (подробнее о коммулятивно-суммирующих
картах см. [35]).
Концепция последовательного эксперимента была соз-
дана Вальдом [28] в 1943 г. Он сумел формализовать при-
ем, которым и раньше в какой-то мере пользовались спо-
§ 5]
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
55
собные экспериментаторы. Вальд показал эффективность
и сходимость последовательного анализа. Эта концепция
оказала большое идейное влияние на развитие статисти-
ческих методов исследования. Она, может быть, наиболее
ярко проявилась в задачах планирования так называемых
экстремальных экспериментов. В задачах такого рода ис-
следователь, варьируя многие переменные, пытается най-
ти оптимальные условия протекания некоторого техноло-
гического процесса. Поиск экстремума производится
последовательно, шаг за шагом. Исследователь в зависимо-
сти от априорных сведений и ранее полученных результа-
тов прибегает последовательно к различным методам:
линейному приближению, движению по градиенту линей-
ного приближения, описанию полиномами второго, а
иногда и третьего порядка и т. д. Здесь каждый последую-
щий шаг определяется ранее полученными результатами.
Подробнее эти приемы будут изложены в гл. IV.
§ 5. Концепция оптимального использования
пространства независимых переменных
На интуитивном уровне столь же легко обосновать и
концепцию отимального использования пространства не-
зависимых переменных, или, как ее часто называют,—
концепцию многофакторного эксперимента. Пусть в ли-
нейной задаче (линейный регрессионный анализ) мы имеем
дело с к независимыми переменными (факторами) x1<t
х2, . . Як, образующими А-мерное пространство (к ним
нужно еще добавить (к + 1)-ую фиктивную переменную
для оценки свободного члена в уравнении регрес-
сии). Уравнение регрессии записывается следующим
образом:
Л = Ро 4“ Pi^i 4“ Рг^г 4“ • • • 4“ Рк^к*
Ищут выборочные оценки для коэффициентов регрес-
сии Рь а именно, —> [Jf. Эту задачу можно решать тра-
диционным — однофакторным методом, варьируя каждую
переменную по очереди. Если для каждой переменной сде-
лано п повторных опытов и если переменные варьируют
только на двух уровнях, а именно, на уровнях +1 и —1,
то дисперсия оценки коэффициента регрессии равна
56
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. П
Рис. 2.4. Коэффициент регрес-
сии bt — tg а оценивается по двум
опытам, каждый из которых пов-
торяется п раз.
Здесь
bi= —?о>/2 и с* =
J ~~Го |
₽ I 2 ) п 2п
линейной регрессии не всегда
= с2{у}/2п (рис. 2.4) и эта величина, естественно,
не зависит от общего числа независимых переменных, по-
скольку каждая из них изучается в отдельности, и значе-
ние bi определяется всего двумя усредненными измере-
ниями, которыми и задается значение дисперсии коэффи-
циента регрессии. Если же воспользоваться другой
стратегией, варьируя все переменные сразу так, чтобы
каждый эффект оценивался по всей совокупности опытов, то
можно надеяться в благо-
приятном случае умень-
шить дисперсию оценки по
сравнению с дисперсией
единичного измерения в
(к + 1) п раз, так как оцен-
ка будет производиться по
всем (к + 1) п опытам. Та-
ким образом, можно обос-
новать концепцию много-
факторного эксперимента,
которая позволяет резко
повысить эффективность
эксперимента в задачах с
большим числом незави-
симых переменных. Здесь,
правда, далеко не все
оказалось так просто, как
может показаться с пер-
вого взгляда. Даже для
легко построить хорошие
планы эксперимента, позволяющие уменьшить дисперсии
в оценках параметров в (к + 1) раз. Значительно слож-
нее все обстоит и в задачах с нелинейной регрессией и осо-
бенно в задачах с нелинейной параметризацией1). При-
шлось ввести сложную систему критериев оптимальности
и развить совсем непростую математическую теорию, поз-
воляющую в каком-то смысле оптимально использовать
пространство независимых переменных, выделенное для
эксперимента. Подробнее все такие вопросы будут осве-
х) Здесь имеется в виду функциональная зависимость, нелиней-
ная по оцениваемым параметрам.
§ 6] КОНЦЕПЦИЯ РЕДУКЦИИ (СВЕРТКИ) ИНФОРМАЦИИ
57
щены в гл. IV. Здесь нам лишь хотелось обратить внима-
ние на то, что оптимальное использование пространства
независимых переменных — это совсем новая для эк-
спериментатора идея, выдвинутая математической ста-
тистикой.
§ 6. Концепция редукции (свертки) информации
После того как эксперимент поставлен и получены ре-
зультаты, возникает еще одна задача — представить эти
результаты в компактной форме, удобной для опублико-
вания, хранения и сопоставления с другими данными.
Результат каждого эксперимента всегда несвободен от
некоторого элемента неопределенности. Раньше исследо-
ватель пытался дать известное представление о достовер-
ности своих результатов путем пространного описания
условий проведения эксперимента. Теперь этого сделать
нельзя — публикации приходится представлять в пре-
дельно краткой форме. Уже сейчас результаты многих
экспериментов вводятся в ЭВМ для хранения и сопостав-
ления с другими данными. Все это заставляет оценивать
элемент неопределенности при помощи числа, обращаясь
к статистическому анализу результатов наблюдений. Если,
скажем, мы имеем дело с выборкой взятой
из нормально распределенной генеральной совокупности,
то вместо того, чтобы приводить все п наблюденных зна-
чений, достаточно привести три величины — выборочное
среднее у, выборочную дисперсию $2{у} и число наблюде-
ний п. Эти три величины дают нам всю информацию, со-
держащуюся в выборке. Они позволяют оценить не только
интересующие нас параметры — среднее (центр распреде-
ления, или, как иногда говорят, параметр положения) и
дисперсию (параметр масштабности, характеризующий
рассеяние наблюдений относительно центра), но и дове-
рительные границы, задаваемые размером выборки, т. е.
числом наблюдений п. Если наша выборка взята из рас-
пределения, отличного от нормального, то нужно при сверт-
ке информаций приводить еще две величины — асиммет-
рию и эксцесс, вычисленные из третьих и четвертых мо-
ментов. Эти две величины характеризуют асимметрию
распределения и его «приподнятость» (или «опущенность»)
58
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
1ГЛ. II
относительно нормального колоколообразного распреде-
ления.
Здесь естественно возникает вопрос — в какой степени
удалось сейчас стандартизировать процесс свертки инфор-
мации? И сразу же возникает второй вопрос — на каких
общетеоретических предпосылках может базироваться та-
кая стандартизация.
Со стандартизацией методов свертки информации сей-
час дело обстоит явно плохо. Это приводит к тому, что
результаты научных исследований, полученные в разных
лабораториях в различное время, оказываются нередко со-
вершенно несовместимыми. Проиллюстрируем это двумя
примерами.
Первый пример. В книге [7] приведены результаты
исследования роста чувствительности эмиссионного спектрального
анализа редких и цветных металлов за последние 25—30 лет по ма-
териалам отечественных и зарубежных публикаций. Лишь в 24%
случаев наблюдается статистически значимый рост чувствительно-
сти во времени, а в одном случае даже наблюдается статистически
значимое ее понижение. Как можно объяснить отсутствие роста
чувствительности по большинству обследованных элементов за по-
следние 30 лет? За эти годы несомненно улучшилась спектральная
аппаратура, усовершенствовались источники возбуждения и, ко-
нечно, были разработаны новые, более совершенные методы анали-
за. Но вместе с тем, за эти годы повысилась и осторожность в оценке
границы чувствительности. Общепринятого метода для оценки гра-
ницы чувствительности не было. Его нет и сейчас.
Второй пример. В работе [36] показано, что существую-
щие сейчас способы оценки границы чувствительности радиометри-
ческого анализа различаются столь сильно, что результаты одного
и того же модельного опыта можно представить набором числовых
значений, различающихся на три порядка.
Из приведенных примеров ясно, сколь важное значе-
ние для развития науки имеет проблема редукции данных.
При разработке стандартных методов свертки информа-
ции естественно стремиться исходить из-каких-то достаточ-
но общих, интуитивно легко воспринимаемых постулатов.
Можно, например, утверждать, что при редукции данных
из результатов наблюдений должен извлекаться максимум
содержащейся в них информации. В некоторых руковод-
ствах по математической статистике даже утверждается,
что такова основная задача математической статистики
вообще. С таким крайним утверждением, конечно, вряд ли
§ 6] КОНЦЕПЦИЯ РЕДУКЦИИ (СВЕРТКИ) ИНФОРМАЦИИ
59
можно согласиться — оно слишком обеднило бы задачи
математической статистики, в нее не вошли бы тогда мно-
гие важные ее концепции, например концепции, связанные
с планированием эксперимента. Но существенно отметить,
что требование построить систему алгоритмов, позволяю-
щих извлекать из наблюдений максимум содержащейся
в них информации, стало на некоторое время одной из
основных проблем математической статистики. Приемы
редукции оказалось возможным развивать обычными для
математики дедуктивными методами, исходя из четко
сформулированной задачи.
Задача извлечения максимальной информации решает-
ся с помощью так называемых эффективных оценок — по-
нятия, введенного Фишером. Рассмотрим некоторый класс
оценок параметра. Классом таких оценок могут служить,
например, все оценки для центра рассеяния: среднее
арифметическое, среднее геометрическое, медиана и т. д.
Оценка 0 (у1э у2, • • • > Уп) неизвестного параметра, сделан’
ная по выборке ?/2, • • •» Ут называется эффективной,
если дисперсия отклонений 0 относительно 0 минимальна
на всем рассматриваемом нами классе различных возмож-
ных оценок. Естественно также ввести требование состоя-
тельности оценок. Оценка называется состоятельной,
если при увеличении числа наблюдений до бесконечности
она сходится по вероятности к оцениваемому параметру.
И, наконец, нужно, разумеется, потребовать, чтобы оцен-
ки были несмещенными. Это значит, что в процессе вычис-
ления параметров не должны возникать систематические
ошибки, или, иными словами, математическое ожидание
оцениваемого параметра должно совпадать с оцениваемым
параметром M{Q} =0.
Проиллюстрируем на одном примере тот выигрыш, который
можно получить, используя концепцию эффективных оценок в иде-
альных для нее условиях. Нетрудно, например, показать, что для
выборки, взятой из нормально распределенной совокупности, эф-
фективной оценкой г) для центра рассеяния будет арифметическое
J) Напомним здесь, что эффективные оценки ищутся методом
максимального правдоподобия. Оценка максимального правдоподо-
бия для некоторого параметра 0 находится решением уравнения
(У, 0) п
60
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
1ГЛ. II
среднее. Если мы будем оценивать центр рассеяния, пользуясь
какой-нибудь неэффективной оценкой, скажем, медианой, то при
достаточно большой выборке отношение дисперсий для двух оценок
будет близко к 2/л = 0,637. Это означает, что если мы хотим полу-
чить оценки с одинаковой дисперсией, то, применяя среднее арифме-
тическое, нужно воспользоваться лишь 64% от того числа наблюде-
ний, которое требуется при оценке центра рассеяния по медиане.
Экспериментатору обычно удобнее оценивать рассеяние не диспер-
сией, а квадратичной ошибкой, имеющей ту же размерность, что и
сами измерения. При таком подходе оценка центра рассеяния по
среднему потребует 80% наблюдений от того их числа, которое нуж-
но сделать при оценке по медиане. Мы видим, что выигрыш от при-
менения эффективных оценок оказывается сравнительно небольшим.
Значительно больший выигрыш можно получить, используя, ска-
жем, приемы многофакторного эксперимента — здесь, при большом
числе независимых переменных, можно улучшить отношение дис-
персий в несколько раз (подробнее об этом см. стр. 56). На послед-
нее обстоятельство обратил внимание еще Фишер [37] в своей по-
следней, посмертно опубликованной статье. Он сам дал сравнитель-
ную оценку относительной эффективности тех двух приемов, кото-
рые он ввел в математическую статистику.
здесь Р (у, 0) — функция правдоподобия, определенная выше на
стр. 44, где в запись не вводился параметр 9. Практически удобнее
решать уравнение
д In Р (у, 0)
-----аэ-----= °
(максимумы функций Р (у, 0) и In Р (у, 0) совпадают). Метод мак-
симального правдоподобия всегда приводит к состоятельным, хотя
иногда и смещенным оценкам, распределенным асимптотически
нормально и имеющим наименьшую возможную дисперсию по срав-
нению с другими, также асимптотически нормальными оценками.
Для нормально распределенной случайной величины метод макси-
мального правдоподобия приводит к следующим оценкам: среднему
арифметическому у для первого параметра (центра рассеяния) и
дисперсии, определяемой по формуле
1 п
г=1
для параметра масштабности. Первая из этих оценок оказывается не-
смещенной, вторая — немного смещенной. В статистике предпо-
читают пользоваться несколько менее эффективной, но несмещен-
ной оценкой дисперсии
{?/} = S
i=l
§ 6] КОНЦЕПЦИЯ РЕДУКЦИИ (СВЕРТКИ) ИНФОРМАЦИИ
61
Несмотря на небольшой практический выигрыш, кон-
цепция эффективности в сочетании с понятиями состоятель-
ности и несмещенности стала той логической основой, на
которой начала развиваться математическая статистика.
Здесь, правда, пришлось столкнуться с целым рядом труд-
ностей. Оказалось, что далеко не всегда можно построить
оценки одновременно состоятельные и несмещенные. С та-
кой неприятностью, в частности, пришлось встретиться
при оценке спектральной плотности. Эта оценка оказа-
лась несостоятельной, т. е. она не уточняется с ростом чис-
ла наблюдений. Здесь создалась ситуация, напоминающая
принцип неопределенности Гейзенберга в физике. Оказа-
лось, что оценку можно сделать состоятельной, если отка-
заться от требования ее несмещенности, причем эффек-
тивность оценки становится тем лучше, чем больше смеще-
ние, т. е. систематическая ошибка, вводимая при вычис-
лениях (подробнее об этом см. на стр. 116).
Вторая трудность возникла в связи с тем, что эффек-
тивность оценок, как оказалось, очень чувствительна к на-
рушениям исходной предпосылки — нормальности рас-
пределения. По оценкам, с которыми соглашается Тьюки
[38], экспериментальные данные содержат до 10% ано-
мальных значений. Практически разумно полагать, что
мы чаще всего имеем дело со смешанными распределения-
ми, задаваемыми суммой по крайней мере двух функций
распределения с несколько различающимися параметра-
ми. Такие «загрязненные» выборки можно задавать, ска-
жем, моделями типа 0,97V (р; о2) + 0,1 N (ц + Хо; о2)
и т. д. Моделирование поведения выборок подобного типа
на ЭВМ позволило показать, что центр рассеяния лучше
оценивать по медиане, а не по среднему арифметическому,
если мы имеем дело с сильно загрязненной выборкой. Было
установлено также, что загрязнение меньше влияет на
оценку рассеяния по размаху варьирования, чем на оцен-
ку дисперсии, хотя ранее, исходя из традиционного пони-
мания эффективности, всегда рекомендовалось оценивать
дисперсии. Можно, конечно, «очищать» загрязненные вы-
борки, отбрасывая с помощью того или иного критерия
грубые (аномальные) наблюдения. Но эта процедура так-
же ведет к понижению эффективности — ведь приходится
отбрасывать до 10% наблюдений, а иногда, вероятно, и
62
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
значительно больше. Кроме того, экспериментатор далеко
не всегда согласится с такой процедурой усечения выбо-
рок — нередко может представляться вполне естествен-
ным иметь дело со смешанным распределением. Подроб-
нее затронутые здесь вопросы рассмотрены в обзорах
[39, 40].
Наконец, третья трудность связана с тем, что оценке
параметров часто должен предшествовать статистический
анализ данных, при выполнении которого мы сталкиваем-
ся с проблемой чувствительности критериев анализа к на-
рушению исходных предпосылок. Допустим, например,
что исследователь получил ряд выборочных дисперсий
$i, si, . . ., Sn. Прежде чем приступить к вычислению
сводной (усредненной) дисперсии, нужно проверить ги-
потезу о том, что выборочные дисперсии однородны,
т. е. подсчитаны по выборкам, взятым из одной и той же
генеральной совокупности. Такую проверку обычно ре-
комендуют делать по критерию Кохрена или (если выбор-
ки разного объема) по критерию Бартлета. Но критерий
Бартлета крайне чувствителен к нарушению нормально-
сти распределения. Самым удивительным здесь оказыва-
ется то, что для некоторых типов распределений расхож-
дение становится тем больше, чем больше выборка. С
ростом числа наблюдений действительное значение вероят-
ности, связанное с каким-то заданным ненормальным рас-
пределением, стремится к некоторой фиксированной вели-
чине, зависящей только от значения эксцесса х) Тг- Если
перейти от нормального распределения (т2 = 0) к рас-
пределениям с Т2 ==— 1 и 2, то 5-процентный уровень
значимости смещается до величин, соответственно равных
0,56- и 16,6-процентному, при числе наблюдений в вы-
борке п = 2. При числе наблюдений п = 20 для тех же
двух значений 5-процентный уровень становится рав-
ным 0,0004- и 71,8-процентному соответственно. Вместе
с тем, есть критерии, очень мало чувствительные к нару-
шению нормальности. Так, F-критерий (отношение диспер-
сий) оказывается совсем нечувствительным к нарушению
нормальности при сравнении межгрупповой дисперсии
0 Напомним здесь, что эксцесс определяется соотношением
у? = р^/о4 — 3, где — четвертый момент.
s 6] КОНЦЕПЦИЯ РЕДУКЦИИ (СВЕРТКИ) ИНФОРМАЦИИ 63
с внутригрупповой. Если, например, перейти от нормаль-
ного распределения с асимметрией J) = 0 и эксцессом
Т2 = 0 к распределению с = 2 и — 2, то 5-процент-
ный уровень значимости превратится лишь в 4,72-про-
центный, если измерения были сделаны соответственно
с 4 и 20 степенями свободы. Во многих руководствах по
математической статистике даются следующие рекоменда-
ции при проведении дисперсионного анализа: сначала про-
верить по критерию Бартлета гипотезу однородности дис-
персий и лишь затем обратиться к F-критерию. Один из
статистиков остроумно замечает, что такая рекомендация
напоминает поведение капитана, который, прежде чем
выводить лайнер из бухты, поехал бы в шлюпке в океан
проверить состояние погоды.
Интересные данные о чувствительности статистических
критериев к нарушению нормальности приведены в рабо-
те [34], откуда мы и заимствовали два приведенных вы-
ше примера. Здесь следовало бы заметить, что исследова-
тель практически никогда не прибегает к оценке степени
отклонения от нормальности путем вычисления асиммет-
рии и эксцесса. Нужно учитывать, что оценка этих вели-
чин, основанная на вычислении третьего и четвертого
моментов, сопряжена с большими ошибками. Чтобы оце-
нить надежным образом изменение Xi и Тг на °ДНУ-Две
единицы, надо располагать уже сотней или сотнями наблю-
дений. И все же исследователь всегда должен иметь чет-
кое представление о чувствительности используемых кри-
териев к исходным предпосылкам.
Нужно отметить, что все существующие сейчас руко-
водства по математической статистике написаны несколько
догматично — в них, как правило, приводятся рекоменда-
ции, не учитывающие чувствительность * 2) статистических
процедур к нарушениям исходных предпосылок, хотя в
журнальных публикациях эти вопросы обстоятельно об-
суждаются, причем обычно приводятся многочисленные
результаты моделирования на ЭВМ поведения различных
х) Асимметрия определяется соотношением = р3/о3, где р3 —
третий момент.
3) В англо-американской литературе появился специальный
термин robust (дословно — сильный, крепкий), означающий устой-
чивость к нарушениям.
64
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
критериев, предложенных подчас на интуитивном уровне.
Эти новые результаты не легко поддаются систематизации,
но все же, по-видимому, в ближайшее время можно ожи-
дать появления руководств, написанных уже с новых по-
зиций.
Несмотря на все изложенные выше трудности, все же
ясно существование четкой логической концепции, спо-
собной служить основанием для разработки стандартных
методов анализа и редукции экспериментальных данных.
Трудности, связанные с чувствительностью к исходным,
часто идеализированным предпосылкам, заставляют лишь
широко использовать машинный эксперимент при анализе
сложных ситуаций. Из изложенного здесь материала долж-
но быть также ясно, сколь важно для экспериментатора
научиться получать правильное представление о тех функ-
циях распределения, которыми задается поведение изу-
чаемого им материала. Не имея возможности подробнее
остановиться здесь на этом вопросе, мы отсылаем читателя
к хорошо написанной книге Хана и Шапиро [19], где
учение о функциях распределения изложено с позиций
экспериментатора.
§ 7. Возможность представления результатов
исследования множеством моделей
Ранее, когда исследователь был ограничен в вычисли-
тельных средствах, результаты измерений приходилось
представлять всегда какой-либо одной, заранее выбранной
моделью. Теперь, после появления ЭВМ, положение дел
резко изменилось — исследователь может представлять
свои результаты не одной, а несколькими моделями, об-
суждая их в дальнейшем с различных позиций.
Приведем здесь два примера, показывающих разум-
ность такого приема представления результатов изме-
рений.
Первый пример относится к оценке спектральной плот-
ности случайного процесса. Выше (см. стр. 61) мы уже
говорили, что эта оценка несостоятельна; в данном слу-
чае точность оценки не улучшается с увеличением числа
наблюдений. Если в вычислительный алгоритм ввести
сглаживающий фильтр, называемый «спектральным ок-
ПРЕДСТАВЛЕНИЕ МНОЖЕСТВОМ МОДЕЛЕЙ
65
§ 71
ном» *), то оценка станет состоятельной, но, вместе с тем,
она окажется смещенной. С увеличением степени сглажи-
вания улучшается точность, но одновременно растет сме-
щение. Как сбалансировать эти две тенденции? На послед-
ний вопрос статистики пока ответить не могут. Приходится
представлять результаты исследований не одной, а не-
сколькими кривыми спектральных плотностей, полу-
ченных при разной степени сглаживания. Подроб-
нее этот прием будет рассмотрен в следующей главе
(см. стр. 116); там же будут приведены соответствующие
графики.
Теперь рассмотрим второй пример. Допустим, что для
представления результатов исследования была выбрана
модель
У в Ф (^1» ^2> •••> *^1?» ®2» •••> ®i)>
где хи я2, . . ., х*—независимые переменные; . . .,01
— параметры модели; модель может быть как линей-
ной, так и нелинейной по параметрам 0. Представим себе
далее такую ситуацию: после проведения вычислений вы-
яснилось, что модель мало устраивает экспериментатора.
Могло случиться, скажем, что параметры оценены со
слишком большими ошибками, или модель оказалась
слишком сложной, трудно поддающейся физической интер-
претации. В этом случае естественно стремиться изменить
метрику того пространства переменных, в котором задана
модель. Можно выполнить преобразование как зависимой,
так и независимых переменных. Обычно ограничиваются
степенными преобразованиями. Для независимых пере-
менных степенное преобразование запишется следующим
образом:
= Х{ , ос О,
Xi = In я, а — 0.
По ряду причин, которые мы здесь обсуждать не бу-
дем, для зависимой переменной степенное преобразование
J) Спектральным окном называется «окно», через которое мы
«смотрим» на спектр частот в наблюдениях.
3 в. в. Налимов
66
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
[ГЛ. II
удобно записать в виде
/ = (<Л - 1)/х, х^о,
/ = 1пу, X = 0.
Здесь а и X — параметры преобразования, которые
нужно выбрать в процессе вычисления, используя тот
или иной критерий. Одним из таких критериев может
служить, например, требование минимума суммы квадра-
тов отклонений наблюденных значений от вычисленных.
Область допустимых
значений Зля оси А
Я
Рис. 2.5. Область допустимых значений для
параметров преобразования а и X в одной
конкретной задаче [115].
Штриховка показывает, как уменьшается эта об-
ласть при наложении дополнительных условий.
Но при этом естественно также учитывать ряд других по-
казателей; желательно, чтобы преобразованная величи-
на подчинялась нормальному распределению и чтобы дис-
персия преобразованной случайной величины не зависела
от ее значения. Статистика не может сейчас предложить
единый жесткий критерий, который позволял бы полу-
чать строго фиксированные числовые значения парамет-
ров преобразования а и X. Во многих задачах приходится
ограничиваться нахождением области допустимых зна-
АНАЛИЗ ДАННЫХ
67
§ 81
чений для а и X. Эта область уменьшается, если потребо-
вать сохранения однородности и нормальности распреде-
ления. На рис. 2.5 в качестве примера приведена область
допустимых значений для а и X в одной реальной задаче.
Область возможных значений а и X задает уже не одну, а
множество возможных моделей — экспериментатор в даль-
нейшем может использовать одну или несколько таких
моделей, интерпретируя их по-разному. Интересный при-
мер преобразования независимых переменных дан в [116].
Вначале исследователи выбрали две независимые пере-
менные: Xt — амплитуду нагрузки и Xj — длину нити.
Модель оказалась неудачной в статистическом смысле и
трудно поддавалась физической интерпретации. Числен-
ные методы подсказали почти очевидное с позиций здраво-
го смысла преобразование: переход к новой переменной —
дробной доле амплитуды: xL = xjxj. При этом сразу улуч-
шились статистические оценки и облегчилась физическая
интерпретация. Любопытно, что здесь численные методы
позволили восполнить недостаток интуиции исследо-
вателя.
Представление результатов исследования множеством
моделей — совсем новый и очень интересный, но еще мало-
изученный метод. На нем мы больше останавливаться не
будем.
§ 8. Анализ данных
В предыдущих параграфах мы старались показать, что
математическая статистика может предложить исследо-
вателю не набор рецептов, а набор идей, служащих осно-
вой для создания математической теории эксперимента.
Эти идеи — относятся ли они к планированию экспери-
мента или к обработке его результатов — всегда направ-
лены на то, чтобы получить какой-то существенно новый
результат из экспериментальных данных. Математическую
статистику нельзя считать каким-то непосредственно дей-
ствующим эвристическим инструментом; изучив ее, нельзя
научиться делать открытия. Но применение идей и мето-
дов математической статистики резко сокращает объем
экспериментальных исследований и, что самое главное,
увеличивает четкость суждения исследователя об экспе-
3е
68
МЕТОДОЛОГИЧЕСКИЕ КОНЦЕПЦИИ
(ГЛ. II
рименте. Это обостряет интуицию экспериментатора и
в этом эвристический смысл статистических методов.
Математическая статистика не может подсказать ис-
следователю, как сформулировать цель исследования.
Более того, после формулировки эадачи исследования
остается неясным, как из множества различных статисти-
ческих методов выбрать наиболее подходящий. В этом
смысле применение математической статистики следует
считать искусством. Впрочем, последнее замечание, по-ви-
димому, относится к любой теории, если ее применять
для решения какой-то новой задачи. Известный зарубеж-
ный статистик Фини в одной иэ своих статей [41], посвя-
щенных преподаванию математической статистики, пи-
шет, что он знает, как преподавать математическую ста-
тистику, но не знает, как учить ее использованию.
В заключение, вероятно, важно отметить, что математи-
ческая статистика, как и всякая математическая дисцип-
лина, базируется на четких предпосылках, соответствую-
щих некоторым весьма идеализированным ситуациям.
Математическая теория эксперимента пытается выяснить,
в какой степени идеи, развитые на основе этих идеальных
представлений, можно применять в реальных экспери-
ментальных условиях. Здесь нам хочется привести заклю-
чительные слова уже не раз упоминавшейся выше статьи
Тьюки [381: «Будущее анализа данных может привести
к большому прогрессу, к преодолению реальных трудно-
стей, к оказанию большой помощи всем областям науки и
техники. Будет ли это так? Это зависит от нас, от нашего
желания встать на каменистый путь реальных проблем
вместо гладкой дороги нереальных предпосылок, произ-
вольных критериев и абстрактных результатов, не имею-
щих реалистической направленности. Кто примет этот
вызов?»
ГЛАВА III
МЕТОДЫ ИССЛЕДОВАНИЯ, ОСНОВАННЫЕ
НА ИЗУЧЕНИИ РАССЕЯНИЯ
В настоящей главе мы попытаемся изложить с единых
позиций те разнообразные статистические методы, кото-
рые обычно в руководствах различной теоретической на-
правленности излагаются раздельно. Все приводимые
здесь методы направлены на то, чтобы извлечь какую-то,
существенно интересную информацию из того простого
и, на первый взгляд, казалось бы, неприятного обстоя-
тельства, что результаты наблюдений оказываются рас-
сеянными. Статистика сумела показать, что изучение рас-
сеяния — это путь к изучению сложных, плохо органи-
зованных систем. В теоретическом плане к изучению рас-
сеяния можно подходить с различных позиций. Но тогда
методы, направленные на изучение рассеяния, оказыва-
ются изложенными так, что от исследователя-эксперимен-
татора ускользает все то, что их объединяет.
§ 1. Стратегия рандомизации. Дисперсионный анализ
Выше мы уже говорили, что во многих эксперименталь-
ных ситуациях разумно искусственно создавать рандоми-
зацию с тем, чтобы влияние факторов, мешающих иссле-
дователю, сделать случайным. Проиллюстрируем эту идею
самым простым примером. Допустим, например, что,
пользуясь эмиссионным спектральным анализом, надо
выяснить, различается ли содержание какой-либо примеси
на двух торцах какого-нибудь металлического стержня.
Проведем этот эксперимент сначала традиционным спо-
собом, без всяких предосторожностей. Снимем несколько
раз спектр вещества на одном из торцов (пусть все эти
70 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
спектры окажутся, например, на верхней части фотопла-
стинки), а потом снимем ровно столько же спектров ве-
щества на другом торце (пусть все они окажутся в ниж-
ней части пластинки). Если полученные средние будут
отличаться статистически значимо (статистик использовал
бы здесь критерий Стыодента), то следует ли отсюда, что
концентрации анализируемой примеси на двух торцах
действительно различны? Строго говоря, такого заключе-
ния сделать еще нельзя. Ведь обнаруженное различие
может вызываться какими-то трудно поддающимися кон-
тролю факторами, например неоднородностью фотоэмуль-
сии (серии спектрограмм сгуппированы в двух разных
частях фотопластинки), неравномерностью процесса ее
проявления и самопроизвольным и неконтролируемым
изменением во времени режима источника возбуждения.
При традиционной постановке опытов исследователь ис-
ходит из того, что он имеет дело с хорошо организованной
системой, где четко можно выделить изучаемое явление,
строго стабилизировав все мешающие факторы. В дейст-
вительности это не так. Система здесь плохо организова-
на, мешающие факторы не поддаются стабилизации. Со-
вершенно очевидно, что было бы по меньшей мере нера-
зумно изучать, исходя из обычных детерминистических
позиций, поведение этой неустойчивой, плохо организо-
ванной системы. Гораздо выгоднее рандомизировать эк-
сперимент во времени и в пространстве. Снимая спектры,
будем случайным образом, пользуясь таблицей случайных
чисел, чередовать торцы — на фотопластинке спектры
также расположатся случайным образом. Тогда неодно-
родность фотопластинки, неравномерность проявления и
смещение в режиме источника возбуждения мы вправе
считать случайными явлениями, даже если в действи-
тельности они подчинялись каким-то неизвестным нам де-
терминированным закономерностям. При дальнейшей ста-
тистической обработке материала все эти неприятные для
нас явления учитываются дисперсией, служащей мерой
рассеяния случайной величины. В данной задаче мы ис-
пользовали рандомизацию, которую можно рассматри-
вать как прием планирования эксперимента. Схему экспе-
римента здесь составляют заранее, исходя из какой-либо
одной^статистической концепции.
$ 11
£анДойизация. ДИСЙЕРСИОЙЙЫЙ АНАЛИЗ
и
Однако Далеко не во всех случаях рандомизацию
удается осуществить так просто. Часто на рандомизацию
приходится налагать ограничения, обусловленные осо-
бенностями той или иной экспериментальной ситуации.
Допустим, например, что нам нужно несколько раз повто-
рить цикл экспериментов, состоящий из четырех различ-
ных опытов, причем в течение рабочего дня можно выпол-
нить только три опыта. В этом случае можно воспользо-
ваться так называемым неполноблочным сбалансированным
планом, приведенным в табл. 3.1. Здесь буквами Л, 33, и
Таблица 3.1
Пример неполноблочного
сбалансированного плана
Серии (блоки) Варианты испытаний
я г &
1 + + +
2 — + + +
3 + + +
4 + + — +
2) обозначены различные варианты испытаний, а цифрами
1, 2, 3, 4 — номера последовательных серий, обычно назы-
ваемых блоками. Знак «+» обозначает, что испытание
проводилось, знак «—» — что испытание не выполнялось.
Этот план называется неполноблочным потому, что в каж-
дом блоке опущено по одному варианту испытания, и
сбалансированным потому, что варианты испытаний рас-
пределены симметрично относительно блоков. Например,
испытания Л и 33 совместно встречаются дважды: в тре-
тий и четвертый день; аналогично, испытания и® встре-
чаются совместно в первый и второй день ит.д. Порядок
проведения испытаний по дням (блокам) полностью ран-
домизирован. Такая схема проведения опытов позволяет
производить рандомизацию с наложенным ограничением
— в блоке вместо четырех всего три варианта испытаний.
К планам подобного типа приходится обращаться
72 МЕТОДЫ. ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Ш
и в других ситуациях. Может, например, оказаться, что
материал для эксперимента поступает малыми партиями,
и поэтому на каждой партии можно осуществить всего
три варианта испытаний, а всего их надо сделать четы-
ре. Тогда опять можно обратиться к схеме, приведен-
ной в табл. 3.1, но здесь блоками служат уже партии
материала.
Для представления результатов, полученных по этой
схеме, используется линейная модель
Ун = И + + eib
Здесь ytj — результат эксперимента, относящегося к той
клетке табл. 3.1, которая находится на пересечении i-й
строки и /-го столбца; р — математическое ожидание для
среднего по всей таблице р = М {уц}\ Bt — математи-
ческое ожидание эффекта г-го блока; Тj — математическое
ожидание эффекта /-го варианта испытаний; 8ц — ошибка
эксперимента в клетке с индексами г/. Предполагается,
что случайная величина в имеет нормальное распреде-
ление, нулевое среднее и дисперсию о2{в}; это записы-
вается в виде N (0; о2{е}). Цель исследования заключается
в выявлении межблокового эффекта и эффекта, связан-
ного с изменением вариантов испытаний. Обработку ре-
зультатов наблюдений производят методом дисперсион-
ного анализа: оцениваются дисперсии, характеризующие
рассеяние, связанное с ошибкой эксперимента, межблоко-
вое рассеяние и рассеяние, определяемое эффектом изме-
нения вариантов испытания. Для этого вычисляют сле-
дующие суммы квадратов: 1) общую сумму квадратов
характеризующую общее рассеяние результатов
наблюдений относительно среднего по всей таблице; 2) сум-
му квадратов определяющую рассеяние средних по
блокам относительно общего среднего (различие в вари-
антах испытаний при этом игнорируется); 3) сумму квад-
ратов б'б’исп, определяющую эффект изменения вариан-
тов испытаний, скорректированный по блокам (симметрич-
ность табл. 3.1 позволяет легко выполнить такую коррек-
цию). Далее по разности находят сумму квадратов для
ошибки опыта: 56’0Ш = З’б’общ — 55бл — 56’исп. Поделив
суммы квадратов на соответствующие степени свободы
(степенью свободы называется число наблюдений минус
§ 1] РАНДОМИЗАЦИЯ. ДИСПЕРСИОННЫЙ АНАЛИЗ 73
число оцениваемых параметров), находят средние квад-
раты (дисперсии) и, пользуясь F-критерием, проверяют
гипотезу о статистической значимости дисперсии, задан-
ной эффектом испытаний, а затем, проделав такую ясе
процедуру с корректировкой по испытаниям, проверяют
значимость дисперсии, связанной с рассеянием по блокам.
Напомним, что сравнение двух выборочных дисперсии s* и
найденных со степенями свободы Д и /а, производится с помощью
/’-критерия: F (f2l Д) = sj/sj- Если эмпирически найденное значе-
ние F превосходит некоторое критическое значение, то принимается
гипотеза о том, что выборки взяты из двух разных совокупностей,
причем ст* > oj; нуль-гипотеза формулируется так: Яо: о| — ст* = 0.
В дисперсионном анализе определяют две дисперсии: одна из них
служит оценкой для рассеяния, задаваемого ошибкой опыта
{в}, вторая задается рассеянием изучаемых факторов. В про-
стейшем случае о1 {«} + no2 {Г}, где Т — изучаемый фактор,
п — число параллельных определений. С помощью дисперсионного
отношения F (f2, /г) = проверяется нуль-гипотеза о2{Г} = 0.
Эту процедуру можно еще интерпретировать следующим образом.
Если фактор Т варьируется на к уровнях и на каждом уровне делает-
ся п параллельных опытов, то нам нужно сравнить дисперсию, зада-
ваемую рассеянием к средних yi, у2, . . ., у^ с дисперсией а2 {&}/п,
определяемой ошибкой опыта. Мы можем написать]
4 в* {8}/n + а* {Г} о» {е} + {Л
в| **{*)/» “ С»Н
Если принимается нуль-гипотеза Нл : о* = а,, то = 0, и,
следовательно, рассеяние между средними задается только ошибкой
опыта. Формулы для вычисления sj и построены так, чтобы они
давали две независимые оценки о1 {в}, когда изучаемый фактор Т
остается постоянным.
Если результаты дисперсионного анализа показывают
на существование значимого различия в средних для раз-
ных испытаний, то далыпе~распределяют средние по столб-
цам, ранжируя их’ по величине, и выясняют, между каки-
ми средними существует значимое различие. Здесь от
обобщенного анализа — анализа дисперсий, переходят
уже к индивидуальным сравнениям всех средних между
собой, причем обычно используется хорошо известный
критерий Дункана (33].
74 МЕТОДЫ. ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
Возможны ситуации и с более сложными ограничения-
ми на рандомизацию. Проиллюстрируем это на примере
из книги Хикса 133]. Допустим, что имеется четыре марки
шин S3, %, S), которые нужно испытать на четырех
различных колесах четырех машин разного типа. В этой
задаче уже имеется два ограничения на рандомизацию —
положение колеса и марка машины. Для ее решения мож-
но построить план, называемый латинским квадратом
(табл. 3.2). В латинском квадрате каждый вариант испы-
тания (в нашем случае марки шин) появляется один и
только один раз в каждом столбце (тип автомашины).
Таблица 3.2
Пример латинского квадрата
размером 4x4 [33]
Рандомизация здесь заключается в том, что для каждой
конкретной задачи латинский квадрат выбирается случай-
но из всех возможных латинских квадратов требуемого
размера (таблицы латинских квадратов можно найти,
например, в [42]). Латинские квадраты могут применять-
ся, конечно, не только в технологических, но и в чисто
лабораторных ситуациях. Ничего не изменится оттого»
что в табл. 3.2 автомобили мы заменим четырьмя различ-
ными типами лабораторных приборов, а колеса — различ-
ными насадками к ним (подробнее о латинских квадра-
тах см. [43]).
Результаты наблюдений, приведенные в табл. 3.2, пред-
ставляются линейной моделью:
Здесь каждой клетке приписано три индекса i, /и Л, пос-
I 1] РАНДОМИЗАЦИЯ. ДИСПЕРСИОННЫЙ АНАЛИЗ 75
кольку имеется три фактора: марка машины, положение
колеса и марка шины. Соответственно с этим, в правую
часть уравнения, кроме математического ожидания для
среднего по всей таблице |Л, входят три члена, характери-
зующие эффекты, связанные с упомянутыми выше факто-
рами: последний член как обычно, задает ошибку.
Анализ экспериментального материала ведется почти так
же, как и в предыдущем примере. Подсчитывают суммы
квадратов для каждого из эффектов и для ошибки (по
разности), затем переходят к дисперсиям и с помощью
F-критерия оценивают их значимость по отношению к дис-
персии, задаваемой ошибкой опыта.
Планы подобного рода могут сколько угодно услож-
няться в соответствии с теми или иными реальными ситу-
ациями. Может оказаться, например, что в латинском
квадрате придется опустить один столбец — тогда он пре-
вращается в так называемый квадрат Юдена. Такой план
может понадобиться, когда, скажем, изучается поведение
четырех видов изделий на четырех приборах, каждый из
которых имеет только по три насадки. Наконец, может
потребоваться ввести третье ограничение — четвертый
фактор с уровнями a, (J, у и б. Можно сделать так, чтобы
они появлялись один и только один раз в сочетании с каж-
дым из уровней основного исследуемого фактора «Л, 53, $ и
2). Мы получим так называемый греко-латинский квадрат,
Таблица 3.3
Пример греко-латинского квадрата
[33]
Положение колеса Автомобиль
I II Ш IV
1 #3
2 <^б Фа «3
3 <^з
4 03 ^б
приведенный в табл. 3.3. Его неудобство — слишком боль-
шая насыщенность изучаемыми факторами малого числа
7в методы, основанные на изучении рассеяния [Гл. nt
экспериментов: каждая из пяти дисперсий будет оцени-
ваться здесь только с тремя степенями свободы.
Следующий шаг — построение латинского куба 143].
На рис. 3.1 приведен латинский куб для трехмерного про-
странства {к = 3), использовавшийся при разработке но-
вого полимерного материала х) [44].
В этой работе в программу исследования были включены три
вида пластифицирующих систем (три уровня фактора xj, три вида
стабилизирующих систем (три уровня фактора х2), концентрация од-
ного из основных ингредиентов — трехосновного стеарата свинца!
Рис. 3.1. Графическое изображение латин-
ского куба, использованного при разра-
ботке нового полимерного материала [44].
варьируемая также на трех уровнях (г3), и девять видов наполните-
лей, обозначенных на рисунке буквами ЗР,
г) Здесь интересно обратить внимание на то, что построение ла-
тинских квадратов и кубов — это давно известные задачи комбина-
торной математики. Ими занимались как своеобразным интеллек-
туальным развлечением. Так, Эйлер еще в 1779 г. рассматривал
задачу о 36 офицерах. Их надо было выбрать так, чтобы в каждом
из 6 полков было по одному офицеру каждого из 6 рангов. Затем
их надо было расположить в каре так, чтобы в каждом ряду и
в каждой шеренге было по одному офицеру каждого ранга и каждого
полка.
S d
РАНДОМИЗАЦИЯ. ДИСПЕРСИОННЫЙ АНАЛИЗ
77
В план эксперимента включены как количественно изменяющиеся
переменные, так и «качественные», т. е. такие, которые либо присут-
ствуют, либо отсутствуют. Уровни обозначены цифрами — 1, 0, +1.
Результаты опытов представляли в виде девятимерного вектора, оп-
ределяющего следующие характеристики: термостабильность ком-
позиции, спектр отражения, морозоустойчивость, модуль, предел
прочности, удлинение растяжения, число перегибов, липкость,
блеск. В результате исследования, состоящего всего из 27 опытов,
была получена рецептура хорошего полимерного материала, удов-
летворяющего требованиям как перерабатывающей промышленно-
сти, так и заказчика. С помощью латинского куба здесь успешно
решена типичная комбинаторная задача, т. е. предложена эконом-
ная схема перебора вариантов. Собственно дисперсионный анализ,
естественно, использовался для проверки нуль-гипотез.
С общеметодологических позиций самым примечатель-
ным представляется то, что изучаемые факторы, совершен-
но различные по своей природе, могут рассматриваться
как случайные величины. Решающим обстоятельством
оказывается не физическая природа фактора, а постанов-
ка задачи и условие проведения эксперимента. Ранее эк-
спериментаторы, особенно метрологи, пытались очень
тщательно расклассифицировать ошибки на случайные и
систематические в зависимости от их природы. Теперь
такое деление потеряло смысл. Все зависит от того, как
поставлена задача. Если, например, какой-либо эталон-
ный образец проанализирован многократно в течение одно-
го дня, то статистически значимое расхождение между
паспортными данными эталона и средним результатом
анализа мы вправе, конечно, считать систематической
ошибкой. Но такая интерпретация имеет смысл только
в том случае, если можно высказать какое-то строго обос-
нованное суждение об особенностях работы в данный день.
Если же это был обычный, ничем не примечательный день,
то полученный средний результат анализа естественно
рассматривать как одно из значений случайной величины,
взятой из некоторой гипотетической генеральной совокуп-
ности. Повторяя анализы в последующие дни, мы полу-
чаем последовательность значений, которую можно счи-
тать случайной выборкой из этой генеральной совокупно-
сти. Дни у нас идут некоторым упорядоченным образом,
но уровень работы лаборатории в некий фиксированный
день, определяющийся множеством неизвестных нам фак-
78 МЕТОДЫ. ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЙ [ГЛ. Ш
торов, мы вправе рассматривать как величину, случайно
выбранную из генеральной совокупности. Далее, при на-
личии расхождений в анализах, выполненных в двух ла-
бораториях, их можно считать систематическими, если
это две какие-то уникальные, единственные в мире лабо-
ратории. Но то же расхождение можно рассматривать как
случайную величину, если мы имеем дело с какими-то
случайно взятыми лабораториями, ничем особенным не
отличающимися от множества других лабораторий. Ко-
нечно, не всегда экспериментальные ситуации столь про-
сты. Иногда исследователь, ставя эксперимент, созна-
тельно желает выбрать не случайные, а фиксированные
уровни. Если, скажем, факторами являются температура,
давление или кислотность, то исследователь старается обя-
зательно включить в эксперимент крайние значения фак-
торов, и тогда уровни последних уже нельзя рассматри-
вать как случайные величины. Нередко возможен большой
произвол в вопросе о том, к какому типу относить уровни
факторов — к случайному или систематическому. Допу-
стим, например, что в схему дисперсионного анализа вклю-
чено обследование пяти приборов. С позиций завода —
поставщика приборов — это просто пять случайно отоб-
ранных объектов; с позиций лаборатории, в которой они
используются—это все множество объектов, которым она
располагает. Следовательно, здесь мы вправе использо-
вать как модель со случайными уровнями, так и модель
с фиксированными уровнями.
В случае однофакторного полностью рандомизирован-
ного эксперимента модель имеет вид
Уц = И + ?’/ +
независимо от того, фиксированы ли уровни факторов или
случайны. Статистический анализ в обоих случаях произ-
водится путем подсчета сумм квадратов, характеризующих
рассеяние изучаемого фактора Т (предполагаемый источ-
ник изменчивости) и случайную составляющую 8. Для мо-
дели с фиксированными уровнями была бы корректной сле-
/С
дующая запись для средней суммы квадратов: к
§ 11 РАНДОМИЗАЦИЯ. ДИСПЕРСИОННЫЙ АНАЛИЗ
79
тогда как для модели со случайными уровнями естественно
среднюю сумму квадратов интерпретировать как диспер-
сию а2{Т}. Но в обоих случаях чисто условно модели зада-
ют одинаковым образом — в виде дисперсии; так же бу-
дем поступать в дальнейшем и мы. Различной оказывается
только интерпретация. В первом случае принимается
нуль-гипотеза: Яо: Т} — 0 для всех /, во втором случае
Яо: а?{Т} = 0. Для линейных моделей нуль-гипотеза в
обоих случаях проверяется путем сравнения среднего
квадрата для источника изменчивости со средним квад-
ратом для ошибки эксперимента. Различие в статистиче-
ском анализе появляется лишь в нелинейных моделях, о
которых будет речь идти ниже.
Вернемся теперь к задаче с многократным анализом од-
ного и того же эталона, выполненным в разные дни. Та-
кой эксперимент можно задать планом, представленным
в табл. 3.4. Здесь естественно подсчитывать дисперсию по
столбцам — она характеризуетя ошибкой эксперимента
(или, иначе, ошибкой воспроизводимости), а рассеяние
между столбцами ^характеризуется ошибкой, задаваемой
неконтролируемым временным смещением в результате
анализа.
Дисперсии a* и $1 вычисляют следующим образом:
к п
51 = Л (п — 1) 2 3
j=i i=i
к
sl = 3 (?f - F)2*
i=i
где
к
yi
5=1
— есть среднее по всей таблице. В одном случае вычисля-
ют рассеяние относительно средних по каждому столбцу,
в другом случае — рассеяние этих средних относительно
общего среднего. Если верна нуль-гипотеза, то и $2 __
— независимые и несмещенные оценки (что можно строго
80 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
доказать) для одной и той же величины, т. е. Формулы
и $2—* ИЗ* {у} = б3 {у}, для вычисления S2 И 3$
хорошо раскрывают основную идею дисперсионного ана-
лиза — возможность получения двух независимых оценок
для проверки нульгипотезы.
Таблица 3.4
Планирование эксперимента
при изучении внутрилабораторной
ошибки. Однофакторная задача
е повторением
Номер опреде- ления Анализы, выпол- ненные в
1-й день 2-й день ... гпт-й. день
1 2 п Уи ?/12 У in 1/21 У 22 Van ... У7711 Ути 2 Утп
Среднее h У* Vm
Если временное смещение окажется статистически зна-
чимым, то суммарную дисперсию можно для единичного
опыта представить в виде
б2{у} = б3{Л + 32{Е}.
Обычно это выражение принято записывать следующим
образом:
Зсумм = Звоспр 4” 3* {Т},
где индекс «воспрж указывает на то, что мы имеем дело
с рассеянием, задаваемым степенью воспроизводимости
эксперимента.
Легко перейти от изучения одного фактора к изучению
многих факторов. Такими факторами в метрологических
§ 1] РАНДОМИЗАЦИЯ. ДИСПЕРСИОННЫЙ АНАЛИЗ 81
исследованиях могут служить, например, расхождения
между параллельными измерениями, выполненными за
короткий промежуток времени, неконтролируемый вре-
менной сдвиг за длительное время, расхождение между
результатами, полученными в разных лабораториях и пр.
Если заранее принять аддитивную модель (аддитивность
Проба
Лаборатория! Лаборатория П
I —I I----с—I
Анализы б разное бремя | ( |
Параллельные определения
за короткий промежуток
бремени
Рис. 3.2. Пример иерархической классификации при
изучении межлабораторной ошибки химического ана-
лиза [47].
Одна и та же проба анализируется в двух разных лаборато-
риях. В каждой лаборатории она анализируется в два различ-
ных промежутка времени. Каждый анализ состоит из двух па-
раллельных определений.
дисперсий, обусловленных действиями отдельных факто-
ров), то можно воспользоваться иерархической схемой,
приведенной на рис. 3.2. Такую схему можно, конечно,
сколько угодно усложнять, увеличивая в ней число сту-
пеней (введение новых факторов) или увеличивая число
уровней для каждого фактора. Рассмотренная ранее
табл. 3.4 задает лишь одну из ступеней такой иерархиче-
ской классификации. Полностью иерархическая классифи-
кация задается многомерной таблицей, размерность кото-
рой будет увеличиваться с каждым новым фактором. Ста-
тистическая значимость дисперсий проверяется по нара-
стающей системе: средняя сумма квадратов для выше-
стоящей ступени сравнивается с соответствующей суммой
для нижестоящей ступени. По такой схеме проводился
дисперсионный анализ меж лабораторных ошибок и оши-
бок, вызываемых особенностью состава пробы, при спект-
рохимическом и фотоколориметрическом анализах [45].
Оказалось, что суммарная ошибка (корень квадратный
82 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Ill
из суммарной дисперсии), как правило, почти на порядок
больше ошибки воспроизводимости, полученной за корот-
кий промежуток времени, хотя до сих пор в большинстве
публикаций для характеристики используемого метода
приводится лишь последняя величина. Иерархическая
классификация может применяться и для исследования
внутрилабораторных рассеяний, связанных с последова-
тельностью химических операций, таких, как, скажем,
взвешивание, осаждение, титрование и пр. Вряд ли сей-
час можно перечислить все возможные области применения
иерархических классификаций.
Перейдем теперь к рассмотрению неаддитивной модели,
в которой результат опыта не определяется суммой эф-
фектов для факторов. Если мы имеем дело хотя бы с двумя
факторами А и В, то поведение изучаемого объекта может
зависеть не только от роли каждого из них в отдельности,
но и от их взаимодействия: некоторые сочетания столбцов
и строк, задающие АВц, могут оказаться особенно благо-
приятными или, наоборот, неблагоприятными для изучае-
мого явления. Для полностью рандомизированного экспе-
римента неаддитивная (по факторам) модель запишется
следующим образом:
Ун = Р + М + В] + АВц + ъц.
Здесь появляется новый член АВц, характеризующий
взаимодействие факторов А и В. Для двухфакторной неад-
дитивной модели опыты ставят по схеме, приведенной
в табл. 3.5, где фактор Л задан на к уровнях, фактор В —
на т уровнях, и каждый опыт повторяют п раз х). При
обработке результатов снова подсчитывают суммы квад-
ратов, связанные с рассеянием по факторам А и В; по
разности!находят сумму квадратов для взаимодействия
(из общей суммы квадратов, характеризующей рассеяние
по всей таблице, вычитают суммы квадратов, связанные
с А > В) и, наконец, находят сумму квадратов для ошибки
эксперимента, используя повторные опыты, записанные
в одну ячейку. Дальнейший статистический анализ — про-
3) План подобного типа называют также планами с двусторон-
ней классификацией в отличие от односторонних (иерархических)
планов, где материал (на каждой ступени) классифицируется толь-
ко пр одному признаку (см., например, табд. 3.4).
< п
РАНДОМИЗАЦИЯ. ДИСПЕРСИОННЫЙ АНАЛИЗ
83
Таблица 3.5
Планирование двухфакторного эксперимента с повторениями
для модели, учитывающей неаддитивность дисперсий*)
Фак- тор В Фактор А
1 2 к
1 2 т УШЗ/И2. . • УПп У211У212. . . ?/21п Утц^тп12* • • У mln ?/121V122. . . У12П У221У222. • • У22п Ут21Утп22* ' ‘ Утп2П У1к1У1к2' ’ • У^кп У2к^2к2' ' * У2кп • • • • • • • • •
*) Результаты п повторных опытов образуют ячейку.
верка нуль-гипотезы — зависит уже от интерпретации
уровней факторов. Здесь возможны три модели. Уровни
обоих факторов могут быть фиксированы (модель I), или
случайны (модель II); возможен и промежуточный слу-
чай — смешанная модель, когда по одному из факторов
уровни фиксированы, по другому — случайны. Рассмот-
рим несколько подробнее первые две модели. Для них
исходные предпосылки записываются следующим образом:
А В АВ
к т к т
2^ = 0 2 В} = 0 2 = О 2 АВЪ = 0 —
=1 j=l i=l j=l
фиксированные уровни,
N (0; б2 {A}) N (0; о2 {5}) N (0; б2 {АВ}) — случайные уровни.
В соответствии с этим средний квадрат для какого-ни-
будь фактора, скажем, для фактора А, интерпретируется
как оценка для выражений
б2 {е} + тгтиб2 {А} — фиксированные уровни,
б2 {в} + пб2 {АВ} птз2 {А} — случайные уровни.
84 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ (ГЙ. 111
В первом случае второй член опускается, так как, со-
гласно исходной предпосылке, он должен равняться ну-
лю 1). Если же взаимодействие вычислять по разности,
вычитая суммы квадратов по столбцам и строкам из общей
суммы квадратов, то в обоих случаях мы будем иметь дело
с оценками для математических ожиданий, записываемых
одинаковым образом, т. е.
б1 {в} + пз*{АВ} — фиксированные уровни,
б*{е} + nJ3 {АВ} — случайные уровни.
В соответствии с этим, в первом случае (модель I) при
проверке нуль-гипотез
Я0:б3{4} = 0; б2{5} = 0; б3{4В} = 0
средние квадраты как для линейных эффектов, так и для
эффекта взаимодействия сравнивают со средним квадра-
том для ошибки. Во втором случае (модель II) средний
квадрат для линейных членов сравнивают со средним
квадратом для взаимодействия 3). Допустим, например,
что изучается производительность труда в зависимости от
двух факторов: типа станка (фактор А) и характера опера-
тора (фактор В). Здесь можно воспользоваться как мо-
делью I, так и моделью II. В первом случае мы будем про-
верять гипотезу о различии станков только по отношению
к данной группе операторов и, аналогично, гипотезу о раз-
личии в поведении операторов по отношению только
к данной группе станков. Во втором случае будет прове-
ряться гипотеза о существовании различия в станках для
х) Для любого плана, рассматриваемого как выборка из гене-
ральной совокупности, всегда справедливы написанные выше соот-
К т
ношения АВу == 0; следовательно, в математи-
ках j=i
ческом ожидании рассеяния, вычисляемого по столбцам и строкам,
составляющая о2 {ЛВ), задающая рассеяние относительно среднего
АВ, тоже должна равняться нулю.
2) В этом случае эксперимент можно ставить без повторений’—
мы здесь не обязательно должны стремиться к раздельному опре-
делению взаимодействия и ошибки эксперимента. Достаточно иметь
их совместную оценку, задаваемую записанными выше моделями.
РАЙДОМИЗАЦИЯ. ДИСПЕРСИОННЫЙ АНАЛИЗ
85
$ 1]
такой совокупности операторов, из которой в данном
опыте мы имеем лишь выборку в к индивидуумов и, анало-
гично, гипотезу о наличии различия в операторах для
такой совокупности станков, из которой в данном опыте
имеется лишь выборка в т штук. Следует подчеркнуть
еще раз, что в обоих случаях предполагается наличие
взаимодействия; если же заранее принять гипотезу адди-
тивности, то для обоих моделей проверка нуль-гипотез
будет одна и та же. Эта тонкость в постановке задачи обыч-
но трудно поддается пониманию. Мы остановились на
ней здесь столь подробно для того, чтобы показать, как
исходные предпосылки могут менять процедуру статисти-
ческого анализа и интерпретацию его результатов. Здесь же
хорошо прослеживается четкое различие между случайно
и систематически изменяющимися величинами.
Неаддитивные модели, конечно, можно построить и
более чем для двух факторов. При этом в рассмотрение
придется ввести взаимодействия высших порядков — ска-
жем, взаимодействие типа АВС. Мы не имеем здесь воз-
можности останавливаться хотя бы на схематическом рас-
смотрении подобных задач.
Вернемся теперь еще pas к вопросу о рандомизации.
Все же далеко не всегда имеет смысл стремиться к полной
рандомизации. Допустим, что мы имеем дело с двухфак-
торным экспериментом с повторением, план которого
задается табл. 3.5. При полной рандомизации эксперимент
ставится так, что случайно выбирается последователь-
ность уровней факторов Л и В и также случайно из како-
го-то множества выбирается п образцов, заполняющих
ячейки, находящиеся на пересечении Ли В. Пусть теперь
мы имеем дело с технологическим испытанием, где фактор
А — температура обжига, а фактор В — скажем, партии
образцов. Рандомизация уровней обоих факторов пред-
ставляется вполне естественной. Но вот при расположении
образцов внутри ячейки кажется естественным ввести
некоторую упорядоченность во времени, например, ис-
следовать образцы последовательно, скажем, через 5, 10,
15, . . . минут обжига. Мы, таким образом, вводим новый
фактор — время обжига Т, не рандомизируя по нему экс-
перимент. В соответствии с традицией, идущей из сель-
скохозяйственной практики, назовем теперь нашу ячейку
86
МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ (ГЛ. III
делянкой. Эта делянка оказывается расщепленной бла-
годаря введению нового строго упорядоченного фактора —
времени обжига Т. Вся схема такого опыта называется
теперь планированием с расщепленными делянками. Анализ
результатов эксперимента превращается здесь в две раз-
дельные задачи. В одной из них изучается действие факто-
ров А и В; в этом случае рассматривается целая (нерасщеп-
лепная) делянка. В другой задаче изучается влияние време-
ни обжига — здесь рассматривается расщепленная делян-
ка; в этом анализе особое внимание обращают на эффект
взаимодействия температуры А и времени обжига Т. Мо-
дель записывается следующим образом:
Уъ’7 = Р* + А{ + + ATiy + BTjy + ABTifr.
Здесь первые три члена, стоящие после р, задают модели
для целой делянки, последние четыре — для расщеплен-
ной. Опыты ставились без повторений, и поэтому отдель-
но оценки для сг2 { в} находить не нужно. Дисперсия ошибки
в первом случае равна о-{АВ}, во втором случае она со-
ставляет а2{АВГ}. В соответствии с этим, проверку нуль-
гипотез ведут раздельно: для целой делянки два средних
квадрата, связанных с А и В, сравнивают со средним квад-
ратом для АВ; для расщепленной делянки сравнение ве-
дут со средним квадратом для АВТ; иногда его объединя-
ют со средним квадратом для ВТ. Этот пример интересен
тщательным рассмотрением проблемы рандомизации —
ограничения на рандомизацию приводят к осложнениям в
статистическом анализе и интерпретации. Планирование
с расщепленными делянками широко используется при
решении таких технологических задач, в которых прихо-
дится иметь дело с обжигом, спеканием, облучением и пр.
В настоящем параграфе мы попытались совсем коротко
изложить лишь идейную основу дисперсионного анализа.
Подробное и вполне доступное изложение этого метода
можно найти в не раз уже упоминавшейся книге Хикса
[33], материалами которой мы здесь широко пользова-
лись. Еще более подробное и столь же доступное изложе-
ние имеется в книге Вайнера [46]. Много примеров при-
менения дисперсионного анализа приведено ив [47].
Строгая теория дисперсионного анализа дана в книге Шеф-
фе [48].
ГЛАВНЫЕ КОМПОНЕНТЫ. ФАКТОРНЫЙ АНАЛИЗ
87
§ 2]
§ 2. Выделение доминирующих факторов в ситуациях,
когда эксперимент ведет природа. Метод главных
компонент. Факторный анализ
В предыдущем параграфе описывались приемы, позво-
ляющие выделить й оценить доминирующие факторы в си-
туациях, когда исследователь может варьировать интере-
сующие его переменные, ставя опыты по заранее намечен-
ной программе. Однако далеко не всегда возможен такой
активный эксперимент. Во многих случаях исследователю
приходится ограничиваться пассивным экспериментом, ос-
таваясь в роли пассивного наблюдателя за некоторым
спонтанно протекающим процессом. Такая ситуация ти-
пична не только для астронома, наблюдающего за поведе-
нием Галактики,— с ней приходится иметь дело в лабо-
раторных и даже в производственных исследованиях.
В социологии в подавляющем большинстве случаев до сих
пор ограничиваются пассивным экспериментом. В психо-
логии исследователь предъявляет какие-то тесты испытуе-
мым, регистрируя показатели, характеризующие их
отклик на эти тесты. Из такого пассивного опыта надо сде-
лать заключение о психологических факторах, непосред-
ственно не поддающихся варьированию, которые ответст-
венны за поведение человека. В многочисленных лабора-
торных исследованиях по физике, химии, металлургии и
тем более биологии часто приходится иметь дело с экспе-
риментом, организованным так, что ничего или почти ни-
чего нельзя изменить — остается только наблюдать за
тем, что происходит. Слишком часто с такой ситуацией
приходится сталкиваться при проведениии заводских или
пол у заводских испытаний. Так называемые пилотные
установки, вопреки самому смыслу своего названия, не-
редко таковы, что ими управлять нельзя. Естественно
поставить вопрос: можно ли, пользуясь результатами
пассивного эксперимента, выделить доминирующие фак-
торы? Интуитивно ясно, что однозначного решения такая
задача иметь не может и здесь нужно вводить дополнитель-
но ряд сильных предположений.
Рассмотрим подробнее логическую модель этой задачи.
{Допустим, что эксперимент заключается в наблюдении за
^-мерным вектором-строкой независимых переменных
88 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
х* = | х2,..., х* |. Если экспериментатор имеет воз-
можность выполнить N наблюдений над различными зна-
чениями вектора-строки х\ то результаты его исследова-
ния представляются матрицей
^21 • • •
#12 #22 • • • ХкЪ
X1N X2N • • • XkN
Во многих случаях кажется естественным предполо-
жить, что в изучаемой плохо организованной системе
существует некоторое4] количество непосредственно не
наблюдаемых, но легко интерпретируемых переменных,
ответственных за поведение вектора х*. Исследователю
может понадобиться выразить полученную им при наблюде-
нии информацию через эти непосредственно не наблюдае-
мые переменные. Можно надеяться, что в некоторых слу-
чаях такой способ представления позволит выдвинуть
какие-то новые, легко поддающиеся осмысливанию гипо-
тезы. В других случаях он позволит хотя бы понизить
размерность того пространства переменных, в котором
представляются результаты наблюдения; тогда подобный
прием можно будет просто считать одним из методов свертки
информации.
Для осуществления такого перехода к новым перемен-
ным нужно каким-то образом использовать внутреннюю
структуру матрицы X. Статистические свойства этой мат-
рицы (если выполняется нормальное распределение) зада-
ются ковариационной матрицей (здесь предполагается,
что х-переменные центрированы), т. е.
т _ Х*Х 1
ь “ N-1
У х' У хххг . У х^к
У *2*1 У • У *2*R У * * *
У *|С*1 У */г*2 • • • У
Ее диагональные элементы являются дисперсиями, внедиа-
гональные — ковариациями. Если вычислить ковариаци-
онную матрицу для стандартизированных переменных
$ 2]
ГЛАВНЫЕ КОМПОНЕНТЫ. ФАКТОРНЫЙ АНАЛИЗ
89
xi = *i/s {я/}, то мы получим корреляционную матрицу
(штрих мы здесь опускаем)
1
1 ... г{хахк}
. . ... . .
Г {***1} Г{хкхл} ... 1
Здесь по диагонали стоят единицы; недиагональные эле-
менты — обычные парные коэффициенты корреляции.
Переход к новым переменным можно выполнить, ориен-
тируясь преимущественно на поведение дисперсий или
корреляций. В первом случае мы будем иметь дело с мето-
дом, главных компонент, во втором случае — с факторным
анализом. Соответственно, в первом случае новые пере-
менные обычно называют главными компонентами, во вто-
ром случае — факторами; впрочем, это различие в терми-
нологии не всегда строго выдерживают.
В методе главных компонент х) ищут некоррелиро-
ванные нормированные линейные комбинации
к
zj = 2 h * = 2,k,
<=i
дисперсии которых обладают особым свойством, а именно,
расположены в убывающем порядке, т. е. ;>
s2{za} {zk}. Корреляционная (или ковариа-
ционная) матрица оказывается расщепленной на к ортого-
нальных компонент.
На языке матричной алгебры мы можем записать это следую-
щим образом: коэффициентами линейных комбинаций служат ком-
поненты собственных векторов коорреляционной матрицы, а дис-
персии главных компонент равны собственным числам этой матрицы
которые удовлетворяют уравнению
|R-XI|«=0
степени к относительно X (I — единичная матрица). Некоторому
значению Х^ соответствует собственный вектор а^. Векторы-столб-
цы аг, удовлетворяющие равенству
^ai = Х4ао
х) Этот метод был предложен еще в 1901 г. Пирсоном и позднее
вновь открыт и детально разработан Хоттелингом (1933 г.).
90 МЕТОДЫ. ОСНОВАННЫЕ НА ИЗУЙЕЙЙИ РАССЕЯНИЙ (ГЛ. П1
вычисляются обычно с помощью ЭВМ. Справедливы следующие соот-
ношения: = 1 (условия нормировки); а*а^ = 0 (ортогональ-
ность преобразования); переход к новым координатам в матрич-
ной форме записывается так: z = А*х (А — матрица со столбцами
а1? а2, . . а0; ковариационная матрица zz* оказывается диаго-
нальной (ортогональность главных компонент) с диагональными
элементами
Геометрически нахождение главных компонент сводит-
ся к переходу к новой ортогональной системе координат:
первая координатная ось ищется так, чтобы соответст-
вующая ей линейная форма извлекала возможно большую
дисперсию, далее ищется ортогональная ей ось, которая
делает то же самое с оставшейся дисперсией и т. д. От
новых координат можно вернуться к старым, ваписав (учи-
тывая ортогональность преобразования)
к
Xi = 2 ajizf> 1 = 2’ •••♦
5=1
где Zy обозначает j-ую главную компоненту, а ал — вес
/-й компоненты в Z-й переменной. Написанное выше выра-
жение — это основное соотношение в методе главных ком-
понент. Оно не содержит остаточной составляющей
поскольку все к главных компонент исчерпывают всю
дисперсию исходных переменных. В методе главных ком-
понент нет необходимости делать какие-либо предположе-
ния о ^-переменных, не обязательно даже их считать слу-
чайными величинами, хотя чаще всего все же их рассмат-
ривают как выборку из генеральной, нормально распреде-
ленной совокупности (о нормальности здесь приходится
говорить лишь потому, что элементами ковариационной
матрицы служат вторые моменты, которыми задается мно-
гомерное нормальное распределение).
Основная идея метода главных компонент вполне лег-
ко воспринимается интуитивно. Если мы допустим, что
неизвестные нам переменные линейно связаны с измеряе-
мыми переменными, то на первый взгляд представляется
совершенно естественным предположить, что их легко
выделить методами линейной алгебры, если в качестве
дискриминирующего критерия взять различие в их дис-
§ 2]
ГЛАВНЫЕ КОМПОНЕНТЫ. ФАКТОРНЫЙ АНАЛИЗ
91
персиях. В действительности же все оказывается гораздо
сложнее. Главные компоненты не инвариантны относитель-
но изменения масштаба тех шкал, по которым отсчитыва-
ются переменные. Эта неинвариантность естественно сле-
дует из того, что дискриминация производится по величи-
не дисперсий. При проведении анализа по методу главных
компонент нужно учитывать, что все наши измерения,
как правило, выражают в какой-то произвольно выбран-
ной системе шкал — система СГС в этом отношении не
является исключением. Удобнее всего анализ методом
главных компонент проводить в тех, сравнительно редких
случаях, когда измерения однородны, т. е. когда все х-
переменные измерены в одних и тех же единицах.
Некоторые исследователи утверждают, что неприят-
ность с неинвариантностью преодолевается переходом
к стандартизированным переменным Xi = — £t)/s{xi}.
Квадратичная ошибка служит параметром масштабности
функции распределения и на первый взгляд представляет-
ся вполне естественным стандартизировать переменные,
деля их на эту величину. Однако нельзя сколько-нибудь
строго обосновать такой прием, производящий все же
произвольное уравнивание величин, несущих разную
информацию.
Рассмотрим несколько примеров применения метода
главных компонент. В работе Джефферса [491 приводится
интересный пример применения метода главных компонент
в задаче классификации. Объектом исследования служи-
ли летающие тли. Нужно было разбить этот вид насеко-
мых на подгруппы по варьируемости их морфологических
признаков. Было измерено 19 различных признаков, ко-
торые оказались весьма сильно коррелированными между
собой; так, коэффициенты парных корреляций по многим
признакам достигали 0,90—0,99. Компонентный анализ
показал, что можно ограничиться двумя первыми глав-
ными компонентами, на которые падает 85,5% от общей
дисперсии. Первая компонента задается различием в раз-
мерах насекомых, вторая в значительной степени связана
с числом яйцекладок. Графически результаты представ-
лены на рис. 3.3. Здесь ясно видно, что обследованных
насекомых можно разбить на четыре хорошо различимые
группы.
92 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Ill
В работе [50] метод главных компонент использован
для изучения качества спектрофотометров. Строились кри-
вые поглощения для бихромата калия различной концен-
трации. Для каждой концентрации измерения производи-
лись в 20 точках в интервале длин волн от 230 до 400 ммк
Рис. 3.3. Классификация насекомых по методу главных
компонент [49].
Результаты наблюдений (19 различных признаков) представлены на
плоскости, задаваемой двумя первыми компонентами.
и представлялись в виде матрицы — строки матрицы соот-
ветствовали разным коцентрациям, столбцы — разным
длинам волн. Если спектрофотометр находится в хорошем
состоянии, то ранг матрицы, естественно, равен единице
(строки матрицы с точностью до ошибки измерения ли-
нейно зависимы). Для измерений, полученных на двух
различных спектрофотометрах, ранг матрицы равен двум.
Плохо отюстированные спектрофотометры и плохо кон-
тролируемая техника измерений, естественно, дадут мат-
рицы более высокого ранга. Первая главная компонента,
как оказалось, определяется неравномерностью верти-
кального сдвига кривых поглощения — преобразован-
ные значения этого вектора служат для проверки закона
§ 21
ГЛАВНЫЕ КОМПОНЕНТЫ. ФАКТОРНЫЙ АНАЛИЗ
93
Ламберта — Бера, вторая главная компонента задается
сдвигом спектрограмм вдоль горизонтальной оси; ее мож-
но использовать для проверки градуировки прибора по
длинам волн.
Метод главных компонент пригоден и как прием для
ортогонализации матрицы независимых переменных в ре-
грессионном анализе. Одна из самых больших неприятно-
стей многомерного регрессионного анализа, выполнен-
ного по схеме пассивного эксперимента, заключается в том,
что не все независимые переменные (как правило, они
сильно коррелированы) можно включать в рассмотре-
ние х). Это неизбежно приводит к смещению в оценках
коэффициентов регрессии — оно может оказаться столь
сильным, что регрессионный анализ потеряет всякий
смысл (подробнее см. стр. 162). Коэффициенты регрессии,
вычисленные по главным компонентам, в этом смысле, по-
видимому, оказываются более устойчивыми, если, конеч-
но, сами главные компоненты вычислялись по наиболее
важным независимым переменным. В работах [51, 52] ме-
тодом главных компонент была произведена ортогонализа-
ция матрицы независимых переменных в задачах метал-
лургии. В первой из этих работ коэффициенты регрессии
вычислялись по первым главным компонентам и была по-
казана их устойчивость в указанном выше смысле (на-
блюдалось лишь совсем малое смещение при отбрасыва-
нии части переменных). Во второй работе коэффициенты
регрессии вычислялись по всем главным компонентам и
затем компоненты с незначимыми коэффициентами регрес-
сии отбрасывались, причем удалось дать очень четкую
физическую интерпретацию коэффициентам регрессии.
В регрессионном анализе затруднения могут возникать
также из-за того, что зависимая переменная задается не
скалярно, а векторно. Например, в металлургических за-
дачах качество стали определяется не одним признаком,
а целым их набором. В таком случае вектор можно свер-
нуть в скаляр, перейдя от набора характеристик к их ли-
нейной комбинации, выбранной так, чтобы дисперсия по-
лучившейся линейной функции была наибольшей. Все
г) Часть независимых переменных опускается хотя бы потому,
что они трудно поддаются надежному измерению.
94 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
это, конечно, будет иметь смысл только в том случае, если
найденной линейной функции удастся придать разумное
физическое истолкование, как было сделано, например,
в упоминавшейся выше работе [521.
Перейдем теперь к описанию факторного анализа.
Здесь выбирается небольшое число факторов, способных
«объяснить» корреляционную матрицу. Нужно найти ми-
нимальное число таких случайных величин (факторов)
/1, /2, . . ., /т, после учета которых корреляционная мат-
рица ^-переменных превратится в диагональную. Иными
словами, это значит, что после учета действия т факторов
все корреляции между ^-переменными должны стать не-
значимыми.
Основная модель факторного анализа записывается
следующей системой равенств:
т
Xi = 2 kjfj + i = 1, 2, ..., к; m <^k.
i=i
Здесь — /-й простой фактор; m — заданное число
простых факторов; в/ — остаточный член с дисперсией
о2 {е}, действующей только на xt; часто его называют спе-
цифическим фактором. Коэффициенты называются на-
грузкой г-й переменной на /-й фактор, или нагрузкой
7-го фактора на i-ую переменную. Вначале ради простоты
будем полагать, что факторы /у взаимно независимы. Далее
предположим, что случайные величины 8Z не зависят друг
от друга, а также от всех факторов (/ = 1, . . ., т).
В дальнейшем мы будем пользоваться просто термином
фактор, понимая под этим «простой фактор». Разработаны
приемы, позволяющие определять минимальное число про-
стых факторов, необходимое для объяснения ковариацион-
ной матрицы. Максимальное возможное ?исло факторов
т при заданном числе переменных к определяется нера-
венством (к + т) (к — тп)2, которое должно выполнять-
ся, чтобы задача не вырождалась в тривиальную. Это
неравенство получено на основании подсчета степеней
свободы, имеющихся в задаче (подробнее см. [571).
Дадим теперь представление об основной теореме фак-
торного анализа. Допустим, что исходные переменные
хг и имеют один простой фактор тогда легко показать
5 2]
ГЛАВНЫЕ КОМПОНЕНТЫ. ФАКТОРНЫЙ АНАЛИЗ
95
справедливость соотношения
Г {^1^2} = llj
В общем случае, когда к переменных имеют т простых
факторов, можно написать
r{*i*2} = ^11А1 4“ ^12^22 + ... +
Это основное соотношение факторного анализа показы-
вает, что коэффициент корреляции любых двух независи-
мых переменных можно выразить суммой произведений
нагрузок некоррелированных факторов.
Построим матрицу Fo размерности (Ахтп) из строк, эле-
ментами которой служат нагрузки на факторы. Какая-ни-
будь, скажем, i-я ее строка будет иметь вид
^/1» ^/2» • • •»
тогда в матричной форме основная теорема запишется так:
R = F0F\
Задача факторного анализа, как мы видим, заключает-
ся в линейном преобразовании Л-мерного пространства
в m-мерное. Ее нельзя решить однозначно. Написанные
выше основные равенства (см. предыд. стр.) нельзя
проверить непосредственно, так как там к исходных
х-переменных задается через (к 4- т) перемен-
ных — простых и специфических факторов. Представле-
ние корреляционной матрицы факторами, как говорят,
ее факторизацию, можно произвести бесконечно большим
числом различных способов. Если нам удалось произве-
сти факторизацию с помощью некоторой матрицы Fo, то
любое ее линейное ортогональное преобразование (орто-
гональное вращение) приведет к такой же факторизации.
Может Случиться, что первая факторизация окажется
малоблагоприятной, т. е. трудно поддающейся интерпрета-
ции. Тогда исследователь может начать вращать факторы.
Он может это делать до тех пор, пока не получит резуль-
таты, легко поддающиеся физической интерпретации. Он,
скажем, может потребовать, чтобы один фактор был нагру-
жен преимущественно переменными одного типа, а дру-
гой — переменными другого типа. Или можно потребо-
вать, чтобы исчезли какие-то трудно интерпретируемые
нагрузки с отрицательными знаками. Наконец, если нет
96 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
каких-либо достаточных теоретических соображений, то
ради упрощения в представлении результатов можно опти-
мизировать процедуру, направленную на увеличение на-
грузок по одним переменным и уменьшение по другим.
Можно пойти дальше и рассматривать прямоугольную
систему факторов как частный случай косоугольной, т. е.
коррелированной системы ‘факторов. Факторный ана-
лиз — это еще один пример многозначного представления
результатов исследования, о котором уже говорилось вы-
ше (см. стр. 64).
Если теперь сравнить метод главных компонент с фак-
торным анализом, то можно сказать, что в первом случае
мы имеем дело с замкнутой системой с однозначным реше-
нием (если, конечно, мы, исходя из каких-то соображе-
ний, заранее фиксировали шкалы, в которых представле-
ны измерения), а во втором — с открытой системой —
в ней окончание процесса вращения задается исследова-
телем. Далее мы видим, что главные компоненты не инва-
риантны к выбору шкал, тогда как факторный анализ в зна-
чительной степени свободен от этой неприятности2). Если
теперь принять во внимание произвол в выборе шкал,
то станет ясным, что объективность, приписываемая мето-
ду главных компонент, может оказаться совсем иллюзор-
ной. Если говорить о критической оценке факторного
анализа, то следует вспомнить довольно старое, очень рез-
кое, но, вероятно, не совсем справедливое замечание о том,
что, пользуясь этим методом, получишь то, что туда вне-
сешь. Оба метода не дают прямого, однозначного ответа
на поставленный вопрос, но они обостряют интуицию ис-
следователя, помогают ему сформулировать гипотезу. Ну
а если у исследователя плохо развита интуиция — что
тогда?
Попробуем проиллюстрировать основную идею фактор-
ного анализа несколькими примерами. Этот метод совсем
*) Мы ке можем останавливаться на детальном анализе этого
вопроса. Здесь трудно дать простые формулировки. При различных
способах проведения факторного анализа разным образом сказыва-
ется используемая метрика. Если, например, факторы выделяются
по методу максимального правдоподобия, то изменение масштабно-
сти по какой-нибудь из переменных приведет просто к пропор-
циональному изменению в ее нагрузках 1ц.
§ 2]
ГЛАВНЫЕ КОМПОНЕНТЫ. ФАКТОРНЫЙ АНАЛИЗ
97
сделана попытка изучить
Рис. 3.4. Графические представле-
ние результатов факторного ана-
лиза в металловедческой задаче.
Факторы ортогональны [53].
мало применяется в областях, не относящихся к психоло-
гии и социологии. И все же мы начнем с примера, в котором
его применили к задаче металловедения. В совсем недавно
появившейся работе [53] I
взаимную связь шести по-
казателей, характеризую-
щих механические свой-
ства металла: НБ — твер-
дость по Бринелю, <5В ~
прочность на разрыв, сгт —
предел текучести, ф — от-
носительное сужение, б —
относительное удлинение,
#к — ударная вязкость.
Изучению подвергалась
выборка из 79 сортов силь-
но легированных сталей.
На основании статисти-
ческого анализа, на дета-
лях которого мы здесь ос-
танавливаться не будем,
было показано, что результаты можно представить
двумя факторами. Далее выяснилось, что переменные
ов и От линейно зависимы, и поэтому одна из них —
ов — была в дальнейшем опущена. На рис. 3.4 в
координатной системе, задаваемой двумя факторами, ис-
ходные переменные представлены пятью векторами. Ко-
ординаты конца каждого вектора задаются нагрузками
соответствующих переменных на факторы. Все векторы
лежат внутри окружности единичного радиуса, а бли-
зость их концов к окружности говорит о полноте представ-
ления каждого из признаков двумя факторами. Из рис. 3.4
следует, что переменные естественно представлять не пря-
моугольными, а косоугольными (коррелированными) фак-
торами (рис. 3.5). В результате проведения факторного
анализа были сделаны следующие выводы. Векторы-приз-
наки группируются по направлению в два пучка, кото-
рые выражают прочностные (//в, о?) и пластические
(ф, ан) свойства металлов. Интересно отметить, что вектор
признака б обратен по направлению векторам пучка, вы-
ражающим свойство прочности. Это дает веское основание
4 В. В. Налимов
98 МЕТОДЫ, основанные На ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. 11
считать д характеристикой разупрочнения, вопреки приня-
той сейчас ее трактовки как характеристики пластично-
сти. Как нам представляется, приведенный выше пример
служит хорошей иллюстрацией того, что представление
Ряс. 3.5. Представление металловедческих данных косоуголь-
ными факторами [53].
результатов методом факторного анализа позволяет ис-
следователю лучше осмыслить материал, чем представле-
ние, задаваемое в терминах обычной парной корреляции.
Мы не собирались рассматривать задачи, относящиеся
к гуманитарным наукам, но здесь, обсуждая факторный
анализ, применяемый главным образом в психологии и
социологии, мы должны будем сделать одно исключение.
Рассмотрим работу Кэтелла [54], хорошо известного спе-
циалиста в области факторного анализа. В своей работе
он исследовал показатели, характеризующие уровень
культурного развития наций. Было выбрано 72 количест-
венно измеряемых показателя для анализа культурного
уровня 69 наций. В их число входили все показатели, ко-
торые, по мнению автора, характеризуют культуру на-
ции. Среди них оказались число лауреатов Нобелевской
премии, число зарегистрированных проституток, число сек-
ретных договоров, число революций за 100 лет, минималь-
ный возраст вступления в брак, потребление сахара на
душу населения, процент негров, отношение разводов
к бракам, процент самоубийств и т. д. Анализу было под-
вергнуто 2556 корреляционных связей. Окончательные ре-
зультаты были представлены 12 факторами. Автор пытал-
ся дать осмысленную интерпретацию каждому фактору,
§ 2] ГЛАВНЫЕ КОМПОНЕНТЫ. ФАКТОРНЫЙ АНАЛИЗ 99
рассматривая его нагруженность исходными переменны-
ми. При этом использовались весьма вычурные формули-
ровки для обозначения факторов, например: «просвещенное
изобилие в противовес удручающей бедности», «осмыслен-
ное трудолюбие в противовес эмоциональности», «консер-
вативность и патриархальная стабильность в противовес
безрассудной богеме» и т. д. Результаты такого иссле-
дования, может быть, и любопытны в каком-то смысле, но
нам кажется, что они все же не имеют большого эвристи-
ческого значения — вряд ли, исходя из подобных иссле-
дований, можно выдвинуть содержательные гипотезы о
развитии культуры. Нам представляется неудачной сама
попытка создания модели, всесторонне и полно описываю-
щей такую сложную и плохо организованную систему.
Видимо, факторный анализ имеет смысл применять к все-
стороннему описанию более простых сиистем, где легче
выдвигать гипотезы, подлежащие дальнейшему обсужде-
нию. Во всяком случае, при изучении науки — также
сложной и плохо организованной системы — мы отказа-
лись от построения всеобъемлющей модели и ограничи-
лись лишь экскизным ее описанием [7]. При этом, естест-
венно, мы не использовали всего того множества показате-
лей, которые так или иначе связаны с развитием науки.
Совокупность всех таких показателей для очень сложных
систем создает просто некоторое шумовое поле. Опас-
ность состоит в том, что будет построен алгоритм, превра-
щающий это шумовое поле в другое, возможно, лишь бо-
лее компактно представляемое, но также трудно интерпре-
тируемое.
* ♦
♦
Заканчивая настоящий параграф, напомним здесь еще
раз, что как метод главных компонент, так и метод фактор-
ного анализа — это лишь методы, основанные на линей-
ных моделях х) и нормальном законе распределения. В от-
х) Используя некоторые искусственные приемы, можно, ко-
нечно, рассматривать и нелинейные модели. Можно, например,
выполнить логарифмическое преобразование исходных переменных
пли, следуя Бартлету, ввести произведение факторов как новый
фактор. Тогда, скажем, в двухфакторной модели появится еще тре-
тий фактор /3 = Но все это, конечно, серьезно осложнит
интерпретацию.
4*
100 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
личие от дисперсионного анализа, последние два метода,
имеющие уже почти семидесятилетнюю историю и хорошо
изученные с теоретических позиций, имеют совсем малое
применение (если не считать задач психологии и социоло-
гии). Это легко объяснить. Природа надежно охраняет
свои тайны. Чтобы проникнуть в них, надо или ставить
активный эксперимент, что всегда трудно, или научиться
их отгадывать. Факторный анализ и метод главных ком-
понент служат лишь средствами, облегчающими отгады-
вание. У психологов и социологов не оставалось других
путей, и они изучили эти два приема со всей обстоятель-
ностью. Исследователи других областей знаний долго
их игнорировали. Сейчас положение дел, по-видимому,
стало меняться — начали появляться работы, указываю-
щие на возможность применения этих методов как некото-
рых вспомогательных приемов в задачах самого разнооб-
разного характера. Одна из упоминавшихся выше работ
[49] заканчивается призывом к экспериментаторам оце-
нить с их точки зрения возможности такого подхода к ана-
лизу данных.
Метод главных компонент хорошо изложен в извест-
ной книге Андерсона [55]. С математических позиций он
подробно разобран в статье Рао [56]. Факторный анализ
в краткой, но очень ясной форме изложен в книге Лоули
и Максвелла [57]. Чрезвычайно подробное и весьма эле-
ментарное его изложение можно найти в книге [58].
§ 3. Дискриминантный анализ и классификация
Ковариационные матрицы используются и в задачах
дискриминации, когда выборку, задаваемую многомерным
вектором наблюдений х* = | х2, . . ., надо отнести
к одной из A-мерных нормально распределенных генераль-
ных совокупностей х). Задачи такого рода встречаются по-
стоянно в повседневной деятельности исследователя-экспе-
риментатора. Не всегда, правда, к ним относятся достаточ-
J) Напомним здесь еще раз, что в одномерном случае параметры
нормального распределения задаются двумя скалярными величина-
ми — математическим ожиданием и дисперсией. В многомерном
случае первым параметром служит вектор математических ожиданий
ц, вторым — ковариационная матрица L.
§ 3] ДИСКРИМИНАНТНЫЙ АНАЛИЗ И КЛАССИФИКАЦИЯ Ю1
но серьезно. Простейший пример подобных задач — ди-
скриминация по результатам приемных экзаменов или
любой другой системы тестов. Каждый абитуриент харак-
теризуется вектором значений экзаменационных или тесто-
вых оценок. Этот вектор надо отнести к одной из двух
генеральных совокупностей. Второй пример — медицин-
ская диагностика, где пациент опять-таки характеризует-
ся, многомерным вектором признаков. Третий пример —
таксономия в биологии, четвертый — дискриминация в за-
дачах антропологии, археологии и т. д.
Возможна и иная постановка задачи — классифика-
ция. В этом случае, имея множество наблюдений, задан-
ных многомерными векторами, нужно разбить их на
группы так, чтобы была достигнута максимальная одно-
родность внутри групп и минимальная — между груп-
пами.
Такие задачи решаются методом кластер-анализа *).
Так, например, в биологических или медицинских иссле-
дованиях можно поставить задачу разбиения множества
подобных индивидуумов на достаточно однородные груп-
пы. Впрочем, в литературе не всегда сохраняется четкое
разграничение в терминологии; часто те задачи, которые
мы отнесли к дискриминантному анализу, называют также
задачами классификации.
Чтобы дать некоторое представление о дискриминант-
ном анализе, рассмотрим лишь одну модель дискримина-
ции, в которой эксплуатируются бейесовские представле-
ния [55].
Допустим наличие всего двух генеральных совокупно-
стей лх и л2 с плотностями вероятностей (х) и р2 (х).
Далее, пусть известны априорные вероятности qt и q2 того,
что наблюдение ведется над индивидуумом, принадлежа-
щим соответственно совокупностям лг и л2. Наша задача
заключается в том, чтобы разделить область возможных
результатов эксперимента на две подобласти и Q2,
соответствующие двум совокупностям nj и л2.
х) Английское слово cluster означает «гроздь». Кластер-анализ
можно было бы перевести как гроздевой анализ, но в отечественной
литературе начинает уже укрепляться транслитерация английского
термина.
102 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ (ГЛ. III
Из теоремы Бейеса следует, что условная вероятность
того, что наблюдение проведено над совокупностью
(при условии, что результаты заданы вектором х), равна
<hPiW+<№(*) ’
Вероятность неправильной классификации, очевидно,
будет минимальна тогда, когда мы выберем ту генераль-
ную совокупность, которой соответствует наибольшая
условная вероятность. Гипотеза о принадлежности выбор-
ки х к совокупности лх будет принята, если
(х) > ЯгРъ (X)
<7iPi (х) + Я№ (х) 7iJ>i (х) + ягрг (х)
Следовательно, правило принятия решения задается соот-
ношениями
<2i: QiPi (х) > Q2P2 (х),
Qi-
Допустим теперь, что мы имеем дело с двумя многомер-
ными нормальными функциями распределения, имеющими
одну и ту же известную нам ковариационную матрицу L и
отличающимися, следовательно, только своими математи-
ческими ожиданиями fix и fi2. Тогда после несложных пре-
образований записанное выше правило принятия решения
примет вид
<2r x’L 10, - j*2) - —(И1 + - ц2)>1п/с,
Q3: x’L1 (у,, - ц2) - А (у2 + у2)* L"1 (ц, — у2) < In к,
где к = q2/qt (мы здесь полагаем, что любое из двух оши-
бочных решений имеет одинаковую цену). В частном слу*
чае, когда к = 1, In к = 0, решение о принадлежности
выборки к совокупности будет задаваться неравенством
Qi: x’L !(ух - у2)> А (щ 4- - у,).
Левая часть неравенства — хорошо известная стати-
стикам дискриминантная функция. Она представляет
g з! ДЙСКРИЙИЙАЙТЙЫЙ АЙАЛЙЗ И КЛАССИФИКАЦИЯ Ц)3
собой линейную функцию результатов наблюдений
x'L1 (рх - g2) = + р2х2 + ... + (Vk.
Это есть (к— 1)-мерная гиперплоскость, разбивающая А:-мер-
ное пространство на две части Q1 и Q2.
Рассмотрим теперь поведение случайной величины
и = x’lZ1 (цх — р2) _ -L (И1 -I- цц)’ L’1 (I*1 — |12),
значением которой определяется принятие одной из гипо-
тез jq или л2. Здесь нужно найти две функции распреде-
ния: одну, когда х принадлежит к jtj, другую — к л2.
Рис. 3.6. «Расстояние» между двумя генераль-
ными совокупностями [55].
Обозначим через иг и и2 случайные величины, соответст-
вующие этим функциям распределения. Простые вычис-
ления показывают, что
М{иг} = {---а, а2{их} = 62{U2} = а,
где
« = (Hi — Ц2Г L-1 (1*1 — Уг)-
Эта величина называется «расстоянием» между двумя
совокупностями и л2. Поясним геометрический смысл
этой величины на рис. 3.6. Мы видим, что центры двух
обсуждаемых выше функций распределения расположены
симметрично относительно начала отсчета и находятся от
него на расстоянии Вероятности двух возможных
ошибочных решений задаются двумя заштрихованными
площадями под крыльями распределения (в одном случае
это площадь под кривой в интервале от — оо до с, в дру-
гом — от с до +°°, где с = In к).
1о4 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИЙ РАССЕЯНИЯ [ГЛ. Ш
Из изложенного выше следует, что в многомерных за-
дачах результаты дискриминантного анализа сложным
О)
Рис. 3.7. Корреляционные эллипсы для двух совокупностей
А и В. Зоны пересечения заполнены точками [113].
образом зависят от обоих параметров функции распреде-
ления — вектора математических ожиданий и ковариаци-
онной матрицы. Проиллюстрируем это примерами для
двумерных задач, заимствованными из статьи Любищева
[113]. На рис. 3.7 приведены корреляционные эллипсы г)
г) Напомним здесь, что для двумерных нормально распределен-
ных совокупностей корреляционные эллипсы (контурные кривые
равной вероятности) определяются уравнением
( Л , / Д-2 - На Л , ;хг-Ц2\ „
' <з{^а} j +! зМ ) аЫ )~Со
с инвариантом (1 — р2 {xj o2{^2}. Если коэффициент кор-
ляции pfa^} = О, то главные оси эллипса параллельны осям ко-
ординат. С увеличением силы корреляционной связи р{/х±х2} про-
исходит все больший поворот главных осей эллипса относительно
координатных осей. Когда pfx^} = 0 и о2 {xj — о2{х2}, эллипс вы-
рождается в окружность.
§ 3] ДИСКРИМИНАНТНЫЙ АНАЛИЗ И КЛАССИФИКАЦИЯ Ю5
для двух нормально распределенных совокупностей А
и В, имеющих одинаковые дисперсии; математические
ожидания для обеих совокупностей показаны на рисунке
крестиками.
Случай (а) оказывается наиболее благоприятным. Здесь
обе совокупности имеют положительную корреляцию и
эллипсы, вытянутые вверх, не пересекаются. При отсут-
ствии корреляции эллипсы вырождаются в пересека-
ющиеся окружности, и точки двух совокупностей частич-
но не разделяются, что и показано на рисунке. В случае
(б) иначе расположены центры двух совокупностей, и в ре-
зультате при такой же корреляции эллипсы пересекаются.
Случай (в) оказывается совсем парадоксальным. Здесь
математические ожидания по переменной не разли-
чаются и, казалось бы, этот признак не нужно включать
в дискриминантный анализ. Если поступить именно так и
свести задачу к одномерной (дискриминации по признаку
х2), то мы обнаружим очень сильное наложение точек.
В случае большой положительной корреляции оказывает-
ся выгоднее учитывать оба признака хг и х2; тогда мы по-
лучим два непересекающихся эллипса. Таким образом,
в некоторых случаях целесообразно включать и бесполез-
ные на первый взгляд признаки.
Задачу дискриминации можно сколь угодно сильно ус-
ложнять. Правило принятия решения можно построить
так, чтобы критическое число, задающее выбор гипотезы,
заменить интервалом; если результаты попадают в интер-
вал, то не следует принимать окончательного решения,
полагая, что в этом случае наблюдения нужно продолжать
(процедура последовательного анализа Вальда). Число
совокупностей, по отношению к которым производится
дискриминация, может бьцъ больше двух и их ковариаци-
онные матрицы могут быть разными. Функции распреде-
ления не обязательно должны быть строго нормальными.
Часть параметров функций распределения может быть
неизвестна. Дискриминантная функция может быть и не-
линейной. Это повышает эффективность дискриминации,
но делает ее более чувствительной к нарушению нор-
мальности. Методы дискриминации могут оказаться и не-
параметрическими, когда дается самое общее представле-
ние о тех распределениях, по которым ведется классифи-
106 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
кация. Мы не имеем возможности рассмотреть здесь все
множество предложенных методов. Библиография в обзо-
ре работ по дискриминантному анализу, составленном
Урбахом [59], содержит около 500 наименований, из них
на русском языке —32. Подробное изложение дискрими-
нантного анализа для двух генеральных совокупностей
дано в сборнике, изданном под редакцией Благовещенско-
го [60]. Хорошо известные широкому кругу читателей
методы анализа зрительного образа (см., например, [61])
рассматривают ту же проблему, но другими методами;
при этом, по-видимому, в меньшей степени используется
информация, заложенная в ковариационной матрице. Ви-
димо, существует какая-то глубокая связь между тремя
различными подходами — факторным анализом, дискри-
минантным анализом и анализом зрительного образа с
процедурой машинного обучения. Но пока, кажется, ни-
кому не удалось изложить все это с единых позиций.
Теперь несколько слов о кластер-анализе. Выше уже
говорилось, что кластер-анализ — это хорошо и давно
известная задача предварительной классификации наблю-
дений. Известно, как статистики разбивают на группы ре-
зультаты наблюдений в демографических и экономических
исследованиях. Биологи и врачи, прежде чем начать эк-
сперимент, разбивают множество испытуемых индивиду-
умов на отдельные группы. Всем хорошо известная Уни-
версальная десятичная классификация (в библиотечном
деле) есть некоторая попытка (наверное, совсем неудач-
ная) решить одну из задач кластер-анализа. До самого по-
следнего времени, как правило, все классификационные за-
дачи такого рода решались на интуитивном уровне, без
каких-либо количественных оценок того, насколько удач-
ным оказалось интуитивно предложенное решение. В по-
следнее время появилась тенденция формализовать этот
процесс. Она в значительной степени стимулируется теми
новыми возможностями, которые появились после созда-
ния мощных ЭВМ. Классификации подвергаются плохо
организованные, диффузные, системы, и поэтому естест-
венно, что здесь предлагаются преимущественно статисти-
ческие модели.
Строго говоря, и упоминавшуюся выше задачу анализа
зрительного образа и методы факторного и компонентного
§ 3] ДИСКРИМИНАНТНЫЙ АНАЛИЗ И КЛАССИФИКАЦИЯ Ю7
анализа можно рассматривать как задачи кластер-анали-
за. Во всяком случае, приведенный выше пример при-
менения компонентного анализа для классификации ле-
тающих тлей (см. стр. 91) по своей постановке непосред-
ственно относится к задачам кластер-анализа. Но вряд
ли нужно придумывать новые термины для уже известных
методов, хорошо систематизированных и кодифицирован-
ных. Лучше кластер-анализом называть те новые прие-
мы, которые появились там, где ранее известные приемы
оказались малоэффективными или совсем бессильными. За
последние десять лет на интуитивном уровне было пред-
ложено много новых методов кластер-анализа. Они пока не
поддаются теоретическому осмыслению с единых позиций.
Рассмотрим в качестве примера один из методов клас-
тер-анализа, относящийся к информационно-поисковой
службе в химии. Речь будет идти о методе, разработанном
английской химической фирмой «Империал Кемикл Инда-
стри лимитед» (Imperial Chemical Industry Ltd) для уста-
новления корреляции между химической структурой ве-
щества и его биологической активностью [62]. Хорошо
известно, что во многих странах сейчас интенсивно ведется
поиск биологически активных препаратов. Задача распа-
дается на две части: поиск или синтезирование препа-
ратов и их биологическое испытание (о планировании экс-
периментов при испытании биологической активности мы
расскажем в гл. IV, см. стр. 171). Вторая часть задачи
значительно более трудоемка, чем первая. Поэтому воз-
никает необходимость в предварительной классификации
химических препаратов. Это, в свою очередь, также не про-
стая задача. В упомянутой выше химической фирме хра-
нится информация о 50 000 препаратов; она закодирована
следующим образом по 300 признакам, характеризующим
структуру молекулы:
Информация по каждому признаку
5 Признаки
Актив- ность Л1 Л2 Аз А4 Аь. . • Лзоо
1 0 1 0 0 1 . . . 0
108 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ ГЛ. III
Здесь «1» указывает на наличие признака, а «0» на его от-
сутствие. Таким образом, свойства препарата задаются
точкой в 300-мерном пространстве.
Сначала посмотрим, как можно было бы провести клас-
тер-анализ в астрономии, где положение центра звезды
задается точкой в трехмерном пространстве. Здесь можно
поступить так: по очереди считать каждую звезду началом
отсчета, измерять от нее расстояние до всех соседних
звезд и кластером считать такую минимальную сферу,
в которую попадает некое, заранее заданное число звезд.
Центр тяжести множества этих звезд будет задавать поло-
жение кластера.
Примерно так же поступают и при классификации хи-
мических препаратов. Здесь только вводят небольшую мо-
дификацию, рассматривая два множества препаратов: одно
из них обследуемое, другое — эталонное, заведомо облада-
ющее активностью. Эталонные препараты по очереди счи-
тают началом отсчета и затем строят кластер, используя
специально придуманный кластер-индекс (для ограничения
радиуса кластера). Кластер-индекс базируется на ста-
тистической модели, в которой принимается гипотеза не-
зависимого распределения признаков по. препаратам и
используются такие понятия, как нуль-гипотеза, уровни
значимости, функция распределения кластеризации и пр.
Мы не будем здесь останавливаться на деталях этой моде-
ли, поскольку она носит очень частный характер. Для каж-
дого кластера ЭВМ выдает число компонент кластера, их
наименования и координаты центра тяжести кластера.
Вот пример записи результатов по одному из признаков:
Число компонент в кластере 5
Номеркомпоиенты
кластера 23 967 21532 8308 4327 8346
Координаты центра тяжести кластера
д1 = 0 /12 = 0 Лз = 1,00 Л4 = 0 Л5 = 0,20
Л = 1,00 ... ... ... ...
::: *. *.; : *: : : яп=о
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ
109
Координаты центра тяжести отчетливо показывают,
какие свойства молекулы задает данный кластер.
В рассматриваемой работе приводится пример, в кото-
ром 15 000 неактивных препаратов сравнивалось с 200 ак-
тивными препаратами, служащими составными частями
лекарств, поступающих в продажу. Материал предвари-
тельно кодировался по 84 признакам, характеризующим
структуру молекулы.
Особенно интересным и неожиданным оказался один
кластер, определяющая структура которого ранее никог-
да не использовалась. В этот кластер входил 91 препа-
рат, из них в дальнейшем 41 был классифицирован как
активный.
Кластер-анализ, по-видимому, сейчас находится еще
в начальной, но уже интенсивной стадии развития.
Заканчивая настоящий параграф, хочется поставить
один вопрос: какой физический смысл имеют результаты
классификационного или дискриминантного анализа?
Можно ли приписывать реальное значение тем совокупно-
стям, которые оказываются выделенными в результате
применения методов, описанных в данном и предыдущем
параграфах. Этот вопрос особенно волнует биологов-
специалистов по морфологии и теории эволюции. Он имеет
и общефилософский смысл. Мы не можем здесь останавли-
ваться на анализе этой проблемы и отсылаем любозна-
тельных читателей к очень интересной статье Любищева
[114], в которой она рассматривается с общефилософских
позиций; там проводится сопоставление 16 критериев ре-
альности.
§ 4. Изучение процессов, протекающих во времени
До сих пор мы ограничивались рассмотрением лишь
статических задач — предполагалось, что изучаемая нами
система не изменяется во времени. Если в эти задачи и вхо-
дило время, то оно рассматривалось на равных правах с
другими факторами. Сейчас мы перейдем к обсуждению бо-
лее сложных ситуаций, в которых состояние всей изучаемой
системы изменяется во времени. На самом деле, конечно,
любой эксперимент протекает во времени. Но обычно
отсчеты делаются через столь большие промежутки
110 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
времени, что результаты последовательных наблюдений
оказываются некоррелированными, и тогда, естественно,
можно ограничиться традиционными моделями математи-
ческой статистики, не включающими временных соотноше-
ний. Однако положение дел существенно изменяется по
мере того, как экспериментатор начинает переходить от
дискретной регистрации, разделенной большими проме-
жутками времени, к непрерывной и представляет свои
измерения регистрограммами. С регистрограммы можно
считать точки, расположенные достаточно близко друг
к другу, и тогда они оказываются коррелированными.
Мы вправе рассматривать регистрограмму как реализа
цию случайной функции, или, что то же самое, как реали-
зацию случайного процесса. Корреляция результатов на-
блюдений может появиться, конечно, и в ситуациях, когда
наблюдения упорядочивают не по временной, а, скажем,
по пространственной шкале. Если, например, измерять
сопротивление образца полупроводникового материала,
двигаясь последовательно, с небольшим шагом, по его
длине, то мы также получим коррелированную последо-
вательность наблюдений.
Таким образом, появляется необходимость перейти от
изучения случайных величин, поведение которых не изме-
няется во времени, к изучению случайных функций. По-
видимому, по мере развития экспериментальной техники
исследователю все чаще и чаще придется обращаться к изу-
чению случайных процессов. Теория случайных процес-
сов долгое время развивалась как чисто математическая
дисциплина. Лишь совсем недавно — лет 15 тому
назад — стала создаваться новая ветвь этой дисцип-
лины, направленная на анализ реально наблюдаемых
процессов.
Итак, будем считать последовательность результатов
наблюдений, упорядоченную по некоторому парамет-
ру t, реализацией случайного процесса. Следуя Гудмэну
[63], рассмотрим дискретную модель процесса, кото-
рая задается фурье-разложением по конечному числу
частот
к
X (t) = 2 (ajcos bj sin
§ 41 ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ Щ
где а, и Ь; (J — 1, 2, . . ., k) — независимые, центриро-
ванные, нормально распределенные величины с диспер-
сией х)
М {а]} = М {$} = бу.
Дисперсия о; является функцией частоты ®. Эту функ-
цию будем называть спектром процесса или, если частота
со изменяется непрерывно, спектральной плотностью.
Пользуясь простым алгебраическим преобразованием,
легко показать справедливость соотношения
к
М {X (I + г) X (t)} = р (т) = 2 cos
i=i
где р (т) — автокорреляционная функция случайного про-
цесса X (£). Ординаты автокорреляционной функции опре-
деляют степень статистической связи двух отсчетов с ре-
гистрограммы, отстоящих друг от друга на расстоянии * 2) т.
Мы видим, что автокорреляционная функция для нашего
процесса X (t) не зависит от начала отсчета — она пол-
ностью задается расстоянием т между теми двумя точками,
для которых определяются ординаты случайного процесса.
Следовательно, функция X (t) определяет стационарный
процесс, т. е. процесс, инвариантный относительно
изменения начала отсчета. Этот процесс является также
гауссовским, так как в рассматриваемой модели он задает-
ся линейной комбинацией независимых, центрированных,
нормально распределенных случайных величин aj и bj.
J) Напомним, что } — знак математического ожидания.
2) Здесь можно провести полную аналогию с хорошо известным
в статистике понятием ковариации. Значение автокорреляционной
функции в точке т мы вправе рассматривать как ковариацию двух
ординат регистрограммы, отстоящих друг от друга на расстоянии т.
Поделив ординаты автокоореляционной функции на дисперсию
процесса о2, получим нормированную автокорреляционную функ-
цию, ординатами которой служат коэффициенты корреляции. Сте-
пень корреляционной связи изменяется с изменением расстояния
между двумя точками — в этом прежде всего и заключается смысл
введения понятия процесса. Именно эту временную зависимость не
рассматривает традиционная статистика.
112 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
Написанное выше соотношение между автокорреляци-
онной функцией и спектром процесса есть одна из форм
хорошо известной теоремы Хинчина — Винера. Согласно
этой теореме, спектр процесса и автокорреляционная функ-
ция являются фурье-сопряженными функциями. Поэтому
мы вправе написать
ЛГ-1
[р (0) + 2 2 Р (т) cos шд
Здесь мы уже перешли к выборочным оценкам, пола-
гая, что автокорреляционная функция для выборки объе-
мом zV вычисляется по формуле
N— т
р (т) = -дгЗТ 3 х (0 х У + *),
а т принимает лишь дискретные значения.
От дискретных моделей можно перейти к непрерывным,
заменив спектр процесса спектральной плотностью /(о).
Предположим, что процесс, строго говоря, не содержит
периодических составляющих и сумма а2 (со) + Ь'2 (о) не-
прерывна. Тогда /((o)cfco есть вклад в общую дисперсию
на полосе частот со, со + do. Пик на кривой спектральной
плотности /(со) указывает просто на наличие важной
полосы частот.
Для непрерывной модели мы можем записать
7t
р (?) = 2 cos от/ (о) do;
о
обращение этой формулы дает
оо
/(») = 4г[р(°) + 22 Р(т) coswrl.
L i=l
Это другая форма записи теоремы Хинчина — Винера.
Теорема Хинчина — Винера показывает, что резуль-
таты исследования случайного процесса можно представ-
лять как во временной шкале (автокорреляционная функ-
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ ЦЗ
ция), так и в частотной (спектр процесса или спектраль-
ная плотность).
Спектральное представление обычно легче поддается
физической интерпретации— исследователи, особенно фи-
зики, привыкли мыслить в терминах гармонических коле-
баний, хотя в некоторых случаях оказывается интересным
и непосредственное рассмотрение автокорреляционной
функции *).
Винер показал [64], что понятие автокорреляционной
функции в неявной форме содержалось еще в работе Май-
кельсона. На рис. 3.8 приведена схема хорошо известного
интерферометра Майкельсона. Здесь световой пучок по-
средством системы зеркал и линз делится на две части, ко-
торые идут по путям разной длины и затем вновь соеди-
няются в один световой пучок. Различие в длинах приво-
дит к задержке одной части пучка относительно другой.
Результирующий световой пучок будет задаваться двумя
его частями X (/) и X (Н т), смещенными во времени на
величину т. Фотометр измерит энергию результирующего
пучка, и его показания будут пропорциональны квадрату
суммы X (#*+ X (t т) м, следоиателыго, будут содер-
жать член, пропорционялъныж^гвтокоррелйционний'функ-
ции. Резкость интерференционных полос будет задавать-
ся (с точностью до линейного преобразования) автокорре-
ляционной функцией. Выполнив теперь фурье-преобразо-
вание функции, описывающей интерференционные полосы<
находим спектр мощности, т. е. получим спектрограф
нового типа, позволяющий производить измерения с
наибольшей точностью. Представим себе, скажем, что
измерения производятся в далекой инфракрасной обла-
сти, где нельзя воспользоваться фотопластинкой. Мы вы-
нуждены будем последовательно производить регистра-
цию отдельных спектральных линий с помощью фотоэле-
О представлении колебательных процессов во временной и
частотной шкалах см., например, в книге, Горелике [65], хоти там,
правда, теорема Хпнчина — .Динэдвв явном виде не рассматривает-
ся. Любопытно^ что .физики, следуя ^установившейся традиции,
обычно при изложений колебательных процессов-не рассматривают
теорему Хинчйна — Винера, хотя Эта теорема создает совсем новую
концепцию, с позиции которой очень легко описываются многие
физические явления,
114 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
мента, перемещая его вдоль шкалы длин волн. Если зада-
но общее время измерений Т и имеется m линий, подлежа-
щих измерению, то время измерения каждой линии соста-
вит только Т/m. В спектрометре нового типа все линии,
Неподвижное
зернило
Рис. 3.8. Схема интерферометра Майкельсона [64].
так же как и в случае регистрации на фотопластинке,
будут измеряться за общее время Т. В результате диспер-
сия, характеризующая точность измерения, уменьшится
в m раз.
Вернемся теперь к нашей основной задаче. Итак, мы
видим, что при обработке результатов наблюдений, пред-
ставленных конечной реализацией случайного процесса,
можно получать выборочные оценки значений дисперсий
Oi2, о22, . . ., ст* для последовательности частот <ох, ш2, . . .
к
... ,co,f, причем 2 6j = гДе ао~ дисперсия, характери-
3=1
зующая рассеяние случайного процесса X (t) относительно
его математического ожидания
н = м {X (0}.
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ Ц5
Следует обратить внимание на глубокую аналогию меж-
ду дисперсионным и спектральным анализами [66]. В обо-
их случаях речь идет о разложении суммарной дисперсии
на составные части. Эту аналогию можно провести дальше
и сравнить спектральный анализ с методом главных ком-
понент, где производится разложение по ортогональным
линейным полиномам, задающее также некоторую после-
довательность дисперсий. Все эти методы, обычно изла-
гаемые в совсем разных руководствах, эксплуатируют од-
ну и ту же идею — построение некоторых характеристик,
основанных на характере рассеяния данных наблюдений.
С позиций экспериментатора близость этих методов пред-
ставляется более очевидной, чем с позиций математика,
который во всех трех случаях исходит формально из раз-
ных математических моделей.
Естественно в качестве оценки для О; взять
Фурье-коэффициенты a,j, bj (j = 1, 2, . . ., к) в этой
формуле являются независимыми, центрированными, га-
уссовскими случайными величинами с дисперсией гене-
ральной совокупности, равной о). Поэтому величины
2aj/(Tj представляют собой случайные величины, подчиня-
ющиеся ха-распределению с двумя степенями свободы.
Пользуясь таблицами х2-распределения, можно найти до-
верительные границы для nJ, вычисляя отношения 2oj/x?
и 2о^/х?-р при выбранном уровне значимости р.
Особенностью или, если угодно, недостатком спектраль-
ного анализа служит его непараметричность: метод не
дает возможности оценить параметры кривой спектраль-
ной плотности, ее приходится оценивать по каждой орди-
нате отдельно. Для любой сколь угодно длинной реализа-
„ "2
ции каждая ордината кривой, т. е. каждое значение Oj,
имеет только две степени свободы. При увеличении длины
реализации увеличивается лишь число частот со7-, для кото-
рых оцениваются о*, но не число степеней свободы для
каждой из оценок. Здесь мы имеем дело с весьма любопыт-
ной ситуацией: приходится рекомендовать пользоваться
несостоятельной оценкой, хотя выше (см. стр. 59),
116 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Ill
рассматривая критерии для стандартизации процесса
свертывания информации, мы указывали на то, что
состоятельность оценок является одним из таких кри-
териев.
Можно, конечно, предложить искусственный прием,
сглаживающий спектр и обеспечивающий состоятельность
оценки спектра (или спектральной плотности). Но за
применение этого искусственного приема приходится рас-
плачиваться — оценки становятся смещенными, так как
нарушается второй критерий выбора стандартных оценок.
Математики в таких случаях в шутку говорят: «Здесь
имеет место закон сохранения подлости». Исследователю
остается только стремиться к некоторому разумному ком-
промиссу, пытаясь как-то сбалансировать состоятельность
оценки со смещенностью.
Идею сглаживания спектра можно проиллюстрировать,
следуя опять-таки Гудмэну [63], таким образом. Допустим,
что некоторые изо^ равны между собой, т. е.
6j-m — • • • — • — Gj+m*
Тогда оценкой для Oj можно считать
т
£? - 1 У
т=—тп
При этом естественно полагать, что величина
2 (2m -J-1)
имеет х2-распределение с числом степеней свободы,
равным 2 (2m + 1). Таким образом, при сглаживании
спектра получаются оценки с числом степеней свободы,
большим двух.
В настоящее время имеется хорошо разработанная и
достаточно сложная теория сглаживания кривых спект-
ральной плотности. Впервые этот вопрос, по-видимому,
был поднят Бартлетом в 1948 г. Первое подробное изложе-
ние было дано в хорошо известной книге Блекмана и
Тьюки [67]. Обстоятельная дискуссия по ней была прове-
дена в журнале «Технометрикс» (Technometrics) (1961, 3,
№ 2). Кроме уже упоминавшихся ранее статей [63, 66] из
§ 41 ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ Ц7
этой дискуссии, мы укажем еще работы [68—71]. В дис-
куссии, в частности, обращалось внимание на трудность
рецептурного изложения рассмотренных выше мето-
дов. Почти рецептурное их изложение дается в более позд-
ней статье Дженкинса [72]. В методологическом отно-
шении большой интерес представляют также рабо-
ты [73,74].
Обычно сглаживание производят на том этапе вычис-
лений, когда выполняют фурье-преобразование автокор-
реляционной функции. Сглаживающие функции (фильт-
ры) получили название спектральных окон. Хорошо извест-
но, например, усеченное сглаживание с помощью окна
Бартлета:
т
з* = 4г|р (°) + 2 3 М(т) cos <о,т1, •
L т=1
= 1 — т/т; 1 т т.
Дисперсия этой оценки пропорциональна 2l3m/N; эк-
вивалентное число степеней свободы равно 2JV/zn. С ростом
длины реализации (числа наблюдений #) дисперсия оцен-
ки падает, т. е. оценка становится состоятельной. Здесь
возникает деликатный вопрос: как выбрать величину ти,
которой задается усечение автокорреляционной функции?
При уменьшении т, с одной стороны, улучшается точность
оценки, с другой — ухудшается разрешающая способ-
ность (увеличивается ширина полосы пропускания фильт-
тра). Здесь надо уметь найти разумный компромисс. Час-
то его приходится искать путем последовательного под-
бора значений т. Важно отчетливо представлять себе, что
при использовании спектральных окон оценки становятся
состоятельными, но смещенными. На рис. 3.9 в качестве
примера приведена автокорреляционная функция, полу-
ченная для регистрограммы, характеризующей микро-
неоднородность электрического сопротивления образца
германия [76]. На рис. 3.10 даны спектральные плотно-
сти, вычисленные по этой автокорреляционной функции
для трех разных значений т. И, наконец, на рис. 3.11
приведены спектральные плотности, характеризующие
микронеоднородность сопротивления образца высоколе-
гированного кремния при пяти различных значениях т.
118 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Ш

Рис. 3.9. Автокорреляционная функция, полученная для регистро-
граммы, характеризующей микронеоднородность электрического
сопротивления образца германия [76].
Рис. 3.10. Спектральные плотности, вычисленные для автокорреля-
ционной функции, представленной на рис. 3.9, при трех разных
значениях т [76].
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ Ц9
Здесь хорошо видно, как с ростом т увеличивается число
разрешаемых пиков, но одновременно растет и флуктуа-
ционная составляющая. В последнем из рассмотренных
выше случаев, видимо, следует ограничиться выбором
т = 48. На рис. 3.12 приведены спектрограммы, характе-
ризующие макронеоднородность сопротивления четырех
Рис. 3.11. Спектральные плотности микронеоднородности сопротив-
ления для образца высоколегированного кремния при различных
значениях т [76].
монокристаллов германия — вычисления производились
с использованием окна Бартлета при т= 96. Представ-
ленные здесь спектрограммы легко поддаются физической
интерпретации (подробности ее см. в [76]).
Нетрудно показать, что применение окна Бартлета при-
близительно эквивалентно прямому разложению отрезка
случайной функции, заданному реализацией, в ряд
Фурье на отрезке длиной т с последующим усреднением
коэффициентов Фурье по всем N/m отрезкам. Со времен
Фурье так, собственно, и поступали все физики. Но посту-
пать так они могли только в задачах с хорошей априорной
информацией, т. е. когда заранее была точно известна
120 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
периодичность процесса. Только в этом случае исследова-
тель мог выбрать длину того интервала, на котором нужно
Рис. 3.12. Спектр, характеризующий
макронеоднородность сопротивления
четырех образцов германия [76].
Здесь ради удобства представления отдель-
ные значения ординат соединены плавной
кривой.
было делать фурье-раз-
ложение регистрограм-
мы. Теорема же Хинчи-
на — Винера позволяет
выявлять скрытую пе-
риодичность в ситуаци-
ях, когда исследователь
заранее не знает о пе-
риоде гармонических
составляющих изучае-
мого процесса.
Итак, для спектраль-
ного анализа случай-
ного процесса можно
предложить следующую
систему алгоритмов:
1. По результатам
наблюдений вычис-
лить автокорреляцион-
ную функцию.
2. Произвести фурье-
преобразование авто-
корреляционной функ-
ции, используя спект-
ральное окно некоторо-
го заранее выбранного
типа*1) с различными
значениями тп, и полу-
чить семейство кривых
спектральной плотно-
сти. При анализе кри-
вых видно, как с ростом
т увеличивается чис-
ло различимых деталей, характеризующих структуру
спектральной плотности (или, в дискретном случае, спект-
*) Вопросу о выборе тппа спектрального окна посвящена боль-
шая литература, и здесь пока еще трудно дать какие-либо одно-
значные рекомендации.
§ 41 йзучёйие процессов, протекающих ёо времени ш
ра), но тогда растет и флуктуационная составляю-
щая. На основании визуального анализа кривых выбрать
то значение т, которое наилучшим образом представляет
спектральную плотность процесса. В некоторых случаях
результаты спектрального анализа разумно выдавать в ви-
де серии кривых с разными значениями ш. Такая система
вычислений во всяком случае экономичнее многократного
прямого разложения реализаций в ряд Фурье в условиях,
когда заранее нельзя выбрать длину того участка, на ко-
тором нужно вести разложение. Здесь исследователь
один раз обрабатывает громоздкий исходный материал —
регистрограммы, далее, подбирая т, он имеет дело (исполь-
зуя, скажем, окно Бартлета) только с частью автокорре-
ляционной функции, задаваемой сравнительно неболь-
шим числом ординат.
3. Если процесс, подлежащий исследованию, содер-
жит очень сильную низкочастотную составляющую, то
ее нужно предварительно отфильтровать («выбелить»)
с помощью числового фильтра и лишь после этого приме-
нить процедуры 1 и 2. Затем в спектральную плотность
вводят поправку на ранее отфильтрованную низкочастот-
ную гармонику. Если не производить операции предвари-
тельного выбеливания спектра, то спектральная плот-
ность, оцененная по процедурам 1 и 2, может оказаться
сильно искаженной.
Проиллюстрируем это примером, заимствованным из
литературы [75]. На рис. 3.13 приведены две реализации
одного и того же процесса — исходного с сильной низко-
частотной составляющей и отфильтрованного (фильтра-
ция производилась с помощью числового фильтра). На
рис. 3.14 приведены три кривые спектральной плотности:
Д (со) — для исходного процесса, /2 (со) — для реализации
после того, как низкочастотная составляющая отфильтро-
вана, и /3 (со) — скорректированная спектральная плот-
ность. Здесь ясно видно, сколь сильное искажение может
внести низкочастотная составляющая, если ее предвари-
тельно не отфильтровать.
До сих пор мы ограничивались рассмотрением спект-
рального анализа для задачи с линейной моделью. Можно
рассмотреть и нелинейные механизмы, генерирующие слу-
чайный процесс. Представим себе, например, следующие
МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНЙЯ [ГЛ. lit
Рис. 3.13. Две реализации одного и того же случайного процесса.
Исходная реализация (внизу) и отфильтрованная с помощью числового
фильтра (наверху).
+/Z7- f(u>)
Рис. 3.14. Три кривые спектральной плотности 178J.
По оси ординат отложены логарифмы.
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ 123
нелинейные модели:
х (t) = (0 + вд (Z) (t) +...,
X(O = Xi(Z) + aX?(0,
Здесь, как и ранее, X^t), Xj (Z) — гауссовские процес-
сы, задаваемые вторыми моментами. Нелинейные модели
задают уже негауссовский процесс, и нам придется рас-
сматривать старшие моменты. Введем по аналогии с авто-
корреляционной функцией функцию
N—т
Р123 Т2> тз) “ Д/ _ т 2 “ *1) X (t — Т2) X (t — Т3).
i=l
Фурье-преобразование от нее, задаваемое тройным
интегралом, даст так называемый биспектр /123 (<оп со2, <о3)
для частот, связанных соотношением coj + со2 + 0)з = 0. Би-
спектр (здесь только две частоты могут задаваться неза-
висимо) графически будет уже иметь вид контурных кри-
вых на плоскости, аналогичных рельефу, показываемому
на географических картах. При изучении нелинейных за-
дач и представлении результатов биспектрами возникают
очень большие трудности с их интерпретацией. Исследо-
ватели, даже физики, не умеют мыслить в системе таких
представлений. Примеров практического применения би-
спектров известно очень мало. В работе [77] биспектры
применялись в экономической задаче; данные, представ-
ленные множеством чисел, упорядоченных на двумерном
симплексе, трудно поддаются интерпретации. В другой
работе [78] биспектры использовались при изучении оке-
анских волн. Данные представлены удобными для обозре-
ния контурными кривыми. Сами авторы пишут, что им
удалось подтвердить лишь те теоретические положения,
в которых ранее никто и не сомневался. Остаются откры-
тыми вопросы о том, удастся ли воспользоваться биспект-
рами для описания реальных явлений, научатся ли ин-
терпретировать их содержательным образом с позиции
экспериментатора?
124 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Ш
До сих пор мы рассматривали внутреннюю корре-
ляционную структуру одного процесса. Теперь можно пой-
ти дальше и оценить степень взаимной связи двух цент-
рированных ауссовских стационарных процессов X (t)
и У (/). По аналогии с автокорреляционной функцией вза-
имная корр * яционная функция имеет вид
Рху (t) =М {X (/) У (t + т)}.
Она характеризует степень коррелированности орди-
нат функции X (t) в момент времени t с ординатой функ-
ции У (/ + т) в момент t + т. Очевидно, что автокорреля-
ционная функция может рассматриваться как частный
случай взаимной коореляционной функции. В автокорре-
ляционной функции нас интересует взаимная корреляция
ординат одной и той же функции — отсюда и ее название.
Корреляционные функции широко используются в за-
дачах выделения гармонического сигнала. Допустим, что
анализу подвергается колебание У (t) -= N (t) + X (/),
являющееся суммой случайного белого г) гауссовско-
го шума N (t) с нулевым средним и сигнала X (t) =
—a cos (со/+9) с неизвестной априори частотой со. Найдем
автокорреляционную функцию для этого процесса
Ру (т) = М{[X (0 + N(0] [X (' + т) + N(t + т)]} =
= Рх (*) + Pn (т) + Pxx(t) + Pnx (*)•
Если сигнал и шум некоррелированы, то последние два
члена равны нулю, но при вычислении выборочной оцен-
ки ру (т) они будут, естественно, создавать флуктуацион-
ную составляющую. Автокорреляционная функция шума
р /у (т) является непериодической функцией, убывающей
до нуля, когда т стремится к бесконечности. Автокорре-
ляционная функция сигнала X (t) — a cos (со/ + 9) будет
периодической с периодом, равным периоду сигнала
т
4 0 а2
рх (т) = lim \ X (t) X (t + r)dx = cos со/.
T-х» Д z
*) Шум называется белым, если его спектр остается постоян-
ным вплоть до некоторой высокой частоты среза, при которой он
сразу падает до нуля. Иногда белый шум называют абсолютно
случайным шумом. Шум, спектр которого не остается постоянным,
принято называть окрашенным шумом.
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ 125
Следовательно, используя в качестве приемного устройст-
ва коррелометр, можно принять гипотезу о наличии сиг-
нала, если с увеличением т отчетливо проявляется перио-
дическая составляющая.
Допустим теперь, что нам априори известна частота
периодического сигнала со. Тогда представляется вполне
естественным построить приемник, состоящий из генера-
тора колебаний X (t) с частотой со и устройства, вычисляю-
щего взаимную корреляционную функцию
Рух (x)=M{Y(t)X(t + x)} =
= M{[X(t) + N (0] [X (t 4 т)]} = (т) + pNX (т).
Здесь число слагаемых уменьшилось с четырех до двух
по сравнению со случаем автокорреляционного приема
рассмотренного выше сигнала, и поэтому при взаимной
корреляции на выходе шум будет значительно меньше.
Можно показать, что такой способ выделения сигнала дает
несмещенные, асимптотически эффективные оценки. Его
можно рассматривать, если угодно, как линейную филь-
трацию, осуществляемую во временной шкале. Здесь ис-
пользуется фильтр X (0, согласованный с периодическим
сигналом в процессе Y (0. Почему же временной фильтр
лучше обычного частотного? Правомерность такого во-
проса легко обосновать, исходя из теоремы Винера —
Хинчина, однозначно связывающей временное и частотное
представление процессов. Ответ здесь прост, он носит
теперь уже чисто инженерный характер — легче постро-
ить устойчивый генератор гармонических колебаний на
выходе, чем устойчивый узкополосный фильтр.
Задача выделения сигнала на фоне шума значительно
усложняется, если рассматривать ситуацию сокращенным
шумом или, скажем, ситуацию, в которой компоненты
принимаемого сигнала имеют случайные фазовые сдвиги.
Последняя ситуация, по-видимому, типична почти для
всех физических измерений, когда, в силу нестабильности
аппаратуры, случайной величиной оказывается и фазо-
вый сдвиг. Алгоритмы эффективных оценок в задачах та-
кого типа обстоятельно рассмотрены в книге Хольстро-
ма [79].
Легко показать, что автокорреляционная функция
четна, т. е. р (т) = р (— т). Взаимная корреляционная
126 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Ш
функция уже нечетна, т. е. рул (т) = рху(—т); здесь пе-
реставляются аргументы. Нечетность взаимной корреля-
ционной функции приводит к некоторым трудностям при
переходе к спектральным представлениям. Здесь прихо-
дится вводить две новые функции — коспектр с (со) и
квадратурный спектр q (со) — вида
оо
с (®) = [Р*у + 2 2 (Pxy (Т) + Pyx (т)) cos шт] ,
L 'Г —1
00
q = Т [ 2 (Рху (т) - Pyx (т)) cos ют
LT=1
Взаимная спектральная плотность задается уже ком-
плексной функцией
/ху(со) = с (со) +
причем опять будет справедливо соотношение fxyfa) =
= /ух(—о>). При вычислениях взаимной спектральной
плотности также используются сглаживающие филь-
тры — спектральные окна.
К оценке результатов взаимного спектрального анали-
за следует прибегать во всех случаях, когда динамика си-
стемы столь сложна, что сама система не поддается детер-
министическому описанию. Частотный анализ может по-
казать, например, что высокочастотные и низкочастотные
флуктуации связаны различным образом. Далее с помощью
такого анализа удается оценить ранее неизвестный фазо-
вый сдвиг между процессами, который может изменяться
с изменением частоты.
В простейшем случае можно просто ограничиться ви-
зуальным сравнением кривых, задающих спектральные
плотности. Рассмотрим один пример, относящийся к изу-
чению динамики теплового обмена между атмосферой и
Землей [80]. На рис. 3.15 приведены спектральная плот-
ность для вертикальной скорости потока w и коспектр
между w и Т (температурой). Кривые построены по изме-
рениям, сделанным на двух разных высотах, в дневное (а)
и ночное (б) время. Из рассмотрения этих кривых видно,
что при низких частотах дисперсионная и ковариационная
составляющие на высоте 40 м значительно больше, чем на
§ 4j ИЗУЧЕНИЕ ЙРОЦЕССОЁ, ПРОТЕКАЮЩИХ Во ВРЕМЕЙИ 12?
высоте 16 м. Далее из сопоставления графиков авторы ра-
боты [80] сделали следующие выводы: 1) на высоких часто-
Рис. 3.15. Спектральная плотность для вертикальной скорости
потока w и коспектр между w и Т (температурой), измерен-
ные на двух уровнях над горизонтом (16 и 40 м) в дневное (а)
и ночное (б) время в Южном Дартмуте (США) [80].
По оси абсцисс отложены ig (w/v), где v — скорость ветра. По оси
ординат отложены спектры и коспектры, умноженные на частоту.
тах дисперсионная составляющая больше ковариацион-
ной; другими словами, малые вихри дают больший вклад
в энергию вертикальной составляющей, чем в тепловой
128 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ trjI’ 111
поток; 2) низкочастотные составляющие (большие вихри)
значительно существеннее в дневное время, чем в ночное.
Эти вихри возникают в результате нагрева Земли, тогда
как малые вихри образуются ветром, движущимся вдоль
неровностей Земли.
Чтобы облегчить интерпретацию результатов взаим-
ного спектрального анализа, можно ввести ряд вспомо-
гательных функций. Прежде всего, рассмотрим функцию
когерентности [81], определяемую соотношением
С (со) =
С2 (Ю) _[_ (Ю)
fx (со) /у(ш)
Значения этой функции лежат в интервале О^Х’(о)) 1,
поскольку всегда выполняется неравенство когерентности
с2 ((d) + q* (<d) < fx (со) fY ((d).
Мы видим, что поведение С (со) аналогично поведению
квадрата обычного коэффициента корреляции. Эта функ-
ция интерпретируется так же, как и коэффициенты корре-
ляции. Интересно строить графики зависимости С (со) от
со. В одной области частот функция С (со) может принимать
очень большие значения, близкие к единице, в других обла-
стях она может резко падать и иногда приближается даже
к нулю. Мы получаем, таким образом, вполне наглядное
представление об одном из свойств динамической системы,
характеризующем степень связи двух процессов на разных
частотах.
Далее можно составить фазовую диаграмму, строя гра-
фик функции ф (cd) = arctg ((q (а))/с ((d)). Такая диаграмма
позволяет проследить за фазовым сдвигом между двумя
процессами. Этот сдвиг может оказаться постоянным для
всех частот, и тогда функция ф (cd) будет осциллировать
около некоторого среднего значения. Но фазовый сдвиг
может зависеть от <d, причем его изменение может проис-
ходить даже, скажем, с разрывом по производной. Можно
перейти от частотного представления к временному и ин-
терпретировать фазовый сдвиг как временной сдвиг между
двумя процессами. Следуя [81], рассмотрим два процесса
с фиксированным временным сдвигом Y (t) = X (t — к).
Составляющая процесса X (t) на частоте (D рав-
на at cos (at + 9); для процесса Y (t) она будет
равна cos [(d (t — к) + 9] = cos [<d£ (9 — Zccd) ].
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ 129
Здесь фазовый сдвиг на частоте со равен Агсо. На фазовой
частотной диаграмме мы получим прямую с тангенсом
угла наклона, равным к.
Наконец, снова следуя [81], рассмотрим диаграмму для
коэффициента усиления. Коэффициент усиления Gxy (о)
определяется как /у(й>) Gly((o) = fx (со) с (со). Этой функ-
цией задается, по существу, коэффициент регрессии для
процесса X (t) по процессу Y (t) на частоте со. Если
Xt (со) и Yt (со) суть компоненты процессов X (t) и Y (t) на
частоте со, то линейное уравнение регрессии имеет вид
Xt (со) = Gxy (®) (<°) + et
Таким образом, спектральное представление позволяет
наглядным образом описывать динамику системы с по-
мощью построения диаграмм когерентности, фазового
сдвига и усилений. Подобный способ описания оказы-
вается достаточным только в том случае, если мы заранее
предполагаем, что один из процессов, скажем, X (0, ге-
нерируется (в статистическом смысле) другим процессом
Y (<). Но спектральное представление оказывается уже
недостаточным для анализа системы с обратной связью,
когда процесс X (t) действует также на процесс Y (t).
Здесь нужно было бы в дополнение к рассмотренным выше
характеристикам еще оценить силу обратной связи, ее из-
менение с изменением частоты и определить временной
сдвиг обратной связи — при наличии обратной связи фазо-
вую диаграмму уже нельзя четко интерпретировать. Всю
эту информацию нельзя извлечь из спектрального представ-
ления, поскольку там оценивается всего четыре функции
/х (®), fy (со), с (со) ид (со). Здесь приходится переходить
уже к эвристическим методам, используя, скажем, поня-
тие оптимального линейного прогноза одного из процессов
по другому процессу (подробнее см. [81]).
Задача изучения динамических систем усложнится
еще больше, если перейти к изучению нестационарных
случайных процессов. В простейшем случае нестационар-
ность задается только трендом — смещением во времени
математического ожидания. Такое смещение в частном
случае может задаваться, скажем, полиномом. Здесь по-
является необходимость в разработке в каком-то смысле
оптимальных алгоритмов для оценки и снятия тренда.
5 В, В. Налкмож
130 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. Hl
Еще сложнее становится задача, когда речь идет о процес-
сах со спектрами, меняющимися во времени. По-видимому,
во многих реальных задачах приходится сталкиваться
с такой высокой степенью нестационарности, при кото-
рой во времени меняется не только среднее, но также ди-
сперсионные и автокорреляционные компоненты. Сейчас
еще нет теории нестационарных случайных процессов.
Приходится опять-таКи применять какие-то эвристиче-
ские приемы, опирающиеся лишь на интуицию. Здесь
возможна и такая постановка задачи: какие условия нуж-
но наложить на нестационарность для того, чтобы к неста-
ционарным процессам можно было применять приемы,
разработанные для стационарных процессов? Решение
этой задачи возможно путем моделирования на ЭВМ. В ра-
боте [81] приводятся, в частности, примеры, показываю-
щие, что при не слишком сильном изменении спектра во
времени применение к нестационарным процессам алго-
ритмов, разработанных для стационарных процессов, дает
вполне удовлетворительные результаты; при этом, конеч-
но, дисперсии оценок увеличиваются.
Одной из очень важных в практическом отношении
задач служит прогноз нестационарных случайных про-
цессов. В коммерческой области это, скажем, прогноз
спроса на рынке или числа пассажиров на самолетах и
пр., в области технологии — прогноз поведения технологи-
ческой системы, изменяющегося под влиянием множества
факторов, не поддающихся непосредственному учету и кон-
тролю. Работа хорошего мастера на производстве — это,
прежде всего, некоторый неформализованный прогноз, ос-
нованный на интуиции и большом опыте. Если при кон-
троле за технологическим процессом отсчеты делаются
через значительные интервалы времени, так что они ока-
зываются некоррелированными, то, естественно, для про-
гноза можно использовать контрольные карты, скажем,
коммулятивно-суммирующие карты, описанные коротко
на стр. 53. Если же мы имеем дело с непрерывной реги-
страцией, записывающей процесс, спектр которого отли-
чен от белого, то, естественно, что уже нужно обращаться
к более тонким методам. Бокс и Дженкинс [И, 82—84]
предложили на эвристическом уровне интересный прием
прогнозирования нестационарных случайных процессов,
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ 131
который весьма удачно применяется как в задачах из об-
ласти коммерческой деятельности, так и в технологиче-
ских процессах. Задача формулируется следующим обра-
зом. Допустим, что в некотором р-м интервале времени,
или, как говорят, в некоторой p-фазе производственного
процесса отклик можно задать уравнением
ПР (*) = П (я I гр) = Т) (0р) - У ₽11 (х ~ е₽)2>
где z — условное обозначение для множества неконтроли-
руемых переменных, остающихся на неком постоянном
уровне zp во время p-фазы; тогда 0Р= {#макс | — то зна-
чение контролируемой переменной, при котором имеет
место условный экстремум в p-фазе; — коэффициент,
определяемый экспериментально при покачивании про-
цесса. Неконтролируемое изменение z-переменной при
переходе из одной фазы в другую создает последователь-
ность значений 0Р, которую нужно рассматривать как не-
стационарный стохастический процесс. В каждой фазе
выполняется измерение ц (х) с некоторой ошибкой, т. е.
т](х) = ц (х) + йр. Ошибки бр не зависят от точки х,
в которой выполняется измерение, не зависят от процесса,
задаваемого совокупностью 0Р, но зависят друг от друга,
т. е. последовательность случайных величин 6Р корродиро-
вана. Задача заключается в том, чтобы некоторым опти-
мальным образом предсказать значение хр+1, близкое
к значению 0р+1, зная значения хр в предыдущих фазах.
Случайный нестационарный процесс 0Р возникает под
влиянием множества неконтролируемых переменных, дей-
ствующих в течение некоторого, заранее неизвестного ин-
тервала времени. Действие этих переменных может в од-
них случаях проявиться сразу (смещение процесса по вер-
тикали), в других случаях —- нарастать (или убывать)
по законам разной сложности. Нарастание для одних про-
цессов может происходить так, что угловые коэффициенты
будут образовывать коррелированную последовательность,
а скорости их изменений будут иметь нулевые значения,
в других процессах — скорости изменения угловых коэф-
фициентов могут создавать уже не нулевые, коррелиро-
ванные, последовательности и т. д. Представление таких
процессов с помощью полиномиального дрейфа не при-
5*
132 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ [ГЛ. III
несет пользы, так как в этой модели коэффициенты регрес-
сии не равны постоянным величинам. Попытка прибег-
нуть к прогнозу с помощью скользящего среднего х) или
с помощью экспоненциального среднего * 2) здесь также
не дает успеха, поскольку не ясно, как в такой сложной
ситуации выбирать параметры прогноза. Нужно предло-
жить такую модель процесса, которая позволяла бы сле-
дить за тем, как меняется нестационарность процесса во
времени.
Естественно здесь перейти к изучению последователь-
ности процессов, созданных первыми, вторыми, третьими
и т. д. разностями, и исследовать степень их коррелиро-
ванности. Это открывает возможность использования мето-
да корреляционного анализа при изучении нестационар-
ных процессов некоторого типа.
В работе [84] Бокс и Дженкинс предложили рассма-
тривать модель нестационарного процесса вида
^Р+1 = 1 + . • • + Т_2^ + Т_1 + XqS + • • •
• • • + <ХР 4- (Xp+i.
Буквы А и 5 имеют следующий смысл:
Дар = ар - ap-ь Д'ар = Д (Д'-1ар); Д°ар = ар;
5ар = 2ар_5; Smap = S°ap = ap,
i=o
p = 0, + 1,...; ,2 >1;
«р+ь ар» <Xp-i, ... — одинаковым образом распределенные
некоррелированные случайные величины, имеющие мате-
матическое ожидание, равное нулю.
J) Скользящее среднее — это представление процесса при по-
мощи текущего суммирования. На каждом шаге суммирования до-
бавляется один новый член и опускается один старый. Веса сум-
мирования как-то выбираются заранее.
2) Здесь имеется в виду суммирование с весами, уменьшающи-
мися по экспоненте по мере продвижения в прошлое. Параметр
экспоненты как-то выбирается заранее. Иногда в производственном
контроле используют контрольные карты, в которых контроль за
смещением ведется по экспоненциальному взвешенному среднему.
’4]
ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ <33
Поясним смысл введения такой модели: легко пока-
зать, что в этом случае
A ^p+l = (T-jA + • • • + Tm-1A + Ym) + А +1(Хр+1 =
1+т
= 2 djCLp-j 4- ОСр+1.
7=0
Отсюда следует, что все сериальные коэффициенты
корреляции х) порядка выше I + т + 1 для разностей
процесса Am+1 хр порядка т + 1 должны равняться нулю.
Если, скажем, в последовательности, образованной вто-
рыми разностями, все сериальные коэффициенты кор-
реляции, начиная с четвертого, равны нулю, то это зна-
чит, что можно принять модель с тремя параметрами:
у-2, у-1, уо- Далее уже возникают совсем технические за-
дачи, а именно, оценить эти параметры, скорректиро-
вать их (поскольку сама нестационарность также может
оказаться нестационарной — может появиться нестацио-
нарность второго рода) и, наконец, по результатам на-
блюдений оценить переходные процессы, определяющие
инерционность системы.
Итак, в модели с тремя параметрами прогноза можно
воспользоваться формулой (при нулевом среднем)
0Р+1 = Г-гДЛр + T-i«p + То^1(Хр-
Здесь нужно только заменить ар значениями реально
измеряемой величины которая служит оценкой стан-
дартизированного наклона функции отклика в точке
J— f - А _
3n \ dr ~ °’ Х?'
Если измерения выполняются в двух точках хр + 6х
и хр — дх, то оценка ер определяется очевидным обра-
зом, а именно,
у {П (хр + М - Я (*р - &)}
вр = бТрП '
*) Сериальными коэффициентами корреляции называются ор-
динаты автокорреляционной функции, вычисленные для случайного
процесса, представленного дискретной последовательностью.
134 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИИ РАССЕЯНИЯ (ГЛ. Ш
На рис. 3.16 приведено несколько примеров прогно-
зирования нестационарных химико-технологических про-
цессов.
Ш Вязкость
О 20 40 60 60 100120 140 160 V0 200220240260280300
Рис. 3.16. Примеры прогнозирования нестационарных хи-
мико-технологических процессов [84].
Результаты измерений представляют собой дискретные величины. Че-
рез точки, соответствующие этим величинам, проведены непрерыв-
ные кривые. Для большей наглядности кривые, полученные при про-
гнозировании, смещены так, как показано стрелкой. Под кривыми при-
ведены точки, разброс которых характеризует точность прогнозиро-
вания.
Хочется здесь обратить внимание на то обстоятель-
ство, что записанной выше модели нельзя дать какого-
либо разумного физического истолкования. Запись та-
кой модели — это чисто эвристический прием, позволяю-
§ 4] ИЗУЧЕНИЕ ПРОЦЕССОВ, ПРОТЕКАЮЩИХ ВО ВРЕМЕНИ 135
щий построить и как-то объяснить алгоритм, в основе
которого заложены интуитивно совершенно очевидные
представления о необходимости учитывать временное из-
менение нестационарности.
Заканчивая настоящий параграф, следует обратить
внимание на то, что изложенные здесь приемы и методы
не входят в курсы теории случайных процессов, тра-
диционно читаемые в университетах; их нельзя найти
и в тех многочисленных монографиях и руководствах,
где теория случайных процессов излагается в совершен-
но абстрактном плане как чисто математическая дисцип-
лина. Развитие прикладной ветви теории случайных про-
цессов идет своим путем. Здесь делается попытка полу-
чить ответы на те вопросы, которые возникают при ана-
лизе реальных экспериментальных ситуаций, причем
подчас очень мало используется глубокое математическое
содержание абстрактно построенной теории.
Несколько слов о книгах. Здесь надо обратить вни-
мание на книгу Свешникова «Прикладные методы теории
случайных функций» [85] и упоминавшуюся уже ранее
книгу Грэнжера и Хатанаки [81]. В первой делается
попытка приблизиться к решению прикладных задач,
исходя из строгой математической теории. Вторая книга,
написанная под сильным влиянием крупнейшего амери-
канского статистика Тьюки, исходит в большой степени
из возможности эвристического подхода к решению при-
кладных задач. Правда, в ней рассматриваются только
задачи экономики. Но нет сомнения в том, что решения,
найденные для анализа временных рядов в экономике,
можно легко перенести и в совсем другие области — в
физику, химию, технологию.
Заканчивая эту главу, нужно сделать одно предо-
стережение. Нам не хотелось бы, чтобы у читателя
сложилось превратное мнение о всемогуществе изложен-
ных здесь приемов и методов. Есть, по-видимому, много
задач, связанных с рассеянием случайной величины,
которые нельзя решить в рамках развитого выше форма-
лизма. В одной из наших работ [86] при изучении рас-
пределения дислокаций на образцах германия мы стол-
кнулись со смешанными функциями распределения (эта
задача нами уже обсуждалась на стр. 30), которые очень
136 МЕТОДЫ, ОСНОВАННЫЕ НА ИЗУЧЕНИЙ РАССЕЯНИЙ (ГЛ. Ш
плохо описываются, даже при использовании третьих
моментов. Вместе с тем, опытные металловеды ранжи-
руют образцы германия по характеру распределения дис-
локаций так, что их результаты в высокой степени кор-
релированы. Поэтому в данной задаче оказалось вполне
естественным отказаться от традиционного статистическо-
го анализа и перейти к системе классификаций по зри-
тельному образу [86]. До сих пор остается неясным, удаст-
ся ли использовать развитые выше представления при
анализе и описании энцефаллограмм и кардиограмм,
или там также придется ограничиться топологическими
методами, основанными на анализе зрительного образа.
ГЛАВА IV
МЕТОДЫ, ОСНОВАННЫЕ НА ОПТИМАЛЬНОМ
ИСПОЛЬЗОВАНИИ ПРОСТРАНСТВА
НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ
§ 1. Линейная модель
Выше в гл. II мы уже говорили о том, что оптималь-
ное использование пространства независимых перемен-
ных — это одна из тех принципиально новых идей, которые
внесла математическая статистика в теорию экспери-
мента. Проиллюстрируем сейчас эту идею совсем про-
стым примером — задачей о взвешивании трех объектов
А, В и С. Традиционно исследователь, скажем, химик-
аналитик, стал бы взвешивать эти объекты по схеме,
приведенной в табл. 4.1. Вначале он делает холостое
Таблица 4.1
Традиционная схема взвешивания
трех объектов*)
Номер
опыта
АВС
Результат
взвешивания
1 —1 —1 — 1
2 +1 —1 -1
3 -1 +1 -1
4 -1 -1 +1
Уо
У1
Уа
Уз
♦) -J-1 указывает, что объект взвеши-
вания положен на весы, — 1 указывает
на отсутствие объекта на весах.
взвешивание, определяя нулевую точку весов, затем по
очереди взвешивает каждый из объектов. Это пример
138
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
традиционно используемого однофакторного эксперимен-
та. Здесь исследователь изучает поведение каждого фак-
тора в отдельности. Вес каждого объекта оценивается
только по результатам двух опытов: того опыта, где на
весы был положен изучаемый объект, и холостого опыта.
Например, вес объекта А равен
А = У1 — у0.
Дисперсия результатов взвешивания запишется в виде
{4} = = 2а2 {у},
где в {у} — ошибка взвешивания.
Проведем теперь тот же эксперимент по несколько
иной схеме, задаваемой теперь уже матрицей планиро-
вания, т. е. матрицей независимых переменных, приве-
денной в табл. 4.2.
Таблица 4.2
Матрица независимых переменных
при взвешивании трех объектов
А, В и С
Номер опыта А в с Результат взвешивания
1 —1 —1 +1 У1
2 +1 —1 —1 У2
3 —1 +1 —1 Уз
4 +1 +1 +1 У4
Здесь в первых трех опытах последовательно взвеши-
ваются объекты А, В, С, в последнем опыте взвешивают-
ся все три объекта вместе — «холостое» взвешивание не
производится.
Легко видеть, что вес каждого объекта будет зада-
ваться формулами
Л __ — + ?/2 — УЗ + 1/4
А- 2 ,
В = ~ У* ~~ У* + У8 + У4
С = 7/1 ~ У2 ~ У8 + У*
ЛИНЕЙНАЯ МОДЕЛЬ
139
$ 11
Здесь числители получены путем умножения элемен-
тов последнего столбца на элементы столбцов А, В и С.
Мы видим, что при вычислении, скажем, веса объекта А
он входит в числитель два раза, и поэтому в знаменателе
стоит число 2. Вес объекта А, вычисленный по приведен-
ной выше формуле, оказывается не искаженным весами
объектов В и С, так как вес каждого из них входит в фор-
мулу для веса А дважды и с разными знаками.
Найдем теперь дисперсию, связанную с ошибкой взве-
шивания, при новой схеме постановки экспериментов; она
равна
о2 {4} = 03 + + = = бз{у}<
Аналогичным образом находим о2 {5} = о2 {у} и
{С} = а2 {у}. Мы видим, что при новой схеме взве-
шивания дисперсия получается вдвое меньше, чем при
традиционном методе взвешивания, хотя в обоих случаях
выполнялось по четыре опыта. При традиционном взве-
шивании мы должны будем все четыре опыта повторить
дважды, для того чтобы получить результаты с той же
точностью, как в первом опыте. За счет чего происходит
увеличение точности эксперимента в два раза? В первом
случае эксперимент был поставлен так, что каждый вес
мы получали лишь из результатов двух опытов. При
новой схеме эксперимента каждый вес вычисляется уже
из результатов всех четырех опытов. Отсюда и удвоение
точности. Вторую схему эксперимента можно назвать
многофакторной. Здесь оперируют всеми факторами (объ-
ектами взвешивания) так, чтобы каждый вес вычислять
по результатам всех опытов, проведенных в данной серии
экспериментов. Рассмотренная задача взвешивания ре-
шается слишком простой операцией, и вряд ли здесь
нужно применять сложные схемы планирования экспе-
римента х). Но ведь по такой же схеме можно проводить
и значительно более трудоемкие эксперименты.
Сходными приемами удается решать и более сложные
задачи. Пусть, например, нам априори известно, что
х) Существует множество публикаций, посвященных планам
взвешивания для более сложных задач, но онп до сих пор не систе-
матизированы.
140
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
(ГЛ. IV
выход некоторого продукта ц линейно зависит от трех
переменных (факторов) х±, х2 и х3. В частном случае это
может быть, скажем, температура, давление и содержа-
ние некоторого компонента. Нам нужно оценить значе-
ния коэффициентов регрессии линейного уравнения
'П = ₽о + Pi^i + + Рз*з-
Каждую из переменных будем варьировать только на двух
уровнях и будем кодировать эти уровни знаками «—1»
и «+1». Если, скажем, температура в наших опытах при-
нимает два значения 100° и 120°, то нижний уровень
для температуры обозначим через «—1», а верхний —
через « + 1». Воспользуемся для постановки опытов матри-
цей планирования, приведенной в табл. 4.3. Здесь,
Таблица 4.3
Планирование эксперимента
для линейной модели с тремя
независимыми переменными
Номер
опыта
План
Хо Xi х» х3
Результаты
эксперимента
У
1
2
3
4
_|_1 -1 -1 _[4
4-1 4-1 —1 —1
4-1 -1 +i _1
4-1 4-1 4-1 4-1
У*
уз
У*
по сути дела, та же схема планирования, что и в табл.
4.2, только факторы Л, В и С заменены независимыми
переменными х^ х2 и х3 и добавлен еще столбец «фиктив-
ной» переменной х0 для оценки свободного члена (Jo.
В соответствии с этой таблицей, эксперименты выпол-
няют следующим образом: в первом опыте переменные
X! и х2 находятся на нижних уровнях, а переменная
х3 — на верхнем уровне; во втором опыте переменная
Xi находится на верхнем уровне, а переменные х2 и х3 —
на нижних уровнях и т. д.
Допустим теперь, что мы имеем дело уже с семью
независимыми переменными, варьируемыми также толь-
§ 11
ЛИНЕЙНАЯ МОДЕЛЬ
141
ко на двух уровнях. Тогда для планирования эксперимен-
та мы можем использовать матрицу, приведенную в
табл. 4.4. Здесь, как и в предыдущем случае, число
Таблица 4.4
Планирование эксперимента для линейной
модели с семью независимыми переменными
План
хо X, X, X» Х4 X, Х< X?
Результаты
эксперимента
У
4-1 -1 -1 -1 +1 4-1 4-1 _1
4-1 +1 _1 -1 -1 -1 +1 +1
4-1 -1 4-1 -1 -1 4-1 —1 4-1
4-1 4-1 4-1 —1 4-1 _1 —1 _i
4-1 —1 —1 4-1 4-1 —1 —1 4-1
4-1 4.1 _1 44 —1 4-1 -1 _1
4-1 -1 4-1 4-1 -1 —1 4-1 -1
4-1 4-1 +1 +1 +1 +1 4-1 +1
У1
У*
Уз
2/4
2/о
2/6
2/7
2/8
опытов только на единицу превосходит число незави-
симых переменных. Такие планы мы будем называть
насыщенными, поскольку здесь все степени свободы
f = N = к 4- 1 используются для оценки к 4- 1 коэффи-
циентов регрессии:
^о~^Ро> Ьк—»pR.
Планы, приведенные в табл. 4.3 и 4.4, обладают
следующими свойствами:
N
2 riu = °’
U=1
N
S
U=1
Ж
~ 0.
u=i
Первое из этих условий — условие симметричности пла-
нов, второе — условие нормировки, третье — условие
142
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. 1V
ортогональности: скалярные произведения^для всех векто-
ров-столбцов равны нулю. Это значит, что матрица ко-
вариаций вектора параметров уравнения регрессии (Х*Х)-1
диагональна г), т. е. все ковариации cov {Ь^} равны ну-
лю и, следовательно, все коэффициенты регрессии опре-
деляются назависимо друг от друга. Из второго условия
следует, что все диагональные элементы матрицы (Х*Х)-1
равны 1/7V. Система нормальных уравнений распадается
на (к + 1) независимых уравнений. Отсюда следует, что
коэффициенты регрессии определяются формулами
N
с дисперсией
где, напомним еще раз, N = к + 1.
Вернемся теперь к обсуждению плана, заданного
табл. 4.4. Семь интересующих нас коэффициентов регрес-
сии можно было бы оценить обычным, традиционным,
однофакторным экспериментом. Один опыт был бы постав-
лен так, чтобы все независимые переменные были на ниж-
нем уровне, а дальше следовало бы семь опытов, в каждом
из которых по очереди одна из переменных переводилась
бы на верхний уровень. Для некоторого i-ro опыта такой
прием графически можно было бы представить так, как
было показано на рис. 2.4 (см. стр. 5э). Тогда мы по-
лучили бы коэффициенты регрессии с дисперсией
оj {bj} = а2 {у}/2. Выполняя опыты по схеме, при-
веденной в табл. 4.4, при том же общем их числе, мы
Напомним здесь, что в матричных обозначениях вектор-стол-
бец Ь коэффициентов регрессии задается соотношением
Ь = (Х*ХР Х*у,
причем
б2 {.^} = с..б2 {у}- cov {b.b.} = С.;б2 {</},
где сц и — диагональные п, соответственно, вне диагональные
элементы матрицы (Х*Х)-1; поэтому последняя (или матрица
(Х*Х)“1А’) называется ковариационной матрицей уравнения регрес-
сии или просто матрицей ошибок; матрица Х*Х (или (Х*Х)Л¥)
называется тогда информационной матрицей Фишера.
§ Л
ЛИНЕЙНАЯ МОДЕЛЬ
143
получаем коэффициенты регрессии с дисперсией о2 {bi} =
= <*2 {у}/ (А + 1) = а2 {у}/8. В данном случае мы выиг-
рываем в точности в четыре раза.
При новой схеме постановки опытов в знаменателе
выражения, задающего дисперсию, у нас стоит сумма
к + 1, где к — число независимых переменных. Отсюда
следует, что с ростом числа независимых переменных к,
включенных в исследование, эффективность многофактор-
ного эксперимента будет расти как к + 1.
Рис. 4.1. График, иллюстрирующий зависимость ошибки в оценке
коэффициента регрессии = tga от расстояния между точками,
в которых производятся измерения.
Зачерненные кружки — истинные значения, светлые кружки — значе-
ния, отсчитанные с ошибками.
Попробуем дать этому явлению геометрическое истол-
кование. Ясно, что в линейных задачах коэффициенты
регрессии определяются тем точнее, чем больше радиус
обследуемой сферы. В однофакторной задаче это легко
проиллюстрировать графиком, приведенным на рис. 4.1.
Здесь мы видим, что если две точки, в которых произ-
водятся измерения, располагаются близко друг к другу,
то даже небольшая ошибка в эксперименте вызывает
большую ошибку в оценке коэффициента регрессии. Чем
дальше разнесены точки, тем точнее оценивается коэф-
фициент регрессии при тех же ошибках в эксперименте.
В реальной исследовательской работе мы, однако, не мо-
жем сколь угодно увеличивать радиус обследуемого про-
странства. Здесь надо учитывать по крайней мере два
обстоятельства: 1) границы интервалов варьирования
часто бывают жестко заданы, исходя из соображений,
144
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
связанных с техникой эксперимента; 2) с увеличением
интервалов варьирования нередко затрудняется возмож-
ность линейной аппроксимации — появляется необхо-
димость в приближении результатов полиномом более

Рис. 4.2. Куб, которым заданы границы об-
следуемого пространства независимых пе-
ременных, и тетраэдр (правильный трех-
мерный симплекс), вершинами которого за-
дан насыщенный линейный ортогональный
план.
высокого порядка. Оказывается, что, используя много-
факторные планы, мы увеличиваем радиус обследуемой
сферы просто за счет свойств многомерного простран-
ства, не увеличивая при этом интервалов варьирования
по каждой переменной в отдельности. Проиллюстрируем
это задачей с тремя независимыми переменными. Если
каждая из переменных варьируется на двух уровнях,
а именно, —1 и 4-1, то объем обследуемого пространства
ограничен кубом, координаты вершин которого задаются
перестановкой чисел (+1, +1, +1). План, представлен-
ный в табл. 4.3, оказывается, как нетрудно видеть (рис.
4.2), заданным координатами точек, которые являются
подмножеством вершин куба и образуют правильный тет-
раэдр, или, как говорят в математике, правильный сим-
плекс г). Опишем мысленно вокруг симплекса сферу —
х) Симплекс — простейшая фигура. На плоскости — это тре-
угольник, в трехмерном пространстве — тетраэдр и т. д.
ЛИНЕЙНАЯ МОДЕЛЬ
145
§ П
ее радиус, очевидно, равен г = 1^3. Сделаем то же самое
для задачи с семью переменными. Здесь план задается
координатами вершин правильного симплекса в семи-
мерном пространстве и радиус обследуемой сферы уже
равен г = У1. Мы видим, как с ростом числа независимых
переменных растет радиус обследуемой сферы, хотя ин-
тервалы варьирования по каждой независимой перемен-
ной остаются по-прежнему теми же. Итак, переходя от
традиционного однофакторного эксперимента к много-
факторному, мы увеличиваем радиус обследуемой сферы
просто за счет свойств многомерного пространства и в
результате этого резко повышаем эффективность нашего
эксперимента. Почему же студентов везде учат ставить
эксперименты так, чтобы каждый фактор варьировать
по очереди? Этот вопрос остается без ответа.
Перечислим теперь все свойства планов, удовлетво-
ряющие условиям, указанным на стр. 141. Геометрически
эти планы задаются координатами вершин правильных
симплексов. Планы ортогональны — все коэффициенты
регрессии оцениваются независимо друг от друга. Все
коэффициенты регрессии в пространстве размерности к
оцениваются с одной и той же дисперсией a2 =
— О’2 {у} / (& + !)• Можно строго показать, что эти пла-
ны выбраны на множестве всех возможных планов в за-
данной области так, что дисперсия оценок оказывается
минимальной. Далее, такие планы ротатабельны. Это
значит, что полученное по ним уравнение регрессии обла-
дает тем свойством, что дисперсия предсказанного зна-
чения зависит только от радиуса, проведенного из центра
экспериментах). Если принять за меру информации
х) Это свойство следует из того, что все коэффициенты регрессии
оцениваются с одной и той же дисперсией, равной o2{y}/7V. Применяя
закон накопления ошибок к уравнению регрессии
Л = bo + biXi + b2x2 + 5^,
получаем
*2 {П} = ~у^(1+г2),
где * *
^=2 4
i-1
146
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
(ГЛ. IV
величину 1/о2 {ц}, то можно утверждать, что информа-
ция, содержащаяся в уравнении регрессии, полученном
для ротатабельного плана, равномерно «размазана» по
сфере (в общем случае гиперсфере) с радиусом г. Иссле-
дователь не знает заранее той области факторного про-
странства, где находится интересующий его участок.
Поэтому представляется вполне разумным стремиться
к такому планированию эксперимента, при котором ко-
личество информации, содержащееся в уравнении регрес-
сии, одинаково для всех эквидистантных точек. Итак,
мы видим, что рассматриваемые нами линейные планы
обладают целым рядом приятных свойств, и можно ска-
зать, что они оптимальны в широком смысле.
Поговорим теперь немного о том, как строятся такие
планы. Начнем опять с двух независимых переменных,
варьируемых на двух уровнях. Тогда легко видеть, что
план, задаваемый всеми возможными комбинациями уров-
ней этих переменных, будет состоять из четырех опытов,
Таблица 4.5
Матрица независимых
переменных X
для полного факторного
эксперимента типа 22
План

+1 -1 +1
4-1 4-1 __1 -1
4-1 —1 4-1 __1
4-1 4-1 4-1 4-1
представленных средней частью табл. 4.5. Это планиро-
вание принято называть полным факторным эксперимен-
том типа 22 (в общем случае 2\ где показатель степени к
указывает на число независимых переменных, а основа-
ние 2 — на число уровней, на которых варьируются пере-
менные). Пользуясь полным факторным экспериментом
можно оценить коэффициенты уравнения регрессии,
Л = Ро 4- £1*1 + Р‘2*2 4- £12*1*2 ?
§ 1] ЛИНЕЙНАЯ МОДЕЛЬ 147
которое содержит уже один нелинейный член pi2xix2.
Если априори есть основания полагать, что £12 = 0, то
в матрице независимых переменных, заданной табл. 4.5,
можно приравнять = х3, и тогда получится план
для трех независимых переменных, задаваемый табл. 4.3.
Это уже планирование в трехмерном пространстве. Ес-
ли же в действительности окажется, что в нашей зада-
че р12 0, то коэффициент &3, оцененный по плану, за-
данному табл. 4.3, будет оценкой для суммы 03 + 012,
что можно записать следующим образом: Ь3 —> £3 +
такие оценки называются совместными.
Проиллюстрируем понятие совместных оценок одним простым
примером. Если исследователь реализовал насыщенный линейный
план, то у него не остается степеней свободы для проверки гипоте-
зы адекватности линейного приближения. Но здесь он может вос-
пользоваться тем обстоятельством, что свободный член есть совмест-
к
ная оценка, т. е. to -> Зо + 2(если Дополнить матрицу независи-
i=l
мых переменных столбцами с элементами xx2, то последние тождест-
венно равны элементам столбца х0; напомним, что обозначает
коэффициент регрессии при Если теперь поставить эксперимент
в центре планирования, т. е. в точке с координатами (0, 0, 0...0),
то здесь мы получим уже несмещенную оценку у0 -> 0О. Поэтому
если разность 60 — у0 окажется статистически значимой, то это
будет указывать на неадекватность линейной модели, т. е. на то, что
хотя бы часть коэффициентов не равна нулю.
Перейдем теперь к рассмотрению полного факторного
эксперимента типа 23. Соответствующая ему матрица
независимых переменных записана в табл. 4.6. Здесь
мы можем оценить свободный член, три линейных члена,
три члена с парными взаимодействиями типа ^x^Xj
и одно тройное взаимодействие Посмотрим
теперь внимательно, как построена табл. 4.6. Здесь
ядром является полный факторный эксперимент 22, взя-
тый для двух переменных х± и х2. Он повторен дважды:
один раз для значений х3 = —1, другой раз для значе-
ний х3 = + 1. Далее, элементы всех остальных столбцов
получены путем соответствующего перемножения первых
трех столбцов матрицы планирования. Если мы захотим
построить план 2*, то поступим так же: повторим дважды
план 23 — один раз для значений = —1, другой раз
148
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
(ГЛ/ V
Таблица 4.6
Матрица независимых переменных X
для полного факторного эксперимента
типа 23
*0 План X, XtX, Х,Х* ХэХз X1X3X3
х,
+1 -1 —1 -1 4-1 4-1 4-1 —1
+1 +1 -1 —1 -1 -1 4-1 4-1
+1 -1 +1 -1 —1 4-1 -1 4-1
+1 +1 4-1 -1 4-1 —1 -1 —1
+1 —1 -1 +1 4-1 -1 -1 4-1
+1 4-1 -1 4-1 —1 +1 -1 —1
+1 —1 4-1 +1 —1 -1 4-1 —1
+1 4-1 4-1 4-1 +1 4-1 4-1 4-1
для значении я4 = +1. Теперь обратим внимание на то,
что план для семи независимых переменных, заданный
табл. 4.4, получен из матрицы независимых перемен-
ных плана 23 (см. табл. 4.6), в которой три парных произве-
дения типа и одно тройное произведение замены,
соответственно, на я4, я5, и я7. И еще одно наблюдение:
план для трех независимых переменных, записанный
табл. 4.3, состоит из четырех строчек, входящих в мат-
рицу планирования полного факторного эксперимента
23 (см. табл. 4.6). Если теперь в матрице планирования,
заданной табл. 4.3, заменить все знаки на обратные,
то мы получим вторую половину матрицы планирования
полного факторного эксперимента типа 23. Поэтому план
для трех независимых переменных, заданный табл. 4.3,
называется полурепликой полного факторного экспери-
мента и обозначается так: 23"1. Легко видеть, что план
для семи независимых переменных, заданный табл. 4.4,
есть 1/16-реплика полного факторного эксперимента 27;
он обозначается так: 27-4.
Читателю уже, вероятно, ясно, что при большом
числе независимых переменных можно по-разному выби-
рать дробные реплики: в одном случае это будут насы-
щенные линейные планы, в другом — планы, в которых
сохраняются несмещенными некоторые интересующие ис-
следователя парные взаимодействия. Основной идеей дроб-
J11
ЛИНЕЙЙАЯ МОДЕЛЬ
149
ных реплик является построенйё ортогональных пла-
нов, в которых эффекты высших порядков (появление
которых маловероятно в задаче данного типа) смеши-
ваются с какими-то новыми эффектами. Таким способом
можно производить и разбиение планов на ортогональ-
ные блоки. Допустим, что нам надо поставить восемь
опытов в условиях, когда имеются лишь совсем неболь-
шие партии однородного материала — такие, что каж-
дой партии хватает только на четыре опыта. Тогда есте-
ственно планирование, заданное, скажем, табл. 4.6, раз-
бить на два блока — один из них будет включать строки,
в которых тройное взаимодействие х^хох^ находится на
уровне —1, другой на уровне +1. Это эквивалентно тому,
что межблоковый эффект смешан с тройным взаимо-
действием: ^12зРб + Р123- Вейлу ортогональности пла-
нирования, все остальные коэффициенты регрессии не бу-
дут искажены эффектом неоднородности материала.
Насыщенные ортогональные планы, обладающие мини-
мальными (и равными) дисперсиями коэффициентов рег-
рессии, можно построить для пространства размерности к,
которое удовлетворяет условию: к + 1 кратно четырем.
В пространствах других размерностей х) можно пользо-
ваться почти столь же оптимальными насыщенными сим-
плекс-планами, построенными с помощью ЭВМ [88].
Иногда в линейных задачах разумно пользоваться и нена-
сыщенными планами, используя оставшиеся степени сво-
боды для проверки гипотезы адекватности. Например,
при работе с двумя переменными представляется естест-
венным использовать полный факторный эксперимент
типа 22, где одна степень свободы остается для проверки
гипотезы адекватности (проверяется гипотеза £12 — 0).
Легко видеть, что план типа 22, задаваемый геометриче-
ски квадратом на плоскости, можно рассматривать как
проекцию правильного трехмерного симплекса (правиль-
ного тетраэдра) на плоскость; аналогичным образом можно
*) Если размерность пространства независимых переменных та-
кова, что к + 1 не кратно четырем, то с помощью ЭВМ вращают
симплекс-план (центр которого совпадает с центром ограничиваю-
щего куба) до тех пор, пока не будет найдена ориентация, при ко-
торой дисперсия оценок коэффициентов регрессии окажется мини,
мальной. Матрицы планирования таких планов каталогизированы-
Ifirt ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА (ГЛ. IV
дать геометрическую интерпретацию и для ненасыщен-
ных планов более высокой размерности — во всех слу-
чаях мы будем иметь дело с проекциями правильных
симплексов на пространство меньшей размерности.
В заключение обратим внимание на то, что в данном
параграфе полный факторный эксперимент и его дробные
реплики мы рассматривали в терминах регрессионного
анализа. Естественно, что те же задачи можно было бы
рассматривать и в терминах дисперсионного анализа.
В частности, первую из рассмотренных в данном парагра-
фе задач — задачу взвешивания трех объектов Л, В и С —
естественно излагать в терминах дисперсионного анализа
для модели с тремя факторами. Статистическую значи-
мость найденных величин можно оценить, учитывая ошиб-
ку опыта и т. д. Здесь хочется обратить внимание на глу-
бокую связь между моделями регрессионного анализа
и теми моделями дисперсионного анализа, где переменным
приписываются фиксированные уровни. При такой по-
становке задачи дисперсионный анализ можно рассматри-
вать как частный регрессионный, когда область незави-
симых переменных — конечное множество точек.
Несколько слов о литературе. Подробное изложение
методов построения дробных реплик, разбиения на орто-
гональные блоки и пр. можно найти в книге [11]. Теория
ортогональных линейных насыщенных планов впервые
систематизирована в работе Горского и Бродского [88];
они доказали несколько новых важных теорем и упрости-
ли доказательства ряда ранее уже известных.
§ 2. Планирование экстремальных экспериментов.
Представление результатов эксперимента
поверхностью отклика
Бокс и Уилсон [89] предложили новое решение старой
задачи — отыскания оптимальных условий протекания
химических, физических и металлургических процессов.
В ней рассматриваются процессы, зависящие от многих
факторов, в условиях, когда механизм этих процессов
неизвестен. В таком случае естественно прибегать к пред-
ставлению результатов наблюдений полиномиальной мо-
делью, о которой мы уже говорили выше (см. гл. I). Что-
§ 21 ЭКСТРЕМАЛЬНЫЕ ЭКСПЕРИМЕНТЫ 151
бы избежать необходимости использования полиномов
высокого порядка, был предложен шаговый метод изу-
чения поверхности отклика, напоминающий итерацион-
ный метод решения задач вычислительной математики.
Исследователь вначале ставит небольшую серию опытов
для локального описания малого участка поверхности
отклика полиномом первой степени. Далее он движется
по поверхности отклика в самом «крутом направлении» —
в направлении градиента линейного приближения. Если
одного линейного приближения оказывается недостаточ-
но, то ставят новую небольшую серию опытов и находят
новое направление для движения по поверхности откли-
ка. Такой шаговый процесс продолжается до тех пор,
пока исследователь не попадет в «почти стационарную об-
ласть», где линейное приближение оказывается уже не-
возможным; здесь ставится большая серия опытов и по-
верхность отклика описывается полиномом второго, а
иногда (хотя и редко) третьего порядка. При таком под-
ходе к задаче достигается весьма высокая концентрация
опытов в той части поверхности отклика, которая преиму-
щественно интересует исследователя.
Графически движение по градиенту представлено на
рис. 4.3, в задаче с двумя независимыми переменными.
На графике нанесены кривые равного выхода для одно-
го из технологических процессов. Эти кривые аналогичны
кривым равной высоты на географических картах. По-
строив нормали к кривым равного выхода, получим век-
торные линии градиента скалярного поля, заданного
функцией отклика. Движение из точки О в направлении
ОР (направление нормали к контурной кривой) соответ-
ствует наиболее крутому пути подъема по поверхности
отклика (отсюда и название метода — метод крутого
восхождения), В направлении ОР исследователь будет
двигаться до тех пор, пока не попадет в точку Q. В окрест-
ности точки Q нужно поставить вторую серию опытов
и заново найти локальное линейное приближение поверх-
ности отклика. Для сравнения на том же рисунке пока-
зано пунктиром движение по поверхности отклика при
однофакторном эксперименте. В этом случае двигаются
попеременно, сначала изменяя одну переменную и фик-
сируя другую, а затеи, изменяя вторую переменную и
152
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
фиксируя первую. Этот цикл попеременного движения
повторяется много раз — получается своеобразное блу-
ждание по лабиринту, который усложняется с ростом
числа независимых переменных.
Рис. 4.3. Два способа движения к экстре-
муму — движение по градиенту и движе-
ние по методу однофакторного эксперимен-
та, когда последовательно фиксируется по-
ложение то одной, то другой переменной.
Контурные кривые характеризуют процент выхо-
да для данного технологического процесса.
Движение по градиенту уже давно известно в науке.
Существенно новым в работе [89] было использование
градиента в сочетании с дробным факторным экспери-
ментом для локального описания поверхности отклика.
Этим, собственно, и определился успех метода крутого
восхождения.
При изучении почти стационарной области возникает
ряд новых сложных проблем. Если мы хотим описать
эту часть поверхности отклика полиномом второго по-
рядка, то переменные нужно варьировать уже на трех
уровнях. Возникает сложная задача построения таких
планов. Здесь прежде всего нужно выбрать какой-то
достаточно разумный критерий оптимальности. Во вся-
ком случае, с самого начала было ясно, что планы полно-
§ 21
ЭКСТРЕМАЛЬНЫЕ ЭКСПЕРИМЕНТЫ
153
го факторного эксперимента типа Зк здесь неприемлемы,
так как они потребуют слишком большого числа опытов.
В работе [89] была выдвинута идея построения ком-
позиционных планов, ядром которых служат линейные
ортогональные планы. Предполагается, что, попав в поч-
ти стационарную область, исследователь сначала ставит
*
I
Рис. 4.4. Композиционный план второго
порядка в задаче с тремя независимыми
переменными.
опыты, используя линейные планы. Затем, убедившись
в том, что гипотеза линейности здесь не проходит, он
достраивает линейный план до плана второго порядка;
отсюда и само название — композиционный план. Пояс-
ним стратегию построения композиционного плана на
примере задачи с тремя переменными (рис. 4.4). Сначала
исследователь поставил опыты по линейному плану в точ-
ках, задаваемых вершинами правильного симплекса. Эти
точки, как уже говорилось, являются подмножеством
вершин того куба, которым задаются границы варьиро-
вания переменных в линейной задаче. На рис. 4.4 они
обозначены зачерненными кружками. Далее ставится
эксперимент в центре куба для проверки гипотезы адек-
ватности (см., например, стр. 147). Если гипотеза адек-
ватности не проходит, то достраиваются вершины куба
(незачерненные точки) и затем добавляется еще часть
154
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
так называемых «звездных» точек, образующих октаэдр.
На рисунке эти точки обозначены звездочками — здесь
мы видим, что при переходе к плану второго порядка
границы варьирования переменных расширяются. В ре-
зультате получается композиционный план второго по-
рядка, содержащий (при к = 3) всего лишь 15 точек
(полный факторный эксперимент типа З3 содержал бы
уже 27 точек).
Здесь возникает деликатная задача — как выбрать
расстояние а до звездных точек. Вначале Бокс и Уилсон
предложили так выбирать плечо а, чтобы план второго
порядка оставался ортогональным, т. е. чтобы скалярные
произведения всех векторов-столбцов в матрице незави-
симых переменных были равны нулю. Но скоро выясни-
лось, что ортогональность нельзя считать хорошим кри-
терием. Во всяком случае, в планах второго порядка ор-
тогональность имеет меньшее значение, чем в планах
первого порядка, поскольку на начальных стадиях ис-
следования принято включать в программу значитель-
ное число переменных, часть которых потом отсеивается
(в силу малого влияния на изучаемый процесс). На ста-
дии отсеивания, конечно, очень важно иметь ортогональ-
ные планы, позволяющие получать независимые оценки,
которые остаются несмещенными и после отбрасывания
части исследуемых переменных. Далее выяснилось, что
ортогональные планы второго порядка оказываются уже
не ротатабельными и дисперсии в оценках коэффициен-
тов регрессии у них отнюдь не минимальны. В последую-
щей работе Бокс и Хантер [90] предложили использовать
при построении планов второго порядка критерий рота-
табельности. Смысл этого критерия, как уже говорилось
выше, легко понятен с позиций экспериментатора. По-
добные планы нашли очень широкое применение на прак-
тике, хотя с точки зрения математиков, занимающихся
развитием математической статистики, выбор такого кри-
терия представлялся малообоснованным — он не вытекал
логически из тех идей, па которых базируется математи-
ческая статистика. Позднее, по мере развития методоло-
гических работ по планированию эксперимента стала вы-
ясняться недостаточность этого эмпирико-интуитивного
критерия. Появилось множество ротатабельных планов
§ 2J
ЭКСТРЕМАЛЬНЫЕ ЭКСПЕРИМЕНТЫ
155
(при одном и том же к), для сопоставления которых не
оказалось критерия. Наряду с ротатабельными компо-
зиционными планами были предложены интересные с
практической точки зрения неротатабельные композицион-
ные планы. Становилось ясно, что для сопоставления этих
планов надо каким-то образом ввести критерий, учиты-
вающий дисперсию оценок. Как ортогональные, так и
ротатабельные композиционные планы второго порядка,
построенные по схеме, задаваемой рис. 4.4, оказывались
в этом отношении совсем неудачными. Выше мы уже го-
ворили, что оптимальность линейных симплекс-планов
обусловливается тем, что в них оптимальным образом
используется пространство независимых переменных, вы-
деленное для эксперимента — вершины симплекса, обра-
зующие план, являются подмножеством вершин того
куба, которым ограничивается область варьирования
независимых переменных. При переходе к планам вто-
рого порядка принцип оптимального использования про-
странства независимых переменных оказался нарушен-
ным. Это легко пояснить, обратившись к геометрическо-
му изображению плана, представленного на рис. 4.4.
Здесь границы варьирования независимых переменных
задаются уже кубом, координаты которого образуются
не перестановкой чисел (±1, +1» ±4)» а перестановкой
(+а, zfca)» гДе I а I 5* 1. Углы такого куба не исполь-
зуются при построении плана, т. е. не все пространство
независимых переменных, отведенное для эксперимента,
используется в композиционных планах.
Одновременно с развитием концепции Бокса в США
стало развиваться второе, чисто теоретическое, направ-
ление в планировании эксперимента. Наибольший вклад
в это направление внес Кифер (подробнее см. обзорную
работу [91]). Он рассмотрел несколько различных кри-
териев оптимальности и установил связь между некото-
рыми из них. Оказалось, что для отдельных видов регрес-
сии одни и те же планы могут отвечать сразу нескольким
критериям оптимальности. Мы остановимся здесь под-
робно на одном из них — на критерии D-оптимальности.
Это критерий совместно эффективных оценок парамет-
ров уравнения регрессии. Естественно выбирать планиро-
вание, обеспечивающее минимальный объем эллипсоида
156
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
рассеяния оценок параметров при постановке опытов в
заданной области. План, отвечающий такому требованию,
называется D-оптимальным.
Чтобы удовлетворить требованию D-оптимальности,
нужно на множестве всех планов X в заданной области
пространства выбрать такой, который максимизирует
определитель информационной матрицы (Х*Х) / N. Мож-
но сформулировать и ряд других критериев оптимальности,
учитывающих также поведение дисперсий оценок. Пере-
числим эти критерии. План называется Л-оптимальным,
если он минимизирует сумму квадратов главных полу-
осей эллипсоида рассеяния оценок. На языке матричной
алгебры это означает минимизацию следа (суммы диаго-
нальных элементов) ковариационной матрицы уравнения
регрессии (X*X)~W. /^-оптимальный план минимизиру-
ет максимальную ось эллипсоида рассеяния, что эквива-
лентно минимизации максимального характеристическо-
го значения ковариационной матрицы уравнения рег-
рессии. Наконец, план называется G-оптимальным, если
он обеспечивает наименьшую, по всем планам, максималь-
ную величину дисперсии предсказанных значений функ-
ции отклика в области планирования эксперимента. Если
обобщить понятие плана и ввести непрерывные планы, за-
даваемые вероятностной мерой (не приводящей после
умножения на N к целочисленным значениям), то можно
доказать следующую очень важную теорему (Кифер,
Вольфковиц): план D-оптимален тогда и только тогда,
когда он G-оптимален и когда максимальная дисперсия
предсказанного значения функции отклика равна числу
неизвестных параметров.
Концепция Кифера служит естественным продолже-
нием одного из основных направлений современной мате-
матической статистики — теории эффективных оценок Фи-
шера. В этой теории эффективность оценок задается только
оптимальным способом обработки результатов наблюдений.
В концепции Кифера эффективность обусловливается еще
и оптимальным расположением точек в пространстве
независимых переменных. Если в эмпирико-интуитив-
ном подходе Бокса использовались сравнительно простые
математические средства — линейная алгебра, то Кифер
применяет уже достаточно сложную современную мате-
§ 2] ЭКСТРЕМАЛЬНЫЕ ЭКСПЕРИМЕНТЫ 157
матику, включая такие ее разделы, как функциональ-
ный анализ и теория множеств.
Строгая теория Кифера, в отличие от интуитивного
подхода Бокса, долго не находила практического при-
менения. Планы, построенные в соответствии с концеп-
цией D-оптимальности, требовали слишком много наблю-
дений; например, при числе независимых переменных
к = 5 требовалось более 1000 наблюдений. Лишь срав-
нительно недавно в Лаборатории статистических мето-
дов МГУ с помощью ЭВМ были построены квази-Р-опти-
мальные планы с достаточно малым числом эксперимен-
тальных точек. При этом эффективность эксперимента резко
повысилась за счет использования всего пространства
независимых переменных, отведенного для эксперимен-
та [92]. Далее, с позиций D-оптимальности удалось про-
вести сравнение ранее предложенных композиционных
планов второго порядка [93]. Что касается рассмотрен-
ных выше линейных насыщенных планов (при (к + 1)
кратном четырем), то они также оказались D-оптималь-
ными.
Нетрудно показать существование структурных свя-
зей между латинскими квадратами и кубами, греко-ла-
тинскими квадратами, рассмотренными в § 1 гл. III, и
полным факторным экспериментом с его дробными репли-
ками. Например, латинский квадрат 4x4 (см. табл. 3.2)
можно рассматривать как -реплику полного факторного
эксперимента 48, в общем случае латинский квадрат п X п
можно рассматривать как -реплику типа п8. Полный
факторный эксперимент и его дробные реплики являются,
как уже отмечалось, D-оптимальными планами. Следо-
вательно, D-оптимальны и латинские квадраты и кубы,
которые ранее мы считали планами, позволяющими про-
изводить рандомизацию с наложенными ограничениями
(подробнее см. в [117]).
Таким образом, множество решений, найденных на
интуитивном уровне, удалось рассмотреть наконец с
единых теоретических позиций. Здесь мы столь подробно
остановились на рассмотрении вопроса о выборе крите-
рия оптимальности для того, чтобы показать, сколь
158
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
сложным и извилистым оказывается сам путь поиска
разумной постановки задачи.
Полином второго порядка, полученный для описания
почти стационарной области, подвергается тщательному
анализу обычными хорошо известными методами анали-
тической геометрии. Уравнение приводится к канониче-
ской форме, ищется особая точка и т. д. Поверхность
отклика может принадлежать к одному из трех типов:
1) эллиптическому — в этом случае исследователь, есте-
ственно, будет стремиться к тому, чтобы изучаемый про-
цесс протекал при условиях, соответствующих коорди-
натам точки, близкой к центру эллипса; 2) минимаксному,
т. е. седлообразному; в таком случае исследователь будет
стремиться двигаться по благоприятному для него крылу
седла; 3) возрастающего возвышения — здесь естествен-
но двигаться по гребню так далеко, как допускают экспе-
риментальные возможности.
У нас в стране есть большой опыт применения плани-
рования экстремальных экспериментов при решении са-
мых разнообразных технологических задач на стадии
лабораторных разработок х). Мы знаем случаи, когда за
два-три месяца удавалось решать задачи, на которые
обычными методами затрачивали по два-три года. В одной
из таких задач на первом этапе изучения в исследование
было включено 15 независимых переменных, причем по-
требовалась матрица планирования лишь из 16 опытов.
Говоря об эффективности подобных методов, нужно
подчеркнуть важное значение четкой логической осмыслен-
ности всех операций, на которых основана стратегия экспе-
римента. Проиллюстрируем сказанное двумя примерами.
Первая задача — разработка технологии получения
одного лекарственного препарата. После двухлетней ра-
боты, проведенной традиционными методами, удалось до-
стигнуть лишь выхода в 80%. Для оценки градиента
новыми методами было поставлено 8 опытов. Их резуль-
таты показали, что надо уменьшить содержание раство-
рителя — гликоля. Химики-технологи страшно возмути-
лись, заявив, что этого делать нельзя, так как придется
х) За период с 1965 по III квартал 1969 г. на русском и украин-
ском языках было опубликовано 516 работ по методологии и приме-
нению планирования эксперимента [118].
§ 21
ЭКСТРЕМАЛЬНЫЕ ЭКСПЕРИМЕНТЫ
<50
иметь дело с очень высокой вязкостью, реакция не пой-
дет и т. д. Первый же шаг, сделанный в направлении гра-
диента, дал выход в 100%. Задача была решена за 9 опы-
тов. Второй пример — также получение лекарственного
препарата. Реакция давала вполне хороший выход, но
шла в течение 24 час. При попытке уменьшить время
(естественно, делался лишь небольшой шаг в сторону
уменьшения времени) выход реакции заметно уменьшал-
ся. Было решено, что время протекания реакции умень-
шить нельзя. Когда процесс описали уравнением второго
порядка, то получили поверхность отклика типа седла.
На этой поверхности взяли точку, симметричную исход-
ной (перешли через точку минимакса), и сразу же полу-
чили тот же выход всего за 12 час. В первом случае чет-
кая логика планирования эксперимента вступила в про-
тиворечие с «теоретическими» предрассудками химиков,
во втором случае — с традиционными методами ползу-
чего эмпиризма, предписывающего осторожное движение
малыми шагами (естественно, что такое движение давало
понижение выхода, вплоть до седловой точки, куда ис-
следователь не доходил, считая, что движение надо оста-
новить, если оно дает ухудшающиеся результаты).
Иногда задают вопрос — где граница применимости
изложенного здесь приема? Ответить на этот вопрос труд-
но. Сейчас мы имеем очень широкий спектр примеров
применения таких методов планирования эксперимента.
На одном его конце находятся такие задачи, как выбор
оптимального рецепта для печения пирожков, на другом —
оптимизация процесса метания бомбх). Казалось бы,
что к этим методам можно прибегать во всех тех много-
факторных задачах, где механизм явления неизвестен
и где, следовательно, полиномиальная модель оказыва-
ется практически единственно возможной. В действитель-
ности же это, конечно, не вполне верно. Мы, например,
2) Библиографию первых работ по практическому применению
планирования экстремальных экспериментов можно найти в упоми-
навшейся уже книге [И]. Библиография последующих работ приве-
дена в [94]. К 1968 г. насчитывалось около 1000 публикаций, в кото-
рых использовались эти методы планирования, из них около 25%
падало на работы, опубликованные на русском языке. Скорость рос-
та публикаций очень высока — удвоение числа публикаций про-
исходит примерно за 2 года.
160
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
(ГЛ. IV
знаем, что подобные методы почти не применяются в био-
логии (хотя там и есть очень хорошие примеры приме-
нения) и совсем не применяются в психологии и медици-
не. Объясняют это обычно тем, что там слишком плохая
воспроизводимость. Подобное объяснение нам представ-
ляется недостаточно глубоким. Природа некоторых био-
логических экспериментов такова, что в них и нельзя
требовать столь же высокой воспроизводимости, как в
химии и физике. Если мы, скажем, хотим реализовать
опыт, задаваемый какой-либо матрицей планирования,
то для этого нужно отобрать случайным образом некото-
рое количество подопытных особей из специально подо-
бранной достаточно однородной группы. Но где крите-
рий однородности? Врачи или физиологи немедленно пред-
ложат вам сотни показателей, характеризующих инди-
видуальные особенности подопытных особей. Заранее не
ясно, как производить классификации по множеству этих
признаков. Реализовав какую-либо строку матрицы пла-
нирования, мы получим результаты опытов, которые
будут описываться смешанной (полимодальной) функци-
ей распределения, причем расстояние между модами бу-
дет в несколько раз превышать величину неизвестной нам
заранее квадратичной ошибки опыта. Полимодальность
будет здесь свидетельствовать о том, что мы вели экспери-
мент над очень неоднородной группой подопытных особей.
Первая реакция профессионала-статистика, имеющего
опыт работы в области химии и фивики, будет такой:
забраковать эксперимент вследствие очень большого раз-
броса результатов наблюдений, хотя на самом деле надо
сделать совсем другое — провести дискриминацию полу-
ченных результатов х), а именно, разбить подопытных
*) Вот один из примеров, сообщенных В. Н. Максимовым.
Целью исследований было получение оптимальных условий выращи-
вания низших водорослей. Опыты ставились с повторением. Одна из
строк матрицы планирования дала отличные результаты, но они
плохо воспроизводились. С позиций статистика такие опыты надо
было бы браковать. Позиция биолога иная — ведь если хотя бы
в части опытов мы получили небывало хороший результат, то это
все же служит указанием, что найден хороший режим; во всяком
случае, па плохом режиме такие результаты получить нельзя было.
Далее естественно изучать уже новую проблему: почему по отноше-
нию к некоторым образцам культуры эта среда ведет себя плохо?
§ 21 ЭКСТРЕМАЛЬНЫЕ ЭКСПЕРИМЕНТЫ 161
особей на несколько групп и потом уже заниматься изу-
чением новой проблемы — почему отобранные нами осо-
би ведут себя столь неоднородно по отношению к режиму,
задаваемому строкой нашей матрицы планирования. Здесь
нужно было бы воспользоваться дискриминационным ана-
лизом, о котором мы уже говорили в гл. III. По-видимому,
правила принятия решений во многих биологических
и медицинских экспериментах отличны от того, к чему
мы привыкли в физике и химии. Если физик и химик
требует совершенно строгих выводов из результатов экс-
перимента, то биолог часто довольствуется тем, что экс-
перимент служит толчком для некоторой догадки. Здесь
уже неприменим чрезмерно строгий формализм тради-
ционной статистики, и надо пытаться формализовать в
вероятностных терминах иную систему интерпретации ре-
зультатов эксперимента.
В заключение хочется сказать несколько слов о срав-
нении активного и пассивного эксперимента. В одном
случае исследователь активно вмешивается в эксперимент,
в другой — пассивно наблюдает за тем, как эксперимент
ведет природа. В обоих случаях результаты можно пред-
ставить одной и той же полиномиальной моделью. Опыт
показал, что многомерный регрессионный анализ, при-
мененный при обработке результатов пассивного наблю-
дения, редко дает интересные результаты. Преимущества
активного эксперимента отнюдь не задаются только тем,
что матрица независимых переменных здесь организо-
вана — в смысле критерия D-оптимальности или крите-
рия ротатабельности — лучше, чем в пассивном экспери-
менте. Очень важное значение имеет и то обстоятельство,
чгго в активном эксперименте измеряется отклик на варьи-
руемые нами переменные, тогда как в пассивном экспе-
рименте измеряется отклик, который обусловлен отнюдь
не только исследуемыми переменными. В любой реаль-
ной ситуации всегда имеется множество независимых
переменных, которые по тем или иным причинам нельзя
включать в рассмотрение — эти переменные мы будем
здесь называть ненаблюдаемыми. В активном эксперимен-
те, как бы он ни был организован, наблюдаемые перемен-
ные всегда практически некоррелированы с ненаблюдае-
мыми, и поэтому оценки коэффициентов регрессии
б В. В. Налимов
162
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
оказываются несмещенными. В пассивном эксперименте
наблюдаемые независимые переменные, как правило, силь-
но коррелированы с ненаблюдаемыми, что ведет к сме-
щению оценок. Смещение может быть столь сильным,
что регрессионный анализ иногда теряет всякий смысл.
Проиллюстрируем это одним совсем простым примером
из металлургии.
В мартеновском процессе очень важно, чтобы содержание угле-
рода в момент расплавления колебалось в достаточно узких преде-
лах. Естественным было бы стремление организовать процесс плавки
так, чтобы содержание углерода в момент расплавления стало регу-
лируемой величиной. Статистический анализ результатов пассив-
ных наблюдений показал, что содержание углерода в момент рас-
плавления линейно зависит от основности шлака *)* Если бы мы
захотели воспользоваться этой связью для интерполяции, определяя,
скажем, содержание углерода по основности, то все было бы хорошо.
Но как только таким соотношением попытались воспользоваться
для регулирования технологического процесса, так сразу же потер-
пели крах. Причину эюго легко объяснить. Как содержание углеро-
да (в момент расплавления), так и основность определяются одной
и той же причиной — содержанием чугуна в завалке. Но последняя
переменная не поддается непосредственному измерению, и поэтому
она не включается в уравнение регрессии. В результате в линейном
уравнении, связывающем содержание углерода с основностью, ко-
эффициент регрессии оказывается смещенным. Используя это линей-
ное уравнение для интерпретации, мы не нарушаем внутренних
связей в системе, и поэтому, несмотря на смещенную оценку, полу-
чаем правильные результаты. Однако как только будет сделана по-
пытка использовать наше уравнение для управления процессом,
так сразу же будут нарушены внутренние связи в системе и смещен-
ность оценки приводит к бессмысленным результатам. Если бы урав-
нение регрессии было получено по активному эксперименту, то ко-
эффициент регрессии оказался бы практически несмещенным, по-
скольку в активном эксперименте основность не могла бы быть уже
закоррелированной с содержанием чугуна в момент завалки шихты
в мартеновскую печь. Вся беда в том, что такой активный экспери-
мент совсем нелегко поставить.
Вопрос можно поставить, вероятно, даже несколько
шире. В последнее время наблюдается быстрый рост раз-
личных, иногда довольно хороших устройств, позволяю-
щих регистрировать массу различных показателей как
в технологических процессах, так и в общественной
жизни, в системе здравоохранения и пр. Часто при этом
1) Основностью шлака называемся отношение CaO/SiO2.
§ 31 ПЛАНИРОВАНИЕ ОТСЕИВАЮЩИХ ЭКСПЕРИМЕНТОВ 163
предполагают, что, обрабатывая полученный материал
статистически, удастся вскрыть все внутренние законо-
мерности сложной системы. Подобные суждение представ-
ляется нам слишком наивным. Многомерный регрессион-
ный анализ вряд ли позволит здесь что-либо вскрыть
из-за того, что в рассмотрение всегда включается лишь
часть из множества сильно закоррелированных перемен-
ных, и поэтому оценки всегда оказываются смещенными.
Во всяком случае, всякие беды, связанные с развитием
нашей культуры, всегда можно приписать в силу силь-
ной закоррелированности переменных какому-нибудь
одному фактору — например, росту потребления са-
хара или росту числа вновь выпускаемых почтовых
марок.
Здесь, вероятно, нужно сделать несколько замечаний
в адрес руководств по математической статистике, кото-
рые вследствие неаккуратных формулировок способству-
ют развитию иллюзорных представлений о силе много
мерного регрессионного анализа. В этих руководствах
обычно приводится теорема, утверждающая, что оценки
коэффициентов регрессии, полученные по методу наи-
меньших квадратов, являются несмещенными. Обсуждая
эту теорему, следовало бы указать, что она верна только
в рамках четко заданной модели со строго фиксиро-
ванными переменными и фиксированным порядком
полинома.
§ 3. Планирование отсеивающих экспериментов
А. Метод случайного баланса. Все изложенные выше
методы изучения поверхности отклика базируются на по
стулате, утверждающем, что в программу исследования
включены все к независимых переменных, ответственных
за протекание изучаемого процесса. Здесь не оценивается
риск, связанный с тем, что некоторая, может быть, весь-
ма существенная (к 4- 1)-я переменная не включена в
рассмотрение.
Чтобы не пропустить ни одну из потенциально возмож
ных переменных, на первых этапах изучения сложных
процессов в программу исследования нужно включать
десятки независимых переменных. В дальнейшем большая
б*
164
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
(ГЛ. IV
часть этих переменных отсеивается; отсюда и само назва-
ние — планирование отсеивающих экспериментов.
Число опытов для отсеивающих экспериментов можно
значительно сократить, даже по сравнению с насыщен-
ными планами первого порядка, если наложить некото-
рые существенные дополнительные ограничения при са-
мой постановке задачи. Мы будем рассматривать метод
1
Рис. 4 5. Графическое представление постулата об экспоненциаль-
ном затухании ранжированных эффектов.
По оси абсцисс отложены факторы, упорядоченные по их вкладу в сум-
марную дисперсию, по оси ординат — накопленные суммы по дисперсии.
случайного баланса, позволяющий строить сверхнасыщен-
ные планы, т. е. планы, в которых число опытов меньше
числа эффектов, первоначально включенных в рас-
смотрение. Формально здесь создается парадоксальная
ситуация — число степеней свободы оказывается отри-
цательным.
В методе случайного баланса постулируется, что если
эффекты, ответственные за протекание процесса, распо-
ложить в порядке убывания вносимого ими вклада, то
получится затухание, например, экспоненциального ти-
па, показанное на рис. 4.5. Исследователь заранее не зна-
ет, как ранжируются эффекты; его задача — воспроизве-
сти эту ранжировку при помощи отсеивающего экспе-
римента. Эффекты, попадающие в правую часть диаграммы
ранжирования, следует отнести к шумовому полю, на
фоне которого нужно выделить значимые эффекты, по-
павшие в левую часть диаграммы.
§ 31 ПЛАНИРОВАНИЕ ОТСЕИВАЮЩИХ ЭКСПЕРИМЕНТОВ 165
Допустим, что изучается к эффектов, создаваемых
линейными членами и парными взаимодействиями. Не
нарушая общности, результаты эксперимента можно пред-
ставить линейной моделью, полагая, что некоторые =
= XjXt. Обозначим случайную составляющую (ошибку
опыта) через е и произведем произвольное расщепление
линейной модели х):
П == ₽0 + + 02*2 + • • • + + 0Х + P2Z2 + • • •
• • • + + 6 — 00 + 01*1 + 02*2 + • • • + Pfc—Z*fc-£ +
где
а = 31^1 + P2Z2 4~ • • • + $izi + е>
з2 {а}^ {zL} + P?o2{z2}+ ... + Р?з2 М + О2{8}.
Здесь из общего числа к эффектов выделено к — I
значимых эффектов и I эффектов отнесено к шумовому
полю. Пользуясь обычным методом регрессионного ана-
лиза, можно оценить к — I эффектов на шумовом поле,
созданном I эффектами. Остаточная дисперсия, здесь,
конечно, больше дисперсии о2 {в}, характеризующей ошиб-
ку опыта. Оценка оставшихся коэффициентов регрессии
будет производиться с большей ошибкой. Если под чув-
ствительностью метода понимать способность выделять
коэффициенты регрессии, значимо отличающиеся от нуля
(отбрасывать нуль-гипотезу £$ = 0), то можно сказать,
что метод случайного баланса обладает меньшей чувст-
вительностью, чем факторный эксперимент или его дроб-
ные реплики. Но, вместе с тем, метод случайного баланса
обладает большой разрешающей способностью, т. е. в
благоприятной для него ситуации он позволяет выделять
доминирующие эффекты из очень большого числа «взятых
под подозрение» эффектов.
Теперь несколько слов о построении матрицы плани-
рования. Ранг матрицы, равный числу наблюдений 7V,
выбирается так, чтобы он был существенно меньше числа
эффектов к) взятых под подозрение. Переменные обычно
’) В формуле для дисперсии мы пренебрегаем зависимостью
между переменными.
166
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
(ГЛ. IV
варьируют на двух уровнях. Матрицу планирования мож-
но построить, воспользовавшись просто таблицей случай-
ных чисел для случайного распределения уровней по
столбцам — это будет случайно сбалансированная мат-
рица. Отсюда и название метода — метод случайного
баланса. Иногда может быть удобным случайное смеши-
вание двух полуреплик, образующих вместе некоторую
случайную выборку. Поясним последний прием на кон-
кретной задаче с 12 факторами А, В, ..., L. В этой задаче
нужно было произвести отсеивание доминирующих эф-
фектов среди 78 потенциально возможных (12 линейных
эффектов и 66 парных взаимодействий). Строилась матри-
ца планирования ранга N — 32. Она была получена пу-
тем смешивания двух одинаковых полуреплик типа 2е'1.
Одна полуреплика относилась к факторам А — F, вторая,
точно такая же,— к факторам G — L. Смешивание реп-
лик производилось случайным образом: с помощью таб-
лицы случайных чисел из каждой реплики отбиралось
по строке; эти строки объединялись вместе, образуя одну
строку с 12 элементами (табл. 4.7). Подобная операция
повторялась 32 раза. Так, например, вторая строка табл.
4.7 состоит из 8-й строки для матрицы факторов А — F
и 32-й строки для матрицы факторов G — L.
Теперь несколько слов о методах анализа. Поскольку
матрица планирования имеет ранг N = 32, мы можем
определить только 32 коэффициента которые можно
выбрать произвольным образом из к (=78) эффектов,
взятых под подозрение. Строго говоря, мы должны были
Таблица 4.7
Часть матрицы планирования для отсеивающих экспериментов
с двенадцатью факторами
НбГ'Ср on ыта A — F G — L А в с D Е F G н I J К L
1 18 7 — 4- 4- 4- — 4- 4- 4- — 4- 4-
2 8 32 + 4- — — —• — — — — — — —
32 29 1*4 — — — 4- 4- — — — + — —
5 31 ПЛАНИРОВАНИЕ ОТСЕИВАЮЩИХ ЭКСПЕРИМЕНТОВ 167
бы поступить здесь так: построить все возможные матри-
цы независимых переменных ранга N = 32 — их число,
очевидно, равно числу сочетаний = 0,8-1022, и про-
вести для каждой из них регрессионный анализ; затем,
учитывая приведенный выше постулат (см. рис. 4. 5),
У/
120-
HO-
MO-
зо-
ва-
70-
60-
Рлс. 4.6. Диаграмма рассеяния для шести линейных эффектов А — F.
Около фигурных скобок указано число резко выделяющихся точек;
остальные числа — расстояния между медианами. По оси ординат отложены
результаты эксперимента.
можно было бы надеяться найти (по минимуму остаточной
дисперсии) ту матрицу, которая включает все домини-
рующие эффекты. Этот совершенно строгий путь не по
силам даже современным ЭВМ. Приходится придумывать
некоторый искусственный прием, позволяющий ограни-
чить перебор вариантов вычислений.
Ограничение перебора достигается при дополнитель-
ном использовании анализа диаграмм рассеяния. В ка-
честве примера на рис. 4.6 приведено шесть диаграмм
рассеяния результатов наблюдений по линейным эффек-
там А — F. Каждая из них содержит все 32 точки, со-
ответствующие 32 результатам эксперимента. Эти точки
разбиты на две группы: одна из них соответствует тем
опытам, где исследуемый фактор находился на нижнем
уровне, вторая группа — опытам, где тот же фактор на-
ходился на верхнем уровне. Действие каждого фактора
168
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
рассматривается вне зависимости от других факторов,
хотя, конечно, все векторы-столбцы в этом планировании
не могут быть ортогональными. Значимые линейные эф-
фекты нетрудно выделить прежде всего визуально, срав-
нивая между собой медианы, показанные на диаграммах
рассеяния. Можно также принимать во внимание коли-
чество точек, выделяющихся на верхней и нижней части
диаграммы — на рисунке около этих выделяющихся то-
чек находятся фигурные скобки. Эффекты, признанные
(при визуальном осмотре) условно значимыми, включают
в матрицу независимых переменных и для нее проводят
обычный регрессионный анализ. Затем те эффекты, значи-
мость которых подтвердится регрессионным анализом,
исключают из рассмотрения, вводя корректировку в ре-
зультаты измерений х). После исключения первой группы
значимых эффектов снова строят диаграммы рассеяния,
и вся процедура повторяется заново.
Было бы неразумно пытаться строить все 66 диаграмм
рассеяния для парных произведений. Здесь объем работы
можно существенно сократить, воспользовавшись остро-
умным визуальным приемом, позволяющим по диаграм-
мам рассеяния для линейных эффектов выделить те парные
взаимодействия, которые подлежат дальнейшему изучению.
Этот прием основан на следующем соображении: при
большом значении некоторого эффекта взаимодействия,
например эффекта XZ, должны появиться резко выделя-
ющиеся точки как на уровне +XZ, так и на уровне
—XZ. В первом случае обе независимые переменные
должны иметь одинаковые знаки, во втором случае — раз-
ные. Следовательно, нужно рассматривать взаимодей-
ствия таких независимых переменных, которые имеют
выделяющиеся точки как на одинаковых, так и на разных
уровнях. Последнее условие выполняется, когда верхние
или нижние части диаграммы рассеяния для переменных
X и Z образуют зеркальные отображения. Это поясня-
ется на рис. 4.7. Здесь в нижней части первых двух диаг-
J) Корректировка делается следующим образом: если некото-
рый эффект А оказался значимым, то вычитают связанную с ним
величину из результатов тех опытов, в которых соответствующий
фактор находился на верхнем уровне.
§ 3] ПЛАНИРОВАНИЕ ОТСЕИВАЮЩИХ ЭКСПЕРИМЕНТОВ {69
рамм рассеяния наблюдается зеркальное отображение
точек. При построении диаграммы рассеяния для эффек-
та взаимодействия XZ эта группа точек оказывается на
нижнем уровне. В верхней части диаграммы выделяющие-
ся точки повторяют друг друга, и на диаграмме для эффек-
та взаимодействия они оказываются на верхнем уровне.
Рис. 4.7. Схематическое изображение диа-
грамм рассеяния для переменных X и Z и
для значимого эффекта взаимодействия XZ,
Здесь приведены только выделяющиеся точки.
В результате наблюдаются выделяющиеся точки на обоих
уровнях. Приведенный рисунок, кстати, наглядно пока-
зывает, как может возникнуть значительное взаимодей-
ствие, когда каждый из эффектов, взятых в отдельности,
был незначим.
Процесс последовательной корректировки продолжа-
ется до тех пор, пока рассеяние результатов наблюдений
не станет сравнимым с ошибкой опыта. Все операции —
вычислительные и логические (в том числе и анализ диа-
грамм рассеяния), легко поддаются алгоритмизации и
могут осуществляться на ЭВМ. Подробное описание ме-
тода см. в книге [11].
Описанный выше метод был предложен Саттерзвайтом
в 1956 г.; вначале он вызвал очень острую дискуссию
170
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
среди американских статистиков. Метод был предложен
на эвристическом уровне — его можно рассматривать как
математическое осмысливание тех приемов, которыми и
раньше интуитивно пользовались исследователи. В дис-
куссии указывалось, что весьма рискованно предлагать
приемы, появление которых не связано с последователь-
ным развитием идей современной математической статисти-
ки. Сторонники метода могли лишь аргументировать
хорошими примерами применения и результатами, полу-
ченными при моделировании задачи на ЭВМ. Сейчас дей-
ствительно есть много хороших примеров применения
этого метода в самых разнообразных областях, особенно
в технологических исследованиях, выполненных как в
лабораторных условиях, так и непосредственно на за-
водах. Ряд интересных примеров его применения в гидро-
биологии — при выращивании водорослей, был получен
в МГУ [95]. Есть, конечно, и примеры неудачного исполь-
зования; правда, они обычно не публикуются. Неудачные
результаты появляются в тех случаях, когда исследо-
ватель допускает неверную оценку исходной ситуации —
он или неверно выбирает интервалы варьирования неза-
висимых переменных (они могут оказаться очень узкими,
и тогда все эффекты окажутся незначимыми) или приме-
няет метод в ситуациях, где соотношение значимых эф-
фектов оказывается неблагоприятным, т. е. резко отлич-
ным от модели, представленной на рис. 4.5. Один из
серьезных традиционно настроенных американских ста-
тистиков сказал: «Этот метод работает лишь в тех ситуа-
циях, когда я и так могу выделить доминирующие эффек-
ты». Но если метод позволяет выполнить, то, что может
сделать очень опытный исследователь, это, наверное,
лучшая для него похвала. Лишь совсем недавно Мешал-
кин [96] строго математически показал, что данный ме-
тод может работать, хотя, конечно, ему все же не удалось
четко указать границы применимости метода.
Мы остановились столь подробно на изложении этого
метода, поскольку на нем самым простым образом можно
проследить за использованием двух самых модернистиче-
ских направлений: эвристического программирования (пе-
ребор с наложением ограничений) и анализа зрительного
образа.
§ 3] ПЛАНИРОВАНИЕ ОТСЕИВАЮЩИХ ЭКСПЕРИМЕНТОВ 171
Б. Поиск биологически активных препаратов. Далеко
не все задачи отсеивания можно сформулировать в рамках
изложенной выше модели. Совсем особый тип задач воз-
никает при выявлении биологически активных препара-
тов. Среди множества всех препаратов надо найти совсем
небольшое подмножество биологически активных, скажем,
антиканцерогенных, мутагенных или каких-либо еще.
Это необычайно громоздкая и трудоемкая процедура от-
сеивания должна быть как-то разумно организована.
Здесь речь будет уже идти не о выборе оптимального
плана в пространстве независимых переменных, влия-
ющих на выход процесса, а о выборе оптимального соот-
ношения между теми переменными, которыми задается
организация процесса отсеивания. Можно предложить
множество различных моделей для проведения отсеива-
ющих экспериментов. Одни из них могут быть последова-
тельными (в смысле алгоритма Вальда, см. стр. 51),
хотя это не всегда здесь удобно, так как препарат может
быстро портиться; другие могут быть полупоследователь-
ными или совсем непоследовательными; в некоторых
моделях испытание может носить групповой характер,
когда на животных сразу испытывается несколько препа-
ратов, а затем «хорошие» группы препаратов подвергают-
ся дальнейшему детальному изучению. Ясно, что каждая
модель создает свои проблемы. В последней модели, на-
пример, возникает задача распределения усилий между
межгрупповыми и внутригрупповыми исследованиями.
Исследователь, естественно, всегда должен стремиться
уменьшить риск неверного отсеивания. Ему хочется как
можно полнее испытать каждый препарат, но при огра-
ниченных ресурсах это неизбежно приведет к уменьшению
числа обследуемых препаратов и, следовательно, к риску
не включить в программу исследования потенциально
интересные препараты. Естественно также стремиться
к испытанию максимального числа препаратов, но это
ведет к уменьшению усилий, затрачиваемых на каждый
препарат, и, следовательно, к увеличению риска про-
пустить хорошие препараты из-за ошибки испытания.
Здесь нужно найти разумный компромисс.
Допустим теперь, что выбрана, исходя из общеорга-
низационных соображений, простая (не вальдовская)
172
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
двухступенчатая процедура. На первой ступени произ-
водится грубое отсеивание, на второй — более подробное
исследование препаратов, отобранных на первой стадии.
Следуя Даннету (1961) и Дэвису (1963), построим эконо-
мическую модель, учитывающую стоимость отдельных
этапов работы, для того чтобы выбрать оптимальным
образом параметры процедуры. Введем в рассмотрение
следующие величины: v — стоимость препарата; а —
стоимость первичного испытания препарата на одном
животном; b — стоимость исследования препарата на
второй стадии.
Допустим, что из предыдущего опыта известна вероят-
ность q появления активного препарата. Далее, как обыч-
но, вводятся в рассмотрение вероятности ошибок первого
и второго рода а и р (а — вероятность ошибочного отри-
цания, р — вероятность ошибочного признания). На
первом этапе отсеивания среди принятых препаратов
доля действительно эффективных составит q(i —а),
а доля ошибочно признанных эффективными будет равна
(1 — q) р. Отсюда получаем среднюю стоимость полно-
го исследования одного препарата:
и + ап + Ъ [g (1 — а) + (1 — q) р],
где п — среднее число животных, приходящихся на один
препарат в данной процедуре. Введем теперь вполне есте-
ственное допущение о том, что сумма средств, отпуска-
емых на исследование, ограничена и равна S. Число пре-
паратов, которые можно исследовать на эти средства,
определяется выражением
М =_______________~___________5- .
г; + ап+ 6 [7 (!-«) + (! -7)31
Из них на повторное испытание пройдет т препаратов:
т = М (1 - а) + (1 - q) р],
а число обнаруженных эффективных препаратов L со-
ставит
г = _________Sq(l-CC)_________
г+«п-Ьб[7(1 -а) + (1-7)3] ’
Теперь естественно стремиться так выбрать парамет-
ры процесса отсеивания, чтобы максимизировать значе-
§ 3] ПЛАНИРОВАНИЕ ОТСЕИВАЮЩИХ ЭКСПЕРИМЕНТОВ 173
ние этой функции эффективности. Параметрами процесса
у нас служат: число животных, приходящихся на препа-
рат, параметры системы дискриминации, скажем, крити-
ческое значение активности, и какой-нибудь еще параметр,
например, промежуток времени, по истечении которого
производится сравнение результатов эксперимента с кри-
тическим значением. Ясно, что для каждого набора па-
раметров процедуры можно вычислить свои аир. Дэвис
[97], рассматривая несколько более сложную функцию
эффективности, показал, что ее график имеет весьма по-
логий ход. Он приводит два численных примера, в кото-
рых количество животных, приходящихся на препарат,
составляло nj = 2 и п2 = 4. В этих примерах изменялась
также отметка времени, после которой производилось
сравнение числа выживших животных с критическим его
значением. Таким образом, параметры процедуры зада-
вались числом животных, выживших через фиксирован-
ный промежуток времени. Оказалось, что некоторые силь-
но различающиеся процедуры одинаково приемлемы.
Здесь биологи получают большие возможности для выбо-
ра — они могут экспериментировать в зависимости от
своих интуитивных представлений, как с большим, так
и с малым п, оставаясь в почти оптимальной области,
если правильно выбрана отметка времени. В этой модели
неожиданно просто решилась сформулированная выше
альтернатива.
Приведенная здесь модель служит примером форма-
лизации процесса принятия решения при выборе опти-
мального соотношения переменных, задающих уже не
протекание процесса, а организацию самого исследова-
ния. При формализации используются хорошо извест-
ные нам (см. гл. II) фундаментальные представления ма-
тематической статистики: априорная вероятность q и
вероятности ошибок первого и второго рода а и Из
упоминавшейся выше работы Дэвиса [971, кстати, сле-
дует, что рассмотренная модель совсем не чувствительна
к точности в оценке q. Практически это очень важно, по-
скольку всегда трудно точно оценить априорную инфор-
мацию. Модели такого типа широко используются в США
для стандартизации кооперативных исследований,
проводимых одновременно во многих организациях.
174
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
(ГЛ. IV
Рассмотренная здесь задача является частным случаем бо-
лее широкой проблемы — построения модели для сба-
лансирования усилий, затрачиваемых на химические,
биологические и токсикологические исследования. Обсто-
ятельная библиография по планированию биологических
отсеивающих экспериментов приведена в статье [98].
§ 4. Адаптационная оптимизация технологических
процессов
Методы планирования эксперимента, изложенные в
§ 1, 2, после небольшого изменения можно использовать
и непосредственно в текущей заводской работе для по-
вседневного контроля за технологическим процессом.
В производственных условиях мы обычно сталки-
ваемся со следующей ситуацией: кроме к контролируемых
переменных xt, имеется еще / неконтролируемых пере-
менных zb z2, ..., zz (изменение активности катализатора,
старение агрегата, изменение качества исходного сырья
и вспомогательных продуктов, сезонные изменения усло-
вий работы и т. д.). Спонтанное и неконтролируемое изме-
нение переменных приводит к смещению оптимума по
отношению к переменным Для наблюдения за этим
дрейфом требуется все время варьировать переменные
/р Здесь нужно учитывать два обстоятельства:
а) переменные хх нельзя варьировать в широком ин-
тервале, чтобы не удорожать производство и не увели-
чивать риска получения бракованной продукции;
б) в производственных условиях имеется большое
шумовое поле — ошибка эксперимента здесь всегда зна-
чительно больше, чем в лабораториях.
Таким образом, задача сводится к выделению слабого
сигнала на фоне шума. Естественно здесь использовать
в той или иной форме метод накопления результатов из-
мерения. Для этого нужно иметь возможность все время
слегка «покачивать» процесс, варьируя независимые пере-
менные в узком интервале значений. Производственный
процесс должен быть организован так, чтобы можно
было получать не только готовую продукцию, по и ин
формацию о смещении оптимума, обусловленном изме
пением неконтролируемых переменных z.
$ 4] АДАПТАЦИОННАЯ ОПТИМИЗАЦИЯ 175
Исследователь должен все время приспосабливаться
к изменяющимся условиям; отсюда и название метода —
адаптационная оптимизация или адаптационный кон-
троль.
Существующая в настоящее время система управле-
ния производственными процессами не предусматривает
возможности непрерывного изменения их технологии.
Контроль за технологическими процессами осуществля-
ется специальным штатом мастеров-контролеров, которые
руководствуются инструкциями по ведению процесса,
не изменяющимися, как правило, в течение длитель-
ного времени. Правда, в этих инструкциях часто преду-
смотрены широкие интервалы варьирования для отдель-
ных переменных, позволяющие опытным мастерам все
время немного экспериментировать и вводить какие-то
поправки к ранее принятым рекомендациям,— так по-
являются мастера скоростного ведения процессов. Такое
экспериментирование всегда производится интуитивно на
основании каких-то неформализованных правил. Осмы-
сливание результатов подобных экспериментов обычно
также производится на интуитивном уровне, и поэтому
опыт одного мастера-скоростника с трудом воспринима-
ется другими мастерами
Задача адаптационной оптимизации как научной дис-
циплины заключается в разработке достаточно хорошо
формализованной и в некотором смысле оптимальной
стратегии для непрерывного экспериментирования в слож-
ных производственных условиях.
Степень формализации задается постановкой задачи.
Надо проводить разграничение между «эмпирической»
и «технологической» обратной связью. Эмпирическая об-
ратная связь — это полностью формализованный метод
корректировки технологического процесса, при котором
исключается вмешательство высоко квалифицированного
персонала. Процессом должна управлять вычислитель-
ная машина или малоквалифицированный персонал.
Технологическая обратная связь — это корректировка
процесса с периодическим привлечением новых техно-
логических идей. В последнем случае не требуется очень
высокой степени формализации стратегии управления,
так как решения об изменении технологического режима
176
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
принимает высококвалифицированный персонал. Здесь
дело ограничивается выдачей четких рекомендаций о
том, как «покачивать» процесс для того, чтобы периоди-
чески получать информацию, необходимую для приня-
тия тех или иных решений.
Адаптационная оптимизация дискретных производст-
венных процессов была рассмотрена Боксом в 1955 г.
Этот метод получил название эволюционного планирования
(Evolutionary Operation, сокращенно EVOP); он был
задуман как метод управления с технологической обрат-
ной связью.
Чтобы выделить небольшое изменение [/-сигнала на
большом шумовом поле, было предложено разбивать
производственный процесс на отдельные «фазы», состоя-
щие из нескольких повторных «циклов». В каждом цикле
реализуется несколько опытов для одного и того же на-
бора уровней независимых переменных. Эти опыты обра-
зуют полный факторный эксперимент или его дробную
реплику с добавлением центральной точки. После окон-
чания каждой фазы производят обработку результатов
наблюдений и принимают решение относительно условий,
в которых будет протекать производственный процесс
в последующей фазе. Число циклов п выбирают так,
чтобы можно было выделять слабые сигналы на флукту-
ирующем фоне; здесь используется обычный метод накоп-
ления результатов измерений, основанный на том, что
ошибка среднего из независимых наблюдений в УТГ раз
меньше ошибки единичного измерения.
В предложенном методе можно усмотреть известную
аналогию с биологической эволюцией: небольшое изме-
нение независимых переменных мы вправе рассматривать
как некоторую аналогию мутациям, отбор лучших усло-
вий аналогичен процессу естественного отбора (отсюда
и название — метод эволюционного планирования).
Весь процесс выполнения эволюционного планирова-
ния строго стандартизован. Обычно в кабинете началь-
ника цеха вывешивается «информационная доска», на
которой фиксируются все операции этого процесса. Та-
кой доской может служить специальным образом раз-
графленная обычная школьная доска, на которой мелом
записывают результаты текущих опытов, образующих цикл.
§ 4] АДАПТАЦИОННАЯ ОПТИМИЗАЦИЯ 177
После окончания каждой фазы экспериментатор мо-
жет принять одно из следующих решений: 1) изменить
нулевую точку и, следовательно, сместить весь экспери-
мент в пространстве независимых переменных; 2) изме-
нить интервал варьирования переменных; 3) изменить
независимые переменные — прежние оставить на вы-
бранном оптимальном уровне и начать варьировать новые
переменные. Обращается внимание на необходимость при-
тока новых идей при эволюционном планировании. Эти
идеи могут рождаться как при обсуждении результатов,
полученных при проведении экспериментов в предыдущих
фазах, так и в результате дополнительных лабораторных
опытов или информации, извлеченной из публикаций.
Рекомендуется периодически устраивать консультацион-
ные советы с привлечением широкого крута разносторон-
них специалистов. Подробнее об эволюционном планиро-
вании рассказано в книге [11], а также в последнем обзоре
[99]. Возможность применения эволюционного плани-
рования к производственным процессам, в которых пере-
менные х и у изменяются непрерывно, изложена в статье
[100]. Мы здесь совсем коротко остановились на опи-
сании эволюционного планирования, поскольку в нем
используются идеи, подробно уже изложенные нами в
§ 1 настоящей главы. Новым здесь является сама поста-
новка задачи — требование так организовать производ-
ственный процесс, чтобы он давал информацию о некон-
тролируемых причинах смещения оптимума.
Эволюционное планирование — это пример коррек-
тировки процесса с технологической обратной связью.
Рассмотрим теперь другой прием — симплекс-планиро-
вание в адаптационной оптимизации. Этот метод был
предложен в 1962 г. Спиндлеем, Хецтом и Химсуорсом.
Основная его особенность — возможность заранее пред-
ложить четкие правила принятия решений о том, куда
и когда двигаться. Здесь управление производится с
эмпирической обратной связью. Используются уже хоро-
шо знакомые нам линейные симплекс-планы.
Рассмотрим правильный симплекс So с вершинами
^1, у2, ..., и центром Cj. На каждой грани 50 можно
построить новый симплекс Sj с центром Cj и к вершинами
Pi, •••, •••» принадлежащими множест-
7 В. В. Налимов
178
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
ву 80, и одной новой вершиной являющейся зеркаль-
ным отображением точки Vj относительно грани, общей
обоим симплексам. На рис. 4.8 выполнено построение
симплекса S3 из симплекса So для случая к = 2. Чтобы
найти ту или иную координату точки pj, нужно взять
удвоенное среднее из соответствующих координат ylt
..., и вычесть из него соответствующую
координату точки В векторном обозначении это запи-
шется так:
2 *
V = у (V1 + V2 + • • • + Vj-1 + V,+1 + . . . + Vk+1) - Vj.
Допустим теперь, что yp (выход процесса в точке ир)
есть наименьшее значение среди к + 1 значений, полу-
ченных для симплекса So. Тогда интуитивно ясно, что
надо двигаться в направлении точки vp. (Можно строго
Рис. 4.8. Построение симплекса 6'3
из симплекса в задаче с двумя
независимыми переменными.
доказать, что движение из
центра симплекса Со за
грань, находящуюся про-
тив точки будет совпа-
дать с направлением кру-
того восхождения, рассчи-
танным по результатам
наблюдений в вершинах
правильного симплекса).
Стратегию симплекс-
планирования можно сфор-
мулировать в трех про-
стых правилах:
Правило I. Отобрать наименьшее значение ур из
значений уи у^ ..., у^+и замеренных в точках, образу-
ющих симплекс So- Дополнить этот симплекс новым сим-
плексом заменив точку ур, соответствующую точке ypt
точкой vp.
Правило II. Если результаты применения пра-
вила I приводят к тому, что система симплексов начинает
вращаться вокруг точки, соответствующей некоторому
наибольшему значению (возможно, обусловленному ошиб-
кой), то после к + 1 опытов прекратить применение пра-
вила I и повторить опыт, дающий завышенные результаты.
§ 4] АДАПТАЦИОННАЯ ОПТИМИЗАЦИЯ
179
Правило III. Если значение ур было наименьшим
в симплексе 50, а значение у*р оказалось наименьшим
в симплексе Sp, то прекратить применение правила I
и вернуться к симплексу So. Двигаться из симплекса So,
отбросив второе наименьшее значение, которое одновре-
менно является и вторым наименьшим значением для
симплекса Sp.
В методе симплекс-планирования четко указывается,
когда и куда двигаться; это позволяет полностью авто-
матизировать процесс управления, используя управляю-
щие ЭВМ или малоквалифицированный персонал.
Если почему-либо переменные варьировать нельзя,
то контроль за производственным процессом, разумеет-
ся, можно вести и по результатам пассивных наблюдений,
используя для этого контрольные карты различного
типа и, прежде всего, конечно, коммулятивно-суммирую-
щие карты, о которых речь шла выше (см. стр. 53).
Дальнейшим развитием метода контрольных карт явля-
ется метод прогнозирования нестационарных процессов,
предложенный Боксом и Дженкинсом (см. стр. 130).
Метод прогноза может сочетаться и с методом активного
эксперимента.
Допустим, например, что в многомерной технологи-
ческой задаче проводится эволюционное планирование
и получается последовательность значений для состав-
ляющих градиента линейного приближения. Далее можно
строить прогноз в отдельности по каждой из состав-
ляющих градиента, используя метод Бокса — Дженкинса.
Решение о том, что делать, будет приниматься теперь уже
с использованием результатов, полученных не только на
последней фазе, но также и на предыдущих фазах. Мы
получим систему управления с памятью, причем эволю-
ционное планирование превратится уже в управление
с технологической обратной связью.
Заканчивая настоящий раздел, хочется подчеркнуть,
что задачу оптимального управления производственным
процессом можно рассматривать в системе тех представ-
лений, которые возникли при анализе и планировании
обычного эксперимента, столь хорошо знакомого всем ис-
следователям.
7*
180
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
§ 5. Планирование эксперимента при изучении
механизма явлений
До сих пор мы рассматривали планирование экспери-
мента только в применении к экстремальным задачам.
Решая эти задачи, исследователь стремится найти опти-
мальные условия протекания процесса в условиях, когда
механизм явления слишком сложен, т. е. изучаемая си-
стема плохо организована.
Планирование эксперимента можно применять также
и при изучении хорошо организованных систем, когда
целью исследования служит изучение механизма явления.
Здесь возможны три различные постановки задачи.
I. Задача уточнения парметров мо-
дели. Предполагается, что априори известен анали-
тический вид функции отклика
ц = <p(^, я2, ..., х*\ 0П 02, . . ., 00 = Ф(х;0).
Известны также предварительные оценки параметров
01, 02..., О', и эти оценки надо уточнить. При такой
постановке задачи функция отклика, как правило, ока-
зывается уже нелинейной по параметрам. В задачах хи-
мической кинетики ими могут служить, скажем, суммы
экспонент. Обратим внимание на то, что задача оценки
параметров существенно отличается от экстремальной.
При решении экстремальной задачи нас вполне устроит
модель, адекватно описывающая наблюдаемые явления.
Однако эта адекватность может быть в некотором смысле
иллюзорной. План может оказаться таким, что оценки
параметров будут сильно закоррелированы и большие
ошибки в оценках будут взаимно компенсироваться,
создавая хорошее соответствие между наблюденными и
вычисленными значениями функции отклика.
II. Выбор одной из двух (цли несколь-
ких) конкурирующих гипотез. При такой
постановке задачи предполагается, что исследователь
выбрал априори несколько возможных гипотез, а именно,
л, = Ф1 (х; 01),
= Фг (х; о2),
Лт = Фт(х;«т),
ИЗУЧЕНИЕ МЕХАНИЗМА ЯВЛЕНИЙ
181
§ 51
где вектор параметров 6, может иметь различную размер-
ность. Задача заключается в том, чтобы поставить экспе-
римент, позволяющий отобрать ту модель, которая луч-
ше всего соответствует наблюдаемому явлению.
III. Одновременное решение обеих
поставленных выше задач. Исследователь
может стремиться к тому, чтобы одновременно решать
обе поставленные выше задачи. Такая стратегия, как
будет показано ниже, оказывается наиболее логичной.
Но мы все же рассмотрим сначала два первых подхо-
да, так как это облегчит понимание всей проблемы в
целом.
Начнем с рассмотрения первой задачи. Поскольку
здесь приходится иметь дело с функцией, нелинейной по
параметрам, первое, что нам надо сделать,— это произ-
вести линеаризацию функции, разлагая ее в ряд Тейлора
в окрестности некоторой точки 6? (далее для простоты
мы опустим нижний индекс при (Р, указывающий номер
гипотезы, поскольку в рассматриваемой здесь постановке
задачи выбирается какая-либо одна модель). В резуль-
тате мы приходим к рассмотрению информационной мат-
рицы (F*F)/7V, полученной из матрицы независимых
переменных F порядка N X I,
F = {/„„}-
где элемент матрицы
, _ Г а<Р (V 0) 1
Zr’u“| ае I
есть частная производная по параметру 0Г в точке 6 = 0°
при значениях х1и, хчи, соответствующих услови-
ям некоторого u-го опыта. Отсюда видно, что при такой
постановке задачи матрица планирования определяется
предварительными оценками параметров 0°.
Критерий оптимальности планирования эксперимен-
та^можно сформулировать здесь следующим образом:
расположение точек в пространстве независимых пере-
менных должно быть выбрано так, чтобы определитель
|(F*F)|-1 был минимален. Функциональный определитель
182
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
ГГЛ. IV
(якобиан) | (F*F) “11 характеризует преобразование про-
странства опытов (с координатами = ср (хи5 0)) в
пространстве параметров. Если якобиан минимален, то
приближенно минимальным будет и объем /-мерного эл-
липсоида рассеяния в пространстве параметров, опреде-
ляющего доверительные границы параметров функции
отклика. Таким образом, мы получаем D-оптимальный
план. Нужно обратить внимание, что, в отличие от задач,
линейных по параметру (полиномиальная регрессия),
здесь оптимальный план зависит от значений оцениваемых
параметров.
Требование минимизировать якобиан | (F*F)-11 равно-
сильно требованию максимизировать определитель | F*F |.
Рассмотрим планирование, в котором число уровней рав-
но числу параметров Z, и на каждом уровне будем делать
такое количество параллельных определений, которое
необходимо для получения заданной точности. Тогда
матрица будет квадратной матрицей порядка I X I. Для
этой матрицы | F*F | = | F |2. Следовательно, задача по-
строения оптимального плана сводится к выбору таких
значений независимых переменных в неком заданном ин-
тервале значений, при которых модуль определителя |F|
окажется максимальным. Это сложная вычислительная
задача, поддающаяся решению только с помощью ЭВМ.
Обычно используют методы последовательного планиро-
вания, при которых после каждого небольшого уточне-
ния параметров производится вычисление нового, опти-
мального на данном шаге плана. Задача несколько услож-
няется, если ввести стоимость наблюдений, которая может
быть различной при разных значениях независимых пере-
менных. С такой ситуацией особенно часто приходится
встречаться в задачах физики, где, скажем, с ростом энер-
гии элементарных частиц растет стоимость опыта. Не-
трудно строго показать, что процесс уточнения сходится,
даже если исходные оценки сделаны совсем грубо.
Проиллюстрируем сказанное примером, заимствован-
ным из статьи Бокса и Лукаса [101]. Требовалось уточ-
нить параметры уравнений химической кинетики
Т) = ф (t; Ла) = (<rw -
5 51
ЙЗУЙЕЙИЕ МЕХАНИЗМА ЯВЛЕНИЙ
185
в качестве предварительных оценок были взяты значения
£5 = 0,7; $ = 0,2.
Применяя описанную выше процедуру, авторы уста-
новили, что измерения надо производить в моменты вре-
мени и Zs. На рис. 4.9 эти значения отмечены на шкале
времени жирными точками. Там же графически представ-
лена функция ф (Z; 0,7; 0,2) и ее частные производные
Рис. 4.9. Оптимальный план в задаче химической
кинетики, описываемой суммой экспонент [101].
Эксперименты нужно ставить в моменты времени, со-
ответствующие двум жирным точкам.
А (0 и /1 (0- В данном примере точки для оптимального
эксперимента tY и t2 лежат по обе стороны от максималь-
ного значения функции ф (Z; 0,7; 0,2) при сравнительно
большом значении выхода. Принятый нами критерий
«вставляет выбирать и t2 так, чтобы соответствующие
им значения частных производных оказались близкими
к экстремальным значениям и были, по возможности,
некоррелированы. При традиционном подходе к задаче
исследователь разбросал бы экспериментальные точки
равномерно по шкале времени в заданном ему интервале.
184
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
Расчеты, выполненные Федоровым [104] на ЭВМ путем
моделирования задач, показали, что выигрыш от плани-
рования в ситуациях подобного рода может быть пятн-
или даже десятикратным. При этом, чем чаще исследова-
тель разбрасывает свои точки по шкале времени, тем
менее оптимальным оказывается его эксперимент. С логи-
ческих позиций рассмотренный здесь прием все же
далеко не безупречен. Он полностью правомерен, если
у исследователя есть безусловная уверенность в безоши-
бочности выбранной модели. Но часто ли бывает такая
уверенность? Традиционная постановка эксперимента по-
зволяет выявить неадекватность исходной модели. Новая
постановка задачи исключает эту возможность, поскольку
здесь вся концепция базируется на безусловной правиль-
ности исходной модели.
Перейдем теперь ко второй, более сложной задаче —
дискриминации гипотез. Здесь мы прежде всего должны
задаться правилом принятия решения, а это, как мы уже
говорили выше (см. гл. II), представляет одну из самых
сложных задач интеллектуальной деятельности человека.
Рассмотрим прежде всего модель дискриминации по
взвешенным суммам квадратов отклонений. Для простоты
ограничимся двумя конкурирующими гипотезами:
(х; 01) и = t]a (х; 02).
Допустим, что в результате измерений, выполненных
в точках хп х3, ..., хп, получены выборочные значения
уг, ^2» •••» Уп с весами ...» Вычислим взвешен-
ные суммы квадратов
п
s^i (п) = з wt ll/i - Пн (х; 01П))]2
1=1
и
п
552 («) = 2 tVi - Лг! (х; 02П))Г,
i=l
где верхний индекс (п) просто указывает, что 0(п) оценена
по первым п наблюдениям. Мы сможем, пользуясь %2-кри-
терием, выбрать одну из двух конкурирующих гипотез,
ИЗУЧЕНИЕ МЕХАНИЗМА ЯВЛЕНИЙ
185
§ 5
если суммы квадратов SSt (и) и SS2 (п) достаточно силь-
но отличаются друг от друга. Если разность между ними
мала, то надо поставить (п + 1)-й эксперимент. Его,
естественно, следует ставить в той точке, где ожидается
максимальное значение указанной разности. Так форму-
лируется простейший критерий для планирования дискри-
минирующих экспериментов. Этот подход носит уже эври-
стический характер, его трудно связать с общими идеями
математической статистики.
Значительно более обоснованным представляется алго-
ритм принятия решений, построенный на основании от-
ношения вероятностей. С общеметодологических позиций
критерий отношения максимального правдоподобия мы
уже рассматривали в гл. II (см. стр. 59). Покажем те-
перь, как он применяется в рассматриваемой здесь зада-
че. Ограничимся опять анализом ситуации с двумя кон-
курирующими гипотезами. Найдем отношение максималь-
ного правдоподобия для первых п наблюдений:
_ Л(уп,6<п>)
Р2(УП-^П))
{1 n 1
- - 41,J (*; е(1п))12 J
f 1 п 1 *
о" {х} ехр У [щ - n2ti (х; S£°)
где Ох {х} и о2 {#} — квадратичные ошибки, характеризую-
щие рассеяние случайных величин у—rji (х; 91) и у—Ц2 (х;
обычно б2 {х} и б2{х} приходится заменять их выбороч-
ными оценками.
Первая гипотеза будет приниматься, когда
вторая — когда 5? < g2. Выбор критических значений
51 и 5а производится с учетом ошибок первого и второго
рода, как об этом уже говорилось выше (см. стр. 46).
Абсолютная величина Ж служит здесь?мерой точности
различения гипотез. Практически удобнее в качестве меры
брать / In X |. Планирование эксперимента заключается
в отыскании такой точки х, при которой среднее зна-
чение | In Ж | максимально. Поскольку величина | in X |
зависит от порядка рассмотрения гипотез, здесь прихо-
186
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
дится прибегать к различным приемам усреднения [104].
Другой прием основан на хорошо известной концепции
энтропии для дискретной случайной величины, прини-
мающей т значений [20, 103].
Согласно Шеннону, энтропия такой системы опреде-
ляется как
т
5= -S PiInPb
i=l
где pi — вероятность появления значения случайной
величины с индексом L Наименьшая информация соот-
ветствует максимуму энтропии, т. е. случаю, когда рг =
р2 = ... = р,п = Нт, Если мы хотим в результате иссле-
дования получить максимальную информацию, то нужно
стремиться к тому, чтобы эксперимент приводил к мак-
симальному изменению энтропии. Это, в частности, про-
изойдет, когда окажется, что pj = 1 и pi = 0 для всех
i =/= /. Чтобы воспользоваться такой концепцией для
отбора одной из двух конкурирующих гипотез, можно
рассмотреть предложенную Кульбаком [102] меру рас-
хождения, тесно связанную с интуитивно легко понимае-
мой энтропийной мерой. Если мы имеем две конкури-
рующие гипотезы
: Р1 = (Р11, Р12* • • •» Р1к)>
Рг = (Р21» Р22> • • м Ра*),
то логарифмическая мера расхождения Кульбака запи-
шется в виде
D= 2(Рн-№)1п^-.
В нашем случае по п первым наблюдениям вычисляем
вероятность распределения случайной величины уп+1 для
двух конкурирующих гипотез
1
[ (X, ё<п>)Р
еХР| 2 0o2+s’)
exp
: = О 9
V 2л (б 2 + сф
1
#2 : Р% —
2(gJ + ^
5 51
ЙЗУЧЕНИЕ МЕХАНИЗМА ЯВЛЕНИЙ
18?
где б? — дисперсия ошибки эксперимента, о? и диспер-
сии оценки функций отклика, вычисленные по первым п
наблюдениям.
Мера расхождения Кульбака, усредненная по (п-|-1)-му
наблюдению, здесь запишется так
^2 ~ \ 1Р1 Р*\ ^Уп+1*
J Ра
Выбор оптимального плана будет заключаться в мак-
симизации величины Z)2.
Выше (см. гл. II) мы уже говорили о том, как, исходя
из представления об ошибках первого и второго рода,
можно обосновать оптимальность критерия отношения
вероятностей. Далее, там же отмечалось, что само пред-
ставление об этих ошибках логически связано с пред-
ставлениями об априорных вероятностях. Поэтому ка-
жется вполне естественным построить критерий дискри-
минации, основанный непосредственно на использовании
априорных вероятностей появления конкурирующих ги-
потез. Тогда легко показать, что для т конкурирующих
гипотез кульбаковская мера расхождения запишется сле-
дующим образом:
т т
£>m = 2 S <11,пЯ},п {\ Pi In -^-4yn+i + In dz/n+1k
i=l d J
Здесь qi4n — априорная вероятность, связанная с некото-
рой моделью Z, до выполнения (п + 1)-го наблюдения
i/n+ь a — плотность вероятности для yn+i для той же
модели.
Приняв гипотезы нормальности, постоянства диспер-
сий для ошибки эксперимента и локальной линейности
по параметрам 0, получим
т т п о
П 1 V V Г (°i + 3;)
—yzL Z1 Qi,nQ),n\ 2 , ». . 2 +
43o+°iH3o+sp
где б? — дисперсия предсказанного значения i]n+i для
188
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
[ГЛ. IV
модели I и наблюдения {/п+ь вычисленная по п первым
наблюдениям. Задача планирования, следовательно, сво-
дится к выбору такого расположения точек, при котором
достигается максимум величины Z)m. Процедура продол-
жается до тех пор, пока вероятность, связанная с одной
из конкурирующих гипотез, не достигнет критического
значения, скажем, значения 0,98. Эта вероятность вы-
числяется по формуле
i=l
Здесь опять возникает деликатная задача — как быть
с выбором априорных вероятностей. В худшем случае
можно принять постулат полного незнания и одинаковую
априорную вероятность для всех гипотез. Расчеты на
модельных задачах показывают, что система принятия
решений обладает короткой памятью — неверно выбран-
ные априорные вероятности быстро забываются.
Теперь наконец мы можем перейти к обсуждению кар-
динальной проблемы — планированию эксперимента, от-
вечающего одновременно двум требованиям: уточнению
параметров и дискриминации. Естественно стремиться
построить план, который был бы одновременно оптимален
с позиции двух, совсем различных по своей постановке
задач. Поочередное решение этих задач может оказаться
очень плохим. Ведь явно не имеет смысла улучшать па-
раметры модели, если модель была выбрана плохо, и,
вместе с тем, неразумно проводить дискриминацию, если
параметры моделей оценены слишком грубо.
Лишь совсем недавно, в 1968 г., появилась первая
работа [103], рассматривающая планирование экспери-
мента в дуальной постановке задачи. Там был предложен
следующий критерий:
С = D + ш2Д,
где D — мера дискриминации; А — мера точности оценки
параметров: wr и ir2 — веса, которые должен выбирать
исследователь. В этой модели вся трудность перенесена
на выбор весов — ведь здесь суммируют различные по
своему смыслу величины. Исследователь по собственному
§ 51
ИЗУЧЕНИЕ МЕХАНИЗМА ЯВЛЕНИЙ
189
усмотрению должен усилить роль одного из двух слага-
емых в зависимости от того, что в той или иной конкрет-
ной задаче выдвигается на первый план. Эту неприятную
процедуру выбора веса можно в известной степени фор-
мализовать, если, скажем, рассмотреть специальный слу-
чай приведенной выше модели, т. е. написать
D = Dm/Drnt (макс)»
т
А ~ 2 (^nAj/Aj, (макс))»
zz?i = {т(1 - qb,n)i(m - 1)}А,
w2 = 1 —
Здесь Dm, (макс) — максимальное значение в заданной
области варьирования переменных; А; = | F*F | для
модели /; А;> (Макс) — максимальное значение Aj в заданной
области эксперимента; qb,n — априорная информация, свя-
занная с лучшей моделью, перед постановкой (и + 1)-го
опыта.
Преимущества такого выбора весов очевидны. Легко
видеть, что при максимальной неопределенности (gbn =
= 1/тп; i = 1,2,..., т) имеем = 1 и ш2 = 0 и критерий
С вырождается в критерий D. С другой стороны, при мак-
симальной определенности qb,n = 1, = 0, w2 = 1 кри-
терий оказывается пропорциональным критерию Дь =
= | F*F | для модели Ь, В промежуточных случаях
1РХ уменьшается монотонно с ростом qb. Скорость этого
уменьшения задается параметром К. Задача исследовате-
ля сводится теперь только к выбору последнего парамет-
ра. Правила для остановки процедуры алгоритм не да-
ет — исследователь выбирает его, учитывая важность
задачи и стоимость эксперимента. По-видимому, разумно
остановиться, достигнув, скажем, значения qb,n = 0,98.
Этот прием интересен своей попыткой глубоко форма-
лизовать одну из самых сложных сторон деятельности
исследователя. Здесь важно отметить роль ЭВМ. Хотя
она и остается вспомогательной (исследователь выдвига-
ет конкурирующие гипотезы и выбирает X), но приме-
190
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
{ГЛ. IV
пение ЭВМ позволяет совсем по-новому сформулировать
правила принятия решения. Эта новая процедура допу-
скает значительно более четкую (чем было возможно ра-
нее) постановку тех вопросов, на которые должен отве-
чать исследователь. Итак, высокая степень логической
четкости — вот что пока удалось достигнуть при формали-
зации процесса принятия решения (подробнее о планиро-
вании эксперимента, направленного на изучение меха-
низма явлений, см. в книге Федорова [104]).
Заканчивая настоящий раздел, хочется поставить один
глубоко принципиальный вопрос: что же все-таки надо
делать — решать экстремальные задачи, пользуясь при-
емами, изложенными в первых трех параграфах, или ста-
раться изучить механизм явлений? Ответ на него достаточ-
но прост. Если исследователь имеет дело с плохо органи-
зованной, диффузной, системой, то естественно ограни-
читься полиномиальным описанием, формулируя цель
исследования как экстремальную задачу. По-видимому,
при изучении технологических процессов почти всегда
приходится иметь дело с плохо организованными систе-
мами. Около 100 лет известен, скажем, мартеновский
способ производства стали, и до сих пор нет математи-
ческой модели, адекватно описывающей этот процесс.
Сейчас многие технологические процессы возникают и
умирают раньше, чем удается изучить механизм происхо-
дящих в них явлений. Понесла ли наука какой-либо
ущерб от того, что пудлинговый способ производства
железа был снят с производства раньше, чем был изучен
его механизм. Современная химическая промышленность
выпускает несколько десятков тысяч наименований про-
дуктов. Нужно ли и можно ли изучить механизм проте-
кания всех этих процессов? Но, вместе с тем, знание ме-
ханизма явлений позволяет глубже проникнуть в сущ-
ность изучаемых процессов. По-видимому, всегда надо
четко разграничивать задачи, затрачивая большие сред-
ства только на то, что представляет глубокий научный
интерес.
Правда, против описания технологических процессов
полиномиальными моделями можно выдвинуть одновесьмгч
серьезное возражение, связанное с масштабными пере-
ходами. Если в технологической системе протекают
§ 5] ИЗУЧЕНИЕ МЕХАНИЗМА ЯВЛЕНИЙ <91
гидродинамические процессы, то полиномиальная модель,
полученная в лабораторных или полузаводских условиях,
не может быть перенесена непосредственно на установки
большого масштаба. Впрочем, все эти возражения уже
не относятся к методам, изложенным в разделе, где рас-
сматривается адаптационная оптимизация.
* *
*
Теперь несколько замечаний по всей главе в целом.
Читатель видит, что статистические идеи здесь исполь-
зовались только при постановке задачи. И только эта,
чисто идейная сторона вопроса, собственно, и должна
беспокоить экспериментатора. Далее следует сложная
задача математики — установить соответствие между от-
дельными критериями, показать, как те или иные резуль-
таты можно получить дедуктивно из простейших и почти
самоочевидных посылок. Эта часть уже должна мало бес-
покоить экспериментатора, здесь он может поверить
математикам на слово. И, наконец, следует последний
этап — большая вычислительная работа. Это также не
должно беспокоить экспериментатора. Такую работу
должны выполнять специалисты по вычислительной мате-
матике. Они должны обеспечить экспериментатору бы-
строе обслуживание; только тогда вся концепция после-
довательного планирования может приобрести реальный
смысл.
ГЛАВА V
ЗАКЛЮЧЕНИЕ
§ 1. Логика развития идей математической статистики
Логика развития математической статистики, как это
ни странно, на первый взгляд очень сильно напоминает
логику развития физики. В физике существует, с одной
стороны, теория, строящаяся дедуктивно, с другой сто-
роны — эксперимент. Физические теории всегда остают-
ся неполными. Физик знает о мире больше, чем это зало-
жено в его теориях. Необъяснимыми остаются фунда-
ментальные вопросы; например, современная квантовая
электродинамика не может ответить на такой кардиналь-
ный вопрос — почему отвлеченное число hc/e2 равно 137
[105]. Взаимоотношение между теорией и экспериментом
оказывается крайне сложным. Их связывает догадка —
интуиция исследователя. Она заставляет эксперимента-
тора получать новые данные, не укладывающиеся в преж-
ние теоретические построения. Так преодолевается гёде-
левская трудность в развитии физики. Здесь важно под-
черкнуть, что в физике теория не создает такой системы
представлений, из которой бы следовал алгоритм, зас-
тавляющий неким однозначным образом действовать экс-
периментатора. Теория в физике скорее создает некую
систему взглядов, подчас не лишенную и противоречий,
на базе которой возникают догадки. Поясним это примером
с задачей, относящейся, пожалуй, скорее к технической
физике. Допустим, что нужно получить фотокатод, обла-
дающий некоторым новым свойством, скажем, резко вы-
раженной селективностью в некоторой области спектра.
Из квантовой механики непосредственно не следует ре-
цепта, позволяющего получить такой катод, хотя в свое
§ 1] ЛОГИКА МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 193
время объяснение механизма фотоэффекта оказало очень
большое влияние на развитие квантовой теории. Чтобы
получить новый фотокатод, нужна догадка, но она может
возникнуть только на основе той системы взглядов, кото-
рая задается теорией.
Точно так же обстоит дело и в математической ста-
тистике. С одной стороны, она развивается как чисто де-
дуктивная наука в абстрактно математическом плане.
Ее развитие отнюдь не диктуется прикладными задачами —
это особенно хорошо видно, скажем, на примере с теорией
случайных функций, ставшей совершенно самостоятель-
ной, чисто математической дисциплиной. Исходные пред-
посылки теоретических построений, как правило, столь
мало реалистичны, что полученные результаты оказыва-
ются лишенными непосредственного практического зна-
чения — из них не следуют рецептурные решения. С дру-
гой стороны, математическая статистика, построенная
как строго дедуктивная дисциплина, создает, как и тео-
ретическая физика, лишь систему взглядов. На базе этой
системы взглядов возникает множество догадок. Создают-
ся приемы, имеющие лишь интуитивное обоснование.
Эффективность этих приемов, границы их применения,
проверяются моделированием задач на ЭВМ. После по-
явления ЭВМ математическая статистика в значительной
степени стала экспериментальной наукой. Так же, как
и физика, современная математическая статистика богаче
своей дедуктивно построенной теории. Или иначе, здесь
так же, как и в физике, дедуктивная теория оказывается
неполной.
На пути развития математической статистики сейчас
ясно прослеживаются две опасности, которые уже мно-
гих стали серьезно беспокоить.
Одна из них — возможность загромождения науки
интуитивными решениями, не поддающимися теоретиче-
скому осмысливанию. Вначале удачное решение, полу-
ченное на интуитивном уровне, воспринимается как боль-
шое достижение. Но затем нагромождение интуитивных
решений, одинаково или почти одинаково хороших,
начинает вызывать беспокойство. Так было, в частности,
и с работами Бокса по планированию экстремальных
экспериментов. Исходная идея, предложенная им на
194
ЗАКЛЮЧЕНИЕ
[ГЛ. V
эмпирико-интуитивном уровне, оказалась очень плодо-
творной и была быстро подхвачена экспериментаторами.
Но потом появилось множество различных вариантов
этого решения, трудно поддающихся сопоставлению и
классификации. Чисто эмпирический подход по мере свое-
го развития обычно всегда приводит к логическим труд-
ностям — появляется множество плохо согласуемых меж-
ду собой результатов. В случае планирования экстре-
мальных экспериментов также потребовалось осмыслить
подход к задаче с каких-то единых, более глубоких пози-
ций х). Эта задача была решена, как уже говорилось выше,
группой наших сотрудников, показавших, как, исполь-
зуя ЭВМ, можно рассмотреть всю проблему с совершенно
абстрактных теоретических позиций, разработанных Ки-
фером. Благодаря уже упоминавшейся выше работе Л. Д.
Мешалкина [96], достаточно благополучно обстоит сей-
час дело и с методом случайного баланса, который также
был вначале предложен на интуитивном уровне. Но
далеко не все в математической статистике обстоит так
хорошо.
Придирчивый читатель, наверное, был удивлен тем,
что мы изложили метод прогнозирования нестационар-
ных случайных процессов, предложенный Боксом и Джен-
кинсом (см. стр. 132), без всякой его связи с какими бы
то ни было теоретическими представлениями. В задаче
прогнозирования нестационарных процессов есть много
эмпирико-интуитивных решений. Они не поддаются со-
поставлению. Их нельзя рассмотреть в рамках единой
теоретической концепции. Во всяком. случае, их никак
нельзя связать с хорошо известной теорией Колмогоро-
ва — Винера для прогноза стационарных процессов. Мы
изложили только метод Бокса — Дженкинса, поскольку
интуитивно он представляется нам наиболее перспектив-
т) Любопытно отметить, что работы Бокса не получили сколь-
ко-нибудь широкого отклика у математиков, занимающихся раз-
работкой теоретических вопросов математической статистики. В об-
зорном докладе Стейна по проблемам математической статистики на
Международном математическом конгрессе в Москве в 1965 г. рабо-
ты Бокса вовсе не были упомянуты, хотя во многих статистических
журналах они цитируются чаще, чем чьи-либо другие. В частных
беседах нередко можно было слышать примерно такой отклик ма-
тематиков: «Мы просто не понимаем эти работы».
§ 11 ЛОГИКА МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
ным. Интуиция здесь подтверждается рядом многочис-
ленных хороших примеров его применения. Но мы ясно
отдаем себе отчет в слабости нашей мотивировки. И если
дальше будут нагромождаться здесь все новые и новые
решения, не поддающиеся теоретическому осмысливанию,
то это уже можно будет рассматривать как катастрофу.
Впрочем, не то ли же самое происходит сейчас в физике
элементарных частиц?
Вторая опасность — появление большого числа пре-
стижных работ. За рубежом нередко кафедры математи-
ческой статистики занимают ученые, хорошо подготов-
ленные в области математики, но не имеющие вкуса к
эксперименту. Им нужно как-то проявить свою деятель-
ность. Нужно давать темы для дипломных и диссертацион-
ных работ. Появляются проблемы, сформулированные
в терминах прикладных задач, но в действительности не
имеющие прикладного значения. Разработка этих про-
блем требует высокого математического мастерства и мо-
жет служить хорошим основанием для поддержания
престижа на высоком уровне. Однако найденные решения
не имеют большой ценности с позиций математики, так
как они носят очень частный характер. Их пытаются
представить как глубокую теоретическую разработку
практически важной проблемы. Но на самом деле они
не имеют прикладного значения из-за нереалистичности
в постановке задачи. Так возникает ненужная теорети-
зация. Если об этом раньше было принято говорить толь-
ко в частных беседах, то совсем недавно Йейтс — новый
президент Королевского статистического общества (Англия)
сказал об этом во всеуслышание [106]. Он подверг сомне-
нию даже разумность дуального рассмотрения диспер-
сионного анализа, когда противопоставляются модели со
случайными и фиксированными уровнями переменных
(см. стр. 83); однако нам представляется, что такое
дуальное рассмотрение позволяет лучше понять логику
дисперсионного анализа, хотя оно и не имеет большого
практического значения. С горечью Йейтс отмечает, что
углубленная теоретизация не сопровождается ростом куль-
туры в обработке и представлении результатов наблю-
дений, даже когда это делается профессиональными ста-
тистиками. Вся трудность здесь заключается в том, что
196
ЗАКЛЮЧЕНИЕ
(ГЛ. V
нет критерия, позволяющего отличить престижную рабо-
ту от серьезной. Долгое время многим казалось, что тео-
ретические работы Кифера по планированию эксперимента
носят скорее престижный характер; они не имели пря-
мого практического выхода, а с позиций чистых матема-
тиков их результаты представлялись слишком частными.
Но потом все оказалось не так.
Может быть, надо говорить не только об опасности
престижных работ, но и об опасности излишней детали-
зации многих проблем. Какими интересными были первые
работы, начавшие появляться после того, как возникла
совсем новая проблема — планирование эксперимента!
Но потом стали возникать направления, в которых нача-
лась необычайная детализация. Так, например, по не-
полноблочным сбалансированным и несбалансированным
планам сейчас имеется уже около 1500 публикаций. Эти
планы находят довольно широкое практическое приме-
нение, но отнюдь не практическое их использование сти-
мулировало появление такого множества работ. Пред-
ставляют ли они интерес с позиций чистой математики —
остается еще далеко не ясным. Не возникают ли так тупи-
ковые направления в науке, т. е. такие направления,
где практически сколь угодно долго может идти экспо-
ненциальный рост публикаций без того, чтобы это приво-
дило к кризисным ситуациям — таким, когда подобные
работы служат толчком для возникновения новых, по-
настоящему серьезных, научных концепций? Во всяком
случае, в планировании эксперимента детализация уже
сейчас зашла так далеко, что ни один научный работник —
даже если он профессионал в данной области — не может
использовать в своей повседневной работе все многооб-
разие имеющихся приемов.
§ 2. Математическая статистика как метаязык
эксперимента
Каждый раздел знаний по мере своего развития выра-
батывает свой собственный язык, понятия которого коди-
руют целые концепции. Эти языки отличаются между
собой не только своим словарным составом, но и грамма-
тикой, т. е. правилами вывода и построения текста.
2 21
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА КАК МЕТАЯЗЫК
197
Так, например, правила вывода в математическом языке
существенно отличны от правил вывода в других языках.
И даже в отдельных разделах математики можно найти
тонкие различия, если, скажем, одно и то же явление
описывать один раз, исходя из детерминистической кон-
цепции, другой раз — из вероятностной. Правила выво-
да в математике, представляющиеся нам безупречно
строгими, совсем не кажутся уже такими строгими с пози-
ций тех, кто привык к языку логики (популярное изло-
жение этого см. в [1071).
Создание подобных локальных языков, иногда назы-
ваемых научным жаргоном, или сленгом, облегчает об-
мен информацией между представителями той или дру-
гой узкой области знаний, но затрудняет его между пред-
ставителями смежных областей знаний и особенно — меж-
ду наукой и техникой (подробнее см. [1081). Чтобы избе-
жать вульгаризации, вероятно, лучше говорить не о
научных жаргонах, а о своеобразных специфических язы-
ках науки.
Одновременно с развитием и углублением специфиче-
ских языков науки наблюдается тенденция создания
метаязыков, т. е. языков, стоящих над специфическими
языками узких областей знаний. Метаязык х) отнюдь не
отменяет и не подменяет специфические языки науки.
В системе этого языка формулируются высказывания о
понятиях и представлениях отдельных языков науки.
На метаязыках формулируются суждения, общие для мно-
гих, существенно различных подразделов науки. Так
создаются метатеории.
Таким метаязыком все в большей степени становится
сейчас язык математики, или, точнее, языки математики,
поскольку математика сама по себе достаточно широкая
и разнородная дисциплина. В процессе разработки соб-
ственно математических задач создался особый, очень
богатый язык, который оказалось возможным применять
для решения совсем нематематических задач. Исследова-
тель-нематематик, применяя язык математики для реше-
ния своих нематематических задач, совершенно не инте-
1) Обычно метаязык — это язык для разговора о другом, ни-
жестоящем языке. У нас здесь метаязык — это язык для разговора
о нескольких нижестоящих языках.

ЗАЙЛЮЙЕЙЙЁ
(гл. V
ресуется собственно математическими проблемами, изло-
женными, скажем, в известных монографиях, издаваемых
под псевдонимом Бурбаки.
Математическая статистика сейчас претендует на роль
метаязыка экспериментатора. Математическая теория экс-
перимента, формулируемая на языке математической
статистики, становится метатеорией, поскольку в ней
формулируются такие общие для всех экспериментаторов
принципы, как принцип принятия решений в условиях
неопределенности, принцип обработки результатов наблю-
дений, принципы планирования эксперимента. Этот язык
удобен тем, что он позволяет описать отклик природы на
деятельность экспериментатора в недетерминированной
системе представлений, отражающей реальный мир,
в котором оставлены степени свободы для вероятностного
поведения.
Исследователя-экспериментатора совсем мало инте-
ресуют собственно математические проблемы математи-
ческой статистики, и тем более, теория вероятностей.
Вряд ли он когда-нибудь будет пытаться понять, скажем,
книгу Неве «Математические основы теории вероятнос-
тей» [109]. Экспериментатор ограничивается использова-
нием математической статистики как языка, на котором
он формулирует свои задачи. Выше мы уже пытались по-
казать, как использование этого языка идейно обогатило
экспериментатора. Мышление в понятиях данного языка
позволило создать ряд совершенно новых для эксперимен-
татора концепций; одна из них — планирование экспе-
римента. Но вот что любопытно; эта концепция уже сов-
сем мало интересует математиков — специалистов по
теории вероятностей и математической статистике. Во
всяком случае, на математических и механико-математи-
ческих факультетах наших университетов курс планиро-
вания эксперимента не читается.
Выше уже говорилось, что в математической статисти-
ке есть много рекомендаций, полученных на интуитивном
уровне и подтвержденных лишь моделированием задач
на ЭВМ. Эти рекомендации можно рассматривать просто
как некоторые высказывания на языке статистики. Стро-
го говоря, они не создают еще науки до тех пор, пока их
не удается осмыслить с общетеоретических позиций.
§ 21 МАТЕМАТИЧЕСКАЯ СТАТИСТИКА КАК МЕТАЯЗЫК 199
Оказывается, что одни и те же задачи можно формулиро-
вать на различных диалектах математики, и тогда созда-
ется впечатление появления различных разделов знании.
Так, например, задачи дискриминации можно формули-
ровать один раз на языке многомерной статистики (см.
§ 3 гл. III), другой раз — на языке анализа зрительного
образа (сложного изображения); в результате получается
два почти не пересекающихся направления. Задачи уп-
равления производственными процессами можно форму-
лировать в терминах планирования эксперимента (см. § 4
гл. IV) и в терминах дуального управления, как это де-
лается в литературе по автоматизации. В результате
возникают любопытные курьезы. Например, в одном
из докладов на Всесоюзном семинаре по адаптивным си-
стемам утверждается, что еще нет пригодных для практи-
ки методов управления технологическими процессами
с медленно изменяющимися неконтролируемыми пара-
метрами и случайными возмущениями [110]. Правильно
было бы эту мысль сформулировать так: нет практиче-
ски пригодных методов, сформулированных на языке, при-
вычном для специалистов по автоматизации. Хорошо
известный метод случайного поиска решает, по существу,
те же задачи, что и метод планирования экстремальных
экспериментов [111]. Но при этом игнорируются те пло-
дотворные концепции, на которых базируется планирова-
ние эксперимента. Появление метода случайного поиска
оказалось возможным лишь потому, что он сформулиро-
ван на языке, отличном от языка планирования экспери-
мента, что позволило автору просто игнорировать кон-
цепцию планирования эксперимента (см. [112]).
На языке математической статистики эксперимента-
торы начинают все чаще и чаще формулировать и свои
совсем частные задачи, что нередко делается не вполне
корректно или даже просто вульгарно. Все это вызывает
законное раздражение у математиков, и некоторые из
них подчас вообще склонны называть вульгарной статис-
тикой использование языка математической статистики
для решения нематематических задач.
Теперь можно задать вопрос — почему же математи-
ческая теория эксперимента не получила всеобщего при-
знания у экспериментаторов? Почему все же так мало ветре-
200
ЗАКЛЮЧЕНИЕ
[ГЛ. V
чается экспериментальных работ, написанных на языке
математической статистики? Почему так часто язык
статистики используется столь вульгарно? Ответить на эти
вопросы легко. Все дело в том, что язык математической
статистики не стал еще родным языком экспериментатора.
Экспериментатору пользоваться им так же трудно, как
каждому из нас трудно пользоваться малознакомым ино-
странным языком. Ему не обучают студентов в высших
учебных заведениях, им не пользуются при преподавании
экспериментальных дисциплин, при прохождении практи-
кумов. Более того, еще не найдены и приемлемые формы
обучения этому языку. Можно надеяться,* что вскоре
положение дел изменится. Большие усилия в этом направ-
лении делаются в некоторых зарубежных странах и пока,
к сожалению, совсем малые — у нас.
Мы, конечно, далеки от мысли о том, что каждый
экспериментатор одновременно сможет стать и специа-
листом по математической статистике. В будущем, по-
видимому, нужно будет стремиться к созданию двух-
ступенчатой системы организации исследований. Экспе-
риментатор, понимающий лишь идейную сторону теории
эксперимента, должен получить возможность постоянно
взаимодействовать с консультантом. Возникает необхо-
димость в появлении специалистов нового профиля —
статистиков-консул ьтантов.
Одновременно с проблемой обучения консультантов
возникает еще одна задача — организация преподавания
теории эксперимента всем экспериментаторам. Нам
кажется, что общий курс высшей математики можно так
трансформировать, чтобы идеи и методы теории экспе-
римента вошли в пего в качестве органической состав-
ляющей.
Нужно ли стремиться к тому, чтобы создаваемая сей-
час математическая теория эксперимента действительно
стала метатеорией эксперимента? Такой вопрос должен
решать читатель-экспериментатор. Хочется думать, что
наша небольшая книга сможет в этом отношении при-
нести какую-то пользу.
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Сборник «Вычислительные машины и мышление», изд. «Мир»,
1967, 552 стр.
2. F. Y a t е s, Computers: The second Revolution in Statistics,
Biometrics 22, № 2, 233—251 (1966).
3. У. П. Рейтман, Познание и мышление. Моделирование на
уровне информационных процессов, изд. «Мир», 1968, 400 стр.
4. Чжао Юань-Жень, Модели в лингвистике и модели
вообще, в сб. «Математическая логика и ее применение»,
изд. «Мир», 1965, 281—292.
5. К. R. Р о р р е г, The Logic of Scientific Discovery, Hutchinson
of London, 1965, 480 pp. (Первое издание этой книги вышло на
немецком языке еще в 1934 г. На английском языке она вышла
в 1959 г. и затем переиздавалась в 1960,1962 и 1965 гг. В анг-
лийском издании имеется обширное дополнение.)
6. С h. Laird, Thinking about Language, Holt Rinehart a.
Winston, 1961, 75 pp.
7. В. В. H а л и м о в, 3. M. M у л ь ч е н к о, Наукометрия,
изд. «Наука», 1969, 192 стр.
8. Э. Г е л н е р, Слово и вещи, ИЛ, 1962, 144 стр.
9. Е. F. К. W a 11, Ecology and Resource Management. A Quanti-
tative Approach, McGrow-Hill, 1968, 455 pp.
10. H. Бейли. Математика в биологии и медицине. Изд. «Мир»,
1970, 326 стр.
И. В. В. Н а л и м о в, Н. А. Чернова, Статистические ме-
тоды планирования экстремальных экспериментов, изд. «Нау-
ка», 1965, 340 стр.
12. М. А. А р б и б, Мозг, машина и математика, изд. «Наука»,
1968, 224 стр.
13. Е. N a g е 1, J. N ewman, Godel’s Proof, N. Y. Univ. Press,
1958, 118 pp. (Сокращенный перевод этой книги вышел на
русском языке — изд. «Знание», 1970, 63 стр.)
14. Г. К а с т л е р. Возникновение биологической организации,
изд. «Мир», 1967, 89 стр.
15. R. F i s h е г, Statistical Methods and Scientific Inference, Oli-
ver a. Boyd, 1959, 178 pp.
16. M. G. К e n d a 1 1, Statistical Inference in the Light of the
Theory of the Electronic Computer, Rev. Intemat. Stat. Inst.
34, № 1, 1-12 (1966).
17. The Magic of Numbers, Nature 217, N 5131, 793- 794
(1968).
202
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
18. G. D о Ь г о v, А. М а с к а у, Not the Mysticism, but the
Science of Numbers, Nature 219, № 5154, 662 (1968).
19. Г. X а н, С. Ш а п и p о. Статистические модели в инженер-
ных задачах, изд. «Мир», 1969, 395 стр.
20. G. Е. Р. В о х, W. J. Н i 11, Discrimination among Mechanis-
tic Models, Technometrics 9, № 1, 57—71 (1967).
21. L. J. Sa vage, The Foundations of Statistics, Wiley, 1954,
294 pp.
22. L. J. S a v a g e, Bayesian Statistics, в сб. «Recent Develop-
ments in Information and Decision Processes», Macmillan a.
Co., 1962, 197 pp.
23. L. J. S a v a g e a. other contributers, The Foundations of Sta-
tistical Inference, Methuen a. Co., 1962, 112 pp.
24. I. J. G о о d, The Estimation of Probabilities: an Essay on Mo-
dern Bayesian Methods, M. I. T. Press, 1965, 109 pp.
25. D. V. L i n d 1 e y, Introduction to Probability and Statistics
from a Bayesian Viewpoint, Ptl, Probability, 259 pp.*, Pt 2,
Inference, Cambr. Univ. Press, 1965, 292 pp.
26. В. А. С л а в н ы й, Количественные критерии точности и чув-
ствительности и возможность учета априорной информации
при анализе вещества, Зав. лаб. 35, № 7, 818—825 (1969).
27. W. Т. Morri s, Menagement Science, a Bayesian Introducti-
on, Prentice-Hall, 1968, 226 pp.
28. А. В а л ь д, Последовательный анализ, Физматгиз, 1960,
328 стр.
29. G. W е t h е г i 11, Sequential Methods in Statistics, Methuen
a. Co., 1966, 218 pp.
30. Э. Л e м а н. Проверка статистических гипотез, изд. «Наука»,
1964, 498 стр.
31. Th. Kahn, International Encyclopedy on Unified Science,
The Structure of Scientific Revolution, v. I, II, 1962.
32. D. P г i c e, Communication in Science: the Ends — Philosophy
and Forecast, Simposium on Communication in Science,
Documentation and Automatisation, Churchill Ltd, 1967,
p. 199—209.
33. Ч. P. X и к с, Основные принципы планирования эксперимен-
та, изд. «Мир», 1967, 406 стр.
34. «The Design and Analysis on Industrial Experiments»
(ed. by 0. L. Davies), 2nd. ed., Oliver a. Boyd, 1960, 636 pp.
35. R. H. Woodward, P. L. Goldsmith, Cumulative
Sum Techniques, Oliver a. Boyd, 1964, 65 pp.
36. L. A. C u r r i e, Limits for Qualitative Detection and Quantita-
tive Determination, Application to Radiochemistry, Anal. Chem.
40, № 3, 586-593 (1968).
37. R. A. Fisher, The Place of the Design of Experiments in the
Logic of Scientific Inference, Sankhya Ser. A., 27, № 1, 33—38
(1965).
38. J. W. T u k e y, The Future of Data Analysis, Ann. Math. Stat.
33, № 1, 1-67 (1962).
39. H. Г. M и к e ш и н а, Выявление и исключение аномальных
значений, Зав. лаб. 32, № 3, 310—318 (1966).
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
203
40. Л. Д. М е ша л к и н, Н. П. С м и р н о в, Н. Н. Со сно в-
с к и й, Об устойчивости оценок центра распределения, Зав.
лаб. 35, № 5, 594—597 (1969).
41. D. J. F i n п е у, Teaching Biometry in University, Biometrics
24, № 1, 1—12 (1968).
42. R. A. F i s h e r, F. Y a t e s, Statistical Tables for Biological,
Agricaltural and Medical Research, Oliver a. Boyd, 1957, 138 pp.
43. E. В. M a p к о в а, Латинские квадраты в планировании экс-
перимента, Зав. лаб. 34, № 1, 60—65 (1968). Латинские пря-
моугольники и кубы в планировании эксперимента, Зав. лаб.
34, № 7, 832—837 (1968).
44. Е. В. М а р к о в а, Т. М. К а р т а ш е в а, Ю. М. Б у с ы-
ч и н а, Г. А. Ж и р н о в а, Г. Е. Ш т е п и н а, Приме-
нение латинского куба второго порядка при разработке рецеп-
туры нового полимерного материала, Зав. лаб. 35, № 7, 831—
835 (1969).
45. Л. Е. Б е р е н ш т е й н, В. В. Н а л и м о в, О. Б. Ф а л ь-
к о в а, Планирование эксперимента и представление его
результатов при оценке точности и правильности спектраль-
ных методов анализа геологических проб. Зав. лаб. 27, № 10,
1254-1260 (1961).
46. В. J. W i п е г, Statistical Principles in Experimental Design,
McGrow-Hill, 1962, 672 pp.
47. В. В. Налимов, Применение математической статистики
при анализе вещества, Физматгиз, 1960, 430 стр.
48. Г. Ш е ф ф е, Дисперсионный анализ, Физматгиз, 1963,
625 стр.
49. J. N. R. Jeffers, Two Case Studies in the Application of Prin-
cipal Component Analysis, Appl. Stat. 16, № 3,225—236 (1967).
50. G. Wernimont, Evaluating Laboratory Performance of
Spectrofotometers, Anal. Chem. 39, № 6, 554—562 (1967).
51. D. J. Spurrell, Some Metallurgical Application of Princi-
pal Components, Appl. Stat. 12, № 3, 180—188 (1965).
52. П. Ф. А н д p у к о в и ч, Применение метода главных ком-
понент в регрессионном анализе,] Зав. лаб. 36, № 3, 312—316
(1970).
53. И. В. Маце гор ин, В. П. Р у м я нц е в, Факторный ана-
лиз механических характеристик сталей, Зав. лаб. 36, № 1,
55-60 (1970).
54. R. В. С a 11 е 11, The Dimensions of Cultural Patterns by
Factorization of National Characters, J. Abnor. and Social
Psychology 44, 443—469 (1949).
55. T. А н д e p с о н, Введение в многомерный статистический
анализ, Физматгиз, 1963, 499 стр.
56. С. R. R а о, The Use and Interpretation of Principal Component
Analysis in Applied Research, Sankhya Ser. A., 26, № 1, 329—
358 (1964).
57. Д.Лоули, А. Максв е"л|л, Факторный аналиэ^как ста-
тистический метод, изд. «Мир», 1967, 144 стр.
58. К. (J Ь е г 1 a, Faktoren analyse, Springer — Verlag, 1968,
399 м.
204
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
59. В. Ю. Урбах. Дискриминантный анализ: основные идеи и
приложения (обзор и библиография), в сб. «Статистические
методы классификации», Изд. МГУ, 1969, 79—173.
60. Сборник «Статистические методы классификации», вып. 1.
(ред. Ю. М. Благовещенский), Изд. МГУ, 1969.
61. Сборник «Автоматический анализ сложных изображений» (ред.
Э.М. Браверман), изд. «Мир», 1969, 309 стр.
62. Р. J. Н а г г i s о n, A. Method of Cluster Analysis and Some
Applications, Appl. Stat. 17, № 3, 226—236 (1968).
63. N. R. G о о d m a n, Some Comments of Spectral Analysis of
Time Series, Technometrics 3, № 2, 221—228 (1961).
64. H. В и н e p, Новые главы кибернетики, изд. «Советское ра-
дио», 1963, 61 стр.
65. Г. С. Г о р е л и к, Колебания и волны, изд. «Наука», 1965,
572 стр.
66. J. W. Т u к е у, Discussion, Emphasizing the Connection bet-
ween Analysis of Variance and Spectrum Analysis, Technometrics
3, № 2, 191-220 (1961).
67. R. В. В 1 а с к m a n, J. W. T u к e y, The Measurement of
Power Spectra, Dover, 1959, 190 pp.
68. G. M. J e n к i n s. General Considerations in the Analysis of
Spectra, Technometrics 3, № 2, 133—166 (1961).
69. E. P a r z e n, Mathematical Consideration in the Estimation of
Spectra, Technometrics 3, № 2, 167—190 (1961).
70. G. M. J e n к i n s, E. P a r z e n, Comments on the Discussi-
ons of Messrs Tukey and Goodman, Technometrics 3, № 2,
229-234 (1961).
71. T. W о n n а с о t t, Spectral Analysis Combining a Bartlett
Window with an Associated Inner Window, Technometrics 3, № 2,
235-245 (1961).
72. G. M. J e n к i n s, A. Survey of Spectral Analysis, Appl. Stat.
14, № 1, 2-32 (1965).
73. M. В. P r i e s t 1 e y, The Role of Bandwidth in Spectral
Analysis, Appl. Stat. 14, № 1, 33-47 (1965).
74. R. H. J о n es, A Reappraisal of the Periodogram in Spectral
Analysis, Technometrics 7, № 4, 531—542 (1965).
75. A. S. A 1 a v i, G. M. J e n к i n s, An Example of Digital
Filtering, Appl. Stat. 14, № 1, 70-74 (1965).
76. И. П. К а г а н о в с к и й, Т. Г. К о с о у р о в а, Е. Е. Ле-
пи х о в а, В. В. Налимов, С. С. Соловьева,
В. Л. Фрейдлина, Изучение пространственной перио-
дичности'удельного электросопротивления в монокристаллах
’ германия, Зав. лаб. 33, № 1, 52—60 (1967).
77. М. D. G о d f г е у, An Exploratory Study of the Bi-spectrum
of Economic Time Series, Appl. Stat. 14, № 1. 48—69 (1965).
78. К. H a s s e 1 m a n, W. M u n k, G. M a c D о n a 1 d, Bi-
spectra of Ocean Waves, Proc. Symposium on Time Series Ana-
lysis, Wiley a. Sons, 1962, p. 125—139.
79. К. X ел стром, Статистическая теория обнаружения
сигналов, ИЛ, 1963, 430 стр.
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
205
80. II. А. Р а п о f s к у, Meteorological Applications of Gross-Spect-
rum Analysis, в сб. «Spectral Analysis of Time Series» (ed. by
B. Harris), Wiley, 1967, p. 109-132.
81. C. W. J.Granger, M. Ha tanaka, Spectral Analysis of
Economic Time Series, Prine. Univ. Press, 1966, 299 pp.
82. В. С. Д у ж e н к о, E. Г. У г e p, Адаптационная оптими-
зация технологических процессов, в сб. «Новые идеи в плани-
ровании эксперимента» (ред. В. В. Налимов), изд. «Наука»,
1969, стр. 292-314.
83. G. Е. Р. В о х, G. М. J е n k i n s, D. W. В а с о n, Models
for Forecasting Seasonal and Non-Seasonal Time Series, в сб.
«Spectral Analysis of Time Scries» (ed. by B. Harris), Wiley,
1967, p. 271-311.
84. G. E. P. В о x, G. M. J e n к i n s, Some Statistical Aspects of
Adaptive Optimization and Control, J. Roy. Stat. Soc. Ser. B,
24, № 2, 297-331 (1962).
85. А. А. С в ешни к о в. Прикладные методы теории случай-
ных функций, изд. «Наука», 1968, 463 стр.
86. В. Н. М а с л о в, Л. В. Н а б а т о в а, В. В. Н а л и м о в,
И. Н. Н ю б е р г, А. В. О в о д о в а, Р. И. С л о б о д ч п-
к о в а. Представление результатов исследования структур-
ных дефектов германия, Зав. лаб. 29, № 10,1206—1211 (1963).
87. И. П. К а г а н о в с к и й, Л. С. О к у н ь, А. В. О в о д о-
в а, Л. В. Р я б ы к и н а, Е. Е. Л е п и х с в а, Эталоны
макроструктур для оценки неоднородности монокристаллов
германия по плотности дислокаций, Зав. лаб. 31, № 10, 1219
(1965).
88. В. Г. Г о р с к и й, В. 3. Б р о д с к и й, О симплекс-планах
первого порядка и связанных с ними планах второго порядка,
в сб. «Новые идеи в планировании эксперимента» (ред.
В. В. Налимов), изд. «Наука», 1969, стр. 59—117.
89. G. Е. Р. В о х, К. М. W i 1 s о n, On the Experimental Attain-
ment of Optimal Conditions, J. Roy. Stat. Soc. Ser. B, 13, № 1,
1-15 (1951).
90. G. E. P. В о x, J. S. Hunte r, Multi-factor Experimental
Designs for Exploring Response Surfaces, Ann. Math. Stat. 28,
№ 1, 195-241 (1957).
91. T. И. Голикова, H. Г. M и к e ш и н а. Свойства D-
оптимальных планов и методы их построения, в сб. «Новые идеи
в планировании эксперимента» (ред. В. В. Налимов), изд.
«Наука», 1969, стр. 21—58.
92. П. Ф. А н д р у к о в и ч, Т. И. Г о л и к о в а, С. Г. Ко-
стина, Планы второго порядка на гиперкубе, близкие по
свойствам к D-оптимальным, в сб. «Новые идеи в планирова-
нии эксперимента» (ред. В. В. Налимов), изд. «Наука», 1969,
стр. 140 — 153.
93. Т. И. Г о л и к о в а, В. В. Ф е д о р о в, Л. С. Н и к о л а е-
ва, Н. А.Чернова, Сравнение композиционных планов
второго порядка, построенных на n-мерном шаре, в сб. «Но-
вые идеи в планировании эксперимента» (ред. В. В. Нали-
мов), изд. «Наука» 1969, стр. 154—176.
206
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
94. Ю. П. А д л е р, Ю. В. Г р а н о в с к и й, Обзор приклад-
ных работ по планированию эксперимента, Препринт № 1,
Изд. МГУ, 1967, 96 стр.
95. V. D. F е d о г о v, V. N. М а х i m о v, V. G. В о g о г о v,
Experimental Development of Nutritive Media for Micro-Orga-
nisms, Biometrika 55, № 1, 43—51 (1968).
96. Л.Д. Мешалки н, К обоснованию метода случайного
баланса, Зав. лаб. 33, № 3, 316—318 (1970).
97. О. L. D a v i е s, The Design of Screening Tests, Technometrics
5, № 4, 481—489 (1963).
98. W. T. F e d e r e r, Procedures and Designs Useful for Screening
Material in Selection and Allocation (with a Bibliography),
Biometrics 19, № 4, 553—587 (1963).
99. W. G. H u n t e r, J. R. Kittrell, Evolutionary Operati-
on: a Review, Technometrics 8, № 3, 389—397 (1966).
100. E. Г. У г e p, Планирование эксперимента в условиях, когда
ошибки наблюдений коррелированы, в сб. «Новые идеи в пла-
нировании эксперимента» (ред. В. В. Налимов), изд. «Наука»,
1969, стр. 275-291.
101. G. Е. Р. В о х, Н. L. L и с a s, Design of Experiments in
Non-Linear Situations, Biometrika 46, № 1—2, 77—90
(1959).
102. С. К у л ь б а к, Теория информации и статистика, изд.
«Наука», 1967, 408 стр.
103. W. J. Н i 1 1, W. G. Н u n t е г, D. W. W i с h е г n, A Joint
Design Criterion for the Dual Problem of Model Discrimination
and Parameter Estimation, Technometrics 10, № 1, 145—160
(1968).
104. В. В. Федоров, Теория оптимальных экспериментов (при
выяснении механизма явлений), изд. «Наука» (в печати).
105. А. С. К о м п а н е е ц, Может ли кончиться физическая нау-
ка?, в сб. «Будущее науки», изд. «Знание», 1968, стр. 56—73.
106. F. Y a t е s, Theory and Practice in Statistics: the Adress of
the President (with Proceedings), J. Roy. Stat. Soc. Ser. A, 131,
№ 4, 463-477 (1968).
107. А. Ю. Ш p e й д e p, Наука — источник знания и суеверий,
Новый мир, № 10, 1969.
108. В. В. Н а л и м о в, 3. М. М у л ь ч е н к о, Лог и ко-лингви-
стический анализ языка науки, в сб. «Математизация зна-
ний», изд. Ин-та философии (в печати).
109. Ж. Н е в е, Математические основы теории вероятностей, изд.
Г «Мир», 1969, 309 стр.
110. И. Н. Б е л о г л а з о в, В. Н. В а р ы г и н, Всесоюзный се-
минар по адаптивным системам. Информационные материалы,
Изд. Научного совета по комплексной проблеме «Кибернети-
ка», № 5, (30), 19-23 (1969).
111. Л. А. Растригин, Статистические методы поиска, изд.
«Наука», 1968, 376 стр.
112. В. В. Н а л и м о в, Еще раз о сравнении случайного поиска
с методом градиента в симплекс-планированни, Зав. лаб. 32,
№ 7, 854-858 (1966).
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
207
ИЗ. A. A. L u b i s с h е w, On the Use of Discriminant Functions in
Taxonomy, Biometrics 18, № 44, 455—477 (1962).
114. A. A. L u b i s c h e w, Philosophical Aspects of Taxonomy, Ann.
Rev. Entom. 14, 19—38 (1969).
115. N. R. D r a p e r, W. G. Hunter, Transformation: Some
Examples Revisited, Technometrics 11, № 1, 23—40 (1969).
116. G. E. P. Box and D. R. С о x, Analysis of Transformations,
J. Roy. Stat. Soc. Ser. B, 26, 211—243 (1964). Discussion.
117. E. В. Маркова, О структурной связи между факторными
экспериментами и латинскими квадратами, Зав. лаб. 37, № 1
(1971).
118. Планирование эксперимента, литература на русском
и украинском языках за 1965—1969 гг. I—III кв., Изд. Библио-
теки им. В. И. Ленина, 1969, 106 стр.
Василий Васильевы Налимов
ТЕОРИЯ ЭКСПЕРИМЕНТА
(Серия: «Физико-математическая библиотека
инженера»)
М., 1971 г., 208 стр. С илл.
Редактор Н. А. Райская
Техн, редактор Л. А. Пыжова
Корректор Т. А. Панькова
Сдано в набор 2/Х 1970 г.
Подписано к печати 28/XII 1970 г. Бумага 84Х1081/»
Физ. печ. л. 6,5. Условн. печ. л. 10,92.
Уч.-изд. л. 10,71. Тираж 29000 вкз. Т-15561
Цена книги 67 коп. Заказ 1211.
Издательство «Наука»
Главная редакция
физико-математической литературы
Москва В-71, Ленинский проспект, 15
2-я типография издательства «Наука».
Москва, Шубинский пер., 10
Цена 67 иол.
Oh