Текст
8С-50к_
3681
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ
ПРИКЛАДНОЙ КИБЕРНЕТИКИ
(1.382.1 Выпуск 7
1338
26104
В. И. ГОРОДЕЦКИЙ, А. я. ИОФФЕ, Л. М. МОРОЗОВ,
Г. Б. ПЕТУХОВ, В. Н. СИДОРОВ, Р. М. ЮСУПОВ
СТАТИСТИЧЕСКИЕ МЕТОДЫ
В ПРИКЛАДНОЙ КИБЕРНЕТИКЕ
Под общей редакцией Р М. ЮСУПОВА
Учебное пособие
МИНИСТЕРСТВО ОБОРОНЫ СССР
1980
УДК 007 (075.8)
? roe. ЧАЯ
(6) Министерство обороны СССР, 1980 8 ЬИО.-ЧчО'-КА
| Лё! ЛНГрвД
j 1£Я?а;с
Подписано к печати 14.1.80
Печ. л. 23,75
Уч.-изд. л. 23
Зак. 7192 Для внутриведомственной продажи цена 1 р 10 к. Г-303501
ПРЕДИСЛОВИЕ
Двадцатое столетие - эпоха научно-технической революции в
народном хозяйстве и военном деле. Детищем этой эпохи явилась
кибернетика - наука об управлении и связи в технических устрой-
ствах, живых организмах и их объединениях (системах, комплек-
сах, популяциях и т.п.). Рожденная общими усилиями представи-
телей многих наук для реиения проблем, лежащих на стыках раз-
личных отраслей знаний, кибернетика продолжает неумолимо втор-
гаться в разные оферы научной и прикладной деятельности общест-
ва.
В настоящее время принято различать теоретическую и приклад-
ную кибернетику. При этом прикладная кибернетика, ознакомлению
о которой посвящено данное учебное псообие, в овою очередь со-
стоит из ряда разделов: технической кибернетики, военной кибер-
нетики, экономической кибернетики и т.д. Эти разделы объединя-
ются общими для них понятиями, принципами (подходами), метода-
ми. Общими понятиями кибернетики могут служить: система, инфор-
мация, обратная овяэь, управление, операция, организация, мо-
дель, эффективность и т.д. Сущность этих понятий раскрывается
в соответствующих выпусках пособия.
Общее содержание книги обеспечивает курсы: "Военно-приклад-
ная кибернетика", "Теория вероятностей и математическая стати-
стика", "Статистические методы обработки информации", "Теория
эффективности сиотем".
Настоящий, оедьмсй выпуск в оерии учебных пособий по теоре-
тическим основам прикладной кибернетики поовящен изложению ота-
тиотических методов в прикладной кибернетике. Выпуск содержит
шесть глав.
В гл.1 излагаются основные понятия и методы математической
схатистики.а также некоторые разделы теории вероятностей,состав-
ляющие теоретическую основу современной математической стати-
стики.
4
В гл.2 рассматриваются статистические методы оценивания ве-
роятностных характеристик случайных объектов.
Гл.З посвящена изложению важнейших методов исследования точ-
ности и надежности статистических оценок.
В гл.4 рассматриваются методы статистической проверки ги-
потез, а в гл.5 - современные статистические методы оптималь-
ной обработки и анализа результатов наблюдений и измерений.
В заключительной гл.6 даются оовсвы метода статистического
моделирования (метода Понте-Карло).
В книге принята тройная нумерация пунктов, формул, рисун-
ков, таблиц, примеров. При этом первая цифра означает номер
главы, вторая - номер параграфа, а третья - номер пункта, фор-
мулы, рисунка и т.д. Использованная в пособии символика нахо-
дится в соответствии о работами [40,52].
Учебное пособие напиоали: введение и § I.I - доктор тех-
нических наук, профессор Р.М.Юсупов; главу 2 и § 4.6 - доктор
технических наук, профеосор Г.Б.Петухов; § 1.2 и главу 3 - док-
тор технических наук, профессор А.Я.Исффе; § 1.3 - кандидат тех-
нических наук, доцент В.М.Марков; главу 4 (кроме § 4.6) - кан-
дидат технических наук, доцент В.Н.Сидоров; главу 5 (кроме
§ 5.5 и 5.9) и дополнения - доктор технических наук В.И.Горс-
децкий; § 5.5 - кандидат технических наук А.Е.Ваулин; § 5.9 -
В.В.Дрсжжин; главу 6 - кандидат технических наук, доцент Л Л.Мо-
розов.
ВВЕДЕНИЕ
математической статистикой называется раздел прикладной ма-
тематики, в котором изучаются рациональные приемы и методы ре-
гистрации, описания, обработки и анализа экспериментальных дан-
ных, полученных в результате наблюдения массовых случайных яв-
лений. ути наблюдения проводятся для изучения присущих указан-
ным явлениям закономерностей и в конечном счете для целенаправ-
ленного управления процессами развития этих явлений.
Из теории вероятностей извеотно, что результаты опытов (эк-
спериментов) чаще всего оказываются случайными, что связано
как с вероятностной природой изучаемого явления, так и с раз-
личными случайными возмущениями, которые неизбежно сопровожда-
ют сам процесс наблюдения. Поэтому даже в простейших экспери-
ментах причинно-следственная связь между отдельными сторонами
и компонентами данного явления оказывается настолько затуше-
ванной и неочевидной, что установить ее удается лишь после тща-
тельного и кропотливого анализа с применением достаточно совер-
шенного математического аппарата. Таким образом, для изучения
закономерностей, тенденций и связей, интересующих исследовате-
ля, необходимо не только провести большое число наблюдений, но
и располагать специальными приемами и математическими методами,
которые позволили бы обработать и проанализировать полученные
в ходе наблюдений результаты. Разработка подобных приемов и ме-
тодов и составляет основное содержание математической статисти-
ки.
Термин "статистика" происходит от латинского слова status,
обозначающего "положение", "состояние". Задолго до возникнове-
ния статистической науки в древнейших и средневековых государ-
ствах выполнялись такие работы, как перепись населения, опре-
деление его имущественного положения, объема производимой сель-
скохозяйственной продукции, торговли, размеров налогообложения
и т.д. Полученные результаты давали характеристику состояния
обследуемого города, района, государства, в связи с чем подоб-
ного рода работы получили еще в те времена название статисти-
ческих.
Статистика как наука зародилась в Англии во второй полови-
не ХУП в. В работах видных экономистов этой эпохи Д.Гроунта и
особенно У.Петти подчеркивалось, что статистика - это не толь-
ко собирание и подытоживание фактов и сведений, но что обработ-
кой полученных данных можно выявить конкретные социальные и
экономические закономерности, определенные тенденции развития
общественных явлений и процессов. Трудя Петти получили высокую
оценку К.Маркса, который назгал его "в некотором роде изобре-
тателем статистики''.
В конце ХУШ в. получила развитие теория ошибок, в связи с
чем разработка методов математаческой статистики длительное
время стимулировалась потребностями этой теории. В начале XIX в.
новый импульо в развитии статистики и выделении ее в самостоя-
тельную математическую дисциплину дали биологические исследова-
ния, в частности, потребности медицины и генетики. В современ-
ных условиях в связи с общим прогрессом науки и проникновени-
нием математических методов во все области знания и оферы чело-
веческой деятельности интерес к математической статистике зна-
чительно возрос, появились и все время возникают новые задачи,
требующие применения более совершенных статистических методов.
Под влиянием запросов практики математическая статистика все
время развивается, обогащаясь новыми идеями, приемами и мето-
дами. в разработку теоретических основ математической статисти-
ки, в частности предельных теорем теории вероятностей, выдаю-
щийся вклад внесли русские математики, главным образом пред-
ставители так называемой Петербургской математической школы.
Наиболее фундаментальные исследования различных форм закона
больших чисел, раскрывающего характер проявления статистиче-
ских закономерностей при наблюдении массовых случайных явлений,
принадлежат выдающимся русским ученым П.Л .Чебышеву и его уче-
никам А.М.Ляпунову и А.А.Маркову. Теорема Чебыиева олужит тео-
ретической базой многих прикладных методов статистического оце-
нивания неизвестных параметров, характеристик и т.д. С именем
Ляпунова связано доказательство центральной предельной теоремы,
причем, используя специально разработанный аппарат характеристи-
ческих функций, Ляпунову удалось провеоти это доказательство
при самых общих предпосылках» Широко известен вклад Маркова в
доказательство ряда других предельных теорем и развитие теории
случайных процессов.
Большое значение для развития математической статистики име-
ют работы советских ученых Е.Е.Слуцкого, А.Н.Колмогорова,В.И.Ро-
мановского, И.В.Смирнова, Ю.В.Линника и др. Так, И.В.Смирнов
впервые изучил закономерности, которым подчинены члены вариа-
ционного ряда. Он и Б.В.Гнеденко провели исследование предель-
ных распределений как для центральных, так и длп крайних чле-
нов вариационного ряда (порядковых статистик), В.И<Гливенка и
А.Н.Колмогоров установили факт вероятностной равномерной сходи-
мости статистических законов распределения к теоретическим.Кол-
могоров и Смирнов внесли существенный вклад в разработку мето-
дов статистической проверки гипотез. В частности,ими предложе-
ны непараметрические критерии проверки гипотез, получивиие ши-
рокое практическое применение. Под руководством Колмогорова в
нашей стране были разработаны статистические методы контроля ка-
чества, значение которых в современных условиях, особенно в све-
те задач, выдвинутых ХХУ съездом КПСС, трудно переоценить.Уче-
никами Колмогорова разработаны общая схема и методология стати-
стических решений и построения оптимальных решающих процедур.
Развитие теоретических основ и в нет1' -ие в практику методов ст<
тистического моделирования и статистических испытаний связано
с именами советских ученых П.П.Бусленко, И.А.Коваленко, О.В.Со-
оюра и др. Существенный вклад в развитие математической стати-
стики, в частности статистических методов, применяемых при оп-
тимальной обработке результатов наблюдений, внесла школа Ю.В.Лин-
ника. Признанием ее выдающихся заслуг явился факт присуждения
в 1970 г. Государственной премии СССР группе ленинградских мате-
матиков во главе с Линником за исследования в области предель-
ных теорем и статистического анализа случайных процессов.В на-
стоящее время статистические идеи, принципы и методы глубоко
проникли в общественные науки - политэкономию, социологию, де-
мографию, потребности которых, особенно на первоначальном эта-
пе, в значительной мере стимулировали прогресс математической
статистики, подлинный расцвет которой возможен лишь на базе марк-
систско-ленинского учения - диалектического и исторического ма-
териализма.
Исходя из известного положения диалектического материализ-
ма о том, что практика - критерий истины, можно утверждать,что
8
статистические методы играют исключительно важную роль в про-
цессе познания окружающей нас реальной действительности, они
помогают глубже вокрыть объективные закономерности развития и
взаимосвязи предметов и явлений, спим объясняется тот огромный
интерео, который проявляли к статистике основоположники научно-
го коммунизма - К.Маркс, Ф.онгельс и В.И.Ленин. Работая над
"капиталом", Марко собрал и проанализировал огромный статисти-
ческий материал ("Монблан фактов" - по образному выражению Ле-
нина), с помощью которого показал суть капиталистического спо-
соба производства и распределения, основанного на эксплуатации
человека человеком. Вместе с тем в трудах Маркса получили раз-
витие основные методологичеокие принципы статистики, касающие-
ся, например, средних величин, индексов, объема выборки, дове-
рия к статистическим данным, действия закона больших чисел и
т.д.
Особенно болыцую роль в развитии теории и практики статисти-
ки сыграли работы Ленина, глубокие и разносторонние познания ко-
торого выдвинули его в ряд крупнейших представителей экономиче-
ской и социальной статистики.
В.И.Ленин широко оперировал статистическими данными и мето-
дами и постоянно подчеркивал необходимость их систематического
использования для глубокого проникновения в оуть социально-эко-
номических процессов и явлений, рассматривая статистику как важ-
нейшее орудие научного познания. U.K.Крупская в своих воспоми-
наниях пишет, с какой любовью и тщательностью Ленин работал
над статистическими источниками и материалами. Об этом свиде-
тельствуют большое число статистических сборников, масса таб-
лиц и расчетов, обработанных Владимиром Ильичем при подготовке
рукописей своих экономических трудов. Эту же мысль подтверж-
дает и следующее высказывание Надежды Константиновны: "Стати-
стические таблицы, цифры, выписки Ленин писал воегда необычай-
но четко, с особой старательностью - это образцы каллиграфии.
Выписывал их охотно, всегда с цифрами и кривыми. Статистическую
графину использовал широко, чертил сам и очень четко"^\ Неуди-
вительно поэтому, что среди многочисленных псевдонимов Ленива,
которые давала ему партия, чтобы надежнее укрыть овоего вождя
от царских ищеек, был и псевдоним "Статиотик".
Еще задолго до Октябрьской революции Ленин выступал о глубо-
ко аргументированной критикой буржуазной статистики за ее тен-
!) "Известия", 6 апреля 1963 г.
9
денцию окрыть, затушевать классовую сущность капиталистического
общества и доказать, что деревня развивается особым, некапита-
листическим путем, как это предсказывали народники. Для разоб-
лачения последних Ленин использовал статистические квантили,как
одну из важнейших характеристик вариационного ряда. Например,
изучая и анализируя классовую структуру дореволюционной русской
деревни, Владимир Ильич разграничивал крестьян по социальным
группам, пользуясь 50- и 80-процентными квантилями распределе-
ния хозяйств по посевной площади как признаком,который наилуч-
шим образом отражает экономику и уклад крестьянской семьи.Далее
для каждого выделенного разряда вариационного ряда Ленин опреде-
лял проценты сосредоточенных на нем той же посевной площади,ско-
та,наемной рабочей оилы,урожайности и т.д.Аналогичный методоло-
гической подход отчетливо прослеживается и в работе Ленина "Им-
периализм, как высшая стадия капитализма" в овязи о анализом
концентрации промышленности в домонополистический период и эпо-
ху империализма. Этот подход не потерял овоей актуальности и в
наши дни: он используетоя при анализе современных ооциально-зко-
номичеоких процессов и тенденций как в нашей стране, так и за
рубежом.
Ряд работ Ленина непосредственно поовящен статистике. К ним
относятся "К вопросу о нашей фабрично-заводской статистике",
"К вопросу о задачах земокой статистики" и многие другие. Осо-
бое внимание он обращал на необходимость гласности, всенародно-
сти, максимальной популяризации этой науки, придавал ей большое
значение в управлении первым в мире социалистическим государст-
вом.
Эти указания Владимира Ильича приобретают большое значение
в настоящее время. Регулярна публикуются сообщения Центрально-
го статистического управления СССР, характеризующие экономиче-
ское и социальное развитие нашей страны, иэдаетоя разнообраз-
ная статистическая литература, во многих вузах готовятся кадры
высококвалифицированных статистиков, растет сеть научно-иссле-
довательских учреждений, разрабатывающих актуальные теоретиче-
ские и прикладные проблемы статистики. Знание основ математиче-
ской статистики и квалифицированное применение на практике все-
го ароенала современных статистических методов можно рассматри-
вать как одно из условий успешного выполнения заданий десятой
пятилетки.
Остановимся, например, на такой важнейшей задаче, постав-
ленной ХХУ съездом КПСС перед ооветоким народом, как обеопече-
10
вне высокого качества выпускаемой продукции. В решениях съезда
отмечено, что одной из главных задач десятой пятилетки являет-
ся всемерное улучшение качества работы во всех звеньях народ-
ного хозяйства. Ставя задачи перед советской наукой, оъезд под-
черкивает необходимость повышения эффективности и качества на-
учных исследований.
В современных условиях наиболее перспективные способы конт-
роля и обеспечения качества выпускаемых изделий опираются на
методы математической отатистики и называются поэтому статисти-
ческими. Эти методы на отдельных операциях содействуют формули-
рованию общих принципов, которые оледует положить в основу раз-
работки мер для контроля качества и управления качеством про-
дукции в условиях широкого применения автоматизированных систем
управления (АСУ) отдельными технологическими процессами и про-
изводством в целом.
Статистические методы широко применяются и в военном деле,
главным образом при иоследовании эффективности процессов функ-
ционирования оиотем вооружения в весьма сложных и динамичных
условиях современного боя, когда принципиально необходим учет
случайных уоловий и факторов (например, рассеивания центров
взрывов, отказов и сбоев боевой, обеспечивающей и вычислитель-
ной техники, разброса времени ее подготовки к действию, случай-
ных помех как природного проиохождения, так и обусловленных про-
тиводействием противника, и т.д.).
Для получения достаточного объема статистических данных при
решении задач необходимы сложные и дорогостоящие испытания,свя-
занные о боевым применением и расходом сил и средств. Чтобы
обсйтиоь без натурных испытаний и в то же время получить инте-
ресу ющие командира и военного иоследователя результаты, пользу-
ются методом статистического моделирования (методом Монте-Кар-
ло), хорошо приспособленным к реализации на ЭВМ. За последние
годы этот метод получил веоьма широкое распространение и, по
существу, превратился в один из важнейших прикладных разделов
современной математической статистики.
Как видно из названия настоящего выпуока, методы математи-
ческой статиотики находят разнообразное применение в приклад-
ной кибернетике вообще и при разработках и эксплуатации АСУ в
частности. Современные АСУ - это не только сложные человеко-ма-
шинные оистемы, в которых человек взаимодействует о электронно-
вычислительной техникой, но к новые объекты, новые структуры в
II
народной хозяйстве страны. Сбор, обработка и анализ информации
о их деятельности в масштабе отдельных предприятий, отраслей
промышленности и всей страны, несомненно, потребуют привлече-
ния статистических методов и автоматизации всех видов и форм
статистического учета. В экономических кибернетических систе-
мах этот учет можно трактовать как один из каналов обратной свя-
зи в замкнутых системах управления объектами народного хозяй-
ства.
Как иногда говорят сами экономисты, экономика без отатиоти-
ки - это песня без олов. Без обширной статистической информации
и применения статистических методов нельзя построить полноцен-
ные экономико-математические модели различных процессов и явле-
ний, например модели оптимального планирования, сетевого плани-
рования и управления, массового обслуживания и т.д. Предпола-
гается, что важнейшей ооставной частью проектируемой в настоя-
щее время общегосударственной АСУ будет автоматизированная си-
стема государственной статистики, преследующая цели:
- ускорения обработки статистических данных;
- создания интегрированной оиотемы обработки статистических
данных;
- развития методов комплексного статистического анализа;
- сокращения временных затрат на сбор, обработку, передачу
и анализ статистической информации;
- повышения достоверности обработки статистических данных.
Приведенные выше соображения служат достаточно убедитель-
ным аргументом в пользу того, что в серию учебных пособий под
общей рубрикой "Теоретические основы прикладной кибернетики"
целесообразно включить и настоящий выпуск, в котором дано си-
стематизированное изложение теоретических основ и важнейших при-
ложений современной математической статистики.
12
Глава I
ВВЕДЕНИЕ В МАТЕМАТИЧЕСКУЮ СТАТИСТИКУ
§1.1. ОСНОВНЫЕ ПОНЯТИЯ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
И СУЩНОСТЬ ВЫБОРОЧНОГО МЕТОДА
Как известно, в теории вероятностей изучаются закономерно-
сти случайных явлений массового характера. Основными объектами
изучения при этом являются случайные события, случайные величи-
ны и случайные функции, которые описываются вероятностями.функ-
циями распределения, числовыми характеристиками и т.д. В тео-
рии вероятностей оперируют характеристиками случайных объектов,
совершенно не интересуясь, откуда они берутся. Эти характери-
стики (например, вероятность случайного события, законы распре-
деления случайных величин или функций) представляют собой мате-
матические отображения реальных закономерностей. Поэтому для их
получения необходимо изучать те массовые случайные явления,ко-
торым присущи данные закономерности. Такое изучение возможно
только опытным (зкспериментальным) путем. В процессе проведения
опыта производится регистрация (наблюдение) экспериментальных
данных, в результате обработки и анализа которых получаются ин-
тересующие исследователя характеристики изучаемого случайного
явления. Так, вероятность появления герба при бросании монеты
можно оценить при многократном ее подбрасывании. Для определе-
ния характеристик разброса точки попадания пули в мишень необ-
ходимо большое число выстрелов.
Теоретические основы методов регистрации, описания, обра-
ботки и анализа экспериментальных данных, получаемых в резуль-
тате наблюдения массовых случайных явлений, формируют специаль-
ную научную дисциплину - математическую статистику.
Кратко рассмотрим основные задачи этой науки.
Из изложенного ясно, что методы математической статистики
позволяют определять вероятности случайных событий, параметры
13
и законы распределения случайных величин и случайных функций,
а также их числовые характеристики. Кроме того, в процессе об-
работки и аналина опытных данных выдвигаются и проверяются оп-
ределенные предположения (гипотезы) относительно свойств изучае-
мых явлений.
Во многих случаях переменные, которые описывают свойства
изучаемого процесса (объекта), интересующие исследователя, кос-
венно (функционально) связаны с измеряемыми (наблюдаемыми) ве-
личинами. В математической статистике существуют методы, позво-
ляющие наилучшим (оптимальным) образом обрабатывать результаты
подобного рода косвенных измерений.
Таким образом, основными задачами математической статистики
являются:
- определение вероятностей случайных событий;
- выявление законов распределения случайных величин и слу-
чайных функций;
- определение параметров законов распределения и числовых
характеристик случайных величин и случайных функций;
- статистическая проверка гипотез;
- оптимальная обработка результатов косвенных наблюдений.
Первые четыре задачи изучаются в разделе математической ста-
тистики, называемом теорией статистического оценивания, пятая
задача исследуется в разделе, где рассматриваются статистиче-
ские методы проверки гипотез. Вопросы оптимальной обработки ре-
зультатов косвенных наблюдений рассматриваются главным образом
в регрессионном анализе. При обработке результатов косвенных
наблюдений фактически также решается задача оценивания парамет-
ров. Только в отличие от задач оценивания параметров распреде-
ления и числовых характеристик непосредственно наблюдаемых слу-
чайных величин и случайных функций здесь оцениваемые параметры
функционально связаны с наблюдаемыми. Поэтому обработку резуль-
татов косвенных наблюдений можно рассматривать как более общий
случай статистического оценивания параметров1^.
В результате все перечиоленные задачи математической ста-
тистики могут быть сведены к оцениванию параметров и проверке
статистических гипотез.
Термин "параметр" рриведен здеоь в обобщенном смысле.Он
может использоваться применительно к собственно параметрам за-
конов распределения, вероятностям случайных событий, законам
распределения, числовым характеристикам и т.д.
14
Оценивание параметров и проверка статистических гипотез по
своему существу принадлежит к классу статистических задач, свя-
занных с выбором одного из множества (о&чно конечного) решений.
В наиболее общей постановке такие задачи изучаются в теории ста-
тистических решений, которая иногда называется теорией статисти-
ческих игр. Последнее название объясняется тем, что теория ста-
тистических решений базируется на методах математической стати-
стики и теории игр.
В связи с указанным основные положения математической ста-
тистики могут рассматриваться и изучаться с единых позиций тео-
рии статистических решений.
Математическая статистика исторически развивалась как тео-
ретический аппарат для обработки и анализа результатов экспери-
мента. В настоящее время экоперимент играет центральную роль в
науке и производстве. На экспериментальные иоследования затра-
чиваются огромные материальные и временные ресурсы. Поэтому
чрезвычайно актуальной становится проблема наилучшей (оптималь-
ной) организации самого эксперимента. Эта проблема изучается но-
вым бурно развивающимся разделом математической статистики -
теорией планирования эксперимента.
Таким образом, математическая статистика занимается экспе-
риментальным исследованием закономерностей в массовых случайных
явлениях. При этом предполагается, что опыты могут быть повто-
рены большое число раз при одинаковых условиях. В каждом опыте
фиксируется (регистрируется) определенный признак изучаемого
объекта. Различают общий и основной признаки. Общим
признаком называется свойство, по которому объекты
объединяются в однородные совокупности, а основным
признаком - свойство объектов, наследуемое в данном
эксперименте. В свою очередь, как общие, так и основные призна-
ки могут бйть количественными (выраженными непосредственно в
числе) и качественными (пол, профессия, цвет, запах и т.д.).
Если производится исследование веса совокупности однотип-
ных рабочих деталей (например, болтов), то тип деталей харак-
теризует их общий признак, вес деталей - основной признак.
При отстреле ракет для оценки их боеготовности и точности
попадания в цель общим признаком является тип ракет, основными
признаками будут боеготовность и точность (точнее, их показа-
тели).
15
В математической статиотике отдельное конкретное значение
наблюдаемого основного признака называют его реаливацией или
вариантом.
При статистическом исследовании вероятностных свойств сово-
купности объектов мы обычно лишены возможности производить опы-
ты над каждым из них. Так, при изучении роста мужского населе-
ния СССР мы не в ооотоянии измерить рост каждого мужчины за ог-
раниченное время. Для оценки боевых качеств ракет невозможно
организовать их массовый отстрел. Для определения состояния зер-
новых перед посевом бессмысленно пытаться обследовать индиви-
дуально каждое отдельное зерно. И все же, несмотря на это, су-
ществует метод, позволяющий изучить интересующие нас свойства
всей совокупности исследуемых объектов. Речь идет о выбо-
рочном методе, в соответствии с которым основные
признаки совокупности объектов изучаются по некоторой ее части,
называемой выборкой. Более строго в математической ста-
тистике выборкой называют совокупность наблюдаемых вариантов
основного признака.
Совокупность всех возможных вариантов, над которыми произ-
водится наблюдение, называется генеральной со-
вокупностью.
Й математической статиотике предполагается, что выборка фор-
мируется при многократной реализации случайного эксперимента,
результат которого нельзя заранее точно предсказать. Поэтому
такие выборки называются случайными.
Пусть количественно исследуемый основной признак описыва-
ется случайной величиной х . Допустим, что в процессе наблю-
дений основного признака получена последовательность л зна-
чений х, ,х2,...,гл случайной величины х . До проведения
эксперимента зта последовательность является случайной выборкой
и обозначается <х,,х2,...,хп> .
Иногда выборку удобно описывать с помощью л -мерного слу-
чайного вектора Х<п> , компонентами которого являются элементы
последовательности <xt ,хг,...,хп>. Случайный характер данной вы-
борки выражается в том, что нельзя заранее предсказать возмож-
ные значения элементов выборки, и любые две последовательности
л наблюдаемых значений величины х в общем случае будут раз-
личными. Об этом надо всегда помнить при теоретических исследо-
ваниях свойств случайных выборок. В конкретных прикладных зада-
чах элементы выборок представляют собой реализации случайных
16
величин, т.е. детерминированные величины. Таким образом, апри-
орно (до проведения опыта) выборка будет случайной, а апосте-
риорно (после проведения опыта) - неслучайной.
Число п элементов выборки является конечным и называется
объемом выборки. Число элементов генеральной со-
вокупности может быть конечным или бесконечным. Так, если из
120 млн.мужчин страны для обследования отобрано 10000,то объем
генеральной сопокупнооти N = 120 млн, а объем выборки л =10000.
Если из 1000 ракет ддя оценки точности стрельбы выбрано 100, то
N = 1000, п = 100.
Очевидно, что если х - непрерывная случайная величина,
то соответствующая ей генеральная совокупность содержит бесчис-
ленное множество элементов.
В статистике различают повторные и бесповторные выборки.Вы-
борка называется повторной, воли стобранный объект
(элемент) после испытания перед отбором следующего снова воз-
вращается в генеральную совокупность. Выборка называется б е с-
повторной, если отобранный объект после испытания не
возвращается в генеральную совокупность.
Если выбираемые элементы инвлекаются по одному из всей ге-
неральной совокупности, то полученная выборка называется про-
стой. В дальнейшем рассмотрим только простые случайные выборки.
Для удобства назовем их случайными выборками Или просто выбор-
ками.
С позиций теории вероятностей элементы случайной выборки
рассматриваются как неэависише случайные величины с одной и
той же функцией распределения £(i) или плотностью распределе-
ния ч*£(х). последнее означает,2что для плотности распределе-
ния случайного вектора Х<л> имеет место равенство
Ф» (х<п>)=ЛФа(х,) . (I.I.I)
По данным выборки можно достаточно уверенно судить о свой-
ствах генеральной совокупности только тогда, когда выборка пра-
вильно ее представляет. Говорят, что выборка должна Лть
представитеиьной или репренента-
т и в н о й . Выборка представительна, если все элементы гене-
ральной совокупности имеют одинаковую вероитность попасть в
выборку.
Если иоследователя интересуют несколько основных призна-
ков, например рост и вес мужчин данной страны, три размера при-
17
моугольных деталей, то экспериментатор наблюдает векторную слу-
чайную величину, которую в общем случае будем обозначать через
Х<т> . В этом случае выборка описывается
пт -мерным случайным вектором Я<лт> .
Как уже отмечалось, случайные выборки используются для ре-
шения перечисленных выше задач математической статистики. При
этом обычно элементы выборки используются для образования по со-
ответствующим правилам новых случайных величин вида st=f
...,хп), которые называются статистиками.
Примерами статистик являются:
- выборочная сумма
s(=S£t i
- выборочное среднее
и т.д.
Все свойства (характеристики) генеральной совокупности, по-
лучаемые по данным выборки, называются выборочными
или статистическими (в отличие от теоретических
характеристик, изучаемых в теории вероятностей). В дальнейшем
все выборочные характеристики будем отмечать индексом*. Так,
Г*(х) обозначает статистическую функцию распределения случай-
ной величины х-, М*[£]=х* - статистическое математическое ожи-
дание, =-Da - статистическую дисперсию;
= - статистический (выборочный) начальный мо-
мент R -го порядка; jll* = 2 (х-х*/ - ста-
тистический (выборочный) центральный момент к -го порядка слу-
чайной величины х .
Все выборочные характеристики являются функциями элементов
выборки, т.е. статистиками.
В выборочном методе большое внимание уделяется изучению за-
конов распределения различных статистик, в частности порядковых.
В теории выборочного метода значительную роль играют статисти-
ческие ряды, сведения которых даны в следующей главе.
Теоретической основой выборочного метода являются предель-
ные теоремы теории вероятностей, которые приведены в § 1.3.
18
§ 1.2. ЗАКОНЫ РАСПРЕДЕЛЕНИЯ И ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ
ПОРЯДКОВЫХ СТАТИСТИК
Ix2jJj_0ch£?hh8 понятия и. определения
Из § 1.1. известно, что если п раз наблюдать некоторую слу-
чайную величину х , то можно получить реализацию случайной вы-
борки, представляющую собой п -мерный неслучайный вектор Х<л>=
= <х(,хг, хп>, составляющие х,,^ = /(/)л, которого образуют
простой статистический ряд или
простую статистическую совокуп-
ность (табл.1.2.1).
Нижний индекс у элементов второй строки таблицы соответствует
номеру испытания.
В ряде приложений нас будет интересовать не только значе-
ние конкретной реализации х^ , но и ее место в ряду себе по-
добных. Например, при регистрации ошибок некоторого измеритель-
ного прибора необходимо знать наименьшее и наибольшее значения
указанных ошибок. При подведении итогов спортивного соревнова-
ния важно знать не только абсолютные результаты участников,но
и места, занятые ими в соревновании. В связи с этим целесооб-
разно простой статистический ряд отранжировать, т.е. предста-
вить множество его элементов в виде неубывающей последователь-
ности xjssx'ss... =sx'n , которую удобно свести в табл.1.2.2, по-
лучившую название ранжированного или вариа
ционного ряда.
Таблица 1.2.2
Здесь нижний индекс указывает место (порядок, ранг) той или
иной реализации в полученной ранжировке, причем наименьшему
элементу присваивается порядок, равный единице, следующему за
ним элементу - двум и т.д. до наибольшего элемента с порядком
п . Условимся, как это принято, элемент вариационного ряда,
занимающий к -е место, называть к -й порядковой
статистикой и обозначать через х’ , А=/(/)л
19
(в отличие от х* - к -го элемента простого статистического ря-
да в табл.1.2.I).
Рассмотрим’некоторые наиболее употребительные порядковые
статистики.
При к = I будем иметь порядковую статистику
г,' = , t = , (1.2.1)
равную наименьшему элементу выбор-
ки. При R = п получим наибольший элемент
выборки, или п-п порядковую статистику
х'п= , i = /(On} . (1.2.2)
Разность между крайними (наибольшим и наименьшим) элемента-
ми выборки называется ее размахом:
Ч» = • (1.2.3)
При нечетном объеме выборки, когда n-2h+l можно ввес-
ти в рассмотрение порядковую статистику х*+( - так называе-
мую статистическую медиану
Me = <, = 4, . (1.2.4)
При четном объеме ( л = 2/1 ) будут существовать две средние
порядковые статистики: xh и xft+( . В этом случае статистиче-
скую медиану определяют, как их среднее арифметическое:
Me =у(х; + х;+|) . (1.2.5)
Указанные порядковые статистики (крайние элементы выборки,
ее размах и статистиче-
ская медиана) показаны
на рис.1.2.1. 1
Обобщением понятия —Ц—----------*;------*5------ ,
порядковой статистики мо- xt х2 . хл^ч.. х* . . . хп х
жет служить статистичес- =Ме
кий (выборочный) ЮОр-про- рис j.2 I
центный квантиль-^ х*- по-
рядковая статистика, левее которой расположено пр реализаций
наблюдаемой случайной величины х(0<р<7) . При целом пр пс-
1)напомним,что теоретическим (генеральным) ЮОр -процент-
ным квантилем хр называется такое значение случайной перемен-
ной, при котором функция распределения Рл(х) равняется р :
20
рядок к этого квантиля будет, очевидно, равен пр +1,в про-
тивном случае к = Е(пр+1) , где Е - символ выделения целой ча-
сти числа. Поэтому в общем случае
ХР = Х'^1} (1.2.6)
Пример 1.2.I. Пусть объем выборки п = 15. Необходимо опре-
делить, каким порядковым отатистикам отвечают следующие стати-
стические квантили:
- нижний статистический квартиль ( р = 0,25);
- верхний статистический квартиль ( р = 0,75);
- статистическая медиана ( р = 0,5).
Решение. Вычисляем п- 0,25=3,75; п- 0,5=7,5; л-0,75=
= 11,25 и находим £(л- 0,25+1) = 4; Е (л- 0,5+1) = 8;
Е(л-0,75+1) = 12.
Таким образом, искомым статистическим квантилям соответст-
вуют следующие порядковые статистики: i*2S = x^ ; Xs = xe I
Х0,75 ~ XJ2 •
В заключение отметим, что значения порядковых статистик от
серии к серии испытаний (или от выборки к выборке) меняются слу-
чайным образом и, следовательно, сами порядковые статистики суть
случайные величины, характеризуемые своими законам! распределе-
ния и числовыми характеристиками. Методика выявления различных
форм закона распределения порядковых статистик и их числовых ха-
рактеристик будет рассмотрена ниже.
1.2.2, Законы распределения порядковых статистик
Определим плотность распределения ц>л,(х) и функцию рас-
пределения Fa, (х) к -й порядковой статистики х'н , если наб-
людаемая случайная величина £ подчинена непрерывному закону
распределения с известными соответственно плотностью и функцией
распределения (х) и F$ (х) , а объем простой случайной вы-
борки равняется л . С этой целью разобьем всю числовую ось на
( /п+1) не пересекающихся интервалов (-оо , х, ), [ху, х2).,
, [хш,°о) и вайДвм вероятность р того, что случай-
ная величина х в результате п независимых наблюдений попадет
на I -й интервал, как это показано на рио.1.2.2, ровно nt раз
[Z = /(/)m + /] . При этом справедливы очевидные равенства
лт+|=л-2лг . (1.2.7)
21
Рис.I.2.2
На основании полиномиальной формулы с учетом соотношения
(1.2.7) искомая вероятность может быть представлена следующим
образом:
р = пп!, (х<}>й}-Fi мл‘ - (1,2,8)
где /?.(!)= I-F„ (х) - дополнительная функция распределения.
Воспользуемся формулой (1.2.8) для определения элемента ве-
роятности ip„, /< -й порядковой статистики х'к . Из
рис.1.2.3 видно, что значе-
ние интересующего нао эле- ,_/<-/_ч z_______п-^_____________ч
мента получается подотанов- ------* ' * ' *---------------*-Т
X их X
кой в эту формулу
„ Рис.1.2.3
т = 3; х, = х ; хг =
=-1 + Дх ; nt = к -I; пг = I; Л3 =n-nt-пг =.п-к . (1.2.9)
В результате подстановки выражения (1.2.9) в (1.2.8) при-
дем к равенству
ф (х)Дх =-----------F^z)\F^x+bz}-FA(T^Rn\x^:F). (1.2.10)
Ч (fr-j)’/’(Л-Л)’ I Lx х J
дальнейшее преобразование правой части которого основано на ис-
пользовании хорошо известных в теории вероятностей соотношений:
/?л(х+Дг)=Гл(г)+1р2 (х)Дг + 0(^), (1.2.II)
/?^’'<(2+Дх)=й(С’А(з:)-(л-/<)/?л * \х)^х)Лх + 0(Лх) . (1.2.12)
Подставим выражения (1.2.II) и (1.2.12) в равенство (1.2.10)
разделим обе части последнего на Ах , после чего устремим
&х к нулю. В результате придем к следующему выражению для
плотности распределения порядковой статистики х*
Ф^(1)вК‘Ц1)П- (1-2ЛЗ)
Коэффициент (нормирующий множитель)
п<
Ш-1) <(п-к)'
равный
числу перестановок о повторениями множества из п элементов,
если его разбить на три подмножества иэ(4-1),1и(л - к )
элементов каждое, целесообразно выразить через интегралы Эйле-
ра I и П рода (бета-и гамма-функции). Исходя из определения
этих функций, можно написать
п! = 'Пп+Р 1 (1.2.14)
(к-1)\(п-kY ГЩЦп-к+1) В(к,п-к+1) ’
где
r(4) = 5?V^t (1.2.15)
О
- гамма-функция (интеграл Эйлера П рода);
B(/<„/<2)=^')r^ 4 (1.2.16)
I {nl + K2) J
- бета-функция (интеграл Эйлера I рода). С учетом равенства
(1.2.14) формула для плотности распределения к -й порядковой
статистики примет окончательный вид
Зная плотность распределения, нетрудно найти функцию рас-
пределения к -й порядковой отатиотики:
(я) = (ip (t)dt = 1 ( фл (z^zi/^’W? =
хц J хн D(k,n-k + l) J z х I
B(k,n-k+1) J U B(k,n-k+1) ’ (I.2.I8)
где ° g н | *_f
B(t/; k,,k2) = 11 ' G-t)2 di , 0*sy^1
-неполная бета-функция, “удовлетворяющая соотношениям
8(0Дгкг) = 0; B(f; k,,k2)= B(k,,K?).
Используя выражения (I.2.17) и(1.2.18), находим законы рас-
пределения некоторых наиболее употребительных порядковых отети-
стик: крайних членов выборки и х'п , а также статистической
медианы Me =хпЧ .
I. При К = I нормирующий иноиитель
_____!____=____L—= <~(n+f) (1.2.19)
В(к;л-к+1) 8(1,л) Пл) ~п'
В результате подстановки равенства (I.2.I9) и к = I в общее
выражение (1.2.17) получим
ф$,(х)=лц)4(г)й\п''(г) , (Т.2.20)
откуда
F.,(D=nj /?f(f)4>£(t)dt=-/?sn(t)| = /-^(3?)= (4f. (Io2.2I)
Раоомотрим трактовку полученной формулы в терминах теории
надежности. Пусть л. однотипных элементов соединены последова-
тельно (рис.1.2.4,а) их,- время
безотказной работы j -го из них
= . Тогда время zc бе-
зотказного функционирования всей
системы связано о величинами
соотношением
/(/)nJ- = £' ,
т.е. равняетоя первой порядковой
статистике. Поэтоцу функцию рас-
пределения времени хс можно
найти по формуле (I.2.2I), а до-
полнительную функцию распределения
(функцию надежности) по формуле
/?5 (a;)=/?ai(i) = f-f5,(x)=ffux),
выражающей известное правило умножения функций надежности эле-
ментов при их последовательном соединении.
2. Цуоть теперь Л=л . Тогда нормирующий множитель
----I------=_Z_ = Г(О±П =’„
В(к,п-к+1) В(п,1) Г(п)
(1.2.22)
Подставим равенство (1.2.22) в общее выражение (I.2.T7) для
плотности распределения порядковых статиотик, которое при к = п
примет вид
q\, (х)=пЩХ)Р£''(х), (1.2.23)
гл
откуда *
F*, (Х)=л| 4)£(t)<"'(t)dt=F£(t)| =Fux) . (1.2.24)
Трактовка последней формулы в терминах теории надежности
также общеизвестна. Предположим, что л однотипных элементов
объединены в систему с помощью параллельного соединения, изобра-
женного на рис.1.2.4,б, и пусть по-прежнему х, - продолжитель-
ность безотказной работы j -го элемента [у =1(1)л] . Тогда
х^тпх^,(/=/(/)л| = х'п , (1.2.25)
т.е. время хс безотказного функционирования всей системы рав-
няется п -й порядковой статистике. Поэтому согласно зависимо-
сти (1.2.24) функцию распределения времени х (функцию ненадеж-
ности системы) легко найти по формуле
/rAcW = F^,(X) = F£',(x), (1.2.26)
выражающей так называемое правило умножения функций ненадежно-
сти при параллельном соединении элементов.
3. Наконец, положим n=2h+1, k = h+1=(n+1)[2 (этому значению
порядка К соответствует отатистичеокая медиана). Тогда коэффи-
циент '
____1_______ /________ Г[2(/жД zj 2.27)
В(к,п-к+Г) B(h+1,h+l) [r(h+/)f ’
Подотавим равенотво (1.2.27) в общее выражение (1.2.17), ко-
торое при k = h+J определит плотность распределения статисти-
ческой медианы Ме=£^ = £+( •.
(I,2-2S)
В частном случае, когда распределение наблюдаемой случайной
величины х симметрично относительно оси ординат (см.кривую
распределения на рис.1.2.5), так что
F.(x) = l^At)(it ; , (1.2.29)
подстановка (1.2.29) в правую часть формулы (1.2.28) дает выра-
жение плотности распределения статистической медианы
v1’-ннЬ’НТ - (1-2-зо)
25
Рио.1.2.6
Рис.I.2.5
из которого видно, что это распределение относительно оои орди-
нат такие симметрично (рис.1.2.6). Данное обстоятельство натал-
кивает на мысль использовать нормальную аппроксимацию распреде-
ления статистической медианы (пунктирная кривая на рис.1.2.6).
Уравнение аппроксимирующей кривой очевидно примет вид
(1.2.эх)
Тме ©Л,
Потребуем, чтобй максимальные ординаты точной и аппроксими-
рующей кривых распределения оовпали, т.е. было справедливо ра-
венство
Фй. (0) = фй. (0), (1.2.32)
из которого нетрудно найти приближенное значение среднеквадра-
тического отклонения статистической медианы
б =________4h[r(/)4-/)]2_____.
й? Ц)л(0)У2Гг[2(/?+/)]
(1.2.33)
Если дополнительно предположить, что наблюдаемая случайная
величина т подчинена нормальному закону распределения, то пос-
ле подстановки фЛ(О) = (У?Лбд) ’ формула (1.2.33) примет вид
в У[Г(/я-П]2
X r[2(h+lfl
(1.2.34)
Коэффициент
г„, ^[г(лу»]2 z-[r(W
Рп r[2(h+D] Г(п+/)
(1.2.35)
26
характеризующий (правда, приближенно) ореднеквадратическое от-
клонение статистичеокой медианы, завиоит лишь от объема случай-
ной выборки. Его значения, раоочитанные по формуле (Т.2.35),при-
ведены в табл.1.2.3.
Таблица 1.2.3
л | 3 I 5 I 7 I 9 I II I 13 I 15 | 17 I 19 | ...
₽ I0,67 0,53 0,45 0,39 0,37 0,34 0,32 0,31 0,30 ...
1.2.,3,_.Числовые характеристики порядковых статиотик
при некоторых наиболее распространенных законах
распределения генеральной совокупности
Рассмотрим вначале наиболее распространенный олучай, когда
наблюдаемая случайная величина £ подчинена нормальному закону
распределения о числовыми характеристиками Мл , ©л : i
а-г.ао ;
где q>e(y) и Г€(у) - табличные функции [38,40,63], выражающие плот-
ность и функцию распределения нормально распределенной и норми-
рованной по ореднеквадратическому отклонению случайной величины.
Подставив равенства (1.2.36) в исходное выражение (1.2.17)
для плотнооти распределения к -й порядковой статистики, полу-
чим
V)= -(i-2-37)
Кривые распределения всех порядковых статиотик при /7=5,
Мл = о. бА =1, рассчитанные по формуле (1.2.37), изображены
на рис.1.2.7. Для срав-
нения на атом же рисун-
ке пунктиром показана
кривая раопределения,от-
вечающая генеральной со-
вокупности:
Рио.1.2.7
4)ji) = q)6(x) = -^-eT,
Найдем для этого слу-
чая основные числовые ха-
27
рактеристики произвольной fr -й порядковой статистики - матема-
тическое ожидание М&, и дисперсию D*, . с этой целью вос-
пользуемся известными"в теории вероятностей интегральными фор-
мулами. В частности, математическое ожидание
Х • (1.2.38)
Значения функции
P'("’t)~B(V-wl)P1l'e|tlF«'(t)['-'r.<tnt • (1<2*39)
для п- 1(1)5 и/(=1(1)л приведены в табл.1.2.4.
Таблица 1.2.4
п к I 2 3 4 5
I 0 -0,564 -0,845 -1,030 -1,120
2 - 0,564 0 -0,290 -0,460
3 - - 0,845 0,290 0
4 - - - 1,030 0,460
5 - - - - 1,120
Диопероия к -й порядковой статистики
<i,dx= х
£ /L £ J (1.2.40)
где значения функции
для тех же величин п= 1(1)5 и /<=1(1)л приведены в табл.1.2.5
Таблица 1.2.5
>-< I 2 3 4 5
I I 0,666 0,450 0,320 0,238
2 - 0,666 0,600 0,480 0,380
3 * •> 0,450 0,480 0,429
4 * * 0,320 0,380
5 - - - - 0,238
28
Более подробные таблицы значений функций ^(п,к) и р (Л,к)
можно найти в работах [6,15].
На практике иногда приходится в качестве объекта наблюде-
ний рассматривать случайную величину х , подчиненную равномер-
ному закону распределения на участке [0,1]. Выражения основных
форм закона распределения такой случайной величины запишем в
виде:
фл(г) = Д(х)Д(/-х) = Щх-,0,1) 1
F. (I) = хП(Х;0,1) + Д(х-!) ; > (1.2.42)
/?£(г) = (/-з;)П(1;0,/) + Д(-г), J
где Д(х) - единичная ступенчатая функция, а П(1,а,£) - функ-
ция единичного импульса на произвольно выбранном участке [а,Ь].
В результате подстановки зависимостей (1.2.42) в общее вы-
ражение (1.2.17) для плотности распределения к -й порядковой
статистики получим
Кривые распределения всех порядковых статисхик,рассчитанные
по формуле (1.2.43) для частного случая п = 5,изображены на
рис.1.2.8. Для сравнения там же пунктиром показана кривая рас-
, пределения, отвечающая генераль-
ной совокупности и, в соответ-
И5' ствии с зависимостями (1.2.42),
изображающая функцию единичного
импульоа на участке [0,1].
Покажем, что порядковая ста-
тистика характеризуе-
мая плотностью распределения
(1.2.43), относится к классу .
случайных величин, подчиненных
так называемому бета-распреде-
U / лению. Для этого воспользуемся
Рис.1.2.8 интегральным представлением бе-
та-функции (1.2.16) и преобра-
зуем его к виду
(1.2.44)
29
Подынтегральная функция в левой части формулы (1.2.44) на
участке [0,1] неотрицательна и, кроме того, удовлетворяет усло-
вию нормировки. Поэтому можно говорить о некоторой случайной
величине (обозначим ее через р(н н } ) с плотностью распреде-
ления
Ч>8 (1-2’45)
По определению, такая случайная величина подчиняется бета-рас-
пределению со степенями свободы .Сравнение выражений
(1.2.43) и (1.2.45) позволяет сделать следующий вывод: порядко-
вая статистика хк при равномерном распределении генеральной
совокупности подчинена бета-распределению со степенями свободы
К, = к; к2= п-к+1 , (1.2.46)
т.н.
'Еи~Р<к,л-кч) ’ к-1(1)л . (1.2.47)
Из теории вероятностных распределений [40,41,43] известно,
что бета-распределение имеет следующие числовые характеристики:
После подстановки в формулы (1.2.48) значений к, и к2 из
равенств (1.2.46) получим выражения для основных числовых ха-
рактеристик порядковых статиотик:
Ч, = Д-, Д,, = ,> К~1(Пп. (1.2.49)
г; п+1 ’ [п+1} (п+2)
Легко показать, что дисперсия К, максимальна при к*=(п+1)/2.
Если n = 2h+1 (число наблюдений нечетно), то Н*= h+f и сов-
падает о порядком статистической медианы. Таким образом, при
равномерно распределенной генеральной совокупности статистиче-
ская медиана среди всех порядковых статиотик характеризуется
наибольшим рассеиванием.
30
1.2.4, Закон распределения и числовые характеристики
£азмаха в.ыбррки
В п.1.2.1 вами определен размах случайной выборки как раз-
ность между крайними порядковыми статистиками:
• (1.2.50)
Для выражения закона распределения случайной величины цл) мож-
но воспользоваться аппаратом теории функций случайных аргумен-
тов, в частности формулами композиции законов распределения.Од-
нако, как показано, например, в работах [6,15,43], крайние по-
рядковые статистики х'п и Д' между собой зависимы, поэтому при-
менение формул композиции приводит здесь к весьма сложным выра-
жениям и сопряжено с больгими вычислительными трудностями. Во
избежание последних целесообразно применить прием, основанный
на использовании интегральной формы формулы полной вероятности.
, Обратимся к рис.1.2.9
~“1 | ,------.п-1*.---ч х и рассмотрим следующие
a* I * w * * L+Дд+аг случайные события:
г" Нх - попадание хотя бы
Рис.1.2.9 одного из элементов вы-
борки на произвольно выб-
ранныйлэлементарный интервал [x,x+Ai);
С - случайный размах аУ(п) меньше некоторого текущего зна-
чения ы.
Вероятность этих событий можно найти с помощью соотношений:
Р( Нх) = /-[/- ip£ (х) Axf=П ips (1} Дх+0(Л X); (1.2.51)
₽(Л-Я(ч,л«)=^„(")- (1.2.Е)
Далее определим условную вероятность события С по гипоте-
зе Нх . Если последняя имела место, т.е. один из элементов вы-
борки попал в элементарный интервал, то для наступления С не-
обходимо и достаточно, чтобы остальные ( п -I) элементов оказа-
лись в пределах учаотка [х+Дх, х+Дх+w) , как это показано на
рио.1.2.9. Поэтому на основании теоремы умножения вероятноотей
31
P(CjHx)=[Fi(x+6x+w)-F^(x + iix:)\n ,=[f4(z+w)-f£(a:)]n''+
+(л-/)[г£(х+га)-Г£и)]','2[ц>,(х+м)-ф.(х)]Дх + 0(Да;). (1.2.53)
Для определения полной вероятности интересующего нас собы-
тия С, равной согласно соотношению (1.2.52) функции распределе-
ния размаха выборки, следует воспользоваться формулой полней
вероятности, в данном случае - ее интегральной формой. В соот-
ветствии о этой формулой полная вероятность события С .равна
сумме парных произведений вероятностей гипотез (1.2.51) на ус-
ловные вероятности (1.2.53). В каждом произведении необходимо
отбросить члены высшего порядка малости относительно Дх и
перейти к пределу при Дх —О , учтя при этом, что левая грани-
ца элементарного интервала выбрана произвольно и, следователь-
но, переменная х изменяется от - оо до +оо .в результате
функция распределения размаха выборки выразится следующим обра-
зом:
(ar)=^(^)nj ipjx)^ (x+w-)-F£(xj\n''dx. (1.2.54)
Продифференцировав найденную функцию распределения но пере-
менной иг , получим плотность распределения размаха выборки:
(ы)=Д(адл(п-/) j q\(x)(pJ(x+ar)[/;(x+ar)-^(x)]'’Cx .(1.2.55)
Для конкретных видов распределения генеральной совокупно-
сти значения функции и плотности распределения размаха выборки
могут быть определены только численными методами о помощью фор-
мул (1.2.54) и (1.2.55). Поэтому на практике чаще всего ограни-
чиваются отысканием важнейших числовых характеристик случайной
величины w(n) - математического ожидания М* и среднеквад-
ратического отклонения . В наиболее распространенном
случае, когда наблюдаемая случайная величина х подчинена нор-
мальному закону о числовыми характеристиками , ре-
зультаты численного интегрирования дают следующие соотношения
для числовых характеристик размаха:
Vе"'*- (1-2-56)
зг
Значения коэффициентов d„ и еп в зависимости от объема
выборки л приведены в табл.I.2.6.
Таблица 1.2.6 Из формул (1.2.56)
л 4 5 6 7 8 $ видно, что при нор—
чп еп 2,059 0,880 2,326 0,864 2,534 0,848 2,704 0,833 2,847 0,820 2,970 деления генеральной со- 0,808 вокупнооти числовые
п 10 12 14 16 18 20 выборки целиком опре-
d, еп 3,078 0,797 3,258 0,778 3,407 0,762 3,532 0,749 3,640 0,738 3,735 деляются характеристи- 0,729 кой рассеивания наблю- даемой случайной вели-
чины и не зависят от ее математического ожидания. Этот факт,
как будет показано в § 2.6, позволит использовать величину раз-
маха в задаче отыскания статистической оценки (приближенного
значения) параметра по данным наблюдений.
1.2.5. Предельные (асимптотические) законы
распределения порядковых статиотик
При большом объеме выборки формулы для выражения законов
распределения и числовых характеристик порядковых статистик ста-
новятся громоздкими, в связи с чем использование развитого в
предыдущих пунктах аппарата теории порядковых статистик натал-
кивается на определенные трудности. В этом случае целесообраз-
но воспользоваться соотношениями, выражающими законы распреде-
ления и числовые характеристики порядковых статистик в пределе,
т.е. при неограниченном возрастании объема выборки,когда л—оо.
Для выборки достаточно большого, но конечного объема указанные
соотношении, получившие название предельных или асимптотических,
должны рассматриваться как приближенные.
Прежде всего исследуем предельное поведение плотнооти рас-
пределения порядковой статистики, для которой ранее в п.1.2.2
была получена формула (1.2.17).
При неограниченном увеличении л могут возникнуть две ос-
новные ситуации, каждую из которых рассмотрим в отдельности.
I. Предположим, что по мере возрастания л порядок к также
возрастает, но так, что отношение к/n остается постоянным.
Введем обозначения
-£-=р(0^-/); = xp = F-'(p)- ф£(гр) = Ч>р.
33
Значения хр (100р -
процентный квантиль наблю-
давшей случайной величины
х ) и ш (плотность рас-
пределения х при этом
значении) показаны на
рис.1.2.10.
Рассмотрим вспомога-
тельную случайную величину
z(n) , связанную с х'к ли- Рис.1.2.10
нейной зависимостью
Л
Z =-^ р , (1.2.57)
* ’ №№
и найдем плотность распределения этой величины, зная плотность
распределения (1.2.17) к -й порядковой статистики хн . На ос
новцнии известной формулы теории функций случайных аргументов
[11,12,17,25] искомая плотность распределения новой случайной
величины i(n) определяется равенством
Замечательное асимптотическое свойство величины z(n) состо-
ит в том, что
llmip = %(?). (1.2.59)
л-«о г(л| у 251
Последнее равенство означает, что при неограниченном росте
объема выборки распределение z(n) , независимо от вида закона
распределения генеральной совокупности, становится сколь угод-
но близким к распределению нормированной случайной величины,
подчиненной нормальному закону. Строгое доказательство этого
свойства можно найти в г- [41,43].
Из соотношения (1.2.57) следует, что
л, JpcT Л/
. (1-2-60)
поэтому при достаточно больше."! 1 можно приближенно полагать,
что к -я порядковая статистика, так же как и величива z(n) под-
чинена нормальному закону распределения с числовыми характери-
стиками
(1.2.61)
и плотностью распределения
(1.2.62)
Таким образом, в ситуации, когда отношение к/п=р с увели-
чением л остается неизменным, в качестве предельного закона
распределения выступает нормальный заков распределения.
Пример 1.2.2. Необходимо найти предельный закон распределе-
ния статистической медианы Me = хм , для которой k = —J ;
p = -L=-L + J_ ~ Z
Р п 2 + 2п •
Решение. При л —оо будем иметь р = 0,5; = 0,5;
гр='го,5= Ме» Подставив найденные значения р, и х в формулу
(1.2.62), получим приближенное равенство
означающее, что при достаточно большом п статистическую ме-
диану можно полагать распределенной по нормальному закону с
числовыми характеристиками:
мГ/Ие ] = Me ; б|ме 1 = ———— .
L 2%sV"
Если наблюдаемая случайная величина х также распределена
нормально, то
(1.2.63)
35
Формула (1.2.63), выражающая среднеквадратическое отклоне-
ние статистической медианы npti большой выборке будет исполь-
зована в дальнейшем (см.§ 2.4) пр?; сравнении асимптотической
эффективности различных статистических оценок числовых характе-
ристик положения. В частности, будет показано, что при нормаль-
ном распределении генеральной совокупности существуют более эф-
фективные, т.е. имеющие меньшую дисперсию, оценки математиче-
ского ожидания (или совпадающей с ним медианы). Однако стати-
стическая медиана обладает рядом несомненных достоинств, среди
которых в первую очередь следует назвать простоту вычислений и
значительно меньшую чувствительность как к аномальным измерени-
ям, так и к потере части измерений. Данное обстоятельство и
предопределило широкое применение отатистической медианы в прак-
тике обработки результатов наблюдений.
2. Рассмотрим вторую предельную ситуацию, которая характе-
ризуется тем, что при неограниченном увеличении п позиция,за-
нимаемая порядковой статистикой относительного наименьшего или
наибольшего элемента выборки, сохраняется неизменной, т.е. либо
/<= const и Um у- =р = 0 ,
п r (1.2.64)
либо
I =n-k+1=const и tun-—= 0 = 1.
п~°° n r (1.2.65)
В данной ситуации предельные законы распределения порядко-
вых статистик будут, естественно, отличны от нормального. .Для
определения этих законов воспользуемся выражением (1.2.17) для
плотности распределения к -й порядковой статистики и найдем
плотность распределения новой вспомогательной случайной величи-
ны у(п) , связанной с х'н монотонной1^ функциональной зависи-
мостью
‘7(n)=Z'’/U3;); (1.2.66)
Диапазоном изменения величины Дя) будет, очевидно, отре-
зок [0,2п] . С помощью известного правила определения плотно-
сти распределения монотонной функции случайного аргумента по-
лучим
Монотонный характер рассматриваемой зависимости объясня-
ется овсйствами функции распределения,представляющей ообсй мо-
нотонную неубывающую функцию своего аргумента.
36
2(к-1)Чп-М
(1.2.67)
перепишем полученное выражение в несколько ином виде:
Рассматриваемая ситуация характерна тем, что /f=const . По-
этому
lim
(1.2.70)
кроме того,
llm
(1.2.71)
Если теперь в выражении (1.2.68) перейти к пределу при
л —оо , то с учетом промежуточных соотношений (1.2.69),(1.2.70
и (1.2.71) получим формулу для предельной плотности распределе-
ния вспомогательной случайной величины у(п)
!?-V1=*sщ|=w (1-2-72)
из которой следует, что при достаточно большом п эта случай-
ная величина, опять таки независимо от вида закона распределе-
ния генеральной совокупности, приближенно следует закону распре-
деления хи-квадрат с 2.к степенями свободы, в формульной записи
это означает, что
• (1.2.73)
И(п) L I (К)
ы
Известно, что для квантилей закона распределения хи-квадрат со-
ставлены подробные таблицы [38,40,63].
Таким ооразом, выявленная выше свявь между предельными за-
конами распределения порядковых статистик и законом распределе-
ния хи-квадрат находит практическое использование при решении
прикладных задач, одна из которых рассматривается в следующем
примере.
Пример 1.2.3. Предположим, что наблюдаемая случайная величи-
на х подчинена нормированному показательному закону распреде-
ления с функцией распределения
F„(x) = (l-ex)A{x).
Требуется определить вероятность того, что при 100 наблюдениях
значение пятой порядковой статистики превысит величину х =0,13.
Решение. В данном примере имеем п = 100, А = 5. По-
скольку объем выборки достаточно велик, а к мало, то вспомо-
гательная случайная величина
Уаоо) ~ 200^$ (xs)
приближенно подчинена закону распределения хи-квадрат с 2к =10
степенями свободы. Далее, так как события ( х'5 == т( ) и
S(ioo)= эквивалентны, то интересующую нас вероят-
ность
S = P(xs^xf)
можно найти с помощью упомянутой таблицы закона распределения
хи-квадрат:
Другой путь решения этой задачи, основанный на использова-
нии точного закона распределения порядковой статистики х'5 ока-
зался бы несравненно более сложным и трудоемким.
Аналогично решается задача отыскания предельного закона
распределения порядковой статистики х$ , занимающей при любом
сколь угодно большом п неизменную позицию относительно пра-
вой границы выборки. В этом случае к=п-1 + ! и так как Z = const,
то ]д.гг\ = р = 1, 4 = 0.
33
Здесь следует рассмотреть новую вспомогательную величину
ц(п), связанную с х'и также монотонной функциональной за-
висимостью вида
(1.2.74)
В пределе, когда л—оо эта величина подчиняется закону
раопределения хи-квадрат с 21 степенями свободы, так что при
достаточно больших л и k = n-L + l-
Ф. (1.2.75)
“(п) L Г(1)
§ 1.3» ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
I.3.I. Виды вероятностной сходимости.
Математические законы теории вероятностей построены на ос-
нове абстрагирования реальных закономерностей, свойственных
массовым случайным явлениям. Наиболее общей закономерностью
считается устойчивость средних результатов в массовых случай-
ных явлениях. Свойство устойчивости средних результатов извест-
но человечеству еще с глубокой древности. Суть этого овойотва
сводится к тому, что конкретные особенности каждого отдельного
случайного явления почти не сказываются на среднем результате
массы таких явлений. Случайные отклонения от среднего значения,
неизбежные в каждом отдельном явлении, в массе взаимно погаша-
ются, нивелируются. При значительном числе опытов их средний ре-
зультат практически перестает быть случайным и может быть пред-
сказан с большой степенью определенности.
При математическом доказательстве указанной закономерности
используется понятие вероятностной сходимости.
Рассмотрим некоторые виды сходимости случайных последова-
тельностей.
Определение Г.3.1, Последовательность случайных величин
I, сходится по вероятности к случайной величине х ,
если при любом е>0 имеет место предельное соотношение
Um P(|£„-x>e)=0 (I.3.I)
39
ИДИ
и«р<1«„-4|'й-'. (1-3.2)
Это означает, что для любых положительных чисел е и S
существует число N , зависящее от е и 8 , такое, что при
n>N справедливо неравенство
, (1.3.3)
Определение 1.3.2. Если вероятность того, что существует
предел последовательности случайных величин , хг хп ,
равный х , еоть единица, т.е.
P(ltm х„ = х) = 1 ,
л 7 ’ (1.3.4)
то говорят, что последовательность случайных величин х, , х2 ,
...,zn отремится к случайной величине почти наверно (о веро-
ятностью, равной единице).
Определение 1.3.3. Последовательность случайных величин xt ,
х2 ,..., хп сходится к случайной величине в среднем квадрати-
ческом, воли существует предел
Ььт/и[(2:п-г)] = 0. (1.3.5)
Следует указать, что сходимости почти наверно и в среднем квад-
ратическом влекут за собой и оходимость по вероятности. Обрат-
ное утверждение в общем случае неверно.
Определение 1.3.4. Последовательность случайных величин х ,
&2 ,...,хп сходитоя к случайной величине х по распределению
при л—оо , еоли в каждой точке непрерывности FA(x) сущест-
вует предел 1
Fs (х)
= <Ь3.6)
Сходимости по вероятности, а также сходимость почти навер-
но влекут за собой сходимость по распределению. Обратное утвер-
ждение неверно.
Чаотными случаями рассмотренных сходимостей являются схо-
димости последовательноотей случайных величин к постоянным ве-
личинам.
Определение 1.3.5. Пооледовательнооть случайных величин х, ,
Х2 хп сходится по вероятности к постоянной величине С ,
если при любом £>0 имеет место предельное соотношение
40
Р(^л C|-e)~° (1.3.7)
или
UmP(|f„-C|-e) = H
n-“> ll.d.OJ
Теоремы, устанавливающие сходимость некоторых последова-
тельностей случайных величин к постоянным величинам, а также
сходимость последовательностей распределений случайных величин
к устойчивым законам получили название предельных
теорем теории вероятностей.
Предельные теоремы делятся на две группы: закон больших чи-
сел и центральная предельная теорема.
Закон больших чисел состоит из ряда тео-
рем, которые устанавливают устойчивость средних результатов и
выявляют условия проявления этой закономерности. Впервые про-
стейшую форму этого закона доказал швейцарский математик Я.Бер-
нулли (1654 - 1705). Теорема Бернулли была обобщена французским
математиком Пуассоном (1781 - 1840), который и ввел термин "за-
кон больших чисел". Общий метод доказательства устойчивости сред-
них разработал создатель русской школы теории вероятностей
П.Л.Чебышев (1821 - 1894). Дальнейшее развитие закон больших
чисел получил в работах советских ученых А.А.Маркова (1856 -
1922), С.Н.Бернштейна, А.Я.Хинчина (1894 - 1959), А.Н.Колмого-
рова и др.
Центральная предельная теорема
объединяет группу теорем, рассматривающих предельные распреде-
ления и устанавливающих условия, при которых возникает нормаль-
ный закон распределения.
Первая теорема этой группы, характеризующая сходимость би-
номиального закона к нормальному при р = 0,5, била доказа-
на английским математиком Муавром (1667 - 1754), а затем была
обобщена французским астрономом, математиком и физиком Лапла-
сом (1749 - 1827). Русский математик А.М.Ляпувов (I8b7 - 1918)
нашел общие условия, при которых возникает нормальный закон рас-
пределения. Предельная теорема в его формулировке и получила
название "центральная предельная теорема теории вероятностей".
1.3.2, Теорема Ляпунова
Теорема Ляпунова - одна из форм центральной предельной тео-
ремы теории вероятностей. В литературе по теории вероятностей
даются различные Формулировки центральной предельной теоремы,
41
но но существу все они сводятся к установлению условий, при
которых возникает нормальный закон распределения.
Теорема. Если последовательность независимых случайных ве-
личин I, , 12 £п удовлетворяет условию Ляпунова
tun -------i—=о , (1.3.9)
’ x<i
где “ третий начальный момент случайной величины xd ,
j = , то последовательность случайных величин
сходится по распределению к нормальному загону, т.е. существу-
ет предел
А / f -т
tun Рр-7/ V = -г=г\ е dt. (1.3.10)
— ) УгГ).
Доказательство. В учебном ’ 'собии [12] указа-
но, что Ляпунов разработал аппарат характеристических функций,
который он использовал для доказательства центральной предель-
ной теоремы. Суть ее - показать, что характеристическая функ-
ция случайной величины
в пределе будет представлять собой характеристическую функцию
случайной величины, распределенной по нормальному закону.
Докажем теорему Ляпунова для н^ави^-мых случайных величин
1( , £г,..., х3, имеющих одинаковые законы распределения:
4>л(х) = ф (х) =... = %/х)= (X).
В этом случае указанная последовательность случайных величин
будет удовлетворять условию Ляпунова.
Известно [11,12,40], что характеристическая функция слу-
чайной величины у , распределенной по нормальному закону с
параметрами М. = 0, б, =1, имеет вид
и Я
^Ш) = е2 . (1.3.II)
&
Покажем, что случайная величина
(1.3.12)
имеет характеристическую функцию вида (1.3.II). Это и будет до-
казательством теоремы.
Каждая случайная величина х , ^-Ш)п имеет характеристи-
ческую функцию
д&(и.)= j e‘UIip,(x)z/i , (1.3.13)
где 1 = трГ.
Разложим зту функцию в ряд следующего вида:
g£(a) = 0£(O)+#' (0)u+j-^(0)u2+a(u)zz2, (1.3.14)
где a(u) —О при и—0.
Для определения ££(0) , g«(0) ,£л(0) воспользуемся следую
щим свойством характеристической функции [11,12,40]:
/( = /(/)... (1.3.15)
Полагая в последнем равенстве к = 0,1,2,..., получим:
^(О)=ад = /;
^(0)=i4^=-eJ •
Не нарушая общности, положим М* = 0. Тогда ^(0)=0
Подставив значения £Л(0) , ^(0)*д^(0) в формулу1 (I.3.I4),
получим х
= —afu)]“2 • (I.3.I6)
Найдем характеристическую функцию случайной величины ?(д)
для чего используем свойство
В подученное выражение подставим значение £л(и) из формулы
(1.3.16), тогда 1
43
5л №
(I.3.17)
Введем в рассмотрение центрированную нормированную случай-
ную величину
Найдем предел этого выражения при п-— да , учитывая, что
а(и)——О при и~0 :
Как видно, в пределе характеристическая функция случайной
величины v(n} представляет собой характеристическую функцию нор-
мального закона, а так как случайные величины v(n) и г(п) связа-
ны между собой линейной зависимостью, тс и случайная величина
2(п) распределена по нормальному закону [11,12,17]. Теорема
доказана. ▲
Центральная предельная теорема доказана и для более общего
случая, когда выполняется условие Линдеберга:
44
ttm S ( {T -M')2dFA(x)=0 при T>0 . (1.3.21)
У D & J f*—‘ \ xd
Условие Линдеберга по существу представляет собой требова-
ние малости слагаемых ,л >(х~Мл ) в сумме -J .S (£ -М )
ysDi < xj уУ1ц^'<1 xd
т.е.равномерную малость дисперсий. Ъ=< 3,
Таким образом, сущность центральной
предельной теоремы состоит в следующем: за-
кон распределения суммы независимых случайных величин, имеющих
конечные математические ожидания и равномерную малость диспер-
сии каждой случайной величины, входящей в сумму, при неограничен-
ном увеличении числа слагаемых приближается к нормальному.
В реальных условиях любое случайное отклонение от законо-
мерного протекания основного явления вызывается бесчисленным
множеством случайных факторов, каждый из которых обычно оказы-
вает малое влияние на сумму, и часто эти факторы независимы или
слабо зависимы. Этим и объясняется широкое распространение нор-
мального закона. Практикой установлено, что нормальное распре-
деление имеют ошибки стрельба и бомбометания, погрешности изме-
рения, погрешности размеров и весов деталей, изготавливаемых
промышленными предприятиями, время безотказной работы многих
устройств и т.п.
На практике теоремой Ляпунова пользуются и тогда, когда п
сравнительно невелико. Если суммируются случайные величины,имею-
щие одинаковые симметричные законы распределения, то приближен-
но можно применять ее даже тогда, когда п s= 8.
При использовании теоремы Ляпунова параметры закона случай-
ной величины z можно определить с помощью теорем о
числовых характеристиках ,
г(п) Lr-f <d I (1.3.22)
бд Z.l = 2 б* . I
2(n) Ь” J J </=' % J
Пример 1.3.1. При составлении статистического отчета потре-
бовалось сложить 1200 чисел, каждое из которых округлено с точ-
ностью до 0,1. Полагая, что ошибки округления подчинены закону
равномерной плотности, найти вероятность того, что суммарная
ошибка округления не превысит ±',5;
45
Решение. Закон распре-
деления ошибки округления одного
числа для нашего случая имеет
вид (рис.1.3.1)
(X) = 10П(х ; -0,05 ; 0,05)
с параметрами М*=0; =
j = 1(1)J200. Xj
Суммарная ошибка
/0
-0,05 0 0,05 Xj
Рис.1.3.1
будет распределена по нормальному закону с параметрами Мя =0
г(п) J=f 1с
Вероятность того, что суммарная ошибка округления не будет
превышать ±1,5, определим по формуле
В нашем случае
P(-1,5=s zfn^1,5)~Fe(1,5)-Fe(-1,5) = 0,933-0,067=0,866. А
1,3.3, Теоремы Муа.вра Лапласа
Теоремы Муавра - Лапласа по существу являются следствием
центральной предельной теоремы, хотя доказаны они были значи-
тельно раньше, чем теорема Ляпунова.
Различают локальную и интегральную теоремы. Для их доказа-
тельства используем теорему Ляпунова.
Локальная теорема. Если вероятность появления события А в
j —м испытании не зависит от номера испытания и равна р = Р(А)
то существует предельнее равенство
,. Р„ (л?)
№------J п = С1-3-23)
, е
№пр<1
где Рп(пТ} - вероятность появления события А ровно т раз в
л независимых испытаниях; =
46
Доказательство, Обозначим через 7(л) число
появлений события А в п независимых испытаниях, причем в каж-
дом иопытании событие А появляется с одной и той же вероятно-
стью р.
известно, что при этом случайная величина ?(л) будет иметь
биномиальное распределение:
Р(г(Л, = /п) = Р/!(/п) = Сл7ут , (1.3.24)
причем = пр , 6л(
Чтобы "воспользоваться теоремой Ляпунова, представим 2(л) в
виде
2(Л)=|Д > (1.3.25)
где т - чиоло появлений события А в /-и испытании.
Случайная величина может принимать только два значения:
единицу с вероятностью р=Р(А')тл нуль с вероятностью ^ = /-/7,
т.е. имеет ряд распределения вида:
Найдем числовые характеристики этой случайной величины:
М£^1Х^Р,}1 = О^+,Р=Р •’
PjL = (0~Pfy+ PtР = РЧ '
Покажем, что числовые характеристики случайной величины z(n)
в соответствии о выражением (1.3.24) будут равнй параметрам би-
номиального распределения п
МЬп=^=^Р = Пр’
\=№=№=прг’
Рассмотрим центриро!йн ную^ нормиоованную случайную вели-
чину
| _ ^0| Пр
,п> Ъ
1Ш)
(1.3.26)
47
Эта случайная величина может принимать значения
v=
z-np
? = т = 0(1)п ,
(1.3.27)
которые на числовой оси v находятся друг от друга на расстоя-
нии
_(т+1)-пр т-пр _ /
v Чп ^npq' y/npq fipfy
Из формулы (1.3.27) получим
Тогда
Р^пГт>Рп(^=Рп(пР+у/^)- <Ь3.28)
Для каждого значения У построим элементарный прямоугольник
имеющий основание,совпадающее с интервалом (v-4^; ),и
высоту
+ Рп(т)
bv Ду
Тогда площадь одного прямоугольника будет равна Рп (т) , а твоей
полученной фигуры - единице,так как 2Рп(т)=1 .Если п—оо,
то Ду = -—О . Это означает, что возможные значения диск-
ретной случайной величины v(n} будут располагаться так близко
друг к другу, что в пределе ее можно считать непрерывной.Тогда
контур полученной фигуры (рис.1.3.2) превратится в плавную кри-
вую распределения. В рассмотренном случае условия,при которых
справедлива теорема Ляпунова,соблюдается,поэтому можно считать,
что закон распределения случайной величины v(n) нормальный,т.е.
т-пр
Использовав это предельное соотношение и равенство # = ^5 >по~
лучим ' Р°
^Р1Рп(пр+у^щ} _
V2F
Теорема доказана.
/
48
Из формулы (1.3.23) следует приближенное
ведливое при достаточно большом п :
Рп(т)~ ,
У"-пр)2
е гп™
На практике этой формулой можно пользоваться
Воспользуемся табличной функцией
q4V.OJ) = ‘P0^) = ^e’1
равенство, спра-
(1.3.29)
при прч =» 9 .
, (1.3.30)
представляющей собой плотность распределения центрированной и
нормированной случайной величины, подчиняющейся нормальному за-
кону. Тогда
п
(I.3.3I)
При больших значениях лил? определение Рп(т) по формуле
(1.3.24) затруднено из-за громоздкости вычисления С™ = ——г
п тцп-т)'.
49
локальная же теорелаМуавра - Лапласа позволяет определять зту
вероятность сравнительно легко по формуле (1.3.31).
Пример 1.3.2. Вероятность выхода из строя изделия за время
испытания на надежность равна 0,1. Какова вероятность того,что
за время испытаний 80 таких изделий ровно 70 из них будут рабо-
тать безотказно?
Решение. В нашем случае р = 0,9; = 0,1; п =80;
т = 70. Расчет по формуле (1.3.24) затруднен из-за громоздко-
сти вычисления. Поэтому воспользуемся приближенной формулой
(1.3.31)
Интегральная теорема. Если z(n) еоть число наступлений со-
бытия А в п независимых испытаниях, в каждом из 'которых веро-
ятность этого события равна р = Р(А) (схема Бернулли), то при
п — оо имеет место соотношение
Л-оо ' / (Л) 2
ег dv.
(1.3.32)
з о . Случайная величина
^пГПР
при п—-оо имеет распределение, близкое к нормальному, с пара-
метрами М. = 0 и Д =1 (см. доказательство локальной теоремы),
% %
поэтому
пЧ^,Цп)-т2) = итР
zm~np
Теорема доказана
При достаточно большом п на основании (1.3.32) можно на-
писать приближенное равенство
50
(1.3.33)
Используя табличные функции
Ф,(х) = -ХЛ е'4 dt ;
fs(x)^A;H)(x,o,O = ^rje 2 dt,
из зависимости (1.3.33) получим следующие рабочие формулы:
Р(,п|5ги^г)4[ф,(^-ф(^]; (1.3.34)
(1.3.35)
Если л сравнительно мало и разнооть |/п-лр| соизмерима с
0,5, то не безразлично, относятся ли крайние точки интервала
[т( л?2) к чиолу возможных значений случайной величины z(n) или
нет. Из рис.1.3.3 можно установить, что вероятность события
(d =s i?(n)р ) численно равна сумме площадей прямоугольников под
кривой распределения фл в интервале (d-0,5Azr,
P-0.5AV ). и'"’ ™
Учитывая, что случайная величина v(n)асимптотически нормаль-
на, получим
РМв5„,<₽)4[ф,^-Ф,(“)] ; <x_3.se>
P(d s П(п)ср)!=Г5(р-0,5Д1?)-Ре(а-0,5Ду). (1.3.37)
Возможные значения случайных величин у(п) и г/п) связаны за-
висимостью (1.3.27), следовательно,
rrr-пр тг—пр
^npq ’ Р" улрд'
(1.3.38)
51
В силу этого попадание случайной величины у(л) на интервал
[d,p) равносильно попаданию случайной величины г1п) на интер-
вал [л7(,т2) т.е.
Р(а^у(п)^) = Р(т,Цп)^/п2).
Использовав это равенотво и зависимость (1.3.38), получим из
формул (1.3.36) и £.3.37) следующие соотношения:
(1-3-39>
Отметим, что формулы (1.3.39) и (1.3.40) дают более точное
приближение, чем формулы (1.3.34) и (1.3.35).
Читателю предлагается самостоятельно написать формулы для
вычисления вероятностей P(mt^ z(n)^m2), P(mf^i(n^m2) ,
Пример 1.3.3. Вероятность выхода из строя одного конденса-
тора за некоторое время t равна 0,15. Определить вероятность
52
того, что за время t из 100 конденсаторов выйдут из строя не
белее 20 штук.
Р е ш е н и е.Обозначим через Z(n) число отказавших конденса-
торов за время t .В нашем случае л = 100; /л, = 0; т = 20; р =
= 0,15; £ = 0,85; пр = 100-0,15 =15; fipij4 ^100-0,15-0,85'=
= 3,57. Тогда нс формуле (1.3.35) получим
=Fe(/,40f)-fe (-4,201) = 0,91940 - 0.00001^0,92 .
Более точная формула (1.3.40) дает
= F6 (1,541) - Fg (- 4,341) = 0,93830 - 0,00001^0,94.
1.3.4, Неравенства Чебышева
В литературе [11,12,17,35] рассматриваются неравенства Че-
бышева в двух формах, причем одну из них можно доказать с по-
мощью другой или каждую ферму неравенства доказать самостоятель-
но. Рассмотрим обе формы.
Первая форма. Для любой случайней величины z , принимающей
только неотрицательные значения и имеющей конечное математиче-
ское ожидание, справедливо неравенство
(1.3.41)
где о( - произвольная положительная неслучайная величина.
Доказательстве. Известно, что
Ч = jipjz)cta .
Для d>0 имеет месте соотношение
(jj)dr s (o(ipA(x)dx=d jipA (z)dz=c(P(£ э=о(),
i 5 ы x
откуда и следует неравенство (1.3.41).
В качестве следствий из соотношения (1.3.41) запишем сле-
дующие важные неравенства:
1. • (1^.42)
Это выражение получается из неравенства (1.3.41) при о( = 1.
53
л л
2. P(x<d) = 1-Р(т sd)^/--^- • (1.3.43)
Приведенные неравенства исгут быть использованы для полу-
чения оценок законов распределения. Так, из неравенства (1.3.41)
получим
а Ма
R£(x) = P(x^x)^-^ ,
а из (1.3.43)
F* (x) = P(x^x)^f--^- •
Неравенство (1.3.41) позволяет оценивать сверху дополни-
тельную функцию распределения вероятностей (рис.1.3.4) а не-
Рис.1.3.4 Рис.1.3.5
равенство (1.3.43) - оценить снизу функцию распределения слу-
чайной величины (рис.1.3.3).
Дример 1.3.4. Среднее время безотказной работы транзистора
50U0 ч. Какова вероятность того, что наугад взятый транзистор
будет работать не менее 8000 ч?
Решение. В нашем случае М$ = 5000, d. = 8000:
P(^80M)^ = f. А
Вторая форма. Для любой случайной величины, имеющей конеч-
ные математическое ожидание и дисперсию, при каждом е=-0 име-
ет месте неравенство
. (1.3.44)
Доказательство. Рассмотрим произвольную слу-
чайную величину х с конечной дисп< репей Д . Для неотрица-
54
тельной иг/чайной величины (х-Мд)г запишем неравенство Че-
бышева (I.3.4T)
f ас{j . (1.4.45)
Пусть о( = ez . Тогда о учетом тоге, что =2)л ,
Тогда из (1.3.45) получим
что и требовалось доказать.
Нетрудно показать, что имеет место и следующее следствие
неравенства Чебышева:
Р(|г-М£|-е)^-^- • (1.3.46)
Неравенства (1.3.44) и (1.3.46) можно использовать для по-
лучения оценок вероятностей отклонения случайной величины от
своего математического ожидания.
Пример 1.3.5. Найти верхнюю границу вероятности того, что
случайная величина х , имеющая произвольный закон распределе-
ния, отклонится от своего математического ожидания меньше чел
на 3 бя .
р’еше ни е. По формуле (1.3.46) получим
*
Как известно, для нормального закона распределения сущест-
вует так называемое "правило трех сигм", согласно которому ве-
роятность того, что случайная величина попадает на отрезок,сим-
метричный относительно математического ожидания и длина кото-
рого равна 6<5Л , близка к единице ( 0,997). Подобное пра-
вило существует и для случайных величин, имеющих распределение,
отличное от нормального, но при этом вероятность указанного со-
бытия будет не ниже 8/9.
1.3.5, Теорема Чебышева
Теорема Чебышева доказывает устойчивость среднего арифме-
тического наблюденных значений.
Теорема. При неограниченном увеличении числа испытаний
среднее арифметическое наблюденных значений случайной величины
55
сходится по вероятности к ее математическому ожиданию, т.е.при
п——оо существует предел
Um 3 -М} | . (1.3.47)
Доказательство. Пусть над случайной величи-
ной £ , имеющей произвольное распределение с числовыми харак-
теристиками и D& , производится п ч независимых испытаний.
Обозначим через £, , у= 1(f)п случайную величину х , соответ-
ствующую у -му испытанию. Каждая такая случайная величина бу-
дет иметь числовые характеристики случайной величины х , т.е.
Рассмотрим случайную величину
9ш)= 7Г^, (1.3.48)
Использовав теоремы о числовых характеристиках, получим
Лл) IP J-t d'J " J=t L</J " X X
и. =лГ^2х]=4-5г[г]=1-ллЛ=^; (I,?
Ш.Ч IP j-> 'J n J-I L n * n
6. =-^.
3(П) y/? A Д A '
Случайная величина 2^=2/^ в соответствии с теоремой
Ляпунова асимптотически нормальна. Случайная величина Дп) пред-
ставляет собой линейную функцию от случайной величины z(n) .по-
этому в пределе она тоже будет иметь нормальное распределение,
где Ф|(г)=^-|е
После подстановки величин , б^
(1.3.48) и (1.3.49) и принимая во внимание, что
из Формул
Ф((оо)= ; полу-
чим
<1-3-50)
Теорема доказана. А
Из формулы (1.3.50) для достаточно большого п будем иметь
приближенное равенство
56
которое широко применяется на практике. х
Формулу (1.3.51) следует применять в тех случаях, когда слу
чайная величина
имеет нормальное распределение, т.е. при условии, что каждая
случайная величина х распределена нормально или число п ве-
лико (при любом законе распределения случайных величин х ,
Если же ато условие не соблюдается, тс можно опрв'
делить только границы вероятностей, для чего следует применять
формул?, вытекающие из обобщенной теоремы Чебышева.
Пример 1.3.6, Определить вероятность того, что среднее ариф
метическое время безотказной работы 100 одинаковых приборов от-
клоняется ст математического ожидания этого времени не более
чем на 15 ч, если среднее квадратическое отклонение времени без
отказной работы каждого прибора равно 90 ч.
Решение. Так как п велико, то можно считать, что
среднее арифметическое времен безотказной работы приборов будет
иметь нормальное распределение. Тогда, используя формулу
(1.3.50), получим
1.3.6. Обобщенная теорема Чебышева
Обобщенная теорема Чебышева определяет характер приближе-
ния среднего арифметического числа случайных величин к сред-
нему арифметическому значению их математических ожиданий при
неограниченном увеличении числа случайных величин.
Теорема. Если xt , тг ,..., хп - последовательность попарно
независимых случайных величин, имеющих конечные дисперсии,ог-
раниченные одной и той же постоянной
Пл L, Dn L , .... L ,
тс каково бы ни было1 постоянное е=»0 .имеет место предель-
ное осстношение
43 ч (т.з.5г)
57
Доказательство. На основании условия теоревш
можно написать
Тогда согласно неравенству Чебышева (1.3.46)
Использовав зависимость (1.3.53), получим
Перейдем к пределу при л—оо , тогда
но вероятность не может быть больше единицы, поэтому
случае справедлив знак равенства. Теорема доказана.
Из неравенства (1.3.53) вытекает зависимость
(1.3.54)
в данном
Неравенства (1.3.54) и (1.3.55) позволяют оценить границы
вероятностей отклонения среднего арифметического случайных ве-
личин от среднего арифметичеокого значения их математических
ожиданий.
Пример 1.3.7. Найти нижнюю границу вероятности того, что
при испытании 30 изделий среднее арифметическое времен безот-
казной работы отклоняется от среднего арифметического значения
их математических ожиданий менее чем на 5 ч, если среднее квад-
ратическое отклонение этого времени для каждого изделия не пре-
вышает 20 ч.
Р е ш е н и е. По формуле (1.3.54) имеем
р^л-^м^5^’-^^0'913-
При решении практических задач с применением теоремы Чебы-
шева чаете возникают трудности, связанные с невсзмсжностью обес-
печить независимость наблюдаемых случайных величин или незави-
58
симость испытаний. Однако при некоторых весьма нежестких ус-
ловиях закон больших чисел справедлив и для зависимых случай-
ных величин. Как показал А.А.Марков, таким условием является
существование следующего предела:
Urn = 0 . (1.3.56)
п-оо пг
Бещлди
Эта теорема доказывает устойчивость частоты случайного со-
бытия в достаточно длинной серии испытаний, что позволяет при-
менять на практике так называемый статистический способ опре-
деления вероятности события.
Теорема. Если производится п независимых испытаний и ве-
роятность появления события в каждом из них одинакова и равна
р , то при любом Е>0
(I.3.S7)
где z(n) - число появления события в п независимых испытаниях.
Доказательство. Обозначим
= ~Р(п) •
где х - число появления события Д в^’-м испытании;
Д’,- частота события Д в п испытаниях.
При доказательстве теоремы Муавра - Лапласа были найдены
числовые характеристики случайной величины х^ :
М£=Р,
Найдем математическое ожидание случайной величины у(п}:
Сделав в формуле (1.3.57) замену -=-^- на-^-Sz и р на
Мл = М* , приходим к теореме Чебышева, которая уже доказана.!
* Формула вида (1.3.57) характеризует сходимость по вероят-
ности. Поэтому можно дать другую формулировку теоремы Бернул-
ли: частота событий сходится по вероятности к вероятности со-
бытия.
Применим неравенство Чебышева к случайной величине у
59
• (I-3-58)
Найдем Д
Ию
Тогда формула (1.3.58) преобразуется к виду
р№г-р\^^ • н-з-б9>
При п—оо согласно теореме Ляпунова можно считать, что слу-
чайная величина у1п} будет иметь нормальное распределение,по-
этому справедливо приближенное равенство
ИЛИ
. (1.3.60)
Формулы (1.3.59) и (1.3.60) применяются для решения ряда
практических задач.
Пример 1.3.8. Вероятность того, что количество осадков за
холодный период будет менее заданной величины, равна 0,6. Ка-
кова вероятность того, что отклонение частоты от вероятности
не превысит 0,1, если произвести наблюдения за 100 лет.
Решение. В нашем случае р = 0,6; g = 0,1; п =>100.
По формуле (1.3.59) имеем
р(|Д* -р| < /) » /- °’6'°’4г = 0,76 ,
г| / 1000,1
по формуле (1.3.60)
Теорема Бернулли устанавливает факт устойчивости частоты
в постоянных условиях испытаний. Однако эта устойчивость наб-
людается и при изменяющихся условиях испытаний, доказательству
чего посвящена теорема Пуассона.
60
1.3.8. Теорема Пуаосона
Теорема. Если в последовательности независимых испытаний
вероятность появления события Ав j -м испытании равна р ,
то J
K₽(l¥4|d’e)-'> (i-3-6i>
т.е. частота события Д сходится по вероятности к среднему ариф-
метическому значению вероятноотей события в каждом испытании.
Доказательство, Найдем математическое ожидание
случайной величины и ••
Ям 4 п <Н п
Сделав соответствующую замену в формуле (I.3.6I), приходим к
теореме Чебышева [формула (1.3.47)]. А
Расчетные формулы, вытекающие из теоремы Пуассона, примут
вид
(1-3-62)
(1-3-63)
так как
\ \Н$?л
Как отмечено выше, предельные теоремы формируют теоретиче-
скую основу выборочного метода в математической статистике.
61
Глава 2
СТАТИСТИЧЕСКИЕ МЕТОДЫ ОЦЕНИВАНИЯ ВЕРОЯТНОСТНЫХ
ХАРАКГЕРЯСТИК_СДУЧАИНЫХ РРЪЖГОЦ
§ 2.1. ПРОБИЛА ОЦЕНИВАНИЯ КАК СТАТИСТИЧЕСКАЯ ЗАДАЧА
Как отмечено в § I.I, одно ив важнейших мест в математи-
ческой статистике занимает задача оценивания (экспериментального
определений вероятностных характеристик случайных объектов (со-
бытий, величин, функций и т.п.).
2.I.I, Общая постановка задачи оценивания законов
и параметров распределения случайных величин
Итак, цель эксперимента - определение вероятностных харак-
теристик случайной величины х .
Пусть над случайной величиной х произведена серия п не-
зависимых наблюдений, в результате которых получена случайная
выборка <£,, х2, . ,хп> = Х<п> объема п . Требуется по результа-
там ^ir,x2,...,xn>=X<n>ограниченного числа п наблюдений слу-
чайной величины х выработать достаточно объективное суждение
об ее вероятностных свойствах.
Как было указано в § I.I, любая функция случайной выборки
s = s(^<n>) = 8(жг^2. -- , *„) (2.1.1)
называетоя статистикой. Если статистика использует-
ся в качестве приближенного значения иеиэвеотной вероятноотной
характеристики (закона или параметра распределения) случайной
величины, то ее значение
s = s(x|(x2,...,xn), (2.1.2)
полученное в результате обработки экстериментальных данных по
формуле (2.I.I), называется оценкой этой характеристики.
62
Известно, что исчерпывающей характеристикой вероятностного
поведения случайной величины х является закон ее распределе-
ния Fa (£) [или <Рл(л)] . Поэтоцу основной целью в рас-
сматриваемой здесь задаче являетоя построение закона распреде-
ления случайной величины х по экспериментальным данным Х<п>,
т.е. его представление как функции выборки
Fi(x)^F£(x)=Fi(x-,xl,xz.....xn)=^(i;X<n>)=S0(X<z,>;x), хе{х} ,
(2.1.3)
которая1^ может служить в качестве оценки функции FA(х) , об-
ладающей требуемой точностью и надежностью (достоверностью).
В общем случае функция F& (х) , описывающая закон распреде-
ления случайной величины £ f зависит как от своего аргумента
X , так и от параметров2)агА,а2л,...,ата распределения, т.е.
Fa (X) = Fa (X; а,. а2.(х, А<т>) . (2 д .4)
Часто на основании априорных данных оемейство (класс) рас-
пределений. которому принадлежит функция F&(x) , оказывается
известным3), но неизвестны конкретные значения параметров А<т>
этого распределения, выделяющие его в рассматриваемом семейст-
ве. Тогда оценивание функции F*(x) сводится к оцениванию ее па-
раметров А<1П> ,т.е. к отысканию такой статистики
^<л>)~ ^<m>^\n>)_\/n>~^<m> > (2.1.5)
которая обеспечивала бы требуемую точность и надежнооть прибли-
женного равенства
= • (2.1.6)
Из теории вероятноотей известно, что многие важные для
практики задачи исследования случайных объектов (величии, век-
торов, функций) могут быть решены с использованием лииь аппа-
рата их числовых характеристик, минуя законы распределения.Во
всех таких случаях, как правило, возникает необходимость в оп-
•*) Здесь и далее символом {i} обозначается область (мно-
жество) возможных значений (носитель распределения) случайной
величины х (в том числе и векторной).
2) В дальнейшем индекс х в обозначениях параметров будем
опускать.
3) Например, известно, что закон распределения ГА (х) нор-
мальный или показательный и т.д. 1
63
ределении этих характеристик опытным путем. Если числовые ха-
рактеристики случайной величины совпадают с параметрами ее рас-
пределения (как,например,у нормального закона), то задача их
определения сводится к построению подходящей статистики типа
(2.1.5), которая может служить их оценкой. Если такого совпаде-
ния нет, то отыскиваются специальные статистики.
Из приведенных выражений ъидно, что статистики, используе-
мые для оценивания, могут быть как скалярными [типа (2.1.3)],так
и векторными [типа (2.1.5)] функциями п аргументов - элемен-
тов выборки Х<п> . При этом, поскольку при решении задачи ста-
тистического оценивания вся информация об исследуемом случай-
ном объекте содержится в выборке Х<п> , то для одноэначности
такого решения необходимо выполнение условия
, (2.1.7)
где т - число оцениваемых параметров;
п - объем выборки.
Из выражения (2.I.I) видно, что все отатистики, будучи функ-
циями случайной выборки Х<п> , суть случайные величины (скаляр-
ные или векторные) и, следовательно, практически1) никогда не
совпадают с истинными (неизвестными) значениями оцениваемых ха-
рактеристик. Поэтому в качестве критериев их оценивания обычно
испольэуютоя соотноиения следующего вида:
(2л>8)
^<m> ~ (X<n>) J
ИЛИ
s;(X<n>;x)^F£(x)^S0’(X<n>;x);l i
OW^^S^fX^), J
где s;(X<n>;i), S"(X<n> ; х) , S'<m>(X<n>), отатистики,
отличные от статистик (2.1.8) и в каждом конкретном случае оп-
ределяемые ооответотвующими соотношениями (2.1.2).
Как в выражениях (2.1.8), так и в (2.1.9) первые соотноше-
ния функциональные, так как связаны с аргументом х и должны
выполняться для каждого его значения. При фиксации значения ар-
гумента х они принимают смысл вторых соотношений, т.е. число-
вых.
I) Согласно принципу практической уверенности.
64
Оценивание вероятностных характеристик в соответствии с
критерием (2.1.8) называется точечным,ав соответст-
вии с критерием (2.1.9) - интервальным. Естествен-
но, что в обоих случаях возникает вопрос о качестве оценивания.
Однако, поскольку соотношения (2.1.8) и (2.1.9) имеют сущест-
венно различный вероятностный смысл, то различными оказываются
и принципы, ледащие в основе методов исследования качества оце-
нивания типов (2.1.8) и (2.1.9). Так, качество точечного оцени-
вания типа (2.1.8) определяется рядом свойств оценок, регламен-
тированных совокупностью предъявляемых к ним требований, а ка-
чество интервального оценивания типа (2.1.9) характеризуется
точностью и надежностью (достоверностью) оценок. Интервальное
оценивание и характеристики его качества подробно рассматрива-
ются в гл.З, поэтому весь последующий материал данной главы по-
священ исследованию методов и методик точечного оценивания.
2.1.2. Основные свойства статистических оценок
и требования к ним
Будем предполагать, что распределение однопараметри-
ческое, т.е. т = I, и, следовательно, Принятое до-
пущение позволяет существенно повысить наглядность последующих
рассуждений, которые затем могут бйть сравнительно просто обоб-
щены и на случай многопараметрического распределения. Кроме то-
го, будем считать, что семейство (класс) распределений, кото-
рому принадлежит функция , известно, но неизвестно зна-
чение^ параметра а . Таким*образом, задача оценивания функции
распределения Fn(x\ а) сводится к оцениванию его параметра #
т.е. к определению соотношения вида
= (х;а) = ^(х) , (2.1.10)
где a=S<l>(X<J=S(X</;>)- оценка параметра а.
Поскольку результаты Х<п> наблюдений над случайной величи-
ной £ сами являются случайными, то случайной оказывается и
оценка 2 , т.е.
£ = S^<n>) = S • (2.1.11)
В дальнейшем для уменьшения числа используемых символов
параметры и их истинные значения обозначаются одинаково.
65
Истинное значение а параметра распределения хо-
тя и фиксировано, но неизвестно, и, следовательно, воспринима-
ется исследователем как величина случайная а , имеющая неко-
торую плотность распределения.
Поскольку в общем случае а±а , то и после получения оцен-
ки а параметра а его неопределенность для исследователя пол-
ностью не снимается, хотя его вероятностное суждение об истин-
ном значении а должно измениться согласно результату Х<п> эк
сперимента так, что&< соответствовать ему наилучшим (в некото-
ром смысле) образом.
Рассмотрим систему <Х<л>,а> = < X, а > случайных векторов (л-
мерного X и одномерного 2 ). Их совместная плотность распре-
деления (на основании правила умножения многомерных законов рас
пределения) определяется соотношением
Ч><и^Х,а) = ф2(Х)фА/А(а;Х) = <рА(а)Ч)А/А(Х;а), (2е1.р)
где % (X), Ц>л(а)- соответственно безусловные плотности распре-
х ° деления случайных векторов X и а ;
ip (а , X) - условная плотность распределения параметра а
S'* относительно вектора X ,т.е. при условии
Х = Х;
Ц>А д(Х-,а)- условная плотность распределения вектора X
относительно параметра а. ,т.е. при условии
а = а .
В математической статистике безусловные раопределения час-
то называются маргинальными.В рамках же задач оцв'
нивания их правильнее называть априорными (доопыт-
ными) распределениями, а условные распределения - апосте-
риорными (послеопытными).
Если опыт произведен и получена выборка X , то вероятност-
ное суждение исследователя о параметре а будет определяться
условной плотностью распределения
ф (а.Х)=Ф<М>(Ха) = (2118)
V ’Х) Ф;(Х) Ф81Х) (2-1‘13)
Далее, руководствуясь каким-либо принципом, исследователь
вырабатывает критерий суждения о значении параметра а , наилуч-
иим образом отвечающем результатам X наблюдений. Так, если воз-
можное значение параметра а единственно, то в качестве его
оценки а может быть взята, например, мода Мол vcnoBHoro рас-
пределевия (2.1.13), т.е. наиболее вероятное при данных резуль-
татах X эксперимента значение параметра а (см.п.2.2.3).
Очевидно, что в основу решения этого вопроса могут быть
положены и другие принципы. Поскольку каждому из принципов бу-
дет соответствовать свое решение задачи, то каждый из них тре-
бует специального обоснования. Заинтересованного читателя от-
сылаем к фундаментальным монографиям [43,56,68], где эта проб-
лема обсуждается более подробно. Некоторые из наиболее распро-
страненных принципов рассматриваются ниже.
Если объем п случайной выборки Х<п> велик, то выражение
(2.1.13) оказывается достаточно сложным. Поэтому естественно
стремление сократить объем данных наблюдений яа счет введения
ограниченного числа функций от них - статистик, позволяющих ре-
шить задачу оценивания параметра а без сяижения точности и на-
дежности результатов.
Пусть статистика (2.I.1I) позволяет это сделать. Тогда со-
отношение (2.1.13) может быть приведено к виду
Понятно, что выражение (2.1.14) значительно проще соотношения
(2.1.13;, а следовательно, будет проще решаться и задача оцени-
вания параметра а . Статистику s , обладающую таким свойством,
называют достаточной. Дадим более строгое определе-
ние этого важного понятия [68].
Говорят, что s - достаточная статисти-
ка для параметра а или для семейства распреде-
лений Ц>Л/Л(Х,а) , если условное распределение (X , s) не
зависит от а , т.е., если гт оценивании а ее реализацией
S (т.е. в предположении а = з ) можно без потери информации
о параметре а заменить реализацию Xм на ХУ). ▲
Размерность т достаточной статистики называется ее поряд-
ком. Более подробно понятие достаточности статистик определено
в монографиях [43,56,68].
Пусть Х<п>=<г,х ,sn>- случайная выборка объема п . Да-
дим в этих условиях следующее определение.
Определение 2.1.2, Если плотность распределения случайного
вектора X задается равенством
где а - неизвестное значение параметра, то последовательность
(вектор) = X называется повторной
Нетрудно заметить, что поскольку в соответствии с равенст-
вом (2.1.15) компоненты вектора X взаимно
независимы и одинаково распределены, то повторная выборка яв-
ляется простой (см.§ I.I).
Пример 2,1.1. Пуоть Х=Х<л>=<х„хг,...,^>- повторная BMjpp-
кализ нормального распределения с неизвестными значениями
и ©я параметров и . Условие^ плотность распределения
вектора X относительно вектора < И, б£ > задается равенством
Положим Ч = • Тогда
X (X-Ч М (х - Мл )2 + п (Мл- Ч )2
i i П J х' x x (2.I.T7)
и, следовательно, плотность распределения (2.1.16) зависит от
результатов X, , х2 ,..., хп наблюдений величин Д , ,..., хп
только через Ч и Х( )2.
Если ввести обозначение1
то нетрудно видеть, что S<2>- достаточная статистика второго по-
рядка для оемейства нормальных распределений (2.1.164 ▲
Пример 2.1.2. Пусть X = Х<л> - повторная выборка из равно-
мерного распределения на интервале (О, Ь] , где значение Ь па-
раметра Ь неизвестно. Л
Для заданного значения Ь=*0 параметра Ь условная плот-
(X, Ь) результата х^
одного наблюдения
ность распределения
задается равенством
.№ib)=q> а(х,Ь)= П(1-°’&) ,</=/(/)л, (2.1.19)
х/о о
откуда
(Х,Ь)=По ,(з? ,&)=4п П(1,0,Ь)
*lb г-' J b J-I J
(2.Т.20)
68
или
4>^(X,b) = ^-A(6-mai{T”Z2, . ,xn}). (2.1.21)
Функция (2.I.2I) зависит от результатов наблюдений X только
через
S = S(X) = max{z,,x2,....xJ (2Д<22)
и, следовательно, s - достаточная статистика для семейства
равномерных распределений (2.1.20). Д
Перейдем к рассмотрению основных критериев качества оценок
параметров распределения.
Пусть в качестве оценок aL параметров aL,c=U1)m распреде-
ления случайной величины х выступают некоторые статистики,т.е.
= Si(^<n>)=SL^i’^2i = (2.1.23)
Чтобы оценки £ могли служить объективными характеристиками па-
раметров ati = они должны &<ть несмещенными, состоятель-
ными и эффективными. Дадим определения этих новых понятий.
Определение 2.1.3. Оценка а(л) параметра а называется н е-
счещенной, если ее математическое ожидание равно оце-
ниваемому параметру, т.е. когда
£ M[5J=G' (2.1.24)
Если М[а|п)] #: а , то оценка а(п} называется смещен-
ной. л Л
Оиределение 2,1.4. Оценка а(п] параметра а называется с о-
стоятельной, если она сходится по вероятности к оце-
ниваемому параметру, т.е. если при произвольном е=-0
UmP(|2(n)-a|^E)=/ (2.1.25)
Понятно, что состоятельной может быть лишь несмещенная оцен-
ка. При этом, поскольку согласно неравенству Чебышева
то из выражений (2.1.24) и (2.1.25) следует, что
0 •
т.е. с ростом объема п выборки диспероия состоятельной оцен-
ки асимптотически приближается к нулю, и, наоборот, если с ро-
стом п дисперсия Бл стремится к нулю, то оценка состоя-
тельная. aw)
69
Определение 2.1.5. Несмещенная оценка1) а|л) параметра а
называется эффективной, если ее дисперсия минималь-
на, т.е. если
, (2.1.26)
где й™ = s‘KI(X<n>) - оценка параметра а с помощью статистики
swl к -го вида. А
Определение 2.1.6. Если равенство (2.1.26) выполняется
только в пределе, т.е. при л —оо , то соответствующая оценка а(п}
называется асимптотически эффективно й.А
Из последнего определения, в частности, следует, что со-
стоятельная оценка асимптотически эффективна.
Оценки, удовлетворяющие всем трем перечисленным требовани-
ям, называются подходящими значениями
оцениваемых параметров.
На практике достичь совместного выполнения всех трех усло-
вий (2.1.24), (2.1.25) и (2.1.26) удается не всегда, так как
формулы для вычисления эффективной и несмещенной оценки могут
оказаться слишком сложными. Поэтому иногда для проототы расче-
тов используются незначительно смещенные и не вполне эффектив-
ные оценки, однако выбор той или иной оценки должен опираться
на ее критическое рассмотрение со всех указанных выше точек
зрения.
Следует отметить, что определение 2.1.5 имеет аналитическое
выражение вида (2.1.26) лишь в случае оценивания единственного
параметра распределения ip. (х,а) . Если число т оцениваемых
параметров ,ат> = А<т>больше единицы,^то вл качестве ха-
рактеристики рассеивания их оценок <at,a2.ат>=А<т>должна ис-
пользоваться обобщенная дисперсия
„ i
где К. - корреляционная матрица вектора /\ет> оценок пара-
метров X» •
Более полное раскрытие понятия обобщенной дисперсии можно
найти в монографиях [6,43] и др.
Для смещенной оценки понятие
э’фективности не определено.
70
§ 2.2. ОБЩИЕ МЕТОДЫ ОЦЕНИВАНИЯ
В предыдущем параграфе была рассмотрела общая постановка
задачи оценивания законов и параметров распределения случайных
величин, выявлены основные свойства их статистических оценок и
сформулированы основные требования, которым должны удовлетво-
рять эти оценки. Еще раз подчеркнем, что оледует различать две
фазы оценивания вероятностных характеристик случайных объектов:
априорную (доопытную) и апостериорную (послеопытную). На пер-
вой фазе оценки рассматриваются как функции случайной выборки
и, следовательно, сами случайны. На второй фазе они не случай-
ны, так как представляют собой функции выборки (реализации слу-
чайной выборки), элементы которой неслучайны.
Понятно, что все требования к оценкам как законов, так и
параметров распределения случайной величины предъявляются на
первой фазе их оценивания, т.е. априори.
Теперь кратко рассмотрим основные методы получения оценок
с требуемыми свойствами.
Прежде всего заметим, что, несмотря на высокий современный
уровень развития математической статистики и обилие поовящен-
ной ей литературы, дискуссия о преимуществах т.х или иных мето-
дов оценивания, а также о характеристиках степени неопределен-
ности статистических оценок еще Не закончена. Этим, в частно-
сти, объясняется использование на практике различных методов по-
строения статистических оценок, в основе которых лежат различ-
ные принципы.
Здесь ограничимся рассмотрением лишь методов«основанных на
четырех основных принципах - критериях качества оценок. К ним
отнооятоя принципы:
- равенства моментов распределения (РМР);
- минимума риока (МР) (принцип минимакса);
- максимума апостериорной вероятности (МАВ);
• • максимума правдоподобия (МП).
2.2.1. Метод моментов
Самым первым из общих методов нахождения параметров распре-
деления случайных величин по выборочным данным явился м е-
тод моментов, В его основе лежит принцип РМР, т.е.
принцип равенства выборочных (статистических) и действительных
(истинных, но неизвестных) моментов распределения, зависящих
71
от оцениваемых параметров. Число приравниваемых моментов равно
числу оцениваемых параметров.
Статистические моменты распределения определяются аналогич-
но моментам дискретного распределения. При этом вариант х^ вы-
борки - аналог возможного значения дискретной случайной величи-
ны (СВ), а его частота Р*(х=^) = 4‘ - аналог соответствующей
вероятности.
Как было указано в § I.I, статиотические аналоги вероятно-
стных характеристик одучайных объектов (событий, величин, функ-
ций) , называемые также выборочными, отмечаются звездочкой #.
Используемый наряду с этим для обозначения оценок символ ~
(тильда) имеет более общий омысл.
Пусть случайная величина подчинена однопараметрическому за-
кону распределения и требуется найти оценку а его параметра а.
Известно, что вое моменты распределения выражаются через
его параметры. Поэтому в однопараметричеоком случае принцип РМР
выражается равенотвом
9,* = = >>, = ija)=М, (а) = х (а), (2.2 Д)
где i)* и - соответственно выборочный и действительный пер-
вые начальные моменты распределения СВ т .
Иокомая оценка а. параметра а должна удовлетворять равен-
ству
<=i(a)
' ’ (2.2.2)
и, следовательно,
(2.2.3)
где х = ^‘/(</)- оимвол функции, обратной для функции y = $t(x).
Коли число т оцениваемых параметров больие единицы, то не-
обходимо ооотавить и решить систему т уравнений типа (2.2.1).
Пример 2.2.1. Требуется найти оценку параметра Л показа-
тельного закона распределения
4>а (г) = (г; Л)=Л е ДхД (х).
Решение. Известно, что .
J, = J((j|) = x(A)=-J- .
Поэтому
72
и, следовательно,
J»<'(9*) = Х=Ц_ , (2.2.4)
Ъ х
где х*=М* - выборочное (статистическое) математическое ожи-
дание СВ £ (см.§ 2.4). А
Пример 2.2.2. Требуется найти оценки параметров х и б,
нормального закона распределения
Решение. Известно, что
^ = ^(х)=х ;
02=9г(б,;5) = б£г + 52 .
Поэтому
X = Щ)= <(J;) = J, ; _____,
б, = б. (^ ;X) = ;х)=Д-±2'
и, следовательно,
£ = ^'(^) = ^'(х*) = х* ; (2.2.5)
б„=\>;'Рг* ;х)=Д*-х2' , (2.2.6)
где ч)* - выборочный (статистический) второй начальный момент. А
Реализация метода моментов требует сравнительно простых вы-
числений и в принципе позволяет получить асимптотически эффек-
тивные оценки. Поэтому он находит достаточно широкое практиче-
ское применение. По поводу свойств оценок, полученных этим Ме-
тодом, необходимо сказать следующее.
Асимптотическая эффективность таких оценок часто меньше
единицы. Кроме того, прямое применение метода может привести
к смещению получаемых оценок. Так, если в выражении (2.2.6)
вместо параметра х использовать его статистический аналог х*
(на практике именно так и приходится поступать), то оценка
параметра бЛ окажется смещенной, а оледовательно, и неэффектив-
ной (см.§ 2.4). Тем не менее простота и практическое удобство
метода обусловили его широкое применение. Кроме того, смещение
оценок, как правило, удается устранить введением простых попра-
вок. Получаемые этим методом оценки часто принимаются в ка-
73
честве первого приближения, по которому затем другими метода-
ми определяются более эффективные оценки.
Существуют сиотемы кривых распределения (Пирсона, Грама -
Шарлье, Эджворта и др.), которые позволяют аппроксимировать со-
ответствующие опытные (экспериментальные) характеристики, за-
висящие от оцениваемых параметров [II]. Однако оледует заме-
тить, что использовать на практике моменты выше четвертого по-
рядка нецелесообразно, так как с ростом порядка момента точ-
ность его вычисления резко падает.
'2.2.2. Метод мииимальногд риска
Этот метод единого названия не имеет и в литературе обозна-
чается либо через лежащий в его основе принцип ’’минимакоа" [56],
либо через реализуемые им "байесовские процедуры" [68]. Здесь
иопользуетоя название метода, которое наиболее полно отражает
физическую сущность положенного в его основу принципа минимума
риока (МР).
Исходным соотношением данного метода является формула Байе-
са для апостериорной (условной) плотности распределения случай-
ной величины.
Как отмечалось в п.2.1.2, неизвестный параметр1) а воспри-
нимается исследователем как случайная величина а с априорной
плотностью распределения фл(а).
После проведения эксперимента, случайные результаты которо-
го Х<л =Х реализовались в виде выборки Х<Л>=Х плотность распре-
деления параметра а принимает вид
ф ,аД|=Ф-<.»>|Х-а) , (2.2.7)
%'’' фа(Х)
где сохранены обозначения выражения (2.1.13).
В качестве оценки а параметра а можно принять условное
математическое ожидание случайного параметра а. ,т.е.
a-a(X)=M8/jj(X)=/4[fi/X=Xj=jaipS/.(a;X)fl!fl . (2.2.8)
В принципе для получения оценки а могут быть взяты и другие
апостериорные вероятностные характеристики параметра a .
*-)в общем случае это вектор параметров <a(,a2,.. ,ат> = Д
74
Вообще приравнять а»а = а (X) , т.е. параметр и его оцен-
ку, - это значит принять решение тем более ошибочное, чем боль-
ше отличие а от истинного (но неизвестного) значения парамет-
ра а.
Введем в раосмотрение функцию 0С(а,а) , характеризующую
степень расхождения величин а и а и называемую функци-
ей потерь. Поскольку в рассматриваемой постановке ве-
личины а и а случайны, то случайной будет и величина 5ь=(Е(а,2).
При фиксированном значении X вектора X наблюдений услов-
ные средние потери будут определяться следующим соотношением;
ЛДХ)=МрДХ)] = М[я(а,аГ(Х))] = |я(а,а(Х))1ра/^А;Х)^. 2
Оптимальным естественно считать значение а оценки, мини-
мизирующее средние потери Я((Х) . Так, если в качестве функции
потерь взять квадрат разности а и S , т.е. положить 51(а,5) =
=|а- а |г (квадратичная функция потерь), то минимум средних
потерь л,(Х) достигается при значении
a = a(X)=Mg/J.(X) = a(X),
определяемом по формуле (2.2.8), что оправдывает его выбор в
качестве оценки а [68j (см.пример 2.2.3).
Поскольку реализации X вектора X от выборки к выборке ме-
няются, то решение, оптимальное для одной из них, будет плохим
для другой. Поэтому в качестве оценки должно выбираться значе-
ние 2 , минимизирующее безусловные средние потери, определяе-
мые ооотноиением
SC = М[я] = j !?! j Я,(Х) ф. (X)flfX =
=^|^Я(а,а(Х))фа/г(а;Х)</а]^(Х)с{Х . (2.2.10)
Учитывая, что
S=M^(2,a(X)g=Mx[Me[S(2,e(X))]]=Ma[Mx[X(£,fl(X))J ,
где М* и Ма - операторы вычисления математического ожидания Я
как функции соответственно случайного вектора X и случайного
параметра a , представим выражение (2.2.10) в виде
(г.г.п)
где
75
Г1г(а)=м[я/Й=а]=м[я(а,а^
- условные средние потери относительно параметра а (при реше-
нии а = а0).
Функция
p(a,a) = M[5i(a,a0(X))] = Mx[5i(a,a0(X))] (2.2.12)
называется функцией риока.
Естественно отрешиться выбрать ag так, чтобы минимизиро-
вать этот риск, но такое решение в предположении, что оно су-
ществует и единственно, в общем олучае зависит от а [через
ip. (Х-га)] . Чтобы выбор а0 не зависел от а (поскольку о.
неизвестно, то зто необходимо), следует а рассматривать как
значение случайной величины а о заданным распределением ty(a)
и минимизировать средние потери (2.2.10). При этом для каждого
значения X вектора X находится решение а , минимизирующее
условные средние потери (2.2.9).
Пример 2.2.3. Над случайной величиной х , подчиненной по-
казательному закону распределения о неизвестным параметром А
Ч>4 (г) = ip£ (х;А) = Ае ХхД(х), (2.2.13)
произведено л независимых однородных наблюдений, в результате
которых получена выборка <г(,хг....хп> = X<n> = X .
Требуетоя найти наилучшую оценку А параметра А .
Р е ш е н и е. Эту задачу решим на основе принципа МР. Для
этого обратимся к выражению (2.2.12) и построим функцию риока
на основе квадратичной функцию потерь. л
Полагая оценку Х= Й(Х) несмещенной (т.е. такой, что M[Jj=
- А ), будем иметь:
(р(Л,А) = м[51(Л,Л(Х))]=МдЛ-У(Х)|г] = Др(Х)] =
= м[йх)]-Аг=( лх-л)4Х-лг=
= j <??|лг(т(,1г,...,хо)./Ге idildx2...dxn-i2 . (2.2.14)
«о ~
Решением поставленной задачи будет значение Лд оценки,обес-
печивающее функции риска р(Л,Л)
minmaip(A,A ) . (2.2.15)
76
Продифференцировав выражение (2.2.14) сначала по jl , а за-
тем по Л , получим уравнение относительно Л
п - j! S я = 0 ,
решение которого дает искомую оценку
где х - выборочное ореднее CBz. д
Из выражения (2.2.16) видно, что для показательного закона
распределения СВ х принцип минимакса (МР) дает ту же оценку
параметра Л , что и рассмотренный ранее метод моментов [см.
(2.2.4)].
Методы, основанные на условном распределении (2.2.7), на-
зываются байесовскими процедурам и.Глав-
ный их недостаток в том, что они базируются на предположении о
существовании параметра а как случайной величины с известным
заранее распределением ф«(а) . При этом интеграл (2.2.10) трак-
туется как средний риск (2.2.12), еще раз взвешенный с весами
ipa(a)da , определяемыми априорным распределением фл (а) , ко-
торое в значительной мере произвольно, т.е. выбор , по
существу, отражает или имеющуюся у исследователя априорную ин-
формацию, или его интуицию. Если желательно избежать указанно-
го произвола, связанного с выбором фЛ(а) , то следует ограни-
читься рассмотрением функции риска и выбрать стати-
стику a = a(X) , зависящую от результатов X наблюдений и не
зависящую от а , например, таким образом, чтобы минимизиро-
вать максимальный риск maxpea,5) . Этот метод, называемый
иногда "принципом минимакса" [56] , применим для выбора решений
при неизвестном а .
Из всего сказанного ясно, что в рассмотренной задаче не
роегда удается отыскать единственное, вполне определенное ре-
шение. Выбор между различными возможными решениями будет зави-
сеть от таких свойств оценок, как несмещенность, состоятельность
и эффективность, рассмотренных в п.2.1.2. Так, для несмещен-
ности оценки а необходимо, чтоей средние потери
(а) = м[я(а,а(Х))]= jj 5l(a,а(X))ipJ/g(X-a)dX ,
77
где а - истинное значение параметра, были минимальными.
Если оценка а несмещенная и определяемая ею квадратич-
ная функция потерь К(а,2) = |а-а | достигает минимума, то такая
оценка будет эффективной (см.определение 2.1.5).
Таким образом, реализация метода минимума риска для приня-
тия окончательного решения требует привлечения дополнительных
условий.
2.2.3. Метод максимальной апостериорной вероятности
В предыдущем пункте был изложен метод получения оценок, в
котором критерием суждения о их качестве был минимум максималь-
ного риска. Те 1ерь рассмотрим байесовскую процедуру, основанную
на другом критерии - принципе максимальной апостериорной веро-
ятности (МАВ).
Вновь обратимся к выражению (2.2.7) и найдем апостериорную
(условную) вероятность равенства а = а относительно события
Х= X, т.е.
Представляется разумным считать наилучшей оценкой парамет-
ра а его значение а , при котором вероятность (2.2.17) макси-
мальна. Очевидно, что если такое значение существует и оно един-
ственно, то это не что иное, как мода апостериорного распреде-
ления (а,Х) параметра а . Проиллюстрируем методику полу-
чения оценки а на примере.
Пример 2.2.4, В условиях примера 2.2.3 найти наилучщую оцен-
ку X параметра А .
Решение. Обратимся к соотношению (2.2.7), согласно
которому апостериорная (условная) ^плотность распределения не-
известного "случайного" параметра Л относительно вектора X
результатов наблюдений имеет вид
где ф„(Л) - априорная (безусловная, маргинальная) плотность
' распределения Л ;
апостеРи£Рная (условная) плотность^распределения
вектора X относительно параметра Л ;
ф„(Х)- априорная плотность распределения вектора X.
78
Положив в осиову дальнейших построений "принцип одинаковой
неопределенности" [56J, будем полагать априори, что неизвест-
ное значение Л параметра Л равномерно распределено на интер-
вале Ц,Л2] , т.е. что
• (2.2.19)
Поскольку по уоловию задачи вектор X представляет собой
повторную выборку, то согласно выражениям (2.1.15) и (2.2.13)
п -лХх „
1р5/.(Х;Л) = П(р£(х/;Л)=Л е ПА^). (2.2.20)
Далее,поскольку согласно определению маргинальной плотно-
сти распределения
Фл М = (Л)^= jj-zj-j ЛпеЛ?,Х'П4^)с(Л=
= Е____________о!_
Лг~*, '**’й( jjxj
то,подставив соотношения (2.г.19), (г.г.20) и (2.Z.ZI) в
(2.2.18), получим
|П4(гр , (2.2.21)
V,*) =
n -aS I п
П (Л-, А,,Л2)Л е 4п А(хр
(2.2.22)
В качестве оценки Ц параметра А возьмем моду условного
распределения (z.z.22). Из выражения (г.г.22) видно, что от Л
завиоит лишь стоящий в его числителе сомножитель Апе*“,х' ,
максимум которого и определяет максимум функции (Л; X). Ре-
шив уравнение
Me*'Л) = Л (n—A jS X )= 0 , (2.2.23)
\ ' <г-'
окончательно получим
^л=^- = 4- ,
(2.2.24)
79
где х* = М* - выборочное среднее СВ £ . А
Сравнение результатов (г.2.4), (2.Z.16) и (2.2.24) показы-
вает, что байесовский подход и метод моментов дают одинаковые
результаты, т.е. рекомендуется в качестве оценок параметра Л
показательного распределения брать одну и ту же статистику Д =
= ЙХ) = . При этом, поскольку в случае подстановки в выра-
жение (2.2^.20) вместо параметра Л его оценки — полу-
чается функция
не зависящая от Л , то статистика s(X) = J т
точной для семейства плотноотей (2.2.ТЗ).
(2.2.25)
является доста-
2.2.4. Метод макоимального правдоподобия
Название метода происходит от названия принципа максимума
правдоподобия (МП), лежащего в основе наиболее общих практиче-
ских методов отыскания неизвестных параметров функциональных за-
висимостей, определяемых по результатам экоперимента, который
проводится в условиях воздействия случайных факторов. Поясним
его сущность.
Пуоть наблюдаемая случайная величина £ имеет плотнооть
раопределения
..............................M-VAJ, (2.2.26)
где am>=A<m=A- вектор искомых параметров распреде-
ления.
Получаемая в результате п независимых однородных наблю-
дений (опытов,л испытаний) над СВ £ простая случайная выборка
<£,,£г,...,£п>=Х<п>=Х реализовалась в вектор Х = Х<П>=<1(,1.хп>.
Вероятность получения такой реализации равна элементу вероят-
ности распределения случайного вектора X , т.е.
P(X=X^P^(x^£-x+dx^cpjX-.A)^, (2>2>27)
где П - знак булева пересечения (конъюнкции высказываний,
произведения событий, пересечения множеств);
ф^(Х;А)- плотность распределения случайного вектора X , ко-
торая для повторной (простой) выборки принимает вид
80
;А)=Пф£(ау,А) • (2.2.28)
Определение 2.2.3. Функция оцениваемых параметров А вида
Ь(А;Х) = ф£(Х;А) (2.2.29)
называется функцией правдоподобия. Д
Согласно принципу максимума правдоподобия, при данной реа-
лизации X вектора X наиболее правдоподобными считаются те
значения А оценок параметров А , которые доставляют макси-
мум вероятности (2.2.27), а следовательно, и функции правдо-
подобия (2.2.29).
Таким образом, искомые оценки aL параметров a суть
корни следующей системы уравнений:
ат'Х} =0, (2.2.30)
oaL.........................'
Поскольку L и LogL принимают максимум при одном и том же
значении аргумента А , то вместо системы (2.2.30) часто реша-
ется система уравнений
<2-2-3I>
называемых уравнениями правдоподобия.
При этом все корни вида Qt=const следует отбрасывать и считать
решением лишь корни, которые действительно зависят от выбороч-
ных значений тп . Каждое такое решение уравнения
(2.2.31) называется оценкой максимального
правдоподобия для параметров А<т>=<а,а2ат>
[АЗ].
Приведем без доказательств, которые можно найти, например,
в монографии [43], ряд утверждений, важных для практического
применения метода максимального правдоподобия.
Если для параметра А существует эффективная оценка А ,то
уравнение правдоподобия имеет единственное решение А = А .
Если для параметра А существует достаточная оценка А ,то
каждое решение уравнения правдоподобия является функцией от Д
При достаточно общих условиях (см. [43]) оценки максималь-
ного правдоподобия аоимптотически-эффективны и асимптотически-
нормальны.
Проиллюстрируем методику реиения задачи оценивания парамет-
ров по критерию (принципу) МП.
81
Пример 2.2.5. Требуется найти наилучштю оценку Л парамет-
ра JI показательного закона распределения
ЧМх) = (х Л) = Ле'Л14(х) (2.2.32)
по результатам <х),хг,...,х/?>=Х<п>=Х повторной выборки (см.при-
меры 2.2.1, 2.2.3 и 2.2.4).
Решение. Поскольку выборка X повторная,то в соответ-
ствии с выражениями (2.2.28) и (2.2.32) функция правдоподобия
имеет вид
£(Л;*) = Ф5 (X; Л) = П (х^;Л) = П Д (XJ. (2.2.33)
Последовательное логарифмирование и дифференцирование по Л
функции (2.2.33) дает уравнение правдоподобия
(2.г.м,
решением которого являетоя иокомая оценка параметра Л , т.е.
г»- <г-г-35)
где х* = М^ - выборочное среднее СВ х . д
Сравнение решений примеров 2.2.1, 2.2.3, 2.2.4 и 2.2.5 по-
казывает, что и метод МП дает ту же оценку параметра Л .
Более детальный анализ выражений (2.2.22) и (2.2.3 3) по-
казывает, что метод МП эквивалентен методу МАВ в предположении
о равномерном априорном распределении оцениваемого параметра,
так как в этом случае в правой части формулы (2.2.22) от него
зависит лишь сомножитель, совпадающий с правой чаотью выраже-
ния (2.2.33).
Пример 2.2.6. Требуется найти наилучшие (в смысле МП) оцен-
ки параметров х и нормального закона распределения
Ч-а)г
гв* (2.2.36)
по результатам <хрх2,...,хп> = Х<п>=Х простой выборки (см.при-
мер 2.2.2).
Решение. Поскольку выборка X повторная, то в соот-
ветствии с равенствами (2.2.28) и (2.2.36)
^<г>Д<п,)=Ь(х,б2-,Х) = ф4(Х;х,©£)=
(2-2-3”
82
(2.2.38)
(2.2.39)
(2.2.40)
(2.2.41)
(2.2.42)
откуда
3lnL(х, 6a ;X) _ Ъ^-пх _0.
" ®£ " ’
3LnL (x, 6a ; X) _ it (Xj-Х)г-п6г£ _
дбя ~ 6* " ° ‘
X £
Из уравнения (2.2.38) следует:
5 = -£Зх =х* = < ,
л <1=1 </ X
а из уравнения (2.2.39) -
где Л* - статистическая (выборочная) дисперсия СВ х
Из сравнения соотношений (2.2.5), (2.2.6) с (2.2.40),(2.2.42)
видно, что методы РМР и МП дают одинаковые оценки математиче-
ских ожиданий и различные оценки средних квадратических откло-
нений.
Возвратясь к соотношению (2.1.18), можно заметить, что оцен-
ки МП являются функциями достаточных статистик и, следователь-
но, сами достаточны. Если уравнения (2.2.38) и (2.2.39) решить
совместно, то равенства (2.2.41) и (2.2.42) примут вид
’ (2.2.43)
= ~ (2.2.44)
При этом, как будет показано в § 2.4, оценка становится
смещенной, а значит, неэффективной. Что касается оценок 6$ и
6а , то и та и другая смещены. Однако с ростом объема п вы-
борки смещенность всех оценок МП уменьшается, а их эффектив-
ность растет, асимптотически приближаясь к единице (см. опре-
деление 2.1.6).
В данном параграфе рассмотрены общая постановка задачи и
общие методы оценивания произвольных вероятностных характери-
S3
стик случайных величин. В дальнейшей описываются методики по-
лучения оценок, их законов распределения и числовых характе-
ристик.
§ 2.3. ОЦЕНИВАНИЕ ЗАКОНОВ РАСПРЕДЕЛЕНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН
В данном параграфе рассматриваются общие методики построе-
ния статистических законов распре-
деления случайных величин, которые служат в качестве
оценок истинных (но неизвестных) законов их распределения. Эта
задача решается на основе экспериментальных данных, содержа-
щихся в выборке.........хп>=Х<п>=Х (априори случайной). Поэтому
получаемые по ним законы распределения СВх, иногда называе-
мые выборочными, априори также случайны.
В дальнейшем (в пределах гл.2) всюду предполагается, что
выборка X простая, т.е. повторная выборка из распределения
1рг(г)=Ц)4(х;А) ,
где A=A</n>=<apa2,...,am> - вектор параметров распределения (см.
определение 2.1.2).
2.3.1. Статистические ряды распределения
При проведении серии испытаний (опытов) наблюденные ва-
рианты основного признака (совокупность значений, принятых
случайной величиной, - выборку) удобно представить в виде
табл.2.3.1, называемой простой статистиче-
ской совокупностью или простым ста-
тистическим рядом.
Та бл,и ц а 2.3.1
Номера j испытаний | 1 2 3 ... п
Варианты признака х| х( xz is Tj
Пример 2.3.1. Испытано 12 однотипных радиоламп и с точно-
стью до I ч зарегистрировано время t безотказной работы каж-
дой из них. Результаты наблюдений оведены в проотой статисти-
ческий ряд (см.табл.2.3.1').
Таблица 2.3.1
I1 I 2 I 3 I » I 5 I 6 I 7 I 8 I 9 I 10 I II ПГ
130 I 108 | 36 | 69 1117 | 161 | 143 | 500 | 108 | 135 | 89 136
84
Если элементы случайной выборки упорядочены в возрастаю-
щем порядке, то получаемая при этом таблица называется в а-
риационным рядом.
Таблица 2.3.2
Номера j вариантов I 2 3 </ ... п
Варианты xj признака х х‘, Х2 хз Хп
Здесь xf' х'3 « ... xj г= ... =£ х'п .
Элементы х‘ вариационного ряда называются п о-
рядковыми или ранговыми статисти-
ками. Номер j элемента х' вариационного ряда называется по-
рядком или рангом статистики х^ (см.§ 1.2).
Как уже отмечалось в § 1.2, разнооть х'п-r't = иг1п) между
наибольшим х'п и наименьшим х) элементами вариационного ряда
называется размахом выборки.
Пример 2.3.2. В условиях примера 2.3.1 вариационный ряд
будет иметь вид табл.2.3.2'
Таблица 2.3.2'
j I I I 2 I 3 I 4 I 51 6 I 71 8 I 9 I 10 1 III 12'
£ч|з0 I 36 j 36 | 69 j 89 I 108 1108 | 117 1135 | 143 | 161 1500
Вариационный ряд являетоя простейшей формой статистического
закона распределения, определяемого в результате эксперимента.
Вариационный ряд аналогичен ряду распределения случайной вели-
чины. Действительно, продолжая проводить аналогии между поня-
тиями теории вероятностей и математической статистики, можно
сказать, что аналогом вероятности случайного события является
его частота (чаотость), называемая иногда статистической ве-
роятностью.
Заметим, что в случаях, когда наблюдаемый случайный приз-
нак носит диокретный характер, или точность измерений ограни-
чена, или результаты наблюдений округляются, значения некото-
рых вариантов признака в выборке могут совпадать. Из этого сле-
дует, что различные варианты наблюдаемого признака могут появ-
ляться в случайной выборке с различной частотой.
Таблица 2.3.3
Варианты х" признака £ х" 4 4
Частота Р* т1 т2 т3
вариантов х* ~п~ ~п~ п п
85
Таким образом, вариационный ряд, представленный в виде
табл.2.3.3, где z" х^ х1' х" , Р* = mjn =Р*(£ = х*),
R=1(I}N ; тн - число появлений в выборке варианта х" ,
можно рассматривать как "ряд распределения" некоторой дискрет-
ной случайной величины xW) , для которой P(x|)V)=i")=P*(x = х"н).
Пример 2.3.3. В условиях примера 2.3.1 табл.2.3.3 примет
вид табл.2.3.3'
Таблица 2.3.31
t" II 30 | 36 I 69 I 89 I 108 I 117 I 135 I 143 I 161 500
-±_
« (I 12 | 12 | 12 | 12 | 12 | 12 | 12 | 12 | 12 12
По распределению величины x(N) (называемому эмпирическим
или выборочным) можно судить о распределении случайной величины
х , и тем точнее и надежнее, чем больше объем п выборки.
При большом объеме п выборки вариационный ряд (табл.2.3.3)
становится громоздким. В этом случае выборку разбивают на ин-
тервалы, называемые разрядами, вычисляют частоты Р*
попадания наблюдаемой случайной величины (наблюдаемого основ-
ного признака) в эти разряды и представляют результаты наблюде-
ний в виде табл.2.3.4,
Таблица 2.3.4
где Jt=[xtr; xtr+)) - I -й разряд; mt - число значений случайной
вр-личины х , попавших в I -й разряд; хг, xtr+l - границы t -го
разряда; г-число разрядов; =-^ = Р*(х^х^х^), 1=/(/)<•.
Эта таблица называется интервальным вариа-
ционным или статистическим рядом
случайной величины х .
Число г разрядов, на которые разбивается сл,'чайная выбор-
ка, не должно быть слишком большим (в этом случае частоты подвер-
гаются незакономерным колебаниям и статистический ряд становит-
ся невыразительным) или слишком малым (при этом описание рас-
пределения случайной величины статистическим рядом становится
весьма грубым). В большинстве случаев наиболее рационально вы-
бирать 10 - 20 разрядов. Чем однороднее статистический материал
86-
и чем больше его объем, тем большее число разрядов можно вы-
бирать. При этом длины разрядов можно брать как одинаковыми,
так и различными. Хотя в последнем случае статистическая обра-
ботка экспериментальных данных несколько усложняется, однако
при значительной неравномерности распределения наблюдаемой слу-
чайной величины в областях наибольшей его изменчивости разря-
ды целесообразно делать более короткими.
Для ориентировочного определения числа г разрядов можно
пользоваться соотношением [72]
г = 5Lnn
При этом желательно, чтобы выполнялись условия 5л= г =5 25;
5; 1= 1(1)г .
Пример 2.3.4. Испытано 100 однотипных радиоламп и зарегист-
рировано время (в часах) безотказной работы каждой из них.
Результаты испытаний сведены в табл.2.3.5. Соответствующий
этим результатам статистический ряд приведен в табл.2.3.6. А
Для большей наглядности статистический ряд часто оформля-
ется графически в виде полигона (рис.2.3.1). При построении по-
лигона определяются "представители" разрядов ряда распределения,
т.е.их средние точки с абоциосами xt=(x[+x^)/2 и из этих точек
восстанавливаются перпендикуляры, длины которых равны частотам
Р* , соответствующим этим разрядам. Описанный переход от ва-
риационного ряда к статистическому можно интерпретировать как
переход к новой дискретной случайной величине х^ , принимаю-
щей значения х( с "вероятностями" Р(£(г)=х1) = р* .
44-
Z?3
Д2-
Q,f-
о t,sot.iool,i5ol,др £aool^sotM5Lt
t t i'l
РИС.2.3.1
87
Совокупность точек А,, Аг,, Аг , лежащих на верхних
концах перпендикуляров, называется огивой распре-
деления случайной величины хД 55]. Соединяя соседние
точки огивы отрезками прямых, получим полигон рас-
пределения случайной величины х(Г), который, как не-
трудно видеть, являетоя полной аналогией многоугольника распре-
деления. Изображенный на рис.2.3.1 полигон построен на осно-
вании статистического материала примера 2.3.4.
Таблица 2.3.5
</ </ d d У
I 151,5 21 151,5 41 2,0 61 105,0 81 21,1
2 190,0 22 38,5 42 56,2 62 30,0 82 107,8
3 67,2 23 190,0 43 211,4 63 73,3 83 III,0
4 38,5 24 46,0 44 151,5 64 138,8 84 123,8
5 111,0 25 801,7 45 40,2 65 84,3 85 301,7
6 156,4 26 102,2 46 114,1 66 33,0 86 13,1
7 38,5 27 40,2 47 3,0 67 3,9 87 8,5
8 18,6 28 120,3 48 212,0 68 190,0 88 105,0
9 34,4 29 26,8 49 114,1 69 96,7 89 241,4
10 58,2 30 68,3 50 51,3 70 267,0 90 18,6
II 18,5 31 105,0 51 177,4 71 134,8 91 75,3
12 49,5 82 80,0 52 30,0 72 105,0 92 24,5
13 204,3 33 156,2 53 73,2 73 33,0 93 13,1
14 65,2 34 67,2 54 107,8 74 46,0 94 67,2
15 86,7 85 89,1 55 71,2 75 27,8 95 123,8
16 107,8 36 446,2 56 102,2 76 9,5 96 86,7
17 43,2 37 58,2 57 40,2 77 54,2 97 230,3
18 21,1 88 84,4 58 120,3 78 5,8 98 167,1
19 107,8 39 75,3 59 26,3 79 40,2 99 34,4
20 7,2 40 221,1 60 63,3 80 22,3 100 117,2
Таблица 2.3.6
J. | 0;50 50;100 Ю0;150 150;200 200;250
38 21 18 10 6
р: 1 1 0,38 0,21 0,18 0,10 0,06
Продолжение
|| 250J300 300;850 350J400 400;450 450;500
3 I 0 I
II 0,03 0,02 0,01 0,00 0,01
88
2.3.2. Статистические плотнооти распределения
При наблюдении случайной величины х непрерывного типа ес-
тественно искать более наглядную, чем интервальный вариацион-
ный ряд, форму статистического закона ее распределения. Для
этого частоту Р* попадания наблюдаемой случайной величины в
соответствующий разряд статистического ряда необходимо "разма-
зать" (распределить) по всем ее значениям из этого разряда.Это
можно сделать самыми различными способами, из которых наибо-
лее употребительны способы полигона и гисто-
граммы.
При первом способе предполагается, что разряды статистиче-
ского ряда имеют длину и что частоты возможных зна-
чений случайной величины х плавно изменяются от разряда к раз-
ряду по линейному закону. Тогда, поделив ординаты полигона
(рис.2.3.1) на ht (пронормировав полигон), можно привести его
к виду,изображенному на рио.2.3.2. При этом крайние точки а' и
а'г нормированной огивы случайной величины х(/>) следует соеди-
нить горизонтальными отрезками прямых с точками Д^ и Дг+(. Не-
юо
, ‘(г)
0rt ХД 100^1501,21
^1^^500 't
। ts
Рис.2.3.2
трудно видеть, что построенный таким образом многоугольник До ,
А1 Аг+( представляет собой кривую распределения некоторой
непрерывной случайной величины , а описывающая ее зави-
89
симость y=ip5, (х) обладает всеми свойствами плотности
распределения^1 в частности
j ipA, (x)dx = /.
При втором способе предполагается, что в пределах I -го раз
ряда статистического ряда плотность распределения непрерывной
случайной величины х"г| постоянна и равна (xt) = P*/At , где
ht-xrw~xrt -длина £-го разряда. Проводя через точки А" ,
Ajvt А” нормированной огивы горизонтальные отрезки прямых,
получают семейотво прямоугольников (рис.2.3.3), называемое
гистограммой распределения случай-
ной величины х . Легко заметить, что площади этих прямоуголь-
ников равны соответствующим частотам, а площадь всей гистограм-
мы равна единице, т.е.^
J <рА11 (x)dx= /.
90
Следовательно, огибающая гистограммы обладает свойствами
кривой распределения, а описывающая ее зависимость </ = <рЛ„ (х) -
свойствами плотности распределения. *"'
Гистограмма (рис.2.3.3) построена по данным примера 2.3.4.
Для сравнения пунктиром изображена теоретическая кривая пока-
зательного распределения, которому подчиняется время £ безот-
казной работы радиолампы (рио.2.3.2 и 2.3.3).
С помощью единичной функции огибающая гистограммы может
быть задана аналитически выражением [39]
Ч>., (2.3.1)
С увеличением объема п выборки и, следовательно, числа г
разрядов статистического ряда огибающие полигона [Ц)4. (х)] и ги-
стограммы [ip,, (х)] все более приближаются к кривой,граспреде-
ления [фЛ (х)],Г1 случайной величины х и, таким образом, могут ис-
пользоваться для приближенного описания закона ее распределе-
ния, т.е.
(2.3.2)
или
^(х)«Ч>4Лх)=Фг(х). (2.3.3)
2.3.3. Статистические Функции распределения
По вариационному ряду табл.2.3.3 можно построить ста-
тистическую или выборочную функ-
цию распределения F* (х) случайной величины х.
Так как по определению х
то
F* (Z) = : п)« F (х) = Р*(х с X) = 3 Р*(х = х"),
х * *<Л| хк<х
’ 0 при х х" ,
т, „ »
— при Х-Х^Х2,
4-Х/П. при х>х«х;(,
(2.3.4)
I при X =» х“ .
91
График функции F*(x) в условиях примера 2.3.3 изобра-
жен на рис.2.3.4.
Обоснованием применимости выборочной функции F?(x;n) для
оценивания истинной функции распределения FAx} случайной ве-
личины х может служить предельная теорема*В.ИТливенко [17],
которую приведем без доказательства.
Теорема 2.3.1. При увеличении объема п выборки (числа опы-
тов) статистическая функция распределения F*(x-,n) неограничен-
но приближается (сходится по вероятности) к истинной функции
распределения (х) случайней величины х , т.е.
(2.3.5)А
Таким образом, F*(х) - состоятельная оценка Рл(х).
Известно также, что функция F*(x) является несмещенной
оценкой для Гл (х) , т.е. при всех1!
L X J х (с« 3«6)
а поскольку вследствие (2.3.5) с ростом п ее дисперсия Л[^*(г)]
уменьшается, тс эта оценка асимптотически эффективна.
Отсюда следует, что при достаточно большом объеме п вы-
борки функцию распределения изучаемой случайной величины можно
приближенно заменять ее выборочной функцией распределения.
Используя полигон или гистограмму, можно построить прибли-
женную статистическую функцию распределения (так называемую
кумуляту распределения случайной величи-
ны х ) путем интегрирования функции ф* (I) или (х) , т.е.
92
или
/;(X)®F£*(z) = j ip*(Z)dz
Fjz)~^(z) = jip£(Z)dz .
(2.3.7)
(2.3.8)
В частности, использовав выражение (2.3.1) с учетом (2.3.3)
и (2.3.8), получим
О При 15;
о* dZ. Г Г
при Z(-X5^;
Р*+Р* при X гг < Z ;
У * * Дх, г
2 Pt +Pt при Z^ ;
при ,
(2.3.9)
где
hi=x^rx[; ^=1-^
^(х)=1 [р*
Рис.2.3.5
График функции Ел (г) в условиях примера 2.3.4 показан на
рис.2.3.5, на котором пунктиром изображен график функции пока-
зательного закона распределения.
93
§ 2.4. ОЦЕНИВАНИЕ ЧИСЛОВЫХ ХАРАКТЕРИСТИК СЛУЧАЙНЫХ
ВЕЛИЧИН (ОБЩИЕ ПРЕДПОСЫЛКИ)
Закон распределения (в любой его форме) является исчерпы-
вающей характеристикой вероятностного поведения случайной ве-
личины. Однако, поскольку задача его определения оказывается
достаточно сложной и громоздкой, то на практике при наблюде-
нии случайных величин часто определяются не законы их распреде-
ления, а лишь числовые характеристики, основными из которых яв-
ляются математическое ожидание и дисперсия.
Следует заметить,что решение такой "упрощенной" задачи име-
ет большую практическую ценность,так как во многих случаях знать
закон распределения случайной величины не требуется. Кроме то-
го, часто на основе каких-то априорных предпосылок вид (класс)
закона распределения исследуемой случайной величины известен
и для его полного описания достаточно определить лишь парамет-
ры. Экспериментальное определение параметров распределения слу-
чайных величин составляет содержание второй из основных задач
математической статистики.
Как отмечалось,задача оценивания параметров распределения
случайной величины (в частном случае ее числовых характеристик)
сводится к отысканию таких статистик (функций случайной выбор-
ки), которые могут служить наилучшими (в каксм-то смысле) оцен-
ками истинных (но неизвестных) значений параметров.
В принципе существует бесчисленное множество статистик.поз-
воляющих решить a-v задачу, однако лишь часть из них будет удов-
летворять (и то ь различной степени) общим требованиям, предъяв-
ляемым к статистическим сценкгч
В основе методов отыскание требуемых функциональных зависи-
мостей могут лежать как эвристические, так и формальные (анали-
тические) рассуждения. В соответствии с первым подходом формулы
для статистических оценок числовых характеристик определяются
по аналогии с формулами для числовых характеристик дискретных
случайных величин (см.п.2.2.1). При втором подходе искомые фор-
мулы получаются в результате формального решения задачи,в усло-
вия которой заранее вводятся требования, предъявляемые к оцен-
кам.
Отметим, что в достаточно большом числе практически важных
случаев оба подхода дают одинаковые выражения для оценок чис-
ловых характеристик случайных величин (см.§ 2.2). Однако кор-
ректная постановка задачи оценивания требует применения авали-
94
тических (формальных) методов, свободных от субъективных взгля-
дов исследователя.
В дальнейшем будет предполагаться, что это требование вы-
полнено и исследуемые оценки получены на основе одного из об-
щих методов, рассмотренных в § 2.2. Однако для большей убеди-
тельности все рассматриваемые оценки проверяются на наличие у
них основных необходимых свойств: несмещенности, состоятельно-
сти и эффективности.
§ 2.5. ОЦЕНИВАНИЕ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ СЛУЧАЙНОЙ ВЕЛИЧИНЫ
Пусть имеется случайная величина х , математическое ожида-
ние которой M.=z неизвестно.
Над случайной величиной х проведено п независимых опытов
(наблюдений). По их результатам , хг,...,х/1 требуется най-
ти состоятельную и несмещенную сценку Мл параметра Мл , т.е.
найти 1 1
^л = Я(г„хг.....хп).
В качестве оценки математического ожидания (среднего значе-
ния) исследуемой случайной величины х могут приниматься раз-
личные характеристики случайной выборки. На практике наиболее
распространенными являются оценки, получение которых основано
на обработке всего статистического материала (всей выборки).
Все рассмотренные в § 2.2 общие методы дают в качестве наи-
лучшей точечной оценки математического ожидания случайной вели-
чины ее статистичеокое среднее. Однако при нахождении оценки
математического ожидания, удовлетворяющей отмеченным в § 2.1
требованиям, следует различать случаи равноточных и неравно-
точных наблюдений (однородных и неоднородных опытов). Рассмот-
рим эти случаи.
2.5.1. Равноточные наблюдения
Наилучшей и наиболее распространенной на практике оценкой
М& среднего значения случайной величины х является наиболее
информативная характеристика случайной выборки - среднее ариф-
метическое всех ее элементов:
=м;=5* = -^-Зг ,
1 л л(2-5,1\
т.е.среднее арифметическое наблюдаемых значений xt ,х2,...,хд
случайной величины х , называемое ее статистиче-
95
скип или выборочным средним, или ста-
тистическим математическим ожи-
данием.
В § 2.2 показано, что выборочное среднее М*=х* удовлет-
воряет всем общим критериям: РМР, МР, МАВ и МП.
Поскольку наблюдения равноточны, тс случайные величины xf,
хг,,..,хп по существу представляют собой "экземпляры" одйой
и той же случайной величины х и, следовательно, имеют один и
тот же закон распределения с числовыми характеристиками:
= 5 ’ =^4 ’ =®4 ’ </ = •
Покажем, что оценка М* удовлетворяет всем трем общим тре-
бованиям, обычно предъявляемым к оценке любого параметра (см.
§ 2.2.).
I. Из выражения (2.5.1) следует, что
т.е. М* является несмещенной сценкой параметра .
2. Согласно теореме Чебышева среднее арифметическое наблю-
даемых значений случайной величины сходится по вероятности к
ее математическому ожиданию, т.е.
Следовательно, статистическое среднее М* есть состоятельная
оценка параметра М, . 1
3. Согласно выражению (2.5.1) дисперсия статистического
среднего
= = (2.5.2)
с ростом объема п выборки неограниченно убывает.
Доказано, что если случайная величина х подчинена нор-
мальному закону распределения,дто при любом п дисперсия
будет минимально возможней, а /И* эффективной оценкой математи-
ческого ожидания случайной величины х .
Таким образом, м* является подходящим значением ,т.е.
M£~M£ = M*=x* = ^-Sx</ . (2.5.3)
Пример 2.5,1, В условиях примера 2.3.1 найти оценку мате-
матического ожидания случайней величины t .
Решение. Согласно формуле (2.5.3)
96
= 127,6 ч . A
Случайная выборка, приведенная в табл.2.3.1' , была получе-
на при наблюдении случайной величины i .среднее значение кото-
рой M?=t=I00 ч. Сравнительно невысокая точность полученной
оценки обусловлена иалыи объемом выборки, но ни в коей мере не
способом ее вычисления.
Если объем п выборки достаточно велик, то вычисления по
формуле (2.5.3) оказываются громоздкими. Задачу можно упростить,
если использовать данные отатистического ряда, т.е. полагать
. (2.5.ч
где = 1 g tu------представитель (середина) Z-го разряда ста-
тистического ряда;
Р* - частота попадания случайной величины z в
I -й разряд.
Определяемое по формуле (2.5.4) значение оценки М* па-
раметра /И. оказывается приближенным, однако с ростом п (а сле-
довательно, иг) точность формулы (2.5.4) растет.
Пример 2.5.2, В условиях примера 2.3.4 найти приближеннее
значение оценки Мл математического ожидания случайной вели-
чины t .
Решение. Использовав табл.2.3.6, по формуле (2.5.4)
получим
Mf=M = SftP* = /02 4 . А
Обратим внимание на то, что выборка, приведенная в табл.2.3.5,
принадлежит той же генеральной совокупности, что и табл.2.3.1.
Однако, как видно из сравнения рулений примеров 2.5.1 и 2.5.2,
в последнем случае даже приближенное значение оценки Мл меньше
отличается от истинного значения параметра Мл = 100 ч. Это,как
уже отмечалось, объясняется большим объемом п и, следователь-
но, большей информативностью выборки, приведенной в табл.2.3.5.
2.5.2. Неравноточные наблюдения
Пуоть характеристики точности наблюдений от опыта к опыту
изменяются так, что наблюдаемая в j -м опыте случайная величи-
на х- имеет дисперсию
Ж]»^ =Д = е) » Н'’я-
97
При этом среднее значение случайной величины х от опыта к
опыту не изменяется, т.е.
= х = МЛ , ^ = /(/)л.
В данном случае сценка математического ожидания случай-
ной величины х по-прежнему будет являться функцией случайней
выборки, т.е.
М„ = Ч (x/ti2....£„).
Необходимо выбрать вид этой зависимости таким, чтобы сцен-
ка имела простое аналитическое выражение и была несметен ней,эф-
фективной и состоятельной.
Так как наиболее простой функциональной зависимостью явля-
ется линейная, то будем искать оценку в классе линейных
функций результатов наблюдений, т.е. положим
M£=^CjXd . (2.5.5)
Нетрудно видеть, что теперь решение поставленной задачи
заключается в отыскании значений коэффициентов с = линей-
ной формы (г.5.5), при которых оценка Мл будет удовлетворять
указанным в § 2.1 треАм требованиям.
1. Чтооы оценка была несмещенной, должно выполняться
равенство д
= •
Гак как в этом случае
М 1 = с хJ = t С М[х ] = Мл I = ,
то коэффициенты С / = 1(/)п должны удовлетворять условию
Sc = 1.
2. Для того чтобы оценка Мл была эффективной, ее диспер-
сия
гШЛсЧ Лс2Л (2.5.6)
L xJ d=l ' J-' ' J
должна бйть минимальной при условии, что
1-$С=0 . (2.5.7)
d=t
Для отыскания условного [при выполнении равенства (2.5.7)]
экстремума (минимума) функции л переменных срс,..., сп вос-
пользуемся методом неопределенного множителя Лагранжа и иссле-
дуем на минимум вспомогательную функцию
г[ч]=(?(c,, c2....cn)=i n + ? л (?-s cy),
где Л - неопределенный множитель Лагранжа.
Решив систему п уравнений
Ц- = 2с^Д-2Л = 0, d = l(t)n
относительно переменных С( , Сг Сп , получим
т.е. вес , с которым должен входить результат у-гс наблю-
дения в формулу для оценки Мл , должен быть обратно пропорцио-
нален его дисперсии. Иными словами, чем точнее наблюдение, тем
с большим весом необходимо учитывать его результат1 \
д п .
Поскольку 3^ = 2 , то Л5 //2^ = I и, следовательно,
Л = -й—7— •
Л'А
Обозначим = , тогда Л = ту- и
С, = А- , Л = Ш)п .
Таким образом, выражение для оценки Мл
(2.5.8)
(2.5.9)
будет иметь вид
3. Минимальная дисперсия несмещенной оценки Мл
Дрй ] = Sс2Д = -д . S d — = Л ,
а ее среднее квадратическое отклонение
(2.5.10)
(2.5.II)
е^=$Г’1ЙГ"
Поскольку d=l/D = const, у =/(/(л , то из выражения £2.5.II)
вытекает, что при п — оо,Л — 0 и, следовательно, сходит-
ся по вероятности к Мл , т.е. является состоятельной оценкой
математического ожидания МЛ случайней величины z (см.опреде-
лрдие 2.1.5).
Полученный нормально вывод хорошо согласуется со здра-
вым смыслом: чем точнее наблюдение, тем больше егду следует до-
встять.
99
Частный случай. Теперь предположим, что все
наблюдения равноточны. Это означает, что D = Пл ; d^->/Ол = d ,
с = 1/п, и, следовательно,
МЛ = 42 я: =М* =х* ,
г ' j-t <> х
т.е. в этом случае (как и следовало ожидать) эффективной оцен-
кой для математического ожидания Мл случайней величины х яв-
ляется ее отатиотическое среднее М& .
Пример 2.5.3. Дальность х до центра масс ракеты измеряет-
ся тремя методами, точность которых характеризуется среднеквад-
ратическими отклонениями = 0,2 км, = 0,5 км, = I км.
Измерение дальности х этими методами дал’и следующие результа-
ты: = 100 км; хг = 9,5 км; х3 = 10,8 км.
Найти оценку Мл среднего значения Мл дальности х и сред-
нее квадратическое отклонение ] этой оценки.
Р е ш е н и е. По условиям задачи
= М4=25’
Ц&пев' согласно равенствам (2.5.9)
г=_25_.с = _1_ с=—1_
' 30 ’ 2 30 3 30
ч, следовательно, по формуле (2.5.10)
= (25.10+4*9,5+1*10,8) = 9,9 км
В соответствии с выражением (2.5.II)
J=t J
2.5.3. Параллельные независимые наблюдения
Перейдем к рассмотрению еще белее общей задачи, когда слу-
чайная величина х наблюдается с некоторой ошибкой х' (обуслов-
ленной техническими погрешностями измерительного прибора, сшиб-
ками его наведения, ошибками снятия отсчетов и т.п.), которая
также является случайной, так что в j -м испытании наблюдается
случайная величина
+ ’ d = ,(l)n \ (2.5.12)
Необходимо найти эффективную сценку Мл математического ожи-
дания случайной величины х , т.е. оценку, обладающую наи-
меньшей дисперсией.
100
Будем решать задачу в предположении, что слагаемые случай-
ней величины у имеют следующие числовые характеристики:
= ; б[£] = бд, м[х] = 0; ©[#]=©£,, .
Тогда, поскольку наблюдения равноточны, то
Йд=МЛ*=-^2и ; (Р.5.13)
х з п <1=1 'Ч
*&]=£-£
Из последнего равенства видно, что при наличии ошибок т'
наблюдения дисперсия оценки Мд увеличивается.
Теперь предположим, что в каждом у-м испытании [J = /f/)n]
наблюдения (измерения) производятся т различными приборами,
точность которых характеризуется дисперсиями ошибок наблюдения
d[iJ = ©2 =®а, , у=/(/)/?; i = •
Обозначим результат j-ro наблюдения i-м прибором через
г„ , т’е*
где г - ошибка l -го прибора в у-м наблюдении.
Итак, в каждом j -м опыте производится т неравноточных
наблюдений, дисперсия которых
^[2л] = бд+бл, , 1 = .
Согласно п.2.5.2, наилучшей оценкой для в у -м
испытании является следующая линейная функция результатов наб-
людения [см.(2.5.10)] :
где веса
d=J-=_L- = . ' г .
1 Д пл ©д т ©L
1 1
Дисперсия этой оценки согласно соотношению (2.5.15)
Б|ГМД 1 = ©2 + 1 ч2- Id2 . (2.5.16)
L 1 Qld) b \
101
Из равенства (2.5.16) видно, что дисперсия оценки Мл не
зависит от номера j испытания. Это означает, что все п “'испы-
таний равноточны. Согласно п. 2.5.1 наилучией оценкой ЬК ма-
тематического ожидания Мл является статистическое среднее ре-
зультатов испытаний, т.е.
~ * i п ~ 2
Мл~м=м. = , (2.5.17)
1 2 "I П^' х> nld
Дисперсия такой оценки в соответствии с выражениями (2.5.15)
и (2.5.16)
2,ft] = ^PJ = F|6£+?((^) ] • (2.5.18)
Частный случай. Пусть все приборы равноточны.
Это значит, что бя,-(5 , с-Ц1)т и, следовательно,
d =^, = L = /(/).77;
2» а
/7/77 । i । /[ L xJ П
(2.5.19)
Выражение (2.5.19) также может быть получено с помощью рас-
суждений, опирающихся на результаты п.2.5.1. Действительно,по-
скольку все /71 приборов равноточны, то это значит, что над
случайной величиной х производится пт равноточных, однород-
ных, независимых наблюдений и полученная оценка математического
ожидания
а 4 л .пт пт
х у '• j-t 4 пт t=i пт jzi yi
имеет дисперсию
Из сравнения выражений (2.5.14) и (2.5.20) следует,.что
при параллельных наблюдениях т равноточными приборами ”лияния
ошибки каждого из них уменьшается в т раз.
102
2.5.4. 0 других оценках математического ожидания
Кроме статистического среднего М£ для оценивания мате-
матического ожидания М£ могут использоваться и другие функции
от элементов случайней выборки. Чаще всего для этих целей ис-
пользуются члены вариационного ряда, т.е.порядковые статистики
г= х'г « ... х‘п , на базе которых строятся оценки, удовлетво-
ряющие основным из предъявляемых требований, а именно состоя-
тельности и несмещенности.
Пусть вариационный ряд содержит п = 2к членов. Тогда любое
из средних
Е = г L = KD/f
может служить в качестве оценки для Мл . При этом к -е сред-
нее
= , (2.5.21)
называемое статистической медианой
распределения случайней величины х ,в оилу оче-
видного равенства
Р*(£ Me*) =Р*(х => Me*) = 0,5 ,
1 1 (2.5.22)
обладает тем преимуществом, что оно свободно ст влияния аномаль-
ных результатов наблюдений, неизбежного при использовании 1-го
среднего, т.е. среднего экстремальных членов вы-
борки (наименьшего х\ и наибольшего х„ ).
При нечетном объеме выборки п=2к-1 статистической медиа-
ной называется ее средний элемент, т.е. к -й член вариационно-
го ряда
Хотя в этом случае
Р*(х Me*) = Р*(х ^Ме*} = 0,5-/- 0,5
* 2п (2.5.24)
однако с ростом п равенство (2.5.24) приближается к (2.5.22).
В § 1.2 было показано, что если основной (наблюдаемый) приз-
нак х генеральной совокупности распределен нормально, то при
достаточно большом п закон распределения статистической медиа-
ны Ме£ близок к нормальному со следующими числовыми характери-
стиками:
103
м[/Ие*]=Ч ;
J’W-S-V-TFV (2.5.25)
Из сравнения формул (2.5л.2) и (2.ь.25) оледует, что диспер-
сия статистической медианы М? примерно в 1,5ь раза больше
диспероии статистического среднего М* , т.е. последнее как
оценка М£ во столько же раз эффективнее статистической ме-
дианы. Однако такие положительные качества статистической ме-
дианы, как простота вычисления, нечувствительность к засорен-
ности выборки, т.е. к аномальным результатам наблюдений,а так-
же к потере части наблюдений, обеспечили ей достаточно широкое
практическое применение.
§ 2.6. ОЦЕНИВАНИЕ ДИСПЕРСИИ И СРЕДНЕГО КВАДРАТИЧЕСКОГО
ОТКЛОНЕНИЯ СЛУЧАЙНОЙ ВЕЛИЧИНЫ
Над случайной величиной х производится п независимых рав-
ноточных наблюдений. Требуется по результатам эксперимента оп-
ределить состоятельные и несмещенные оценки и характе-
ристик и б£ рассеяния случайной величины £ , т.е.найти
Д =Д(Х,,Т2,...,ХП) И б.=©г(Х(,Х2.......Хп),
где X' , х2 ,..., хп- элементы выборки.
Ограничимся рассмотрением наиболее важного для практики слу-
чая, когда случайная величина х подчинена нормальному закону
распределения о параметрами М& и б* .
При решении поставленной задачи следует различать два слу-
чая. Рассмотрим их.
2.6.1. Параметр Ms распределения известен
Раосмотрим случайную величину
А'=^, = 7-3(£-М.)2 ,
5 4 П j-t' </ f /
называемую дисперсией случайной выборки (или статистической,
выборочной диопероией), и установим некоторые из ее свойств.
I. Преобразуем Д*' к виду
104
т.е. Д*' является линейной функцией от случайной величины /Д,
подчиненной хи-квадрат распределению с п степенями свободы.
Следовательно, 2
(2.6.1)
Таким образом, д' - несмещенная оценка В£ .
2. Поскольку 1
(2.6.2)
то при п—оа 0 , т.е. Щ является асимптотически эф-
фективной оценкой Д . л
3. Как следует из (2.6.1) и (2.6.2), случайная величина Д
имеет числовые характеристики:
Посколы^г 1ьтБ[Б*'] = 0 , то согласно определению 2.1.4
оценка Б*' состоятельная.
Итак, при л —оо дисперсия случайной выборки
l2-s-3>
является подходящим значением дисперсии Д случайной величины
х. При малых л она в общем случае не вполне эффективна.
Пример 2.6.1. Полагая М* = 100 ч, в условиях примера 2.3.1
найти дисперсию В*' случайной выборки.
Решение. Используя табл.2.3.1, по формуле (2.6.3),
получаем (2
Д = Df‘ = -£ i (tj - 100? = 16100чг. к
Если объем п выборки достаточно велик, то для вычисления
оценки Д можно пользоваться приближенной формулой
Д ~В'А (xt"K )гР* , (2.6.4)
где х2 и Р* имеют тот же смысл, что и в формуле (2.5.4).
Пример ^.6.2, Полагая М„= 100 ч,в условиях примера 2.3.4
найти приближенное значение'оценки Вя дисперсии Д случайной
величины х. хх
105
Решение. Используя табл.2.3.6, по формуле (2.6.4),
получаем щ
= 2 (t£-/OO)2Pt* = 7224v2 . А
Теперь отыщем оценку для среднего квадратического отклоне-
ния случайной величины х . Для этого вначале найдем сред-
нее квадратическое отклонение случайной выборки, т.е.
и выявим ее основные свойства.
I. Из вышеизложенного следует, что б* является состоя*---
тельной и асимптотически эффективной оценкой бЛ .
2. Поскольку 1
то
т.е. б*' является смещенной оценкой б$ .
Если величину 6*' исправить, умножив ее на коэффициент
”'»г г(*Я
то полученная в результате функция случайней выборки
(2-6-5’
будет состоятельной, несмещенной и асимптотически эффективной
оценкой ореднего квадратического отклонения бЛ случайной ве-
личины х. х
В табл.2.6.1 приведены значения коэффициента для неко-
торых п.
Таблица 2.6.1
л | 2 | 3 | 4 | 5 | 6 | 9 | II | 19 | 24~
Кп I1,128 I 1,085 I 1,064 11,051 | 1,04211,028 |1,02з|I,Ols|l,OIO
Как видно из таблицы, необходимость в исправлении сценки возни-
кает лишь при малых объемах п выборок,так как с их увеличени-
ем коэффициент Кп достаточно быстро приближается к единице.
106
2.6.2. Параметр распределения неизвестен
Поскольку при отыскании дисперсии случайной величины необ-
ходимо знать ее математическое ожидание М* , то при экспери-
ментальном определении оценки в случае, когда этот параметр
распределения неизвестен, иопользуют его оценку Мл = М* .
Рассмотрим функцию случайной выборки
= (х-М* )г ,
называемую статистической или выборочной дисперсией, и иссле-
дуем ее свойства.
I. Можно показать (как это было сделано в п.2.6.1), что
I)* является состоятельной оценкой параметра .
2. Преобразуем I)* •.
Поскольку случайные величины и являются функциями
одной и той же выборки, то они зависимы. Причем их зависи-
мость такова, что разность этих случайных величин оказывается
подчиненной закону распределения хи-квадрат с п -I степенями
свободы [61]. Таким образом,
’ <2-6-6>
откуда
и, следовательно, статистическая дисперсия оказывается сме
ценной оценкой параметра D& . Для исправления оценки Л& ее
достаточно умножить на отношение п/(п-1) . Нетрудно видеть,
что о ростом объема л выборки коэффициент л/(л-/) , исправ-
ляющий оценку ])* , стремится к единице, поэтому при больших
л смещенностью оценки D* можно пренебречь.
107
3. Поскольку
. <г.б.?)
то при л —оо — 0 , т.е. П* - асимптотически эффектив-
ная оценка Б£ .
Итак, при л —оо исправленная отатистичеокая дисперсия
<г-6-8’
является подходящим значением дисперсии случайной величины
х . С уменьшением объема п выборки эффективность этой сценки
несколько падает. Л
Случайная величина имеет следующие числовые характери-
стики: ____
При большом объеме л выборки приближенное значение оценки
можно вычислять по формуле
• (2.6.9)
Перейдем к отысканию оценки для среднего квадратического
отклонения величины £ в случае неизвестного математическо-
го ожидания Мп . й
Вначале, использовав оценцу 1)£ дисперсии найдем сред-
нее квадратическое отклонение случайной выборки от статисТЙ
ческого среднего М*
и проанализируем ее свойства.
I. Из вышеизложенного следует, что является состоя-
тельной и асимптотически эффективной оценкой 6А .
2. Согласно выражениям (2.6.6) и (2.6.8) 1
Л.П ©Л Л
поэтому
гё"-|—/Т" Г(л/2)
108
A f|
и, следовательно, является смещенной оценкой 6Л .
Для исправления оценки б" ее достаточно умножить на коэф-
фициент
Н -Jn-T
п-> I 2 Г(п/2) ’
Получаемая при этом функция случайной выборки
= (2-6-п)
будет состоятельной, несмещенной и асимптотически эффективной
оценкой среднего квадратического отклонения бЛ случайной ве-
личины х. 1
Подходящее значение ё£ мокно получить и неаосредственно,
используя статистическую дисперсию Dt . Для исправления полу-
чаемой при этом оценки ее необходимо умножить на
коэффициент , т.е. величина
®г=<Л' <2-б-1г>
является состоятельной, несмещенной и асимптотически эффектив-
ной оценкой .
Полученные в результате серии равноточных наблюдений оценки
S$ , S£ , <5£ , будут обладать необходимыми свойствами (со-
стоятельностью, несмещенностью и эффективностью) и при произ-
вольном, отличном от нормального, законе распределения случай-
ной величины х . Однако в этом случае задача определения ха-
рактеристик точности и надежности рассматриваемых оценок при
малом ооъеме п случайной выборки не имеет приемлемого для
практики решения.
В заключение заметим, что поскольку известное соотношение
для дисперсии
справедливо и для ее оценки, т.е.
то формулам (2.6.3), (2.6.4) и (2.6.8), (2.6.9) соответствен
но можно придать более удобный для практического использова-
ния вид:
109
г П j=t </ £
Д Jf=Xi2p‘-(Mj )г.
(2.6.13)
(2.6.14)
2.6.3. 0 других оценках среднего квадратического отклонения
Рассмотренные в пп. 2.6.1 и 2.6.2 оценки среднего квадрати-
ческого отклонения имеют существенный недостаток - трудоемкость
вычислений по формулам (2.6.5) или (2.6.II). Поэтому желатель-
но иметь статистики, который дают более простое реиение и в тс
же время удовлетворяют основным общим требованиям, предъявляе-
мым к оценкам.
Представляется достаточно очевидным, что рассеяние наблюдае-
мого основного признака в генеральной совокупности обусловли-
вает взаимное удаление друг от друга порядковых статистик, по
которому, следовательно, можно судить о величине этого рассея-
ния. Для этой цели могут использоваться расстояния х' ,
1 = , К-[п/2] между порядковыми статистиками, равноуда-
ленными по рангу (по порядку) от экстремальных (крайних) эле-
ментов х\ и х'п выборки.
Наибольшее практическое использование получило расстояние
между крайними порядковыми статистиками
<"» " ' ’ (2.6.15)
называемое размахом выборки и обладающее рядом ценных для прак-
тики свойств.
Согласно выражению (1.2.56)
L^nJ « (2.6.16)
где dn - табличный коэффициент (см.табл.1.2.6 где dn=-c<n , а
ел = Рп )» а это значит, что отношение w(n)/c(n может служить
еще одной несмещенной оценкой 5° среднего квадратического от-
клонения случайной величины х. , т.е.
по
© 5= ё° = -^21 = — (%'
* dn ск ( п
(2.6.17)
В § 1.2 было показано, что дисперсия размаха выборки
следовательно,
(2.6.18)
или
Л
(2.6.19)
(2.6.20)
В п.2.6.2 было показано [ом.(2.6.10)], что оценка сред-
него квадратического отклонения линейно связана со статисти-
кой, подчиненной хи-распределению с ( n -I) степенью свободы,
и, следовательно, (см.табл.3.5.1 [40]), дисперсия этой оценки
(2.6.21)
Несомненный практический интерес представляет сравнитель-
ный анализ эффективности оценок б. и 0° , который может быть
проведен на базе равенств (2.6.19^ и (2.6.21). С этой целью
для различных объемов п выборки рассчитаем значения отношений:
X
’*‘7
(2.6.22)
(2.6.23)
Результаты расчетов приведены в табл.2.6.2,
л I 4
ае„ 0,161
«П° II 0Д84
6
0,106
0,112
8
0,077
0,082
10 12 14
0,062 0,053 0,046
0,067 0,057 0,050
16 18 20
0,041 0,039 0,036
0,044 0,041 0,038
Из таблицы видно, чтс при одинаковой генеральной дисперсии
оценка 4L характеризуется меньшим, чем оценка ©^ , рассеяни-
ем и, следовательно, по сравнению с последней несколько более
Ill
эффективна. Что касается асимптотической эффективности, то,как
показывает таблица, для обеих оценок она практически одинакова.
Если же сравнить результаты вычислений по формулам (2.6.II) и
(2.6.17), то преимущества последней становятся очевидными.Дей-
ствительно, ее реализация требует независимо от объема п вы-
борки выполнения лишь двух элементарных операций, тогда как
применение формулы (2.6.II) требует выполнения 2л +4 опера-
ций, включая извлечение квадратного корня. Этим и объясняется
достаточно широкое применение на практике метода оценивания
среднего квадратического отклонения через размах выборки.
§2.7. ОЦЕНИВАНИЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ И ЧИСЛОВЫХ
ХАРАКТЕРИСТИК СЛУЧАЙНЫХ ВЕКТОРОВ
(СИСТЕМ СЛУЧАЙНЫХ ВЕЛИЧИН)
Изучение методов определения точечных оценок параметров мно-
гомерных законов распределения (числовых характеристик случай-
ных векторов) начнем с рассмотрения частного случая систем двух
случайных величин.
Над оиотемой двух случайных величин <х,у> произведено п
независимых равноточных наблюдений, в результате которых полу-
чена последовательность пар чисел>,J=/(/)n (табл.2.7.1)
Таблица 2.7.1
</ 1 2 п
хг X, Хп
«0 У, Уг у. Уп
которые можно интерпретировать как координаты точек <z|,</r>
<Z2, i/2> ,..., , </„> плоскости хОу (рис.2.7.1). Требуется
по результатам наблюдений определить состоятельные и несме-
щенные оценки числовых характеристик , Б. , си-
стемы случайных величин <z,y>
Задача определения точечных оценок параметров двумерного
распределения решается так же, как и для одной случайной вели-
чины. При этом состоятельные и несмещенные оценки координат
Мд центра рассеяния системы <£,$> находятся по формулам:
а i (2-7.1)
м. = мл = ± 2 и. ,
и ч п J-I Ч ’
112
а состоятельные и несмещенные оценки элементов ее корреляцион-
ной матрицы К<£определяются выражениями:
К-^г^г’
(2.7.2)
Можно показать, что определяемая равенством (2.7.2) оценка
( корреляционного момента /С будет несмещенной. Необходимые
® для1 этого выкладки сравнительно гро-
Рис.2.7.1
моздки и поэтому здесь не приводят-
ся. Однако лежащие в их основе рас-
суждения не сложны. Рекомендуем чи-
тателю доказать несмещенность оцен-
ки К&. -в качестве упражнения.
Заметим, что если математиче-
ские ожидания Мл и М$ случайных ве-
личин х и у известны, то элементы
корреляционной матрицы Л систе-
мы <т,у> определяются выборочными
дисперсиями и корреляционным мо-
ментом (см.п.2.6.1), т.е.
Несмещенность, состоятельность и асимптотическая эффектив-
ность соответствующих априорных оценок также обеспечиваются.
При вычислении оценок Л , ~ целесообразно восполь-
зоваться известной связью между центральными и начальными мо-
ментами, имеющей место и для их статистических аналогов:
из
Б*[х] = ^[х]-(^ [х]/ ;
да=да-(даг •-
где
(2.7.3)
ДО •
$,s‘;
»,,;р.51-?3*=<гт11д-
Используя вычисленные по соотношениям (2.7.3) статистиче-
ские центральные моменты, можно найти несмещенные оценки для
элементов корреляционной матрицы системы <!,$> по формулам:
Аналогично решается задача оценки числовых характеристик
системы произвольного числа т случайных величин.
Пусть имеется система т случайных величин <т( ,
= Х<т>. Над системой произведено п независимых равноточных наб-
114
значение, принятое случай-
Здесь zljf i = j =
ной величиной ® в у-и опыте,
Требуется найти .оценки для числовых характеристик системы
<х,,х2......£т>, ®.в. Для математических ожиданий ,МЛ
—>=Mj и элементов корреляционной матрицы ' **
где
Выведенные ранее формулы для вычисления состоятельных и не-
смещенных оценок числовых характериотик в общем случае системы
т случайных величин приобретают следующий вшд:
(2.7.5)
Для вычисления этих оценок могут бУть использованы формулы
типа (2.7,3) с последующим исправлением результатов по форму-
ле (2.7.4).
Оценки средних ^квадратических отклонений б. ,
случайных величин х( , х2,...,хт , входящих в Систему, опре-
деляются так, как Оше указано в § 2.6, т.е.
(2.7.6)
Зная б(, К
нетрудно найти оценки элементов нормированной
корреляционной матрицы по формулам
Если объем п выборки велик, то для упрощения процедуры вы-
числения оценок числовых характеристик системы могут блть ис-
пользованы данные статистической матрицы, которая при наблюда-
вши системы двух случайных величин имеет вид табл.2.7.3, где
115
системы могут быть пршблихеннс вычислены пс следующим формулам:
= Р* ;
4 х Ч Ч
Я = 4 = 2 р,* ;
$ 3 v34 12
У
- представитель (оередниа) 4, -го разряда;
- представитель (оередивa) t2-ro разряда;
fC1=p’tv ® - v>n (“Ml1
116
Пример 2,7.1, x,y - координаты пробоины в мишени после
выстрела (в сантиметрах). По мишени произведено 10 независимых
Таблица 2.7.4
</ 1 I 2 3 4 5 6 7 8 9 10
X, Cu II 3 I 2,5 1,5 4 3,5 2 2,5 1,5 I
«/ см || 5 2 4 3,5 1,5 5,5 2,5 4,5 2 0
Р е ш е н и е. По формулам (2.7.1) получим:
М = И* = 5 I = 2,55 см •,
X х Ю J-.t J
М„=М* = -+Л Ц=2,95см .
$ $ io j-.i ч
Используя соотношения (2.7.3) и (2.7.4), будем иметь:
i)* [х] = Jq S х*= 6,025см;
11725 см >
117
№1] = ^^=1’525см ;
Г* = [£]-(< f=6,025-5,063 =0,962 cm2;
D* = 0* [</] -(< )2= 11,725-8,703 = 3,022 CM2;
H*„ = )* ft Л]= 7,525-6,638=0,887CM2-
X.y 'rL X у
fi„ 0,962% = 1,068 CM2;
x £ n-1 9 ’
S,=D^ = 3,022 = 3,359 CmZ''
К* л = >C ~ = 0,887 = 0,986 cm 2 .
4$ zljn-1 9 ’
Наконец, использовав табл.2.6.I, по формулам (2.7.6) и
(2.7.7), получим:
6„=tf9y^= 1,028 у 1,068' = 1,064 см;
& = 1,028 3,359' = 1,885 см;
Caa=Al_ = 0л28£. = М91 .
ХИ б, б„ 1,064-1,885
Л
§ 2.8. ОЦЕНИВАНИЕ ВЕРОЯТНОСТИ СЛУЧАЙНОГО СОБЫТИЯ
В результате реализации определенного комплекса условий мо-
жет произойти некоторое случайное событие А , вероятность
Р(А) = р появления которого неизвестна.
Требуется в результате л-кратного воспроизведения указан-
ного комплекса условий оценить вероятность р случайного собы-
тия А .
Пусть в результате п независимых однородных испытаний (схе-
ма Бернулли) событие А появилось т раз. Отношение
-Т=Р^Р*^
называется частотой (иногда относительной частотой или часто-
стью) события в серии п испытаний. Проанализируем свойства ча-
стоты р*^ как оценки вероятности р случайного события А .
118
I. Поскольку согласно теореме Бернулли
то частота является состоятельной оценкой вероятности р
события А.
2. Так как
где т - число появлений события А в л опытах, то частота р*}
нвляетоя несмещенной оценкой вероятности р.
3. Дисперсия частоты р*(
где = 1-р . Можно доказать, что эта дисперсия ямяется мини-
мально возможной и, следовательно, частота р*, есть эффектив-
ная оценка для р . Таким образом, частота р*т=.р*(А) события
А есть подходящее значение его вероятности Р(Ь)=р и, значит,
наилучиая ее точечная оценка.
§ 2.9. ОЦЕНИВАНИЕ ЧИСЛОНЯ ХАРАКТЕРИСТИК случайных функций
Для практики весьма важной является задача оценивания чис-
ловых характеристик случайных функций, описывающих процессы,про-
текающие в технических системах.
Из курса теории вероятностей известно, что формально слу-
чайная функция может рассматриваться как обобщение понятия слу-
чайного вектора (системы случайных величин) на бесконечное мно-
жество составляющих его компонент (сечений случайной функции).
Исчерпывающего вероятностного описания такого случайного
объекта не существует, поэтому на практике используются лишь
законы распределения и числовые характеристики систем конечно-
го числа сечений случайных функций. При этом в силу сложности
построения статистических законов распределения многомерных слу-
чайных векторов наиболее широкое применение получила корреля-
ционная теория, в рамках которой изучаются лишь первые и вторые
моменты распределений случайных функций, т.е. их математические
ожидания, дисперсии и корреляционные функции. Рассмотрение ме-
тодов оценивания этих важнейших числовых характеристик случай-
ных функций и составляет содержание данного параграфа.
Существуют общие методы, пригодные для оценивания число-
вых характеристик любых случайных функций. Однако, поскольку
119
свойства эргодических стационарных случайных функций позволяют
применять для этой цели более простые методы, то представляет-
ся необходимым изложить здесь сущность как тех, так и других
методов.
2.9.1, Оценивание числовых характеристик нестационарных
случайных функций
Прежде всего вспомним, что в отличие от случайной величины
х , реализациями которой являются неслучайные числа xd , j =
= 1(1)л (л - число опытов), реализации x^lt) , j = 1(1)л ,
случайной функции £(t), представляют собой неслучайные функции,
значения которых в фиксированных точках tt , I = 1(1)...,
являются реализациями х^ случайных величин £t=x(t ), называе-
мых сечениями случайной функции x(t) .
Пусть над случайной функцией £(t) произведено п независи-
мых равноточных наблюдений (опытов, испытаний), .в результате
которых получено л ее реализаций х 1(1)л (рис.2.9.1).
Требуется найти оценки числовых характеристик случайной
функции^ математического ожидания = x(t) , дисперсии
Д„Щ = £га) и корреляционной функции K^(t',t")-x(t')i(t") ,
удовлетворяющие предъявляемым к ним общим требованиям (CM.2J.2),
В ряде сечений случайной функции, соответствующих момен-
там времени ,t2 ,..., tL ,..., фиксируются значения, при-
нятые реализациями х (t) функции x(t) в эти моменты времени.
120
Поскольку наблюдалось п реализаций, то каждому из моментов t-t ,
i =I(l)m , будут соответствовать п значений, принятых случай-
ной величиной it = x(tt)- l —м оечением случайной функции x(t).
Расстояния = i=/(Z)m между фиксируемыми суче-
ниями случайной функции z(t} обычно берутся одинако-
выми и назначаются так, чтобы последовательность xt = x(it) ,
l - I(I)/n , позволяла восстановить основной характер зависимо-
сти x(t), Часто в основу выбора h кладется теорема В.А.Котель-
никова, согласно которой для точного восстановления непрерывной
функции достаточно ее наблюдать в равноотстоящих дискретных точ-
ках с частотой, в два раза превышающей максимум ее частотного
спектра [67]. Иногда приведенные соображения оказываются излиш-
ними, так как расстояние м-жду наблюдаемыми сечениями случайной
функции задается темпом работы регистрирующей аппаратуры.
Для удобства последующей статистической обработки зарегист-
рированные данные сводятся в таблицу, строки которой соответст-
вуют реализациям, а столбцы - сечениям случайной функции, т.е.
опорным значениям tL , i = I(I)/n аргумента t (табл.2.9.1).
Таблица 2.9.1
t; trr,
X((i2) XM
x/t) X2(t2) хг^ X2(^ XM
x/t) X/t,) x/9 xd Х^
Zn(t) w Xnfy хп^ Xn
Приведенная в табл.2.9.1 совокупность наблюденных значений
случайной функции x(t) представляет собой результаты п наблю-
дений т -мерного случайного вектора - системы т случайных ве-
личин
Х<т>=<£, ,х2, ...
и обрабатывается по методике, рассмотренной в § 2.4.
121
Так, оценки математических ожиданий сечений x(tL) случайной
функции x(t) находятся по формулам
= = = с = 1(Пт. (2.9.1)
Соединяя точки <tt, г (tj > , i= 1(1) т , отрезками прямых,
можно построить приближенный график (рио.2.9.1) оценки z(t) ма-
тематического ожидания x(t} случайной функции z(t).
Очевидно, что возможны и другие виды интерполяции (напри-
мер, квадратичная).
Несмещенные оценки дисперсий и корреляционных моментов се-
чений определяются соответственно следующими соотношениями:
= t = /P)<n; (2.9.2)
V*'’О = /7=7“^?,Ь>L'h = }(^т- (2-9.3)
Легко таметить, что формула (2.9.2) может быть получена и
из выражения (2.9.3) при К=1 , поскольку К, (t‘. ,t” ) .
Используя оценки и , можно построить при-
ближенные графики (рис.2.9.2 и 2.9.3) зависимостей и
t") . При этом функция двух аргументов оказы-
Рис.2.9.2
ваетоя решетчатой и поверхность, описываемая корреляционной
функцией t") , воспроизводится по ее значениям в прямо-
угольной сетке точек <*' ,t*>, 1,к= l(t)m (рис.2.9.2 и 2.9.3
относятся к одному примеру).
Как отмечалось в § 2.4, в вычислительном отношении более
удобны формулы, основанные на связи начальных и центральных
моментов, т.е.
122
<2-9-4)
= . (2.9.5)
При практическом использовании формул (2.9.4) и (2.9.5) во
избежание необходимости вычислять разности близких чисел реко-
мендуется начало отсчета значений случайной функции заранее пе-
ренести поближе к ее математическому ожиданию.
Рис.2.9.3
Пример 2.9.1. В табл.2.9.2 приведены результаты наблюдения
II реализаций случайной функции x(t) в моменты времени ti =
= О (1)10 с.
Требуется определить оценки числовых характеристик случай-
ной функции x(t). ~
Р е ш е н и е. По формуле (2.9.1) вычисляются оценки M5(t)=
= и результаты сводятся в табл.2.9.3.
По формуле (2.9.3) или (2.9.5) вычисляются оценки /(J? (t")
123
Таблица 2.9.2
и результаты сводятся в табл.2.9.4, диагональные элементы кото-
рой К& (t't, t" ) представляют собой оценки S(tL) дисперсий се-
чений случайной функции £(f). А
Легко подсчитать, что в рассмотренном сравнительно простом
примере пришлось т = II раз производить вычисления по ’юрмуле
(2.9.1) и т(т + 1)/2 = 66 раз - по Формуле (2.9.3)
или
124
(2.9.5). Это свидетельствует о большой трудоемкости задачи оце-
нивания вероятностных характеристик нестационарных случайных
функций. Трудности ее решения усугубляются еще и необходимостью
регистрации большого числа реализаций случайных функций в оди-
наковых условиях, что далеко не всегда выполнимо и, как прави-
ло, требует значительных материальных затрат.
2,9.2. Оценивание числовых характеристик стационарных
случайных функций
По определению, случайная функция u(t) стационарна (в ши-
роком смысле), если ее математическое свидание и дисперсия по-
стоянны, а корреляционная функция зависит лишь от расстояния
между сечениями случайной функции, т.е. если
U(t) = MA(t)=M& = const ;
= const;
u(t')u(t") = /Л = H, (£', t'+Z)=
Класс стационарных случайных функций достаточно многообра-
зен. Однако в практическом отношении наибольший интерес пред-
ставляют стационарные случайные функции, обладающие эргодиче-
ским свойством, для которых одна реализация достаточно боль-
шой продолжительности содержит о случайной функции столько же
информации, сколько ее содержит и множество (совокупность) реа-
лизаций той же суммарной продолжительности. Другими словами,
каждая из реализаций эргодической стационарной случайной функ-
ции является "полномочным" (типичным) представителем всего их
ансамбля (множества).
Как отмечено в работе [34], следует различать эргодические
свойства случайных функций по отношению к моментам их распреде-
ления различных порядков. При этом под эргодичными обычно по-
нимаются случайные функции, обладающие такими свойствами по
отношению к моментам первого и второго порядков, т.е. к мате-
матическому ожиданию и корреляционной функции (следовательно,
и к дисперсии). Здесь рассматриваются только такие случайные
функции.
Оценки числовых характеристик эргодических случайных Функ-
ций могут быть приближенно определены не как средние по мно-
жеству реализаций, а как средние по времени Т наблюдения од-
ной реализации но следующим формулам:
125
Ma=Mp(t)]»y|u(z)a!z, te[O,T] ; (2.9.6)
/Lm = M[u(t)u(t+T)]»T3j- j u(Z)u(z+-C)fl!2, te[O,T]; (2.9.7).
V5P(t)] = fca(0)«4p^)dz’ feC0’Tl ’ (2.9.8)
где fi(t) = u(t)-MA .
Обоснованием применимости формул (2.9.6) - (2.9.8) служит
тот факт, что для эргодических стационарных случайных функций
средние по времени оценки сходятся по вероятности к оценивае-
мым ими характеристикам М. , Д*, кл(Ъ).
Из выражений (2.9.6) - (2.9.8) видно, что для их практиче-
ского применения требуется интегрировать ряд функций от реали-
зации u(t) случайной функции u(t). Существуют специальные тех-
нические средства, позволяющие решать зту задачу. Они называют-
ся корреляторами или коррелометрами. Однако чаще находится при-
ближенное решение, получаемое по следующей методике.
Пусть на интервале времени [О,Т] наблюдалась реализация эр-
годической стационарной случайной функции u(t) , значения ко-
торой в ряде равноотстоящих опорных моментов времени ti =
= , 4= ?(f(рис.2.9.4) зарегистрированы и сведены в
табл.2.9.5.
|U(t)
I—Л—4
Рис.2.9.4
126
Требуется по данным этой таблицы определить оценки , 5Л ,
числовых характеристик М* , к* Цъ) случайной функции 2(f),
Интервал [О,Т] наблюдения “случайной функции u(t) разбива-
ется на т равных подынтервалов длиной h = T/m, расположенных
симметрично относительно опорных моментов времени tf ,£?,...,
tm (рис.2.9.4)^. Далее предполагается, что в пределах подын-
тервала Функция, описывающая реализацию случайной
функции, постоянна, т.е.
u(t) = u(tt) = const,
Если h достаточно мало, то можно приближенно полагать,что
t(+|
( u(t)dt^hu(tL)t 1-1(1) т . (2.9.9)
Суммирование результатов (2.9.9) по i дает
Мл u(t)dt к= S U(t.). (2.9.10)
и. I j Ты ты 1
Легко заметить, что выражение (2.9.10) реализует процеду-
ру численного интегрирования по формуле прямоугольников.
Аналогично вычисляется и оценка корреляционной функции/сЛ(Т)
для значений аргумента
Т = /</) = -^ .
Поскольку в выражении (2.9.7) длина интервала интегрирова- [
ния
Г-^ = Г--Ц = -^ Г , 1
т т ’
то, поделив его на т-к равных участков и вынеся на каждом из
них за знак интеграла среднее значение функции u(t)u(t+'T),no- |
лучим j
(2-9-п>
При t=0 формула (2.9.II) дает
(2.9.12)
7 Иногда эти моменты располагают на границах подынтерва-
лов [34].
127
Вычисления по формуле (2.9.II) ведутся последовательно для
к =0(1)... вплоть до таких значений к , при которых функция
kAkT/rn) становится практически равной нулю или начинает совер-
шать незначительные ко-
лебания около нуля.
Пс полученным точ-
кам <kh, кй (kh) > мо-
жет быть построен приб-
лиженный график корре-
ляционной функции ^(т)
(рис.2.9.5).
На рис.2.9.5 через
обозначена длина ин-
тервала корреляции слу-
чайней функции, т.е. наименьшее расстояние между сечениями слу-
чайней функции u(t) , на котором корреляция между ними практи-
чески отсутствует.
Пример 2.9.2 [34]. В табл.2.9.6 (первые два столбца) приве-
дены результаты наблюдения реализации эргодической стационарной
случайной функции u(t) на интервале времени Т = 28 с с перио-
дичностью h= I с в моменты времени = 0,5 (I) 27,5 с, I =
= 1(1) 28.
Требуется определить оценки числовых характеристик случай-
ной функции u(t) •
Решение. Необходимые вычисления производятся пс фор-
мулам (2.9.10) - (2.9.12). Результаты расчетов целесообразно ,
оформлять в виде табл.2.9.6, наглядно иллюстрирующей все этапы
решения задачи. А
Решение рассмотренной задачи потребовало однократного ис-
пользования формулы (2.9.10) и одиннадцатикратного - формулы
(2.9.II). Если интервал корреляции случайной функции соиз-
мерим с интервалом Т ее наблюдения, то аргумент Т корреля-
ционной функции должен варьироваться в пределах от 0 до Т . В
этом случае параметр к в (2.9.II) пробегает значения от 0 дс
m - I и, следовательно, формула (2.9.II) реализуется m раз.
Поскольку выражения (2.9.1)-(2.9.3) и (2.9.Ю)-(2.9.12)
сравнимы по сложности, тс число их реализаций может служить ме-
рой трудсемкости решаемых на их базе задач.
Несложные расчеты показывают, что по сравнению с нестацио-
нарными случайными функциями трудоемкость оценивания числовых
128
129
характеристик стационарных эргодичных случайных функций снижа-
ется белее чем в т/2 раз.
§ 2.10. НЕКОТОРЫЕ ПРАКТИЧЕСКИЕ ПРИЕМЫ ВЫЧИСЛЕНИЯ ОЦЕНОК
В предыдущих параграфах рассмотрены общие методы получения
оценок законов распределения,параметров распределения и число-
вых характеристик случайных величин, векторов и функций. Однако
эффективность практического применения этих методов не всегда
оказывается достаточной. Для ее повышения разрабатываются спе-
циальные приемы и алгоритмы обработки статистических данных.
Здесь 0удет рассмотрен лишь один из таких приемов, основанный
на рекуррентной связи оценок конкретного параметра при различ-
ных объемах N результатов наблюдений.
2.10,1, Случайные величины и векторы
Пусть над случайной величиной х произведено, п независи-
мых однородных наблюдений, получена простая выборка
Х<п>, по которой определены оценки М™ а математиче-
ского ожидания М* и дисперсии . Затем сделано еще одно наб-
людение, дажшее ( п +1)-ю реализацию хп+( случайной величины х.
Требуется найти оценки М1™' и , соответствующие но-
вому объему N = п + I статистических данных, с наилуЧшим ис-
пользованием вычислений, уже проведенных при их объеме N = n.
Сформулированная задача имеет большое практическое значе-
ние, так как она возникает всякий раз, когда требуется опера-
тивное оценивание вероятностных характеристик наблюдаемых слу-
чайных величин, а данные (значения их реализаций) поступают на
статистическую обработку пооледовательнс во времени.
Рассмотрим решение поставленной задачи. Прежде всего дадим
ее математическую формулировку.
Дано: Я”, D1”, хп+, .
Требуется найти соотношения
ЙГ', = Мм'п,,хп+(); (2.I0.I)
’ 4 ’ (2.10.2)
Будем решать задачу в предположении, что в качестве оценок
Й и Д используются выборочные математическое ожидание М* и
дисперсия Г* . 1
130
= — 2 xd .
При N = n + 1
= >(Sx+x УЛИЧУ
£ n + l j n+1\j=t <1 n"/ n+1\ £ n+’/
Таким образом, окончательно имеем
"Г=ЛЧ,+Ч/- • (2-10-3)
При отыскании функции (2.10.2) следует различать случаи,
когда математическое ожидание Мл известно и неизвестно.
а) МЛ известно. При N-п несмещенная оценка дисперсии Д
определяется выражением 1
При N = n+1
= -L-P75'n,+ (xn+-/Ия)г1 .
п +I L £ ' n+t i' J •
Таким образом, окончательно получим
_Dw+,,= п gi"i [ [хпЧ-М£)
£ п+1 £ п + 1
(2.10.4)
Как отмечено в § 2.7, в вычислительном отношении формулы
типа (2.7.3) имеют ряд преимуществ. В рассматриваемом случае
эти соотношения дают
Поскольку
то с учетом (2.7.3)
где М™ = J*[xJ = у S х* - второй начальный статистический мо-
мент распределения случайной величины х_.
Заметим, что хотя обе оценки S* и В» дисперсии Д несме-
щенные и состоятельные, тем не, менее оценка Д в общем случае
более эффективная, так как 1)[д] » 2)[д] . Что касается асимп-
тотической эффективности, то для обеих оценок она одинакова,по-
скольку
131
UmDpj'] = Um Dp'"’] = 0.
б) Мл неизвестно и вместо него используется его оценкам».
При N=n несмещенная оценка дисперсии Г» определяется соотноше-
нием
При М = п + 1
В результате ряда преобразований получим
или
afntf) п-1 п«П . / /Г;"1' \2
(2.10.6)
(2.10.7)
Пусть теперь объектом исследования является система двух
случайных величин - двумерный вектор <г,у> . Над этим векто-
ром проведено п независимых наблюдений и получена простая дву-
мерная выборка «£,,(/,>,<Х2,угУ , • • •, <х„, Ул>> , по которой опре-
делены оценки м‘У , Й"' , 5»"’ , ГГ’ и числовых характери-
стик случайного вектора <х,у>.
Требуется найти рекуррентные соотношения для этих оценок.
Для оценок М» , М» , Д , 2?» они определяются равенствами
(2.10.3) - (2.10.7). Для оценки /?»» корреляционного момента
Клл также может быть выведено анал“огичное соотношение
а) Пусть Мл и Мл известны. При N=n
k'^=-L S(i -мй)(Ч -м\=мй'-мя .
$$ а/ ла л л л а ла
При N = n+I
Таким образом, окончательно имеем
л -(«) (int
£$ п+1 п + 1
(2.10.8)
132
(2.10.9)
Как и следовало ожидать, при х = у выражение (2.10.8) совпада-
ет с (2.10.4).
Воли же воспользоваться равенствами
«у $У 5 у
ху П+1 $у Л + /
тс можно получить соотношение
К™=-Д- м["’+ - мл МА ,
ху Л 4-/ ху Л+/ х §
где = - второй смешанный начальный стати-
стический момент распределения случайного вектора <£,$>.
Легко заметить, чтс при х = у соотношение (2.10.9) превра-
щается в (2.10.5).
б) Пусть теперь и М$ неизвестны и вместо них использу-
ются состветственнс их оценки М„ к Мл .
При N = n несмещенная оценка корреляционного момента К
определяется соотношением *
e’=/rS -С’)= A&i хц -м(Ж]=-
itj п-1 d $ l^d п~1\п i J J
n 1 L Ц 1 $ J
При N=n+1
-^^Хзд-йГйП-^[<-<’йГ1-
Несложные преобразования приводят к следующему результату:
п jg П+-1v n*t/\ $ Vn+i/ 4 •
или
~w+n -tn) Я у 1 z<n)
=М£$ + “^Г^-^)(Л^+ОП^+^). (2.10.II)
При х = у равенства (2.10.10) и (2.10.II) совпадают соот-
ветственно с выражениями (2.10.6) и (2.10.7).
133
Соотношения (2.10.4) - (2.10.II) позволяют определять все
элементы корреляционной матрицы случайного вектора Y<m>=<yvyv..-,y,^>
произвольной размерности т [см.(2.10.13), (2.I0.I4)].
Формулы (2.10.3) - (2.10.II) находят широкое практическое
применение.
2.10.2. Случайные функции
В заключение сделаем ряд замечаний об использовании рекур-
рентных соотношений при оценивании числовых характеристик слу-
чайных функций.
Как отмечено в § 2.9, реализации z^tt) случайной функции
i(t) , как правило, регистрируются лишь в ряде равноудаленных
во времени дискретных точек t( , t2 , так что последо-
вательность (t() , xrf(t2 х/(4л))>значений, принимаемых у-й
реализацией zjt) в этих точках, представляет собой одну j. -ю
реализацию Х<т> т -мерного случайного вектора X<m>(7’<m>) =
<i(t(),x(t2),...,r(tm)>, компонентами которого являются сечения xi =
случайной функции x(t). Поскольку сечения £(fz)
это обычные случайные величины, то к ним применимы все приве-
денные выше рекуррентные соотношения (2.10.3) - (2.10.II) с
той лишь разницей, что в последнем случае они будут векторными.
Так, если обозначить
<x(t,),x(t2)....,x(fm)> = X<;n>;
то пормулы (2.10.3), (2.10.6) и (2.10.10) примут вид
, (2.10.12)
' Ат> п+1 ’
...
= -СЛ (2.10.13)
<m> А<т> А</п>
134
где
A<m> I 2 т
+Ц-^'П’ -х""). (2.10.14)
*<"> п *<т> П + 1{ *<т> <т>/{ А«п> <т>/
Соотношения (г.10.12) - (2.10.14) применимы при статисти-
ческой обработке результатов наблюдений произвольной случайной
рункции.
Если случайная Функция u(t) стационарна и эргодична,то,как
и следовало ожидать, задача упрощается и соответствующие рекур-
рентные соотношения 6,’дут иметь следующий вид:
«Г=^ЙГ+^-’
Г = ет«"’^РГ~“М! <2.Х0.16>
г-ow- (2.Ю.П)
135
Глава 3
МЕТОДЫ ИССЛЕДОВАНИЯ КАЧЕСТВА ОЦЕНИВАНИЯ ПАРАМЕТРОВ
РАСПРЕДЕЛЕНИЯ. .СЛУЧАЙНЫХ ВЕДИЧДО
§ 3.1. ПОСТАНОВКА ЗАДАЧИ ИНТЕРВАЛЬНОГО ОЦЕНИВАНИЯ ПАРАМЕТРОВ
РАСПРЕДЕЛЕНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН
Из предыдущей главы известно, что статистическая оценка аА
некоторого параметра распределения аА наблюдаемой случайной
величины £ , будучи функцией случайной выборки (статистикой),
сама является случайной величиной, имеющей свой закон распре-
деления и числовые характеристики (параметры) распределения.Ре-
ализация аА статистики аА называется точечной
оценкой неизвестного параметра распределения. Согласно
принципу практической невозможности, значение точечной оценки
практически никогда не совпадает с истинным значением оценивае-
мого параметра, поскольку
Р(а^ = а^) = 0; . (3.i.i)
Данное обстоятельство вынуждает нас искать вероятностьр<аА>
того, что некоторый конечный, но случайный интервал 1^<аА>=[аА,^)
накроет неизвестное значение аА оцениваемого параметра:
(?л.2)
Вероятность р принято называть доверительной
вероятностью, а интервал I <аА>- довери-
тельным интервалом, отвечающим доверительной
вероятности £ , или короче ТОО J3 - п р о ц е н т н ы м до-
верительным интервалом.
Границы а'„ и а'1 доверительного интервала называются д о-
верительными г р а н л ц а ч и . jix определение
составляет основное содержание задачи интервального оценивания
гараметров распределения случайных величин.В данной главе рас-
136
сматриваются наиболее распространенные методы интервального
оценивания неизвестных параметров распределения, позволяющие
проанализировать качество оценивания указанных параметров с
помощью основных показателей качества - характеристик точно-
сти и надежности соответствующих статистических оценок.
Прежде всего заметим, что формула (3.1.2) по своему внешнему
виду напоминает похожую формулу теории вероятностей [II, 12, 17],
определяющую вероятность попадания случайной величины на задан-
ный полузакрытый слева участок. Однако сходство между указанны-
ми формулами чисто формальное. В теории вероятностей границы ин-
тервала не случайны и ищется вероятность того, что реализация
случайной величины окажется внутри него. В формуле (3.1.2) оце-
ниваемый параметр а* ~ величина постоянная, неслучайная (хотя
и неизвестная до проведения испытаний),а доверительный интер-
вал , его границы, его положение на оси абсцисс - слу-
чайны. Поэтому доверительную вероятность следует трактовать не
как вероятность попадания параметра в интервал ,
а как вероятность того, что указанный случайный интервал накро-
ет точку ,
Вероятность противоположного ообытия, т.е. ненакрытия до-
верительным интервалом значения ал , равняется, очевидно,
-рфр.При этом доверительные границы чаще всего выбираются та-
ким образом, чтобы вероятность уклонений интервала 1р<а£> как
влево, так и вправо от а* была одинаковой и составлялаj?—(I-
т.е.
= . (3.1.3)
Из § 2.1 известно, что на практике чаще всего приходится
иметь дело с несмещенными оценками, распределение которых сим-
метрично относительно оцениваемого параметра. В подобных слу-
чаях целесообразно строить доверительный интервал симметрично
относительно полученного значения (реализации) а$ случайной
оценки так, как это показано
на рис.3.1.1. Тогда границы довери-
Jr «г - тельного интервала
Рис.3.1.1 5 (3.1.4)
VVW’
где ep<CL>- половина длины симметричного доверительного ин-
тервала для параметра ал наблюдаемой случайной величины х. ,
137
характеризующая точность найденной оценки: чем эта длина мень-
ие, чем уже доверительный интервал, тем оценка точнее.
Применительно к данному случаю формуле (3.1.2), которая с
учетом равенств (3.1.4) приме* вид
(3.Z.5)
можно теперь дать следующую версятнсстную трактовку: с вероят-
ностью р > справедливо утверждение о том, чтс абсолютная
величина ошибки от замены параметра а, его оценкой а£ не пре-
взойдет значения бр<оЛ > . Ошибки, превышающие это значение, воз-
можны, однако вероятность их появления характеризуется доста-
точно малой величиной 1-^<а£>. Именно по этой причине вероят-
ность £<сц> назвали доверительной: сна характеризует степень
доверия к сценке, надежность (достоверность) оценки и построен-
ного тем или иным способом доверительного интервала. Чем бли-
же зта вероятность к единице, тем больше оснований для приме-
нения принципа практической доотоверности, тем выше должна быть
наша уверенность в том, что значение оцениваемого параметра зак
лючено внутри доверительного интервала. На практике вероятность
р<а4> обычно выбирают в диапазоне 0,9 - 0,95.
Точность и надежность интервального оценивания характеризу-
ют его качество: чем выше точность и надежность оценивания,тем
оно лучше, тем уверенней можно пренебречь погрешностью от заме-
ны неизвестного оцениваемого параметра его точечной оценкой.На-
помним при этом, что основным показателем точности интервально-
го оценивания служит размер доверительного интервала (половина
его длины при симметричном интервале), а в качестве основного
показателя надежности интервального оценивания выступает дове-
рительная вероятность, равная вероятности накрытия доверитель-
ным интервалом значения оцениваемого неизвестного параметра.
В рамках проблемы исследования качества оценивания прихо-
дится решать разнообразные задачи, среди которых наибольшее
прикладное значение имеют задачи определения:
- границ (или длины) доверительного интервала для имеющей-
ся конкретной выборки и заданной доверительной вероятности (за-
дача построения доверительного интервала);
- доверительной вероятности для имеющейся выборки и задан-
ной длины доверительного интервала;
- числа испытаний, при которых обеспечиваются заданные зна-
чения показателей качества интервального оценивания (задача оп-
ределения потребного объема выборки).
138
Ниже рассмотрены наиболее распространенные способы исследо-
вания качества интервального оценивания, т.е. определения пока-
зателей точности и надежности, параметров распределения наблю-
даемых случайных величин.
§ 3.2. ИССЛЕДОВАНИЕ ТОЧНОСТИ И НАДЕЖНОСТИ ОЦЕНОК
МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ
В главе 2 было показано, что в качестве оценки Мл матема-
тического ожидания Мл наблюдаемой случайной величины £ целе-
сообразно принять статистическое математическое ожидание
Я = ^*=4- 2 г ,
т £ л jTi а ’
(3.2.1)
которое удовлетворяет требованиям состоятельности и несмещенно-
сти, а для большинства законов распределения генеральной сово-
купности - требованию эффективности.
Как известно, подобного рода оценки, удовлетворяющие крите-
риям качества точечных оценок, называются подходящими значения-
ми оцениваемых параметров. Кроме того, оценка (3.2.1) асимпто-
тически нормальна, т.е. при л —оо случайная величина Мл подчи'
няется закону распределения, сколь угодно близкому к нормально-
му с числовыми характеристиками
> (3.-.2)
<0£
Для исследования качества оценивания математического ожида-
ния необходимо построить доверительный интервал, отвечающий за-
данной вероятности . При решении этой задачи наиболь-
ший практический интерес представляют следующие случаи.
3.2.1. Исследование точности и надежности оценил
математического ожидания в случае большой выборки
Если п велико, то оценка приближенно подчиняется нор-
мальному закону распределения с числовыми характеристиками
(3.2.2) и (3.2.3). Поэтому для определения доверительной веро-
ятности > в данном ч^стчом слу> ае можно воспользоваться
Формулой нормального закона
р<мо > = Ч -Мл I < , (о г ? л}
139
где Ф zdt- табличная функция Лапласа [38,40,63].
° •’ ¥251
Формула (3.2.4) связывает между собой доверительную вероят-
ность > , половину длины доверительного интервала £^<МЛ>
и объем выборки п и может быть использована, воли среднее квад-
ратическое отклонение б, наблюдаемой случайной величины х из-
вестно.
Из формулы (3.2.4) найдем
SA
<3-2-5’
- табличная функция [II,38,63], выражающая чис-
ло средних квадратических отклонений, которое следует отложить
влево и вправо от центра рассеивания, чтобы вероятность попада-
ния нормально распределенной случайной величины в построенный
таким образом интервал (он показан на рио.3.2.1) равнялась fi.
Таким образом, с заданной вероятностью J3 можно утверждать,
что интервал
₽ Г L X уп х Р/
« накроет значение оцениваемого параметра - теоретического мате-
матического ожидания Мл . Следовательно, это и есть 100$ -про-
центный доверительный интервал. Один из графических приемов его
построения показан на рис.3.2.2.
Для определения объема случайной выборки, обеспечивающего
заданные характеристики точности и надежности оценки .латемати-
140
ческого ожидания (такой объем выборки называется потребным),не-
обходимо уравнение (3.2.5) решить относительно п . В результа-
те решения получим
• (3’г,6>
Итак, все три перечисленные выше задачи, возникающие при
исследовании качества оценивания математического ожидания, ре-
шены. Рассмотрим пример интервального оценивания неизвестного
математичеокогс ожидания в случае большой выборки.
Пример 3.2.1. Статистическое математическое ожидание даль-
ности до ориентира, полученное по результатам 100 независимых
измерений, равно 3020 м. Среднее квадратическое отклонение ошиб
ки дальномера составляет б м. Построить для дальности до сриен
тира доверительный интервал, отвечающий доверительной вероятно-
сти р = 0,95.
Реше н и е. Имеем = 3020 м; п = 100; <5$ = 6 м; J3 =
= 0,95. Из табл.3.8 &0] находим = 0,96. По формуле (3.2.5)
определяем
Далее строим 95-процентвый доверительный интервал:
^9£<Ч> = [3020-/,/8; 3020-ь/, 18)={3018,82-, 3021,18). ▲
Формулами (3.2.4) - (8.2.6), строго говоря, рекомендуется
пользоваться лишь тогда, когда среднее квадратическое отклоне-
ние 6g известно. Если же оно неизвестно, то в рассматриваемом
случае большой выборки можно в первом приближении положить
~ . ПРИ обработке малой выборки подобная замена может при-
вести к значительной погрешности при исследовании точности и
надежности оценки математического ожидания и построении соответ-
ствующего доверительного интервала. Поэтому, если л мало, а
6g неизвестно, целесообразнее применить другой способ построе-
ния доверительного интервала, основанный на использовании свойси
распределения Стьюдента. I
3.2.2. Исследование точности и надежности оценки
математического ожидания в случае малой выборки
Рассмотрим методику исоледования качества оценивания мате-
матического ожидания некоторой наблюдаемой случайной величины
х, когда она подчинена нормальному закону распределения,средне!
141
квадратическое отклонение неизвестно, а недостаточный объ-
ем выборки ее позволяет вместо б£ использовать значение бл
оценки б*. Из § 2.6 известно, что данная сценка с точностью до
постоянного множителя подчиняется хи-распределению с ( п -1)-й
степенью свободы:
• (3.2.7)
Имея в виду этот факт, определим доверительную вероятность
4
(3.2.8)
I
Заметим,"ч{о при сделанных предположениях случайная величина
|М4-/Ид|/(б5/^7') подчиняется нормальному закону распределения и,
кроме1 того, нормирована (нетрудно видеть, что ее математическое
ожидание равняется нулю, а дисперсия - единице). На этом осно-
вании отношение
(3.2.9)
подчинено закону Стьюдента с ( л-I) степенями свободы и плот-
ностью распределения вида
• (3-гло)
Квантили закона распределения Стьюдента табулированы [38,40].
Поэтому обозначим и найдем значение функции распре-
деления случайной величины в точке . С этой целью уч-
тем четность функции (3.2.10) и запишем равенство (3.2.8) в
виде
откуда
и, следовательно,
‘(л-l) r р л.
142
50(/+р<Мл>) -процентные квантили закона Стьюдента
зависящие от заданной доверительной вероятности р<Л/А> и чис-
ла степеней свободы к= п-1 , определяются с помощью табл.19
[38] или табл.3.21 [40].
Итак, в рассматриваемом случае построение доверительного
интервала вводится к следующей псследовательности операций:
а) нс ранее приведенным формулам (2.5.3) и (2.6.12) вычис-
ляем оценки М* и бА ;
б) с помощью указанных выше таблиц по значениям Р<МА > и
к=п-1 находим квантиль ;
в) вычисляем
e₽,n<4> = ^fr^n-(
и строим loop -процентный доверительный интервал
I,<*4>-[VV4>A+WM4»-
Пример 3.2.2. В результате 10 выстрелов получены следующие
значения отклонений точек попадания снарядов от точки прицели-
вания (в метрах):
</1 I I 2 I 3 I 4 I 5 I 6 I 7 I 8 I 9 I 10
zj 1,56 | 0,36 | 1,76 | 5,66 | -1,74|1,82 | 0,02 | 3,10 | 1,70 | 2,28
Необходимо оценить боковое отклонение центра рассеивания и
построить для него 99-процентный доверительный интервал.
Решение. Вычисляем значения оценок и б,:
±S= 0,99км ; б2 =у/у|(2.-0,99)г = 1,59км .
По таблице квантилей закона Стьюдента для р = 0,99 и
к~п-1=9 находим t099,s = 3,25. Отсюда
^0.99; > = £<tS9; И ~^>^ЗКМ
Рис.3.2.3
143
и,следовательно,
W%> =[0.99-/,63; 0,99 +/,63)=[-0,64; 2,62).
Построенный в данном примере доверительный интервал по-
казан на рис.3.2.3. А
3.2.3. Исследование точности и надежности оценки
математичеокого ожидания в случае показательного
закона распределения генеральной совокупности
В некоторых приложениях математической статистики, связан-
ных главным образом с анализом надежности технических систем и
объектов, возникает задача исследования точности и надежности
оценки математического ожидания наблюдаемой случайной величины,
подчиненной показательному закону распределения, когда объем
выборки невелик. Рассмотрим методику решения этой задачи, осно-
ванную на использовании некоторых свойств закона распределения
хи-квадрат, плотность распределения которого, как известно,име-
ет вид [11,12] * х
{Х)= e2b(z). (3.2.13)
Когда число степеней свободы к = 2, выражение (3.2.13) дает
плотность распределения показательного закона с параметром Л
<рЛ2 (Х) = 4-еГД(Х), (3.2.14)
/(21
а для получения показательно-распределенной случайной величины
t , характеризуемой произвольным параметром Л = необходимо
величину J2 умножить на •. *
Найдем закон распределения статистичеокогс математического
ожидания
МЛ =М* = t ,
t t п J
(3.2.16)
которое образовано суммированием п независимых случайных вели-
чин i , подчиненных одному и тему же показательному закону рас-
пределения, связанному с законом распределения хи-квадрат соот-
ношением (3.2.15). Как известно, одним из свойств этого зако-
на является его устойчивость, выражающаяся в том, что при сум-
мировании независимых случайных величин, подчиненных этому за-
144
кону, образуется случайная величина, подчиненная тему же зако-
ну, но с суммарным числом степеней свободы [12]. На основании
данного свойства можно напиоать равенство
м --L г2 -Ml у2
2пА 2п ’
(3.2.17)
из которого следует, что оценка математического ожидания в рас-
сматриваемом случае подчинена (с точностью до постоянного мно-
жителя М*/2п ) закону распределения хи-квадрат с к = 2.п сте-
пенями свободы.
Из формулы (3.2.17) определи^
Л2 М$
к,Ггп-^’ (3.2.18)
а затем, как это показано на рис.3.2.4, найдем такие значения
Х( и хг , что
₽(1,^г>р<«г> (8i2j9)
и при этом
0.2.20)
Рио.3.2.4
Найдем значения функции раопределения случайной величины
$*2п} в течках х, и х2 :
= ? (3.2.21)
Л(2Л)
Л2 Л2 НВ<М.>
F?2 ----2----> (3.2.22)
Лгп)
IZ6
откуда
(3.2.23)
*(2/1) ' Х(2пЛ '
Квантили xf и хг , зависящие от заданной доверительной веро-
ятности р<МА> и числа степеней свободы к = 2л , определяются
с помощью табл.18 [38] или табл.3.20 [40]. Так как входить в
указанные таблицы следует со значениями дополнительной функции
распределения, а не функции распределения, тс
*(2/1) 7 ----2 -----’2п
(3.2.24)
I
Л(2П)
Далее преобразуем равенство (3.2.19), подставив в него вме-
сто случайной величиныл /(*п) его выражение из (3.2.18):
f> <Mj>2л *2) » Р
Итак, loop -процентный доверительный интервал
1 zm4_^.±4.\
«г ’ /
построен. С заданной доверительней вероятностью р<Мл> он нак-
рывает значение оцениваемого параметра Мл , уклоняясь от него
влево или вправо с одной и той же вероятностью . Для •
расчета границ доверительного интервала следует воспользоваться
формулами ~ ~
(3.2.25)
(3.2.26)
А"
(3.2.27)
2г>^ */' 2пМ1
= -V-4-! Ч = ~
(3.2.28)
Таким образом, в рассматриваемом случае построение довери-
тельного интервала сводится к следующей последовательности опе-
раций:
а) вычисляем оценку Мл-,
б) с помощью указанных выше таблиц по значениям ^МЛУ и
к=2п находим квантили и Д2 = ^.р<м?> *;
146
Рис.3.2.5
в) рассчитываем значения
границ доверительного интерва-
ла по формулам (3.7.28) и стро-
им оам интервал, как зто пока-
зано на рис.3.2.5. Заметим,что
так как распределение хи-квад-
рат несимметрично, то оценка
Мл отнооительно середины интервала окажется смещенной вле-
во. *
Пример 3.2.3. В результате 8 иопытаний получены следующие
значения времени безотказной работы некоторого технического уст-
ройства (в часах):
</ I 1 I 2 I 3 I 4 I 5 I 6 I 7 I 8
t 11,05 j 6,35 I 0,84 | 46,0 | 1,39 |10,79 | 5,28 | 18,97
Необходимо оценить математическое ожидание времени безотказ-
ной работы и построить для него 90-процентный доверительный ин-
тервал.
Решение. Вычисляем значение оценки математического
ожидания времени безотказной работы устройства:
MA = #Xt. = /f,334 .
? о <pt J
Пс таблице квантилей закона распределения хи-квадрат для
Р = 0,90 и К = 2п = 16 находим:
Далее по формулам (3.2.28) вычисляем границы доверительно-
го интервала
М' -2 *8-Ц,33 _ б 91ч „"2.8-11 ,.33 = 22,66 ч
t 26,3 2 8,0
и стройм 90-процентный доверительный интервал
W=L6,9I; 22«бб)ч- А 1
Обобщением настоящего параграфа служит схема на рис.3.2.6,
объединяющая основные расчетные случаи интервального оценива-
ния математического ожидания. Для каждого из них приведены фср-1
мулы, определяющие границы или длину доверительного интервала, ।
указаны сблаоти применения, а также номера используемых при
расчетах таблиц (нумерация в числителе дана по краткому спра- 1
-очнику [38], в знаменателе - по справочному пособию [40]).
147
Рио.3.2.б
При рассмотрении даввой схемы возникает вопрос: каков воз-
можный алгоритм интервального оценивания неизвестного математи-
ческого ожидания в тех случаях, когда объем выборки невелик,а
наблюдаемая случайная величина (генеральная совокупность) под-
чинена произвольному закону распределения, отличному от нор-
мального или показательного? К сожалению, в больлин$тве подоб-
ных случаев распределение случайной точечной оценки не уда-
ется привести к какому-либо стандартному и хорошо изученному за-
кону, что вызывает существенные трудности при интервальном оце-
нивании параметра М£ . Единственный приемлемый путь преодоления
этих трудностей - применение метода статистических испытаний
(метода Монте-Карло), позволяющего определять статистический
закон распределения случайной оценки М* и попользовать его при
реиении задачи интервального оценивания математического ожида-
ния.
§ 3.3. ИССЛЕДОВАНИЕ ТОЧНОСТИ И НАДЕЖНОСТИ ОЦЕНОК
ДИСПЕРСИИ И СРЕДНЕГО КВАДРАТИЧЕСКОГО ОТКЛОНЕНИЯ
Предположим, что получена выборка объема п из нормально
распределенной генеральной совокупности и необходимо исследо-
вать точность и надежность оценок числовых характеристик рао-
148
сеивания - дисперсии и среднего квадратического отклонения,т.е.
решить задачу интервального оценивания этих характеристик рас-
пределения. При этом ограничииоя рассмотрением наиболее распро-
страненного в практике статистических исследований варианта,
когда теоретическое математическое ожидание М„ неизвестно,~в
связи с чем при расчетах необходимо пользоваться оценкой <
равной статистическому математическому ожиданию случайной вели-
чины £. Из предыдущей главы (в частности,§ 2.6) известно, что
в этом варианте состоятельной,несмещенной и асимптотически эф-
фективной оценкой параметра В* является исправленная статисти-
ческая дисперсия
подчиненная (с точностью до постоянного множителя) закону рас-
пределения хи-квадрат с л-1 степенями свободы:
= л Л (3.3.2)
и характеризуемая числовыми характеристиками:
<3-3-3)
Для исследования точности и надежности оценки (3.3.2) не-
обходимо построить доверительный интервал, отвечающий заданной
доверительной вероятности р<Л$>. При решении этой задачи це-
лесообразно ограничиться рассмотрением следующих двух частных
случаев, наиболее часто встречающихся на практике.
3.3.1. Исследование точности и надежности оценок дисперсии
и среднего квадратического отклонения в случае большой выборки
На основании предельного свойства распределения хи-квадрат
можно утверждать, что оценка Вл , определяемая равенствами
(3.3.1) или (3.3.2), при достаточно большом объеме выборки
(практически при л>50 t 60) приближенно следует нормальному
закону распределения с числовыми характеристиками (3.3.3). По-
этому в случае большой выборки для нахождения доверительной ве-
роятности допустимо воспользоваться формулой нормально-
го закона: 1
где ер<1?£> - половина длины loop -процентного доверитель-
ного интервала для оцениваемой дисперсии»
Из формулы (3.3.4) найдеи
Е»<2)8>=^Дгр (3.3.5)
и построим интервал
w=Pj -MV-’s Д Д+л4 Д <з-з-б>
накрывающий теоретическое значение оцениваемого параметра П~
с заданной доверительной вероятностью £ . Если формулу (3.3.5)
рассматривать как уравнение относительно п , то, решив егс,
можно определить потребный сбъеи выборки, обеспечивающий задан-
ные характеристики точности и надежности оценки диспероии. В
результате решения получим
"м<л4>‘,+2(^Д)г- (3-3-7’
Формулами (3.3.4), (3.3.5) и (3.3.7), строго говоря, поль-
зуются только в том случае, когда теоретическая дисперсия D*
известна. На самом деле она неизвестна и подлежит оцениванию
по данным зксперимента. Поэтому в рассматриваемом случае боль-
шой выборки следует в первом приближении положить .Тог-
да расчетные формулы для определения характеристик надежности,
точности и потребного объема выборки примут вид
Р<^=гфА (3-3-8’
1 (з.з.э)
Формулы (3.3.8) - (3.3.10) решают все три перечисленные
в § 3.1 задачи, возникающие при исследовании качества оцени-
вания неизвестной теоретической дисперсии.
На рио.3.3.1 изображена охема, поясняющая сущность одного
из графических приемов построения доверительного интервала
1р<Б£> в случае большой выборки.
Так как по определению =-/Д? и зависимости, связываю-
щие среднее квадратическое отклонение и дисперсию, взаимосдно-
значны и монотонны, то границами б! и б* loop -процентного
доверительного интервала > для среднего квадратического
отклонения бЛ будут значения, определяемые по формулам:
о-3-11»
При большом объеме выборки, когда коэффициент
устраняющий смещение оценки среднего квадратического отклоне-
ния, практически равен единице, допустимо характеризовать точ-
ность и надежность оценки = с помощью симметричного
доверительного интервала, который строится следующим образом.
Из соотношения (3.3.2) найдеи оценку
«гЖ’ДАо (З-З-И
и определим доверительную вероятность
<3‘злз)
где £°= e/6j .
После подстановки в равенство (3.3.13) правой части соотно-
шения (3.3.12) будем иметь:
Хбл >=£°]=p\f~ К-пЧ^!+ Е°)]=
^Т(|»е„)
= ( 1рл (x)dx=p(e°-,n-7), (3.3.14?
V^ii-e") л,п-"
где значения функции р (е°, к) s выражающей вероятность попа-
дания случайней величины, подчиненной хи-распределению с к
степенями свободы, на участок ^+Е°))табулировави (смс,
например, табл.21 [38] или табл»3о23 [40] л
Так как теоретическое значение оцениваемого параметра <оЛ
до проведения испытаний неизвестно, то в рассматриваемом слу-
чае большой выборки можно полагать £)Л ~ ©Л . Тогда построе-
ние доверительного интервала для среднего квадратического от-
клонения сводится к следующей последовательности операций:
а) вычисляем значение оценки___
VvSJfc-V;
б) с помощью указанных таблиц по значениям £<0Л> и к=п-1
находим относительную длину доверительного полуинтервала е°;
в) вычисляем 8рп<бЛ> = Е°«L и строим 100JJ-процентный
доверительный интервал
С помощью тех же таблиц можно решить и две другие задачи
исследования качества оценивания числовой характеристики 6а °
определение доверительной вероятности (если задана длина до-
верительного интервала) и вычисление потребного объема выборки,
при котором обеспечиваются заданные значения показателей ка-
чества интервального оценивания - характеристик точности и на-
дежности оценки среднего квадратического отклонения.
3.3.2. Исследование точности и надежности оценок дисперсии и
среднего квадратического отклонения в случае малой выборки
В случае малой выборки (50 t 60) предположение о нор-
мальном распределении оценки становится слишком грубым и
при определении характеристик точности и надежности оценки дис-
персии следует исходить из соотношения (3.3.2), в соответствии
с которым рассматриваемая оценка подчинена закону хи-квадрат с
к—п—1 степенями свободы.
Преобразуем равенство (3.3.2) к виду
152
(8-S-K)
и, как эхо показано на рис.3.3.2, найдеи такие значения х, и
х2 , при которых
Р(11<К-Гл:г) = Р<^> (3.3.16)
Рис.3.3.2
Как уже отмечалось в п.3.2.3, искомые границы х( и будут
равны значениям следующих табличных квантилей:
Лл-f)' ' >(л-|)' '
и, следовательно, для их определения можно воспользоваться ли-
бо табл.18 [38], либо табл. 3.20 [40]. Учитывая структуру ука-
занных таблиц, будем иметь
п_( • (3.3.18)
Далее преобразуем равенство (3.3.16), подставив в него вме-
сто случайной величины ее выражение из формулы (3.3.15).
153
Таким образом, 100 ji -процентный доверительный интервал
построен. С заданной доверительной вероятностью р<ВА > он на-
крывает значение оцениваемого параметра (теоретической диспер-
сии ), уклоняясь от него в больную и меньшую стерону с оди-
наковой вероятностью (Z-p<DA>)/2. Границы доверительных интер-
валов для дисперсии и среднего квадратического отклонения рас-
считываются по формулам:
= (3.3.2£)
(3.3.22)
X ’ X | I2 X ' X |
Рассмотрим пример интервального оценивания неизвестных тео-
ретических дисперсий и среднего квадратического отклонения в
случае малой выборки.
Пример 3.3.1. По результатам 20 измерений начальной ско-
рости найдена оценка дисперсии S& = 25,3 м2/^. Полагая, что
случайная величина v подчинена нормальному закону, построить
96-процентные доверительные интервалы для дисперсии 2\ и сред-
него квадратического отклонения 6..
Р е ш е н и е.С помощью табл.18 [88] или табл.3.20 [40]для
k=n-t=19 и р<27£>=0,36находим
1(=Л+₽<Л£> = ’ J2=Xi-p<J^> ^=/цог;»~33>7 ’
подставив значения и тг в формулы (3.3.ZI), определим
границы Д и л" доверительного интервала Т „ „Х-Ол > :
у 0,96,20 у-
n 'L'l Ojyf у 4*1 OtO 1
Нижнюю бА и верхнюю границы доверительного интервала
для среднего квадратического отклонения бл рассчитаем по Фор-
мулам (3.3.22) *
^=^=•^7 =з,8 м/с, 61=^ = /5Б'=7,5м/с. А
154
U помощью таблицы распределения хи-квадрат (табл.3.20 [40])
можно успешно решать и две другие задачи исследования качества
оценивания числовых характеристик рассеивания - определение до-
верительно!» вероятности и вычисление потребного объема выборки.
Возможные пути решения этих задач читателю рекомендуется наме-
тить самостоятельно.
В заключение заметим, что методы интервального оценивания
числовых характеристик рассеивания (дисперсии и среднего квад-
ратического отклонения) при произвольном законе распределении
наблюдаемой случайной величины и малом объеме выборки в теоре-
тическом отношении разработаны пока еще недостаточно и на прак-
тике применяются сравнительно редко.
§ 3.4. ИССЛЕДОВАНИЕ ТОЧНОСТИ И НАДЕЖНОСТИ ОЦЕНКИ
ВЕРОЯТНОСТИ СЛУЧАЙНОГО СОБЫТИЯ
Из теоремы Бернулли, (см.§ 1.3) известно, что частота р* =
= т/п появления некоторого события А в серии из п независи-
мых испытаний, где т - число появлений события А , имеет чии.
вне характеристики:
(3.4.1)
(3.4.2)
(3.4.3)
и является состоятельной, несмещенной и эффективной точечной
оценкой вероятности р-Р(А) данного события. Поэтому в даль-
нейшем в качестве оценки р вероятности р будем рассматривать
частоту р* , т.е. полагать
А=/=-Т- (3.4.4)
Ин теоремы Муавра - Лапласа следует, что в случае большой и
борки (практически при пр(1-р) =ь 15*20) функция распределения
оценки р может быть аппроксимирована функцией распределения
нормального закона, вследствие чего
1₽п<р>, отвечающего заданной довери-
155
Сравнительно просто решается и другая задача - определение
доверительного интерва
тельной вероятности р
’ (3.4.6)
где ------,
Р = ЛР-\П<Р>У р"4^,п<Р> > ^,n<P>=tfi^£^ • <3-4-7>
Из последней формулы вытекает следующая зависимость потреб-
ного числа Лр£<р> испытаний от заданных характеристик точ-
ности е и надежности р оценки вероятности:
<3-4-8)
Формулы (3.4.5), (3.4.7) и (3.4.8) по существу дают решение
всех трех перечисленных в §3,1 задач, возникающих при иссле-
довании качества оценивания неизвестной вероятности случайного
события.
Анализ зависимости (3.4.8) позволяет сделать вывод, что по-
требное число испытаний изменяется обратно пропорционально квад-
рату характеристики точности е . Кроме того, поскольку таблич-
ная функция £р=ф-'(у) растет быстрее, чем J3 , то потребное чио-
ло лре<р> испытаний растет быстрее, чем квадрат заданного уров-
ня надежности. Поэтому для определения оценки р с достаточными
для целей практики точностью и надежностью требуется выборка до-
статочно большого объема. Чтобы подучить наглядное представление
о порядке величины лр£</>> , обеспечивающей заданную точность
Е , положим J3 = 0,95 (t. = 1,96) и вычислим n^z<,py для раз-
личных значений р и £ . Результаты расчетов сведены в табл.3.4.1.
Таблица 3.4.1
р~ 0,05 0,01 0,005 0,001
0,1 (0,9) I4O 3600 14000 360000
0,2 (0,8) 250 6200 25000 620000
0,3 (0,7) 330 8400 33000 840000
0,4 (0,6) 380 9400 38000 940000
0,5 390 9800 39000 980000
На практике определение необходимого числа испытаний затруд-
няется, так как до эксперимента не всегда бывает известно (хотя
бы приближенно) значение вероятности р . В этом случае в форму-
лу (3.4.8) можно вместо р подставить сценку р ,что приведет к
зависимости
156
(3.4.9)
Для реализации формулы (3.4.9) можно рекомендовать следую-
щую итеративную процедуру определения числа лре</7> , основан-
ную на идее последовательных приближений.
До начала испытаний ориентировочно выбирается лве</?> =
(например, для р= 0,1 или какого-нибудь другого значения веро-
ятности). Затем после проведения л, испытаний определяется
оценка р и по формуле (3.4.9) уточняется значение л^е<р> .
Если новое значение этой величины превышает л, , то с’ помощью
дополнительных испытаний снова определяется оценка р , уточ-
няется потребное число испытаний и т.д.
Для оценки верхней границы потребного числа испытаний сле-
дует определить максимальное для данного £ значение л₽£<р> ,
соответствующее р = 0,5. Подставив в формулу (3.4.8) =1,96
(что отвечает £ = 0,95) и р = 0,5, получим
(3.4.10)
По этой формуле можно всегда оценить верхний предел числа испы-
таний, при которых обеспечивается требуемая характеристика точ-
ности е .
Рассмотрим пример интервального оценивания неизвестной ве-
роятности случайного события в случае большого объема испытаний
(большой выборки).
Пример 3.4.1. Проведено 500 независимых испытаний, в ходе
которых наблюдаемое событие А появилось 350 раз. Построить 95-
процентный доверительный интервал для вероятности этого события,
Решение. Имеем п= 500; т = 350; £= 0,95; р=р*=^-
= =0,7; t? = 1,96. Для построения доверительного интер-
вала воспользуемся формулами (3.4.15):
p'=p-t? = 0,7-= 0,7-0,04= 0,66;
p"=p+t?^^ = 0,7+0,04=0,74 .
Доверительный интервал ^п<р> = [0,66; 0,74 ), отвечающий
вероятности £ = 0,95, характеризует точность найденной оценки
вероятности случайного события. А
157
В случае малой выборки применение формулы (3.4.7) может при-
вести к существенной ошибке в определении длины доверительного
интервала. Поэтому рассмотрим другой способ его построения, не
требующий априорного знания вероятности р . Будем исходить из
неравенства
выполняемого с вероятностью р независимо от того, известна или
неизвестна вероятность р . Преобразуем это неравенство к виду
(p-pf-^-pU-p^0 (3.4.12)
и дадим ему следующую геометрическую интерпретацию.
Левая часть преобразованного неравенства является квадра-
тичной формой переменных р и р . Приравняв эту форму нулю, по-
лучим уравнение кривой второго порядка
Р!(+4)-гХА+й-)+Аг=°,
которая, как это можно установить путем несложного анализа, яв-
ляется эллипсом. Этот эллипс (назовем его доверитель-
ным эллипсом) проходит через точки (0,0) и (1,1) и делит плос-
кость переменных на две области (рис.3.4.1). Во внутренней за-
штрихованной области (6)=п неравенство (3.4.12) удовлетворяет-
ся. Размеры доверительного эллипса зависят от числа испытаний
п и доверительной вероятностью р : чем больше п и меньше $>>
тем сильнее вытянут эллипс, тем меньше площадь области
Имея доверительный эллипс, можно для любого значения р ,
полученного из опыта, построить доверительный интервал 1^п<.р'> =
= Гр', р") , накрывающий неизвестную вероятность р о заданной
вероятностью £• С этой целью достаточно провести через точку р
прямую, параллельную оси ординат. Гряницр отрезка этой пря-
мой, заключенного внутри доверительного эллипса, и будут грани-
цами р' и р" доверительного интервала 1рп<р> . Указанное по-
строение изображено на рис.3.4.1,
Доверительные границы р‘ и р1 можно определить и аналитиче-
ским путем, основанным на решении квадратного уравнения
(3.4.13), которое имеет два действительных корня:
(3.4.14)
158
Заметим, что при увеличении объема выборки п член /4п2
стремится к нулю быстрее, чем первое слагаемое под корнем. Кро-
ме того, при достаточно большом п слагаемыми t^fn в числите!
и знаменателе можно пренебречь. На основании этого в случае бол
шой выборки получим
приближенные формулы:
(3.4.15}
полученными формулами (3.4.7), если в них
совпадающие с ранее
ПОЛОЖИТЬ ргар .
Рассмотрим другой графический прием определения доверитель-
ных интервалов для вероятности случайного события, не требующий
построения доверительного эллипса и потому более простой.
Если в уравнение (3.4.13) эллипса ввести новую переменную
х , определив ее по формуле
<3-4-к’
то получим уравнение окружности
Zl=p(1-p), (3.4.17)
изображенной на рис.3.4.2. Она касается оси абсцисс в начале ко-
ординат и имеет диаметр, равный единице.
С другой стороны, при р , известном из опыта, уравнение
(3.4.16) в системе координат тОр изображает прямую, которая ।
159
проходит через точку (0,р ) и имеет угловой коэффициент-^-.
Эта прямая пересекает окружность в точках а и Ъ , ординаты
которых ш равны искомым границам р' и р" доверительного интер-
вала 1.п<.р> . Соответствующее графическое построение пока-
зано на’рис.3.4.2.
160
Глава 4
МЕТОДЫ СТАТИСТИЧЕСКОЙ ПРОВЕРКИ ГИПОТЕЗ
§ 4.1. ПОСТАНОВКА И ОБЩАЯ СХЕМА РЕШЕНИЯ ЗАДАЧ
СТАТИСТИЧЕСКОЙ ПРОВЕРКИ ГИПОТЕЗ
4.1.I, Понятие статистической гипотезы. Общая постановка
задачи проверки статистической гипотезы
Гипотезой вообще принято называть предположение о некоторы:
свойствах изучаемых явлений. В математической статистике рас-
сматриваются гипотезы о свойствах генеральной совокупности, ко-
торые можно проверить, опираясь на данные случайной выборки. В
дальнейшем эти гипотезы будем называть статистическими. Напри-
мер, статистическими будут гипотезы:
- генеральная совокупность распределена по биномиальному
закону;
- математические ожидания двух нормально распределенных со-
вокупностей равны между собой.
В первой гипотезе сделано предположение о виде неизвестного
распределения, а во второй - о параметрах двух известных рас-
пределений.
Гипотеза "в 2000г. будет открыт новый источник энергии" не
является статистической, поскольку в ней не идет речь ни о ви-
де, ни о параметрах распределения.
Наряду с выдвинутой гипотезой рассматривают и противоречащую
ей гипотезу, которая может быть принята в случае, если первая
не подтвердится. По указанной причине эти гипотезы целесообраз-
но различать. Выдвинутую гипотезу принято называть нуле-
вой или основной и обозначать символом Но , а ги-
потезу, противоречащую нулевой, - конкурирующей
или альтернативной и обозначать символом И, .
Например, если нулевая гипотеза состоит в предположении, что
161
математические ожидания двух нормально распределенных совокуп-
ностей равны, то конкурирующая гипотеза, в частности, может со-
стоять в том, что они не равны между собой.
Для краткости принято записывать гипотезы следующим обра-
зом:
W : Мл = Мл ; НМл * Мк .
0 ® 3 ' х з
В математичеокой отатистике различают простые и сложные ги-
потезы. Простой называют гипотезу, содержащую только одно пред-
положение, например Нд-М^ = М^ . Сложной называют гипотезу,
содержащую конечное или бесконечное число предположений. Напри-
мер, гипотеза > 10 состоит из бесчисленного множества прос-
тых гипотез вида* МЛ=£. , где Ь. - любое число, превос-
ходящее 10. 1
Задачи проверки гипотез, изучаемые математичеокой статисти-
кой, можно разделить на несколько классов, отличающихся друг от
друга как по форме, так и по методам решения. Прежде всего вое
задачи проверки гипотез можно разделить на параметри-
ческие , когда вид закона распределения известен,и н е-
параметрические , когда вид закона распределения
неизвестен.
В свою очередь каждый из данных классов содержит следующие
подклассы.
I. Задачи оогласия. Данные задачи включают в себя задачи
проверки оогласия (соответствия) вида закона распределения или
значений параметров распределения, выдвинутых в качестве пред-
полагаемых, о законом распределения или параметрами закона рас-
пределения реальной случайной величины.
Формулировка данных задач имеет следующий вид. Нулевая ги-
потеза:
Конкурирующие гипотезы:
: V S3 ; Н’: S£>S£ ; W< : * sa •
Здесь и 5g обозначают символ проверяемого предположения.Так,
если речь идет о проверке оогласия закона распределения, то
5л = ^, ,где Га - закон распределения исследуемой слу-
чайной величины, Г£ - гипотетический закрц распределения. Для
данного случая получим:
//„:Г,=ГД ; //:РЛ#Г .
162
При проверке согласия параметров раопределения альтерна-
тивные гипотезы могут выдвигаться в форме //’ и Н* , т.е. в
форме гипотез, содержащих бесчисленное множество предположений,
2. Задачи расположения (сдвига). Эти задачи возникают в тех
случаях, когда требуется проверить предположение о том, что
интересующий нао фактор приводит к сдвигу распределения в ту
или мную сторону (причем не обязательно только к одвигу, но к
сдвигу - обязательно).
Если известно, что фактор 8 приводит только к одвигу, за-
дача расположения формулируется следующим образом:
F(x/0) = Fo(x-0);
Wo:0 = O; н\‘. В> 0 ; Н*' 0с 0; н’ : 0 * С .
Если неизвестно, проявляется ли влияние исследуемого факто-
ра только в сдвиге, но известно, что одвиг может иметь место,
то в качестве меры сдвига можно использовать квантили xq того
или иного уровня q . В этом олучае задача расположения формули-
руется так:
но' я,'--
3. Задачи проверки симметричности. Они возникают в тех слу-
чаях, когда требуется проверить симметричность распределения
F^(x) относительно точки х0.
Эти задачи формулируются следующим образом:
Н0-Р-1(0,5) = Х<) ; Н,: Р£'(О,5).?Хо .
4. Задачи масштабирования. Эти задачи возникают в тех слу-
чаях, когда извеотно, что исследуемый фактор 9 может привести
к изменению либо только масштаба, либо наряду с изменением мас-
штаба и к другим изменениям распределения.
В первом случае задача проверки гипотезы формулируется сле-
дующим образом:
F£(x/0)=FJ8x);
Ио:0=/; Я,': В =* Г, Н1г-.е^1-, Н’:944.
Во втором случае целесообразно ввести некоторую меру маси!
ба, например квантильную меру или меру типа размаха выборки.
Обозначим эту меру символом . Тогда задачу проверки гипоте-
зы можно сформулировать так:
163
5. Задачи независимости. Они возникают в тех случаях, ког-
да необходимо проверить, являются ли компоненты некоторого слу-
чайного вектора статистически связанными. Очевидно, что если
компоненты вектора Х<п>=<1(1^г,...,£л^> независимы, то
^п>(Х<п>) = Д\(1Р-
Поэтому задачу проверки гипотезы о независимости можно сформу-
лировать следующим образом:
н,-
6. Задачи проверки выборки. Данные задачи возникают при не-
обходимости проверки того факта, что полученная выборка являет-
ся простой, т.е. варианты выборки подчинены одному и тому же
закону распределения.
Задачи такого типа формулируются в виде соотношений
......
",-F. .....jHw-
"<л> • 3
В дальнейшем будем рассматривать в основном задачи согласия.
Приведем несколько примеров постановки задач проверки ста-
тистических гипотез.
Допустим, что гипотеза Нд заключается в утверждении того
факта, что вероятность Р(А) некоторого события А равна р ,т.е.
Р(А) = р. В результате проведения оерии из п независимых испы-
таний получена частота Р*(А)=р* этого события, причем вследствие
ограниченного числа испытаний практически всегда будет иметь
место неравенство р*^ р .Естественно поставить вопроо: справед-
лива ли походная гипотеза Нв ,т.е. можно ли полагать,что откло-
нение р*от р вызвано ограниченным объемом выборки или,напротив,
указанное отклонение обусловлено несоответствием фактической
вероятности события К гипотетической вероятности р.
Цуоть исследуется закон распределения случайной величины х.
Гипотеза На состоит в том, что эта величина подчинена закону рас-
пределения, характеризуемому функцией распределения Рл(х) или
плотностью Ц)Л(х). В результате эксперимента получен статисти-
ческий ряд, найдены статистическая функция и гистограмма распре-
164
деления. Необходимо путем обработки экспериментальных данных
проверить справедливость выдвинутой гипотезы, т.е. ответить на
вопрос: согласуются ли с гипотезой HQ результаты'опыта или, на-
против, эти результаты противоречат гипотезе, вследствие чего
последнюю необходимо отвергнуть.
На практике часто возникает необходимость проверки гипоте-
зы о равенстве моментов распределения, которая в общем виде фор-
мулируется следующим образом.
Пусть имеются две независимые случайные величины х и у ,
эксперимент над которыми состоял в получении и обработке выбо-
рок соответственно объемов п и т . в результате обработки по*
лучены значения оценок (* sI»2»
...) начальных и центральных моментов величин х и у .
Необходимо сопоставлением оценок одноименных моментов про-
верить гипотезы о равенстве самих моментов.
Для практики наибольшее значение имеют частные олучаи этой
задачи, когда проверяются гипотезы
*.[*] = *4 =
(задача проверки статистической гипотезы о равенстве математи-
ческих ожиданий) и
ьИ=^=Я2[У]=^
(задача проверки статистической гипотезы о равенстве дисперсий).
4.1.2. Общий подход и логические основы методов
отатиотичеокой проверки гипотез
Задача отатиотичеокой проверки гипотез возникает в тех слу-
чаях, когда имеется возмохность еще до опыта (априори) выдви-
нуть в качестве исходной некоторую гипотезу, а целью эксперимен-
та является получение данных, на основании которых проверяемую
гипотезу мохно либо принять, либо отвергнуть.
Подход к решению задачи проверки гипотез рассмотрим на сле-
дующих двух примерах.
Пример 4.1.1. На склад готовой продукции транзисторы одно-
го типа поступают партиями с двух заводов, выпускающих продук-
цию разного качества, и такими хе партиями транзисторы отпуска-
ются со склада потребителю. Качестве продукции завода характе-
ризуется вероятностью р того, что наугад выбранный транзистор
является бракованным. Для одного завода р=р0 , для другого
p = pt (Pq^P,) • Потребитель случайным образом выбирает одну пар-
гию транзисторов. Необходимо не основании результатов контроля
решить, на каком заводе изготовлена выбранная партия транзисто-
ров о
Решение. Введем нулевую гипотезу Нд , состоящую в том,
что выбранная партия транзисторов плохого качества, т.е. вероят-
ность брака равна рд , и конкурирующую гипотезу Н о том, что
вероятность брака в партии равна р..
Отберем из партии случайным образом п изделий. Обозначим
число бракованных транзисторов среди отобранных символом х .
Очевидно, что х - дискретная случайная величина, множество воз-
можных значений которой составляет ряд О, I, 2, . ,.,л,т.е. Х.,=
= {0,1,2,...,п}. <П}
Назовем решающим
или к р и-
свод правил
(совокупность высказываний и предикатов), устанавливающих усло-
вия, при которых нулевая гипотеза принимается или отвергается.
В раосматриваемом примере решающее правило будет состоять
в некотором разбиении множества X на два подмножества Хд и X,
(ХоUXt= X), таких, что при попадании возможного значения слу-
чайной величины х в множество Хо принимается гипотеза Ио , а
при попадании возможного значения £ в множество X. гипотеза
Но отвергается. А
Разбиение множества X на подмножества X0,Xf можно осущест-
вить различным образом, поэтому прежде чем решать поставленную
задачу, необходимо определить, какое из возможных разбиений мно-
жества X на подмножества Хо и Xt следует выбрать.
Пример 4.1.2. На вход приемного устройства в некоторый мо-
мент времени поступает случайный сигнал 2 , который представ-
ляет собой либо сумму известного сигнала х и случайной помехи
у , либо одну помеху у . Измеряется величина z . По получен-
ному числовому значению г необходимо установить, присутствовал
ли на входе сигнал х , т.е. выбрать одну из возможностей: z =
- I + у или z=y .
Решение. Введем нулевую гипотезу Нд , состоящую в
том, что оигнал отоутствует, т.е. Нд- z-y, и конкурирующую
гипотезу о том, что оигнал х имеетоя на входе,т.е. Hf:z=.x+y.
Множество Z возможных значений случайной величины z пред-
ставляет собой всю числовую ось z . Решающее правило (крите-
рий проверки) в данном случае будет состоять в разбиении оси z
на две части: z0 и z( , такие, что при попадании возможного зна-
156
чения случайной величины г в множество zQ гипотеза Нд прини-
мается, а при попадании возможного значения £ в множество г
эта гипотеза отвергается. Как и в предыдущей задаче, необхо-
димо решить вопрос о таком разбиении. А
Как видно из приведенных примеров, при наличии способов раз-
биения множества наблюдаемой величины х или z на подмножест-
ва, соответствующие приему и отклонению гипотезы нд , общий под-
ход к решению задачи проверки гипотез включает в себя следующие
этапы s
I. Назначаются нулевая и конкурирующая гипотезы.
2„ Выбирается некоторая величина а , которая представляет
собой функцию элеми>тов выборки, связана с нулевой и конкурирую-
щей гипотезами и зависит от условий проведения эксперимента. В
дальнейшем эту величину будем называть показателем согласован-
ности (ПС) гипотезы.
3. Выбирается критерий проверки (критерий согласия, крите-
рий соответствия), т.е. свод правил, указывающих, при каких зна-
чениях величины ц гипотеза отвергается, а при каких не отвер-
гается.
4. Множество возможных значений величины и в соответствии
с принятым критерием разбивается на два подмножества таким об-
разом, что попадание возможного значения и случайной величины
а в одно из этих подмножеств означает принятие гипотезы Нд ,а
в другое - отклонение гипотезы Нд
5. Проводится эксперимент, вычисляется величина и и опре-
деляется, к какому из подмножеств относится эта величина, на
основании чего принимается решение о приеме или отклонении ги-
потезы Нд .
Рассмотрим логические основы, на которых базируются методы
проверки гипотез.
Выше отмечалось, что решение о принятии или отклонении ну-
левой гипотезы выносится на основании значения, которое прини-
мает величина й. в результате проведения эксперимента. Так как
величина и случайная, то логическими основами всех методов
проверки гипотез являются известные положения теории вероятно-
стей и основанные на них положения выборочного метода. И хотя
в различных случаях, например при проверке гипотезы о виде за-
кона распределения или гипотезы о равенстве математических ожи-
даний, логика принятия решения имеет отдельные особенности, в
оощем все методы принятия гипотез основываются на принципе прав-
I 67
доподобия [27]. Согласно этому принципу, рассматриваемая гипо-
теза должна быть отвергнута, если среди ее альтернатив имеется
по крайней мере одна, имеющая гораздо болыцую вероятность, чем
рассматриваемая, В противном случае нет оснований отвергать
рассматриваемую гипотезу, поскольку сравнение ее вероятности с
вероятностями ее альтернатив не дает другого решения. Посколь-
ку оценка выдвинутой гипотезы должна быть достаточно обоснован-
ной, то с точки зрения формальной логики этот вывод опирается
на закон достаточного основания. Конкретно это получает выраже-
ние в величине той вероятности, на основании которой выносится
решение о проверяемой гипотезе. Проиллюстрируем это примером.
Пример 4.1.3. Необходимо определить,являвтоя ли монета
"честной" (т.е. чеканка монеты правильная и монета точно урав-
новешена) или "нечестной". При иопытании монета подбрасывалась
10 раз и при этом герб выпал три раза.
Решение. Нулевая гипотеза ооотоит в том, что монета
"чеотная" и выпадение гербов три раза представляет собой собы-
тие, которое еще не может служить достаточным основанием для
опровержения этой гипотезы.
Построим многоугольники распределения для "честной" монеты
(р = 4=0,5) и "нечестной", например для р = 0,8 и £ = 0,2
Рис.4.1.1
Как видно из риоунка, многоугольники распределения частично сов-
падают и поэтому три раза гербы могли выпасть как при "честной",
так и при "нечестной" монете. Для принятия решения о справедли-
вости нулевой гипотезы необходимо сравнить вероятности выпаде-
ния трех и менее гербов для той и другой альтернативы.
Для "честной" монеты получим: р (т = 0) = 0,00098; р(т=1)--
= 0,00977; р (т = 2) = 0,04394; р (т = 3) = 0,11719; /?(от=еЗ>
= 0,17188.
Для "нечестной" монеты: р (т = 0) = 0,0000001024; р(т =1)=
= 0,000004096; р( т = 2) = 0,000073728; р(т = 3)= 0,000786432,
р (m*s 3) = 0,00086.
Таким образом, событие, состоящее в том, что герб выпадает
три раза, если монета "честная* - ооблтие гораздо более вероят-
ное, чем в том случае, когда она "нечестная". Следовательно,ги-
потеза Но более правдоподобна, чем гипотеза Н( , и должна быть
принята. А
Рассмотренные логические основы методов проверки гипотез
для каждого конкретного случая могут быть формализованы за счет
соответствующего выбора показателя согласованности гипотезы и
обоснованного выбора критических зон, попадание в которые наб-
людаемого значения ПС влечет зе собой отказ от нулевой гипо-
тезы.
4.1.3. Статистическая характеристика гипотезы и ее особеннооти
Статистической характеристикой гипотезы называют случайную
величину и , которая служит для проверки нулевой гипотезы и
нэзывается показателем согласованности.
Конкретный вид ПС для различных гипотез может быть различ-
ный. Так, при проверке гипотезы о законе распределения ПС мо-
жет выбираться в виде:
- зависимости от гипотетической функции распределения ГА (х),
т.е. функции распределения закона, выдвинутого в качестве нуле-
ой гипотезы, и статистической функции распределения F*(x), по-
лученной экспериментально:
a = f (х), F*(x)) ;
(4.1.I)
- зависимости от гипотетической вероятности р и частоты/?*
полученной в результате проведения эксперимента:
U = fz(p,p*) •
(4.1.2)
При проверке гипотезы о равенстве математических ожиданий
двух независимых случайных величин х и у ПС может выбирать-
ся в виде зависимостей различных видов от начальных и централь-
ных моментов первого и второго порядков случайных величин х иу
u = (3, [x ], Ог[£|, jl2[x], & [$ ] ) (4.1.3)
И Т.Д.
Однако, несмотря на такое разнообразие, в любом случае ПС
должен удовлетворять ряду требований, которые мы и рассмотрим.
Так как ПС - величина случайная, то эти требования формируются
применительно к закону распределения ПС. Перечислим эти требо-
вания.
I. Закон распределения ПС должен зависеть от нулевой и аль-
тернативной гипотез, а также от условий проведения эксперимен-
та. Так, в ПС,определяемой выражением (4.I.I), эта зависимость
представлена наличием как гипотетической, так и статистической
функций распределения в качестве аргументов функции .
2. ПС должен представлять собой случайную величину, точное
или приближенное распределение которой известно. В настоящее
время наиболее распроотранен выбор ПС, распределенных по нор-
мальному закону, законам хи-квадрат, Стьюдента, Фишера - Сне-
декора, причем в литературе по математичеокой статистике рас-
пространено обозначение ПС, имеющих различные законы распреде-
ления, разными символами. Так, ПС, распределенный по нормально-
му закону, обозначают через U или г , по закону хи-квадрат -
через Jt2 , по закону Стьюдента - через Т , по закону Фишера -
через F или V2 .
3. Закон распределения ПС должен быть инвариантен к виду
закона распределения исследуемой случайной величины, т.е. не
должен изменяться при изменении закона распределения исследуе-
мой величины. Именно данное обстоятельство и определило широ-
кое распространение ПС, имеющих указанные выше законы распре-
деления.
4. Закон распределения ПС должен определяться при исполь-
зовании минимума априорных сведений, так как возможность полу-
чения достоверных сведений до опыта существенно ограничена.
5. Закон распределения ПС и должен быть критичен по отно-
шению к проверяемой гипотезе. Данное требование означает, что
условные плотности распределения
щественно отличаться друг от друга. °
(и) и (U) ДОЛЖНЫ су-
па рис.4.1.2 изображены кривые условных плотностей распре-
деления двух различных ПС uf и и2 при нулевой (сплошные кри-
вые) и альтернативной (пунктирные кривые) гипотезах. Из сравне-
ния кривых видно, что применение ПС ц( предпочтительнее, так
170
как он обеспечивает более высок/ю степень уверенности различе-
ния гипотез Нд и W( , чем показатель и2 . Действительно, при
одном и том же значении u = uf=u2, т.е. наступлении одного и
того же события ( и. = и ), вероятность отнесения его к нулевой
гипотезе при использовании ПС и, значительно выше, чем при ис-
пользовании показателя йг . Иллюстрацией важности выполнения
данного требования служит рассмотренный ранее пример 4.1.3.
В заключение отметим, что для проверки гипотезы по данным
выборки вычисляют частные значения входящих в ПС величин и,
таким образом, получают частное значение показателя согласован-
ности гипотезы. Это значение, вычиоленное по данным выборки, в
дальнейшем будем называть наблюдаемым значе-
нием ПС й. и обозначать через и .
4.1.4, Методы задания критической области
Как отмечалось выше, проверка гипотез требует задания ре-
шающего правила, т.е. метода разбиения множества и возможных
значений ПС и на два подмножества: подмножества UQ , при попа-
дании в которое наблюдаемого значения и показателя и нулевая
гипотеза принимается, и подмножества Ц , при иО1адании в ко-
торое наблюдаемого значения и показателя и нулевая гипотеза
отвергаетоя. В дальнейшем облаоть, соответствующую подмножест-
ву Ug , будем называть областью допустимых
значений (областью принятия гипотезы Нд ) и обозначать
символом Л , а область, соответствующую подмножеству , -
критической областью ПС и и обозначать
символом Q.
171
Поскольку ПС ц - одномерная случайная величина, то все ее
возможные значения принадлежат некоторому интервалу. Поэтому
критическая область Q и область допустимых значений Л явля-
ются интервалами и, следовательно, существуют точки, которые их
разделяют. Эти точки называются критическими точ-
ками (границами).
Существует ряд методов назначения критических точек. Рас-
смотрим применение двух из них: метода минимума риска и метода
теории тестов существенности.
Метод минимума риска [24]. Для применения этого метода к
задаче проверки гипотез необходимо знание условных распределе-
ний фА (ы) , фд. (и) и априорной вероятности р того, что ну-
Ти/Но 7 “/*4
левая гипотеза имеет место.
Рассмотрим следующие случайные события:
А - верна гипотеза Н ;
А - верна гипотеза Н( ;
8 - наблюдаемое значение ПС а попало в область U ;
'8 - наблюдаемое значение ПС а попало в область (? .
Тогда в случае принятия решения возможен один из следующих
исходов:
А8 - верна гипотеза HQ и принято решение о ее справедли-
л л вости;
Й8- верна гипотеза Hf , а принято решение о справедливо-
лЛ сти гипотезы Но ;
АЁ- верна гипотеза HQ , а принято решение о справедливо-
л л сти гипотезы Н, ;
SS- верна гипотеза Н( и принято решение о ее справедли-
вости. л Л л л л л
Отсюда видно, что исходы МЗ и АВ - ошибочные. Исходу АВ
соответствует нак называемая ошибка первого
р о д а , а исходу "АВ -ошибка второго р о -
д а .
В дальнейшем под ошибкой первого рода будем понимать реше-
ние об отклонении нулевой гипотезы в случае, если в действитель-
ности она является правильной, а под ошибкой -второго рода - ре-
шение о принятии нулевой гипотезы в случае, если правильной яв-
ляется альтернативная гипотеза.
Введем понятия функции потерь и среднего риска.
Функция потерь сопоставляет каждому из четырех возможных
исходов АВ , "АВ , АВ , соответствующие потери, выражен-
ные в некоторой системе единиц.
172
При правильном решении естественно принять потери равными
нулю. Потери, связанные с ошибками первого рода и второго ро-
да, обозначим соответственно через Ct и Сг „ Будем считать,что
С, и С2 - положительные величины. В дальнейшем предполагается,
что функция потерь задана»
Вероятность правильного решения, а также вероятности оши-
бок первого и второго рода обозначим соответственно через р ,
Р, ,Рг.
Величина потерь С , к которой приведет принятие решения,
является случайной величиной, принимающей значения О , , Сг
с вероятностями рв,р1,рг-
Средним риоком (или просто риском^ будем называть матема-
тическое ожидание случайной величины С и обозначать буквой П,
т.е.
П = М[с]=ро0+р1С1+ргСг = р1С1 + ргС2 . (4.1.4)
Величины вероятностей рд , ptvi рг зависят от размеров и
расположения области допустимых значений и критической области,
поэтому, используя понятие риска, можно сформулировать правило
задания оптимальной критической области. Оптимальной критиче-
ской областью будем называть критическую область, при которой
обеспечивается наименьший возможный в данной задаче риск.
В качестве примера рассмотрим процесс нахождения оптималь-
ной критической области для случая непрерывного ПС и. .
Обозначим через 9 условную вероятность ошибки первого ро-
да, вычисленную при условии иотинности гипотезы Нд , а через
- условную вероятность ошибки второго рода, вычисленную при
условии истинности гипотезы . Эти вероятности можно вычис-
лить как вероятности попадания случайной величины и в облас-
ти Q и D соответственно, т.е.
9-W)-J ; (4>1Л,
(V,)
^=P(B/A) = j ^lHWdu. (4.1.6)
<VO> '
Выразим безусловные вероятности pt и рг через условные
вероятности q и $ и априорную вероятность р :
p, = P(Ani)=P(A)P(t/A)=pq ;
р2^Р(ЙЛб) = Р(Й)Р(В/Й) = (/-р)^ .
173
Подставив значения pt и рг в формулу (4.1.4), получим:
Л=/>«;С,+(/-р)^С2=рС(| +(t~p)C2j ip.^ujAz. (4.1.7)
Из формулы (4.1.7) видно, что каждому способу разбиения мно-
жества U на области D и Q соответствует свое значение риска.
Используя свойства плотности распределения
’
перепишем формулу^4.1.7) следующим образом:
п = Рс, ( Фа/„в(и>du]+(1-Р)Сг ( (u)du =
=рС,+ ( р-р)СгфаlHW-pC,^lH°(u)]du .
Данное выражение достигает минимума при наименьшем возмож-
ном значении интеграла в правой части. Это значение достигает-
ся при условии, если в область D входят те и только те значе-
ния ц , в которых подынтегральная функция отрицательна, т.е.
^Сг%^-РС,^1Нс
(4.1.8)
Запиием неравенство (4.1.8) в. виде
pct
и~Р)Сг
называется о т н о ш е
, а критерий проверки гипотезы состоит в еле-
(4.1.9)
Функция
дМ
дующем.
Для полученного
числяется отношение
лом
в результате эксперимента значения и вы-
правдоподобия, которое сравнивавтся с чис-
рС,
u-~ U-p)Cz
Если отношение правдоподобия меньше , то принимается ги-
потеза Но , в противном случае она отвергается.
Данный критерий называется пороговым для отноше-
ния правдоподобия ^Н| — с порогом (4.1.10).
Аналогичный результат можно получить и для диокретной слу-
чайной величины и .
Применим пороговый критерий к рассмотренным выше примерам
(4.1.10)
Пример 4.1.4. В примере 4.1.I вероятность р того, что на-
угад выбранный транзистор является бракованным, не зависит от
результатов проверки других транзисторов и при условии истин-
ности гипотезы но равна р0 . Поэтому закон распределения слу-
чайной величины и=х будет биномиальным* и, следовательно,
имеет вид
р^Х^-р.Г. (4лл11
Аналогично при условии истинности гипотезы получим
I 1,1 лМ Г,> (4.1.12)
Отношение правдоподобия в данном случае будет определяться
выражением
pfl-W '-р,у
₽(“-“W -fr-pj- \i-pJ
Следовательно, неравенство (4.1.9) для данного примера прини-
мает вид
[p,(>-porw-px Pl ,
LM-p.nv-pJ и-р)сг
откуда
Lp.('-A)] \t-p,) *
Из условия p0>pt следует, что
Ро('-Р,)
а это значит, что
1П М-Р^п
PoH-p,) ’
Поэтому, определяя ц из неравенства (4.1.13), получим
(4.I.I4)
LnLPo('-p,°) J
Таким образом, если число и бракованных транзисторов сре-
ди наугад выбранных п транзисторов удовлетворяет неравенству
(4.1.14), то принимается решение о плохом качестве полученной
партии транзисторов, т.е. о выпуске этой партии первым заводов,
175
в противном случае - решение о хорошем качестве, т.е. о выпус-
ке ее вторым заводом. Следовательно, в качестве критической
границы и может быть выбрана величина
tn
,IL
Граница и,, оптимальным образом делит множество U на область
допустимых значений и критическую область. А
Пример 4.1.5. Будем считать случайную величину у подчинен
ной нормальному закону распределения о ну/хевым математическим
ожиданием и дисперсией б. . Тогда условная плотность показате-
ля u=z при отсутствии сигналах примет вид
’ (4-I-I5)
а
а при наличии сигнала
_ (U-X)*
гв® ’ (4,1-1б)
ц/яг yZ5L ЮА
так как u=z=z4-$ и, следовательно,
M[u] = M[x+§]=M[x]i-M[yJ=x; б[й]=б[х+£|=б[<7]=б3 .
С помощью выражений (4.1.15) и (4.1.16) отношение правдо-
подобия можно представить в виде2
Следовательно, неравенство (4.1.9) для этого примера принима-
ет вид
<4ЛЛ”
Пусть х>0 . Тогда, определив и из неравенства (4.1.17),по-
176
Если значение и , полученное в результате измерения слу-
чайной величины z = u , удовлетворяет неравенству (4.1.18),то
принимается гипотеза об отсутствии сигнала z , в противнем слу-
чае зга гипотеза отвергается.
Значение критической границы в данном случае определяется
выражением
ез . Г РС< I А
uS = -^tn[j7^jqe J’ А
Как видно из приведенных примеров, значение критической
границы при применении метода минимума риска определяется
значениями априорной вероятности р и потерь С,,С2 . Определе-
ние этих величин на практике овязаво с большими трудностями,по-
этому желательно получать величину без использования вели-
чин р , С( , Сг. Такой метод получения величины дает метод
теории тестов существенности.
Метод теории тестов существенности . Сущность метода со-
стоит в задании вероятности ошибки первого рода $ • Зная 8ТУ
величину и зависимость, связывающую 5 и и , можно найти крити-
ческую границу и,..
В качестве примера рассмотрим ПС и , подчиняющийся нормаль-
ному закону распределения. Построим для данного показателя ус-
ловную плотность распределения,
соответствующую нулевой гипо-
Г \ тезе (рио.4.1.3).
/ \ Для принятия решения о спра-
/ \ ведливости нулевой гипотезы или
/ \ о ее отклонении для последней
устанавливается некоторый уро-
- /,55 о *1,Я6 и. вень теста. Этот уровень выра-
рис 4|з дается величиной той критичес-
кой области, попадание в кото-
рую наблюдаемого значения ПС влечет за собой отказ от нулевой
гипотезы. Критическая область чаще всего устанавливается таким
образом, чтобы вероятность попадания в нее случайной величины
и находилась в диапазоне 0,01 - QI. Предположим, что ц =0,05.
Это значение вероятности попадания ц в критическую облаоть со-
ответствует таким долям площади, ограниченной нормальной кривей
и осью абсцисс, которые отрезаются ординатами, отстоящими на
1,96 величины и от ее математического ожидания (на рис.4.1.3
эти площади заштрихованы).
тп
Если наблюдаемое значение ПС и. более чем в 1,96 раза пре-
восходит среднюю величину и , т.е. попадает в границы критиче-
ской области, то принимается решение об отклонении нулевой ги-
потезы. Это решение основывается на том, что слишком маловеро-
ятна или малоправдоподсбна возможность такого большого случай-
ного отклонения. Более правдоподобно, что данное отклонение
обусловлено действием альтернативной гипотезы, что и приводит
к необходимости отклонения нулевой гипотезы. Сделанный вывод
будет еще более определенным при с; = 0,01.
Вероятность попадания показателя согласованности гипотезы
в критическую область является существенным параметром в мето-
дах проверки гипотез и имеет специальное название - уро-
вень значимости критерия прове р-
к и .
Отметим, что в литературе нет единого символа для обозначе-
ния уровня значимости. Например, в работах [11,27]он обознача-
ется символом р , в работе [38] - символом . В дальнейшем бу-
дем обозначать его символом q , так как уровень значимости ра-
вен вероятности ошибки первого рода.
Все сказанное выше поясняет сущность применения теории те-
стов существенности в общем случае.
При конкретном выборе критических границ необходимо учи-
тывать два дополнительных обстоятельства, а именно:
- соотношение между условными законами распределения ПС и ,
соответствующими нулевой и альтернативной гипотезам;
- взаимозависимость ошибок первого и второго рода.
Поясним эти обстоятельства более подробно.
Соотношение между условными законами распределения ПС и ,
соответствующими нулевой и альтернативной гипотезам, выражает-
ся в виде взаимного расположения их кривых распределения на оси
абсцисо. Особенности характеристики и , а также нулевой и аль-
тернативной гипотез приводят к тому, что кривые распределения
ipa/|)o(u) , (U) могут располагаться относительно друг
друга тремя различными способами:
- кривая распределения (и) сдвинута относительно
только вправо (рис.4.1'.4,а);
- кривая распределения (р./я (и) сдвинута относительно
фа. (и) только влево (рио.4.1.4,6);
°- кривая распределения (и) сдвинута относительно
(и) как вправо, так и влево (рис.4.1.4,в).
178
Рис.4.1.4
Очевидно, что вид критической области для каждого способа
должен быть различен, а именно, в первом случае должна быть
выбрана правосторонняя критическая область, во втором - лево-
сторонняя и в третьем - двусторонняя. Правосторонней называют
критическую область,определяемую неравенством и^>ц?(рис,4.1.5,а,
левосторонней - неравенством (рис.4.1.5,б), двусторонней-
неравенствами ц и > , где а1;г>и(.| (рис.4.1.5,в). I
При отыскании критической области достаточно найти крити- I
ческие точки. Методика их отыскания состоит в следующем. Зада-
ются уровнем значимости и ищут критическую точку , исходя
из требования, чтобы при условии справедливости нулевой гипоте-
зы вероятность того, что ПС ц попадет в критическую область би
ла равна принятому уровню значимости.
Для правосторонней критической области это условие имеет
вид “
P(u>u.) = jq)A, (u)du = n,
J W (4.1.19)
для левосторонней
Р(а<-и_)=Л фд, (u)du.=z^
4 i (4.1.20)
Для двусторонней
P(U^U ) + P(USU )= j ф (U)du+( ф (£Z)du=5 .
а'"о • и/нО
(4.1.21)
179
В последнем случае чаще всего выбирают симметрично располо-
женные критические точки, т.е.
P(i/^u ) = P(u=su
2 (4.1.22)
Критические точки, удовлетворяющие приведенным выше усло-
виям, находят по соответствующим таблицам [II, 37, 39].
Таким образом, при выборе критических областей необходимо
учитывать не только свойства нулевой гипотезы, но и свойства
альтернативной гипотезы.
Для пояснения взаимозависимооти ошибок первого и второго
рода рассмотрим условные плотности (и} , и право-
стороннюю критическую область с критической границей
(рис.4.1.6).
Из предыдущего известно, что вероятность ошибки первого ро-
да равняется вероятности попадания показателя и в критическую
область, т.е. <; . Чем меньше размеры критической области (уро-
вень значимости ц ),тем реже будет допускаться ошибка первого
рода,т.е.отвергаться правильная нулевая гипотеза Но .Однако бы-
ло бы неверно на основании этого делать вывод о том,что значе-
ние вероятности 5 должно быть выбрано как можно меньшим.Причи-
ну этого легко установить,если исходить из предположения о спра-
180
ведливости не гипотезы Но, а конкурирующей гипотезы W(. Так как
при этом предположении распределение ПС ц Судет характеризо-
ваться плотностью ц>а/н (и) , то в соответствии с логикой про-
верки гипотез будем с вероятностью
(4.1.23)
делать заключение о справедливости гипотезы Но при условии, что
верна гипотеза Н(, т.е. допускать ошибку второго рода. Как вид-
но из рис.4.1.6, уменьшение вероятности ошибки первого рода
приводит к возрастанию ошибки второго рода, и наоборот.
Рис.4.I.6
Указанная взаимосвязь ошибок первого и второго рода позво-
ляет сделать следующий важный вывод: для уменьшения вероятности
ошибки при принятии гипотезы критическую границу необходимо вы-
бирать таким образом, чтобы сумма вероятностей ошибок первого
и второго рода была минимальной. Если показатель согласованно-
сти подчинен нормальному закону, то минимум оуммы вероятностей
ошибок первого и второго рода достигается при выборе критиче-
ской границы в абсциосе точки пересечения кривых распределения
%/н и %/и ’ т,е’ так’ как показано на РИС.4.1.7.
u Вместе с тем необходимо заметить, что не во всех случаях
подход к выбору с учетом минимума суммы вероятностей оши-
бок первого и второго рода целесообразен. На практике чаще все-
го ответ о выборе целесообразной величины зависит от "тяже-
сти" последствий ошибок первого и второго рода для каждой кон-
кретной задачи. Например, если ошибка первого рода повлечет боль
шие потери, а второго рода - малые, то целесообразно принять
возможно меньшее 5 . Вернемся к примеру 4.I.I и рассмотрим,ка-
кую величину уровня значимости критерия проверки целесообразно
181
выбрать в данном случае с точки зрения потребителя транзисто-
ров. Заметим, что в задачах подобного типа вероятность приема
негодной партии изделий в нашем примере - транзисторов, т.е.
вероятность ошибки первого
рода принято называть рис-
ком потребителя, а вероят-
ность признать негодной
партию годных изделий - ри-
ском производителя. С точ-
ки зрения потребителя жела-
тельно уменьшать вероят-
ность приема негодной пар-
тии транзисторов, т,е. >
уменьшать вероятность ошибки
первого рода, в связи с чем вели-
чту(;целесообразно выбирать возможно меньшей.
Поскольку вероятность ошибки второго рода играет важную роль
при выборе критической области, то критерий проверки принято
характеризовать так называемой мощностью эе к р и-
герия проверки.
Мощностью эе критерия проверки называют вероятность попа-
дания показателя согласованности гипотезы й. в критическую об-
ласть при условии, если справедлива конкурирующая гипотеза.Дру-
гими словами, это - вероятность того, что нулевая гипотеза бу-
дет отвергнута, если справедлива конкурирующая гипотеза. На ос-
нове определения можно записать
ае = j (4.1.24)
ич U 1
С учетом выражения (4.1.23) равенство (4.1.24) примет вид
эе = /-| (u)du = 1-^ , (4.1.25)
т.е. мощность критерия - вероятность того, что не будет допуще-
на ошибка второго рода. Таким образом, для уменьшения ошибки
второго рода критическую область необходимо строить так, что-
бы мощность критерия при заданном уровне значимости была макси-
мальной.
Мощность критерия проверки позволяет обоснованно подойти к
выбору односторонних критических областей. Предположим, что в
качестве критической по-прежнему выбрана правосторонняя область
(рис.4.1.6), но кривая условной плотности распределения для аль-
182
<pa(u)
Рис.4.I.8
ipa/M (u) влево (рис.4.1.8). Найденные в этих условиях вероят-
ности
%(и)=/; эе=/-^ж°
(4.1.26)
показывают, что при таком выборе критической области ПС и ста-
новится непригодным для статистической проверки гипотезы Wfl ,
так как при этом мощность критерия проверки, использующего ПС
и , близка к нулю, а ошибки второго рода становятся практиче-
ски достоверными. Очевидно, что для увеличения мощности крите-
рия в данном случае следует выбрать левостороннюю критическую
область.
Если характер альтернативной гипотезы неясен, то целесо-
образно в качестве критической выбирать двустороннюю симметрич-
ную область.
Заметим, что единственный способ одновременного уменьшения
вероятностей ошибок первого и второго рода состоит в увеличе-
нии объема выборки.
4.1.5.Общая схема решения задач статистической проверки гипотез
Из приведенных рассуждений вытекает следующая схема провер-
ки любой статистической гипотезы:
а) выбирается критерий проверки гипотезы, соответствующий
ему показатель согласованности й. и определяется условная плот-
ность распределения фй/н (и);
б) назначается уровень значимости с, и выбираются границы
183
Uy , и^г критической области, отвечающей способу ее выбора в
соответствии с принятым критерием проверки;
в) проводится эксперимент и по его результатам находится
значение показателя согласованности ц ;
г) при попадании значения и в область допустимых значений
гипотеза Но принимается, при попадании его в критическую об-
ласть - отвергается.
§ 4.2. ПРОВЕРКА ГИПОТЕЗ О ЗАКОНАХ РАСПРЕДЕЛЕНИЯ
При обработке результатов экспериментов со случайными объ-
ектами одним из основных вопросов является обоснование закона
распределения, которому подчинены результаты эксперимента.
Пусть экспериментальным путем получена случайная выборка
, Х2,...,ХЛ. В связи с ее ограниченностью при обработке ста-
тистического материала приходится решать две задачи:
I. Как подобрать для полученного статистического ряда тео-
ретическую кривую распределения, выражающую лишь существенные
черты статистического материала, но не случайности, связанные
с недостаточным объемом экспериментальных данных (задача вырав-
нивания или сглаживания статистических рядов);
2. Объясняются ли неизбежные расхождения между подобранной
теоретической кривой распределения и статистическим распреде-
лением только случайными обстоятельствами или расхождения су-
щественны и связаны с тем, что подобранная нами кривая плохо
выравнивает данное статистическое распределение (задача провер-
ки гипотезы о законах распределения),
Задача выравнивания статистического распределения заключа-
ется в том, чтооы подобрать теоретическую плавную кривую распре-
деления, с той или иной точки зрения наилучшим образом описываю-
щую данное статистическое распределение. Методы решения этой
задачи выходят за рамки данной главы, поэтому отметим только,
что при ее решении применяются метод моментов, система кривых
Пирсона, система кривых Н.А.Бородачева и ряд других методов.
Задача проверки гипотезы о законах распределения начинает-
ся с выбора нулевой гипотезы. Для выбора нулевой гипотезы может
быть использована следующая методика. По данным эксперимента
определяются статистические оценки коэффициента асимметрии ал
и коэффициента эксцесса ел :
184
где
В теории распределений [42,64] доказано, что каждому закону
свойственно определенное соотношение между коэффициентами асим-
метрии и эксцесса, т.е. может быть построена диаграмма, изобра-
женная на рис.4.2.1. На ней выделены следующие характерные точ-
ки, прямые и области. Точки (0;-Т,2); (0;0) (0;3) и (4; 6) от-
вечают соответственно равномерному и нормальному распределениям,
распределению Лапласа и показательному распределению. Так, для
любого нормального закона а, - 0, = 0, что и определяет ко-
ординаты точки 2я. Гамма-распределение, логарифмически нормаль-
ное раопределение, распределения Стьюдента и Пуассона показаны
на диаграмме прямыми, а бета-распределение представлено обла-
стью. На рис.4.2.1 обозначено: I - равномерный закон; П - нор-
мальный закон; Ш - закон Лапласа; ТУ - бета-распределение; У -
закон Стьюдента; УТ - гамма-распределение; УП - закон Пуассона;
185
УЕ - показательный закон; IX - логарифмически нормальное
распределение.
При попадании точки в области диаграммы, для которых не оп-
ределен закон распределения, выдвижение гипотетического закона
должно осуществляться на основании каких-либо дополнительных
априорных соображений или сведений.
Знание оценок коэффициентов асимметрии и эксцесса позволя-
ет приближенно определить гипотетический закон распределения.
Для этого по полученным значениям оценок на диаграмму наносит-
ся точка (а* , ё, ). Если она окажется вблизи от точки, прямой
зли области,1 соответствующих'одному из распределений, то пос-
леднее и следует выдвинуть в качестве гипотезы.
Задачу проверки гипотезы о виде закона распределения рас-
смотрим в предположении, что предыдущая задача решена, т.е. по-
добран теоретический закон распределения.
4.2.1, Методы проверки гипотез о законах распределения
Задача проверки гипотезы о законе распределения формулиру-
ется следующим образом.
Пусть в результате эксперимента получена случайная выборка
1ц£г,...,хп и для нее подобран теоретический закон распре-
деления, характеризуемый функцией распределения ГА(х) или плот-
ностью распределения ц»Л (г). 1
Необходимо на основании обработки и анализа полученной вы-
борки проверить гипотезу Но о том, что наблюдаемая случайная
величина подчинена выбранному закону распределения.
В настоящее время существует ряд методов решения данной за-
дачи, однако на практике наибольшее распространение получили
методы А.Н.Колмогорова, К.Пирсона и В.Н.Смирнова, отличающиеся
друг от друга видом меры рассогласования между статистическим
и гипотетическим законами распределения. Так, в методах Колмо-
горова и Смирнова такой мерой является функция разности между
статистической функцией распределения F* (х) и функцией рас-
пределения F*(z) гипотетического закона, т.е.
d = (4>22)
а в методе Пирсона - функция разности между частотой и вероят-
ностью попадания случайной величины в заданные интервалы,т.е.
‘'-'tf-d ’ (м.з)
где j - номер интервала.
186
4.2.2. Проверка гипотезы о законе раеповлмгаття
по методу Колмогорова
При проверке гипотез о законе распределения по методу Кол-
могорова в качестве показателя согласованности гипотезы исполь-
зуется случайная величина
u=ynmax|F*(x)-FA (х)| , (4.2.4)
где Г*(х) и F„(z) - соответственно статистическая и теоретичес-
кая (гипотетическая) функции распределения наблюдаемой случай-}
ной величины х.
Колмогоров доказал, что независимо от вида закона распреде-
ления случайной величины х , функция распределения ПС й в
пределе, т.е. при п-*оо .характеризуется зависимостью
ГЛ(ц)=2 . (4.2.5)
2 к--<о
b качестве критической области при использовании метода
Юлиогорова используется пра"осторонняя область. Тогда из ра-
венства
q = P(uau|.)= 7—= ) (4.2.6)
вытекает, что критическая граница равняется квантилю слу-
чайной величины и. при аргументе 7~q.
(1-^) . (4.,2.7)
Для значений в зависимости от уровня значимости с, .рас-
считанных по Формуле (^.с./)( составлена специальная таблица
(табл.4.2.1).
Общий вид зари- Т а б л I ц а С’Л
симости (4.2.7) изо- q I Щ51 0>I I О;оТГ~о7~!~Б7
бранен на рис.ч.<,2. ----------------——-------------;-----
Правила провер- I0,8’8 |1| т ,627 ( 1,9
ки гипотезы о законе распределения заключается в следующей?
I. Назначается уровень значимости q и по табл.4.2.1 или
по грарику на рис.4. .2 определяется критическая граница I
2. По результатам наблюдении строится статистическая фун--|
ция распределения Гл (х) , показанная на рис.4.2.3, I
3. На том же графике строится предполагаемая теоретическа1
пункция распределения Fn (х). I
187
4. По графику определяется максимальная величина модуля раз-
вести ординат статистической и теоретической функций распределе-
ния и вычисляется значение и по ц г-------------------------
формуле (4.2.4). \
5. Проверяется условие и,.. '’5
Если оно выполняется, то гипотеза _____________
Но бракуется, в противном случае ’
делается швод, что результаты эк- _____________~~ —
сперимента не противоречат гипо-
тезе о том, что наблюдаемая слу- L--------—
чайная величина т подчинена за- Рис.4.2.2
кону распределения с функцией рас-
пределения ГА(х).
Достоинствами метода Колмогорова являются его простота и
отсутствие сложных расчетов. Однако он обладает существенными
недостатками, а именно:
а) применение метода требует значительной априорной инфор-
мации о гипотетическом законе распределения, так как кроме ви-
да закона распределения должны быть указаны значения всех па-
раметров распределения;
Рис.4.2.3
б) метод учитывает только максимальное отклонение статисти-
ческой функции распределения от теоретической, а не закон из-
менения этого отклонения по всему размаху случайной выборки.В
связи с этим при принятии гипотезы может быть допущена ошибка
в тех случаях, когда Функция распределения сдвинута по оси аб-
сцисс (рис.4.2.4). 'Гак, если соотношение между теоретической
и статистической функциями распределения имеет вид, изображен-
ный на рис.4.2.4, 1ричем значения mai|F£*(x)-FA(i)| на рис.4.2.3
/ 4.2.4 имеют приблизительно одну и ту же величину, то при ис-
188
пользовании метода Колмогорова будут приняты одинаковые вы-
воды, хотя во втором случае (рис.4.2.4) соответствие гипотезы
опытным данным значительно хуже, чем в первом.
4.2.3. Проверка гипотезы о законе распределения
по методу Пирсона
В методе Пирсона мерой расхождения теоретического и стати-
стического законов распределения служит сумма квадратов раэно-
отей между частотой и вероятностью попадания случайной величи-
ны z в интервалы, на которые разбивается множество возможный
значений этой величины:
и = Sс {р*-р / ,
г-' ' ’ (4.2.8)
где г - число интервалов;
j - номер интервала.
Коэффициенты с вводятся для учета того обстоятельства,чтс
абсолютные значения разностей р*-р. неравнозначны при разлю
ных значениях р . Действительно, одно и то же значение разно-
сти pj-p. является малозначимым при большой величине Pj и пре
ставляет собой заметную величину, если вероятность р^ мала.
Пирсон показал, что коэффициенты целесообразно браться
ратно пропорциональными вероятностям р , причем, если опреде-
лять их на основе выражения
С</ = р^’^~1(^Г' (4.2.9)
то при больших значениях п закон распределения случайной ве-
личины
189
* ; “(P'-PS
pd (4.2.10)
обладает весьма важным свойством: он практически зависит не от
вида закона распределения случайной величины т и объема выбор-
ки п , а только от числа интервалов г , причем при увеличении
л закон распределения случайной величины и. приближается к
распределению у.
Докажем это утверждение.
Рассмотрим случайную величину т - число попаданий наблю-
даемой случайной величины х в j -й интервал [</=/(/)/•] . Эта
случайная величина распределена по биномиальному закону рас-
пределения с характеристиками:
ViW/ o[rfy . (4.г.п)
однако при достаточно большом п ее на основании теоремы Муав-
ра - Лапласа можно считать распределенной по нормальному закону
с теми же числовыми характеристиками. Пронормировав случайную
величину т , получим
„ ~nPj
Нормированные случайные величины z связаны между собой ли-
нейным соотношением
$ = Л Ч ~п& Pj=n~n = ° •
На основании этого .Случайная величина S zz будет прибли-
иенно следовать хи-квадрат распределению с(г-/) степенью свобо-
ды. Если эту случайную величину принять за статистическую харак-
теристику гипотезы, то получим равенство
• (4-2-13)
Преобразуем выражение (4.2.13), учитывая, что
Е т =п
J
и / -« / при больших значениях п:
Л_у £n(P'-pJ (4.2.14)
% “Л
190
ИЛИ Л Л 2 2 лг
*=y ^-2^пр^п pd- j rrij
r.t nPj
</•/ npd
-ZS m +nS p, =S —
J--I J rj j=t np.
(4.2.15)
Выражения (4.2.14) или (4.2.15) используются в зависимости
от формы представления результатов наблюдения, т.е. в зависи-
мости от того, являются ли исходными данными или
Как известно, распределение / зависит от числа степеней
овободы K=r-s, равного числу интервалов г минус число неза-
висимых условий ("связей"), наложенных на частоты />* . В фор-
муле (4.2.13) предполагается наличие только одной связи ($ =1)
представляющей собой условие
S р*=’, (4.2.16)
которое накладывается вО всех случаях.
В случае, когда теоретическое распределение подбирается
так, чтобы совпадали математическое ожидание теоретического рас-
пределения и оценка математического ожидания, полученная по ре-
зультатам наблюдения, т.е.
Зг р*=Ч , (4.2.17)
J = l J'J X.
то число связей увеличивается на единицу. Следовательно s = 2
и число степеней свободы R = r-2. Если условие совпадения па-
раметров теоретического закона распределения и статистическо-
го закона распространяется и на дисперсию, т.е. предполагает-
ся, что г
2(£-/И)гр=Д, (4.2.18)
</=/ </ х' Q х
то s = 3 и h = f - 3 и т.д.
Таким образом, число степеней свободы хи-квадрат распреде-
ления при проверке гипотез зависит от условий проведения про-
верки, что необходимо учитывать, используя показатель согласо-
ванности гипотезы (4.2.14) или (4.2.15).
Можно показать, что при невыполнении гипотезы Но по мере
возрастания п значение ПС й будет неограниченно увеличивать-
ся, т.е. кривая распределения фа/м (и) сдвинута относительно
кривой (ц) вправо. Поэтому в соответствии с рекомендациями
а
РИС.4.2.5
191
предыдущего параграфа в качестве кри-
тической целесообразно выбрать
правостороннюю критическую область
(рис.4.2.5). В этом случае доя опре-
деления критической границы можно
использовать табл.18 [37] или табл. 3.20
[39], в которых даны значения 100
q -процентного предела для закона
хи-квадрат в зависимости от вероятно-
сти q и числа степеней свободы И .
Порядок проверки гипотезы о виде закона распределения со-
стоит в следующем:
I. Назначается уровень Значимости q и по табл.18 [37] или
по табл.3.20 [39] определяется критическая граница . Входа-
ми в таблицу служат уровень значимости q и число степеней сво-
боды Н.
2. Результаты эксперимента представляются в виде ста-
тистического ряда (табл.4.2.2), где т. и р* - число и часто-
та попаданий исследуемой величины х ву-й интервал [у = ((()/*]
соответственно.
Таблица 4.2.2
<хг xj > xj+t Xr>Xr+1
/л mi т mr-
р; Р' Р* Pr
3. Вычисляются вероятности р попадания случайной величины
I , следующей гипотетическому закону распределения, в j -й
разряд [</=/(/)г]-- zr
(4.2.19)
гдец)^(д) - плотность распределения гипотетического закона.Оче-
видно, что S Pj = / , как сумма вероятностей несовместных со-
бытий, образующих полную группу.
4. Рассчитывается значение и. показателя согласованности
гипотезы по формуле (4.2.14) или (4.2.15).
5. Проверяется условие Us . Если оно выполняется, то
расхождение между экспериментальными данными и гипотезой HQ
полагается несущественным. В противном случае нулевая гипотеза
отвергается.
Существенное достоинство метода Пирсона состоит в возмож-
ности его применения тогда, когда априорно известен лишь вид
192
гипотетического распределения, но неизвестны его параметры. В
этом случае параметры распределения заменяются оценками, полу-
ченными по экспериментальным данным и используемыми в дальней-
шем для вычисления вероятностей р , а число степеней свободы
уменьшается на число заменяемых параметров. Метод Пирсона име-
ет следующие недостатки:
а) он применим только при большой выборке (п 100), так
как ПС ц следует распределению хи-квадрат лишь при достаточ-
но большом п ;
б) результаты проверки в значительной степени зависят от
способа разбиения выборки на интервалы, причем их число долж-
но быть не менее 10, а количество попаданий случайной величины
х в любой из интервалов - не менее 5.
4.2.4. Проверка гипотезы о законе распределения
по методу Смирнова
При проверке гипотезы о законе распределения по методу Смир-
нова (методу шг ) в качестве меры рассогласования теоретическо-
го и статистического законов распределения, как и в методе Кол-
могорова, используется функция разности статистической и теоре-
тической функций распределения. Однако в качестве показателя
согласованности гипотезы применяется не максимальное значение
этой разности, а среднее значение ее по всей области определе-
ния функции распределения, что исключает недостаток, присущий
методу Колмогорова.
В общем случае показатель согласованности гипотезы опреде-
ляется выражением
u=u? = (S)j ^Р*(х)-Р^х)^(1Р^х), (4.2.20)
так как наблюдаемая случайная величина может быть и смешанной.
Здесь ( S ) - символ интеграла Стильтьеса.
В частном случае для непрерывной случайной величины
dF* (х) = ip^fxfdx
и интеграл Стильтьеса переходит в обычный интеграл Римана:
Если наблюдаемая случайная величина является дискретной,то
интеграл Стильтьеса переходит в сумму
(4,2.22)
Можно показать, что после ряда преобразований выражение (42.20)
приводится к виду
<4-2-2з>
применение которого значительно упрощает процесс вычисления по-
казателя согласованности.
Точный закон распределения случайной величины и, опреде-
ляемой выражением (4.2.23), имеет весьма сложный вид, поэтому
на практике в качестве показателя оогласованности гипотезы ис-
пользуют случайную величину
, (4.2.24)
закон распределения которой уже при п а. 40 достаточно близок
к предельному закону, график функции распределения которого
изображен на рио.4.2.6.
Значения критиче-
ской границы для это-
го предельного закона,
равные квантилю случай-
ной величины и поряд-
ка (I - q ) и рассчи-
танные по формуле
в зависимости от уров-
ня значимости t; , при-
ведены в табл.4.2.3.
t; | 0,5 | 0,1 | 0,05 | 0,02 | 0,01
0,118 0,347 0,461 0,620 | 0,744
Проверка гипотезы по методу Смирнова осуществляется в сле-
дующем порядке:
I. Назначается уровень значимости t; и по табл.4.2.3 опре-
деляется нижняя граница и.^ критической области;
J 94
2. Вычисляется наблюдаемое значение ПС и по формуле
(4.2.24);
3. Проверяется условие и > . Если оно выполня-
ется, то нулевая гипотеза HQ отвергается, в противном случав
делается вывод о том, что результаты эксперимента не противоре-
чат гипотезе о подчинении наблюдаемой случайной величины х тео-
ретическому закону распределения с функцией распределения/^^),
х
§ 4.3. ПРОВЕРКА ГИПОТЕЗ О МАТЕ1АТИЧЕСКИХ ОЖИДАНИЯХ И ДИСПЕРСИЯХ
4.3.1. Проверка гипотез" о равенстве математических ожиданий
Пусть имеются две независимые случайные величины х и у ,
распределенные по нормальному закону. Эксперимент состоит в
том, что над случайными величинами х и у осуществляется со-
ответственно п и т независимых наблюдений, т.е. получаются
случайные выборки (х( г„) и (£ , уг......уп}. По
этим выборкам определяются оценки математических ожиданий
й=п.?А: (4-зл)
Требуется по полученным оценкам проверить гипотезу о равенст-
ве математических ожиданий Мл и М* .
Такая задача ставится потому, что, как правило сценки ма-
тематических ожиданий оказывается различными. Причина этого
может быть двоякой^ либо действительно отличны и оценки, и ма-
мематические ожидания Мл и Мл , либо ЛЛ и Мл одинаковы, а
X „ У X у
отличие оценок вызвано случайными причинами, в частности слу-
чайным отбором вариантов выборки. Если окажется, что нулевая
гипотеза Ни справедлива, т.е. М* и Мл одинаковы, то разли-
чие в оценках и Мл будет обусловлено случайными причинами,
в противном случае это различие не может быть объяснено случай-
ными причинами, а определяется отличием математических ожида-
ний.
При решении данной задачи могут встретиться два случая,ко-
торые мы и рассмотрим.
А. Дисперсии Д и ])л наблюдаемых случайных величин х и
у известны. 1 5
В качестве показателя согласованности гипотезы выберем слу-
чайную величину
й-34т-
б[йг-Я.]
(4.3.2)
195
Целесообразность выбора именно такого вида ПС определяется
следующими соображениями.
Введем в рассмотрение случайную величину
2 = М - М
£ s
(4.3.3)
которая, очевидно, распределена по нормальному закону и имеет
числовые характеристики:
б. бЛ
МА = МЛ-МЛ-, Д. = -=*- +
g X у в п т
Пронормировав случайную величину
z , получим
<4-3-4’
У ~П~ + ГП
Случайная величина и. подчинена нормальному закону распре-
деления, параметры которого известны (МЛ=0 , бл = 7), что су-
щественно упрощает процедуру проверки нулевой гипотезы. Дейст-
вительно, если гипотеза Нд справедлива, т.е.Л7д = Мл , то слу-
чайная величина z центрирована, откуда следует, чго/И„ = 0.Так
как выборки независимые, то б.= I.
Критическая область строится в зависимости от вида альтер-
нативной гипотезы, которая может быть сформулирована тремя раз-
личными способами:
Мл 4 > Мл ; Мл .
X У X у X у
Рассмотрим методику проверки гипотезы Цд для каждого из
приведенных способов формулировки конкурирующей гипотезы:
Т.Н -.МЛ=МЛ-, Н-.М.ФМЛ.
° X у ' X у
В этом случае строят двустороннюю критическую ’область, ис-
ходя из требования, чтобы вероятность попадания в нее ПС в
предположении справедливости нулевой гипотезы была равна при-
нятому уровню значимости е; .
Наибольшая мощность критерия достигается тогда, когда ле-
вая и правая критические точки ц,.,, выбраны так, что вероят-
ность попадания ПС и. в каждый из двух интервалов критической
области равна q/2 , т.е.
(4.3.5)
P(u^U52)=4/2.j
Поскольку й - нормированная нормально распределенная слу- ]
чайная величина и ее распределение симметрично относительно нуа
то критические точки также симметричны относительно нуля, т.е.
Используя функцию Лапласа, вероятность попадания ПС в кри-
тическую область можно определить выражением
откуда
(4.3.6)
Функция табулирована (см.табл.8 [37] или
табл.3.8 [39]), что позволяет находить величину не поль-
зуясь таблицами функций Лапласа» Заметим, что в таблицах вели-
чина с( равна значению у = I - с; в формуле (4.3.6).
Двусторонняя критическая область будет определяться нера-
венствами » 1'аким образом, правило проверки
гипотезы Но для рассматриваемого случая можно сформулировать
следующим образом:
а) назначается уровень значимости t; и с помощью табл.8 [37]
(или табл.3.8 [39])и формулы (4.3.6) определяются границы крити-
ческой области u_. = -u , u_, =u •,
б) на основании результатов выборок вычисляется наблюдав-
мое значение показателя и по формуле
Z- / 4 /Я
/д $
|-nL+ т V п + т
в) проверяется условие |ц| =>и . Если оно выполняется, то
гипотеза Но Отвергается. В противном случае данные эксперимен-
та не противоречат нулевой гипотезе и ее следует принять.
Пример 4.3.1. Производится контрольный отстрел двух партий
снарядов, причем из первой партии проверяется 10 снарядов, а из
второй - 15. В результате отстрела получены следующие средне-
арифметические отклонения точек попадания снарядов от точки
прицеливания по дальности: для первой партии отклонение равно
-0,8 м, для второй - ч 0,4 м. Среднеквадратические отклонения
по дальности для снарядов первой и второй партий известны и
равны соответственно 2 и 1,5 м. Необходимо проверить гипотезу
о совпадении проекций центров рассеивания на ось дальности в
обеих партиях.
19?
Решение. Обозначим отклонение точек попадания снарядов
от точки прицеливания по дальноотп для первой и второй партий
соответственно символами х и у .
По условию задачи л= 10, т - 15, Мл = -0,8 км, Мл =0,4 км
бА = 2 км, 6Л = 1,5 км. х *
1 Задаемся уровнем значимости = 0,05 и по таблице находим
Вычислив значение и по формуле (4.3.?), получим
= 1,62.
2,25
“I
1ак как |ц| с , то нулевая гипотеза Л/А=М. не противоре-
чит данным контрольного отстрела. Следовательно, есть основа-
ния полагать, что проекции центров расоеивания на ось дально-
сти в обеих партиях совпадают. Л
2 .//о-.М£ = ; Н,: .
На практике такой случай имеет место, если априорные све-
дения позволяют предположить, что математическое ожидание слу-
чайной величины х больше математического ожидания случайной
величины у . Например, если введено усовершенствование техно-
логического процесса, то естественно допустить, что оно приве-
дет к увеличению выпуска продукции, т.е. математическое ожида-
ние объема выпущенной продукции будет больше. В этом случае
отроят правостороннюю критическую область, исходя из требова-
ния, чтобы вероятность попадания в нее ПС в предположении спра-
ведливости нулевой гипотезы была равна принятому уровню зна-
чимости q , т.е.
P(US:U4) 5- (4.3.8)
Покажем, как найти критическую точку с помощью функции Лап-
ласа. Перепишем выражение (4.3.8) в виде:
P(Ztauc.) = P(u(.^u^oo) = -^[j-®(^Jj = t; .
Отсюда получим
г®®"?"4
и, следовательно,
Таким образом,
= . (4.3.9)
Правило проверки гипотезы для рассматриваемого случая фор-
мулируется следующим образом:
а) назначается уровень значимости t; и по табл.8 [37], вхо-
дя в нее со значением (I - 2t;), определяется величина и;
б) на основании результатов выборок по формуле (4.3.7) оп-
ределяется величина и ;
в) проверяется условие и --и,. . Если оно выполняется, то
гипотеза Но отвергается, в противном случае она принимается.
3. НО-.М^--МЛ , Н - м .
При такой (рорцул^розке аль.-эрнативной гипотезы строях ле-
востороннюю критическую ’•оласть, исходя из требования, что®
вероятность попадания в нее ПС в предположении справедливости
нулевой гипотезы была равна принятому уровню значимости t; ,
т.е.
P(u-u't.)=5. (4.3.10)
Учитывая, что критерий й имеет симметричное распределение
относительно нуля, заключаем что и' симметрична такой точке
u,.>0 , для которой P(us-ец ;=q, т.е. и^=-ц.^ . В связи с эти
методика определения полностью совпадает с методикой преды-
дущего случая, только полученное значение берется с отрицатель-
ным знаком.
Правило проверки гипотезы ”акже аналогично, за исключени-
ем п.в, а именно, если , то нулевая гипотеза отвер-
гается и принимается в противном случае.
Выше предполагалось, что случайные величины х и у распре-
делены нормально, а их дисперсии известны. При этих предполо-
жениях показатель согласованности гипотезы распределен точно
нормально с параметрами Мл = 0, бл = I. Если хотя бы одно из
приведенных предположений не выполняется, описанный метод про-
верки гипотезы о равенстве математических ожиданий неприменим,
Однако, если независимые выборки имеют большой объем (не менее
30 вариантов каждая), то оценки математических ожиданий и дис-
персий распределены приближенно нормально и закон распределе-
ния ц можно считать близким к нормальному. При этом в качест-
ве ПС можно использовать случайную величину и аналогичного
и проводить проверку гипотезы по описанной выше методике, но
к полученным выводам следует относиться с осторожностью.
Б. Дисперсии Ия , D наблюдаемых случайных величин х и у
неизвестны. S
В данном случае решать задачу проверки гипотезы описанным
выше методом нельзя, гак как,показатель согласованности
А Мл -м,
u= Л •/-. (4.3.12:
б[^-Мд]
не будет подчиняться нормальному закону распределения. В свя-
зи с тем, что дисперсии и D„ неизвестны, задачу проверки
гипотезы о равенстве математических ожиданий можно решить лишь
при наличии дополнительных данных, а именно, если известно от-
ношение дисперсий
-0» es „г
; 6S S (4-ЗЛЗ)
В частном случае дисперсии Вл и D. могут быть равны, т.е.
« = I. * ’
Если отношение (4.3.13) известно, Фо можно показать, что
наиболее целесообразен ПС вида [38]
м
1атп(п+т-2) _ т.<
(4.3.14)
,л+т+г’
подчиняющийся закону распределения Стьюдента с (л+/п-2) сте-
пенями свободы.
Выражение (4.3.14) может быть получено на основе равенства
(4.3.12), если в качестве /И. и М использовать их подходящие
оценки х *
х П 1=1 1 * * л (4.3.15)
а в качестве дисперсий случайных величин х и у - оценки
^=-1Л(Ь-М\г.
S: ’ 3 (4.3.16)
Рассмотрим вывод формулы £4.3.14) для случая а - I.
В качестве оценки Б- Мя ] при условии, что случайные
величины х и у имеют сравнимые*диспсрсии, обычно принимают функ-
цию
200
(4.3.1?)
g.= , (4.3.13)
и[(н-4)в!]='(-я-+й-)мИ-
\л п+т-2 J
'I + M (л-/)м[§£2]+(л1-/)/и[ёа] _
<л т/ п+т-2
Ч_ + JJ) (л-/)б2+(т-/)б2 И+ ±\q\
(.л т/ п+т-2 \п т/
А Из предыдущего известно, что если случайная величина (AL -
- МА ) подчиняется нормальному закону распределения, то случай-
ная^величина вида
(м.-(й8)-м[м£-,у.]
(4.3.19)
имеет распределение Стьюдента,х причем число степеней свободы
к = п+т-2 . Если гипотеза Но справедлива, то выражение (4.3.191
можно переписать в виде
л М„-М~
i = * • (4.3.20)
<-"-2) е[я-/и]
Подставив в формулу (4.3.20) выражения (4.3.15) и учитывая
равенства (4.3.16) - (4.3.18), получим
А _ .
",+m'2> l(j_ ; X ^(п-П+блг(т-1Г
V\n + Л1/ Л+Л1-2
= /лл1(л+т-2) (4 3 21)
v "*т
Для случая а / I аналогичным образом можно получить выра-
жение (4.3.14),выбранное в качестве ПС гипотезы. Особенность
201
данного ПС состоит в том, что его использование не тре<5ует апри-
орной информации»
Критическая область, как и ранее, в зависимости от альтер-
нативной гипотезы строится по-разному, а именно:
ЬНР--МГМ? ; Н,-.М£ФМ} .
В этом случае строят двустороннюю критическую область,при-
чем в связи с тем, что кривая распределения Стьюдента симметрич-
на относительно нуля, критическая область является симметричной.
Ее границы ц
можно найти из равенства
О *(п+т-2)
(4.3.22)
где u.e.= tc.l( , к=п+т-2, с помощью таблицы распределения Стью-
дента (табл.19 [37J или табл.3.21 [39]). Напомним, что плот-
ность распределения закона Стьюдента с (л+т-2) степенями сво-
бода определяется выражением
г(а±Т±) / t‘
9
Правило проверки гипотезы о равенстве математических ожида-
ний формулируется следующим образом:
а) назначается уровень значимости <; и по табл.19 [37] или
по табл.3.21 [39] находится величина = Входами в таб-
лицу являются вероятность (/-5) и число степеней свободы А =
= (л + т-2);
б) вычисляется наблюдаемое значение ПС и по формуле
п mjt Яj I атп(п<-т-2)
V m¥a"
_ M£ M5 lamnln+m-zT.
V m^an ' ’
в) проверяется условие |ц| >ц . Если оно выполняется,
то гипотеза Но отвергается. При |ц| данные эксперимента
не противоречат исходной нулевой гипотезе и ее следует принять.
Пример 4.3.2. При экспериментальном исследовании радиодаль-
номера произведено 12 независимых измерений дальности до конт-
202
рольного объекта, в результате обработки которых найдены зна-
чения оценок числовых-характеристик ошибки радиодальномера:
= -0,03 км; <5$ = 0,12 км. После юстировки произведено еще 16
независимых измерений и получены новые значения оценок =
= 0,02 км, ©л = 0,1 км. Можно ли полагать, что юстировка^не
повлияла на систематическую ошибку радиодальномера, т.е. что
Мл , если известно, что характеристики точности устройст-
ва от юстировки не зависят (б^=©л).
Решение. Задаемся уровнем значимости t; = 0,05 и по
табл.19 [37] или табл.3.21 [39] для вероятности /-с; = 0,95 и
числа степеней свободы И =.п+т-2=26находим u = f ,.„ = 2,056.
Вычисляем значение и по формуле (4.3.24), полагая в ней
а = I, так как ©, = ©л:
х и~
и = ~/лт(л+т-2) _
у/(л-/)^2-(т-/)бд2' V т+п
= -0,03—0,02 112-16(12+16-2)
^11-0,0144+15-0,01' V 12+16
Так как |а| и,. , то данные наблюдений не позволяют от-
вергнуть нулевую гипотезу и считать, что влияние юстировки на
систематическую ошибку радиодальномера является существенным.!
2.Но-.М4=Л/5; .
В этом случае строят правостороннюю критическую область та-
ким образом, чтобы выполнялось условие
Р(и - = . (4.3.25)
Границу критической области можно найти из равенства
(ip. (t)dt = ^
• ‘(n+m-2)
по специальным таблицам распределения Стьюдента.
При выполнении неравенства и и.^ нулевая гипотеза прини-
мается, в противном случае она отвергается.
3. М0:Л4 = К; Н,-.М^М$ .
При этом строят левостороннюю критическую область таким об-
разом, чтобы выполнялось условие
Р(ы^ц,.)=5. (4.3.26)
Границу критической области находят из равенства
по специальным таблицам “распределения Стьюдента.
203
Величину ц определяют по формуле’ (4.3.24). Если и =» ц ,
то нулевая гипотеза принимается, в противном случае отверга-
ется,
4.3.2. Проверка гипотезы о равенстве дисперсий
Проверка гипотезы о равенстве дисперсий - одна из важней-
ших задач статистической обработки результатов наблюдений. На
практике задача сравнения дисперсий возникает, еоли требуется
сравнить точность приборов, погрешности показаний измеритель-
ных устройств, точность методов измерений и т.д.
Сформулируем задачу проверки гипотезы о равенстве диспероиа.
Пусть имеются две случайные величины х и у , каждая из
которых подчиняется нормальному закону распределения с диспер-
сиями и Д. . По независимым выборкам (xf , xz,..., хп) и
( £ , уг ,..., ут), объемы которых соответственно
найдены оценки дисперсий:
равны п и
(4.3.27)
чем возникает
Обычно полученные оценки различны, в связи с
вопрос, существенно или несущественно они различаются, т.е.мож-
но ли на основании обработки результатов наблюдений полагать,
что Д = Дд (нулевая гипотеза).
Если нулевая гипотеза справедлива, то это означает, что
выборочные дисперсии (4.3.27) представляют собой оценки одной
и той же числовой характеристики рассеивания генеральной со-
вокупности и их различие определяется случайными причинами. В
противном случае (если Нд отвергнута), различие оценок сущест-
венно и является следствием того, что дисперсии генеральных со-
вокупностей различны.
В качестве показателя согласованности гипотезы о равенст-
ве дисперсий примем отношение большей оценки диоперсии к мень-
шей, т.е. случайную величину л А
г - (4.3.28)
Для определенности положим, что 5Л =* 1)л , поскольку за
счет изменения символов задачи всегда можно обеспечить выпол-
нение данного неравенства.
204
Учитывая оценки (4.3.27) при усгсвии, что нулевая гипотеза
справедлива, на основе отношения (4.3.28) получим следующее вы-
ражение для ПС:
а-МТ’
ПС представляет собой случайную величину,
распределения Фишера со степенями свободы
. Напомним, что п - объем выборки, по кото-
рой вычислена большая оценка дисперсии, т- объем выборки, по
которой вычислена меньшая оценка дисперсии. Как известно [38],
распределение Фишера зависит только от значений степеней свобо-
(4.3.29)
Таких образом,
подчиненную закону
ды и не зависит от других параметров.
Критическая область в зависимости от вида конкурирующей
гипотезы отроитоя по-разному. Как и ранее, рассмотрим три вида
конкурирующей гипотезы:
W W
Построение критических областей для каждого из этих видов
осуществляется следующим образом:
I. Но: = Вл ; Я( •• % *1>5 -
В этом случай строят двустороннюю критическую область, ис-
ходя из требования, чтобы вероятность попадания в нее ПС в пред-
положении справедливости нулевой гипотезы была равна принятому
уровню значимости ц . При этом наибольшая мощность критерия
проверки достигается тогда, когда вероятности попадания ПС в
каждый из двух интервалов критической области будут одинаковы
и равны q /2 . Таким образом, при построении критической обла-
сти должны выполняться условия (рис.4.3.1):
1 (4.3.30)
Р(й^и^-ч/г. J
Правая критическая точка может быть найдена непосредст-
венно по табл.20 [37] распределения Фишера или табл.3.22 [39].
При этом входами в таблицы будут величины 0=r;/2 tkt=.n-1 ,
Я2=т-/, т.е.
u92 = f(|,n.r,m.r) = f52 •
Однако левых критических точек эта таблица не содержит и
поэтому непосредственно по ней найти ц?| невозможно. Это объяс-
няется тем, что таблицы распределений Фишера составлены лишь
для ограниченного набора вероятностей из области малых значе-
205
вий с; (практически они составлены для q = 0,01; 0,02; 0,10;
0,20. В работах [37,39] даны таблицы лишь для q = 0,05 и 0,01).
Для определения ле границы следовало бы войти в таблицу с
аргументом 9= 1-^/2. В связи с этим для нахождения левой крити-
ческой границы ц приходится прибегать к следующему приему.Рас-
смотрим события fn i m i -Z. и Так как эти сой,_
тия эквивалентны, то их вероятности равны, т.е.
<4-3-31)
Однако случайная величина у—-------, как известно [38,Д5],
также следует распределению Фишё'Ьа’со степенями свободы к, =
= т-1 ,кг = п-1. Поэтому значение l/f^ может быть найдено как
верхний 100-^--процентный предел этого закона распределения,
т.е. l/f^ = m_1п_(. Таким образом, для определения 1 /f^ не-
обходимо войти в таблицу распределения Фишера с аргументами
9=q/2; kt = m-1 ; к2=п-1.
Значение левой критической границы определяется как величи-
на, обратная значению, найденному по таблице.
Учитывая сказанное выше, правило проверки гипотезы о равен-
стве дисперсий можно сформулировать следующим образом:
а) назначается уровень значимости q и по таблице распреде-
ления Фишера находятся критические границы и^2. При нахож-
дении критической границы н1_2 входим в таблицу с аргументами
8 = q/2 ; kt = n-1 ; к2=гп-1 , а при определении критической грани-
цы - в таблицу с аргументами 8 = q/2; kt=m-1 J Я2 = п-1. В
этом случае табличное значение fT используетоя для определе-
ния критической границы ц . из отношения
206
= (4.3.32)
б) вычисляется значение ПС
(4.3.33
Л е*
в) проверяется неравенство с и -с и . Если оно выпол-
няется, т.е. наблюдаемое значение ПС попадает в область допу-
стимых значений, то делается вывод об отсутствии существенного
различия между сравниваемыми дисперсиями, т.е. гипотеза Нв при-
нимается. Если и ц<_1 или ц> ц[_2 , то нулевая гипотеза отвер-
гается.
Пример 4.3.3, При исследовании стабилизатора напряжения про-
ведено 7/ испытаний и получена дисперсия выходного напряжения,
равная 0,06 В2. После доработки стабилизатора проведено еще
ТЗ испытаний, в результате чего оценка дисперсии выходного нап-
ряжения стала равна 0,10 В2?
Есть ли основания полагать, что в результате доработки точ-
ность стабилизатора не изменилась?
Решение. Обозначим 5Л = 0,10 В2, Д = 0,06 В2. Тогда
п = 13, т= 7. х s
Задаемся уровнем значимости 5 = 0,10 и по табл.20 [37] на-
ходим:
- для с;/2 =0,05; Rt = n - I = 12; К2= т -1 = 6; 0^=4,00,
- для t;/2 = 0,05; R(=m -1 = 6; г, - I = 12; l/fr =
= 3,0; и^= 0,33.
Вычисляем значение показателя согласованности
Ъ. " 0,06 - ’’67 '
Так как то гипотеза о том, что доработка не пов-
лияла на точность стабилизатора напряжения принимается. А
В этом случае строят правостороннюю критическую область,ис-
ходя из требования, чтобы вероятность попадания ПС и в эту об-
ласть ,в предположении справедливости нулевой гипотезы была рав-
на принятому уровню значимости;
Р(й >ис.) = е,. (4.3.34)
Критическую точку и = H к > находят по таблице распределена
Фишера, используя в качестве входов значения 0=q , R, = п -I;
кг= т - I. Наблюдаемое значение ПС определяется по формуле
207
(4.3.33). Если u , то нет оснований отвергнуть нулевую
гипотезу, в противном случае она отвергается.
З.Н0:^ = 1)Г, Н,: .
В этом случае строят левостороннюю критическую область та-
ким образом, чтобы
Р(и ич)=е; . (4.3.35)
Критическую точку находят по таблице распределения Фишера,
используя отношение
где fT - табличное значение, найденное при входах в таблицу
0 = r; ; ht = m - I; К2= п - I.
Наблюдаемое значение ПС определяется по формуле (4.3.33).
Если и. => , то нулевую гипотезу принимают, в противном слу-
чае она должна быть отвергнута.
В заключение отметим, что показатель согласованности гипо-
тезы (4.3.28) можно использовать для сравнения дисперсий и в
том случае, когда одна из них известна, т.е. для нее найдена
не оценка, а точное значение. При этом число степеней свободы
закона распределения Фишера в числителе или знаменателе выра-
жения (4.3.28) следует устремить к бесконечности. Методика про-
верки гипотезы остается прежней, только одна из степеней сво-
боды (/<! или /<2 ) будет иметь бесконечное значение.
Пример 4.3.4. Из партии снарядов с известной характеристи-
кой рассеивания по дальности ©. = 2 м испытываются 10 снарядов,
хранившихся без специальной тары. Есть ли основания полагать,
что в результате такого хранения рассеивание снарядов по
дальности возросло, если в результате испытаний получена оценка
0. = 2,7 м?
’Решение. В данном примере кривая распределения харак-
теристики й. при альтернативной гипотезе смещена влево, поэто-
му в качестве критической выбираем левостороннюю область.
Задаемся уровнем значимости q = 0,05 и для определения
входим в таблицу распределения Фишера со значениями 0 = q=O,O5
к, = т - I = 9; к, = аа . Получим fr = 1,88, откуда
и = f(fT = 0,53 .
Вычислив значение ПС, получим
208
Так как и. > и,. и значение ПС попало в область допустимых
значений, то у нас нет оснований утверждать, что в результате
хранения без специальной тары рассеивание снарядов по даль-
ности возросло. А
§ 4.4. ПРОВЕРКА ГИПОТЕЗ ОБ АНОМАЛЬНЫХ РЕЗУЛЬТАТАХ НАБЛЮДЕНИЙ
Задача проверки гипотез об аномальных (сомнительных) резуль-
татах наблюдений возникает в тех случаях, когда возможны грубые
искажения этих результатов или данных обработки. Искажения мо-
гут бйть следствием как ошибок наблюдателя (оператора), ошибок
вычислений либо неисправностей измерительных приборов, так и
противодействия противника, например создаваемых им помех. На-
личие в данных эксперимента (в полученной выборке)результатов,
содержащих грубые ошибки, может существенно повлиять на итоги
обработки и исказить полученные выводы, в связи с чем желатель-
но еще до обработки исключить такие результаты из состава вы-
борки.
Методика проверки аномальных результатов разработана приме-
нительно к грубым ошибкам, которые приводят к существенному от-
клонению результатов, содержащих ошибки, от среднего результата
в данной серии наблюдений. При этом сомнительными оказываются,
как правило, крайние элементы случайной выборки, которые и под-
лежат проверке.
Обозначим через х* и х* наименьший и наибольший элементы
случайной выборки xf , х2,..., хп , а через х* и г* - реали-
зации этих элементов в данном эксперименте.
Предположим, что сомнительным является наибольший элемент
х* случайной выборки. При этом будем полагать, что наблюдае-
мая величина х подчинена нормальному закону распределения с
известными числовыми характеристиками и . Уровень значи-
мости примем равным некоторой достаточно малой вероятнооти t;.
Для выборки, состоящей из одного элемента х, , можно ут-
верждать, что он является следствием грубой ошибки,если
+ (4.4.1)
ИЛИ
г,-М£
* (4.4.2)
Поэтому при п = I в качестве показателя согласованности
гипотезы целесообразно использовать случайную величину
209
a X. -
ц=~67 ’ (4.4.3)
а критическую границу определять на основе выражения
• (^.ч
Однако при проверке аномальности крайнего элемента случайной
выборки объема п>1 использование ПС вида (4.4.3) может при-
вести к грубым ошибкам. Покажем это на примере.
Пример 4.4.1. Пусть п = I и q = 0,05. По табл.8 [37] или
табл.3.8 [39] находим
U9=t(-24=^o,9 = Z’fi4 '
Подставив найденное значение в формулу (4.4.1), получим
г(.= МЛ+/,64©£ . (4.4.5)
Таким образом, при одном испытании будем констатировать
факт грубой ошибки, если наблюдаемое значение случайной величи-
ны £ удовлетворяет неравенству
х=>ге. = М£+/,64б£ . (4.4.6)
Увеличим теперь число испытаний до 20 и найдем вероятность
того, что наибольший член £*0 выборки превзойдет величину х^
P(%0>zt.)~l-P(x*u^X'.') =
= /-P[(£^^)(£2^X4) . (4.4.7)
предполагая, что испытания независимы, и учитывая, что
Р(£ ^Т[.) = f-P(zi>Xt.) = (4.4.8)
из выражения (4.4.7) получаем
Р(£;в^)=1-и-^П = 1-(0,95)^0,65.
Таким образом, при использовании критической границы, опре-
деляемой выражением (4.4.5), 65% нормальных наибольших элемен-
тов выборки следует признать аномальными, т.е. вероятность ошиб-
ки первого рода при 20 испытаниях увеличивается до 0,65.С целью
устранения указанного недостатка необходимо по мере увеличения
объема выборки одвигать критическую границу вправо относительно
значения , определяемого равенством (4.4.4). А
Для построения критической области, удовлетворяющей указан-
ному требованию, рассмотрим функцию распределения (х) . При-
чем во внимание то обстоятельство, что для наступления события
(г* <Х ) необходимо, чтобы все элементы выборки были меньше
z , т.е.
210
(х*<х) = (х1^х)П(х2<х)П...П(хп^х)=П(х1^х). (4.4.9)
Применяя к правой части равенства (4.4.9) теорему умножения
вероятностей независимых событий (xt-^x ) [i = /(f)n] и учиты-
вая, что
P(XL = , (4.4.1°)
Границу u.^ критической области, отвечающей уровню значимо-
сти q , можно найти как квантиль случайной величины х* при ар-
гументе (I-t;). Зависимость между и t; определяется равен-
ствами:
(4.4.12)
Гд, (%) = /-Ч . (4.4.13)
Подставив 1 = в формулу (4.4.II), на основании равенст-
ва (4.4.13) получим
(4.4.14)
решая которое относительно ц , найдем
ц=Мд + бд£ . . (4.4.15)
9 z Z 2(1-41-1 4
Так как вероятность d обычно мала, то (/-ц)7Г« 1- и,
следовательно,
t 4 z= • (4.4.16)
Подставив соотношение (4.4.16) в (4.4.15), получим
. (4.4.17)
Выражение (4.4.17) и используется для определения критической
границы в случае, если п>1.
Порядок проверки гипотезы об аномальном значении наиболь-
шего элемента выборки состоит в следующем:
I. Элемент, относительно которого выдвигается гипотеза,иск-
лючается из выборки, т.е. ее объем уменьшается на единицу.
211
2. Назначается уровень значимости q и по табл.8 [37] или
табл.3.8 [39] определяется значение
3. По формуле (4.4.17) определяется'критическая граница и
При отсутствии априорных значений Мл и ©„ в данной формуле до-
пускается использование оценок М£ и б„ *, При их вычислении
предполагаемый аномальный результат из выборки исключается.
4. Наблюдаемое значение показателя согласованности гипоте-
зы определяется по формуле
x-Mt
(4.4.18)
5. Проверяется условие и> Если оно выполняется, то наи-
больший элемент выборки, п" отношению к которому выдвигалось
предположение о наличии грубой ошибки, отбрасывается. При izssu
этот элемент сохраняется в выборке, поскольку данные эксперимен-
та не подтверждают гипотезы о наличии грубой ошибки. Для под-
тверждения полученного вывода необходимо вновь повторить проверку
по пп.1 - 5, но с включением сомнительного элемента в выборку.
При рассмотрении в качестве аномального наименьшего элемен-
та х* случайной выборки порядок проверки гипотезы сохраняется,
но в качестве показателя согласованности последней использует-
ся случайная величина вида
л Mf-x*
“ = --- • (4.4.19)
X
При этом проверяемый элемент отбрасывается, если u=~ut. , и
сохраняетоя в противном случае.
Пример 4.4.2. С помощью радиодальномера производятся 20 из-
мерений дальности г до объекта. Точность радиодальномера ха-
рактеризуется среднеквадратическим отклонением = 50 м.Имеют-
ся ли основания полагать, что наибольшее отклонение =
= 180 м, зафиксированное в данной серии наблюдений, содержит
грубую ошибку?
Р е ш е н и е. По условию задачи п = 20, с;= 0,05. По фор-
муле (4.4.18) вычисляем значение ПС:
/80 ,.
------бГ^= Я~=3'6'
Границу критической области находим по табл.8 [37] :
цч-£,-£~£,-£ ~ W~2-82 •
Так как и > , то наибольшее отклонение содержит грубую
оиибку и его следует из дальиейшего рассмотрения исключить. А
212
§ 4.5. СТАТИСТИЧЕСКАЯ ПРОВЕРКА ГИПОТЕЗ МЕТОДОМ
ПОСЛЕДОВАТЕЛЬНОГО АНАЛИЗА
4.5.1. Сущность метода последовательного анализа
В предыдущих параграфах рассмотрены сущность и постановка
задачи статистической проверки гипотез, которая реиается по
так называемой классической схеме, когда все множество возмож-
ных значений показателя согласованности гипотезы и. разбивает-
ся на два подмножества (рис.4.5.1): область допустимых значе-
ний (область принятия гипотезы) и критическую область (область
отклонения гипотезы).
Область допустимых I Критическая
значений область
и.
Рис.4.5.1
В зависимости от попадания наблюдаемого значения и в ту или
иную область принимается решение о принятии или отклонении ги-
потезы.
Классическая схема проверки гипотез обладает двумя сущест-
венными недостатками:
а) в условиях ограниченного экспериментального материала,
т.е. при малых объемах выборок, принятие решения связано со
значительной долей риска, что объясняется увеличением вероят-
ностей ошибок первого и второго рода с уменьшением объема вы-
борки ;
б) в методах классической проверки гипотез не существует
подходов к обоснованию оптимальных объемов выборок, что суще-
ственно затрудняет планирование и проведение экспериментов.От
этих недостатков в определенной степени свободен предложенный
в последнее время метод последовательного анализа, разработан-
ный А.Вальдом. Данный метод отличается от классического мето-
да проверки гипотез введением третьей области - области продол-
жения испытаний [ыл(л), as(n)J (рис.4.5.2), при попадании в
которую наблюдаемого значения а окончательное решение о оудьбе
гипотезы не принимается, а делается вывод о необходимости про-
должения испытаний до получения достаточно представительной вы-
борки. Таким образом, принципиальное отличие метода последова-
тельного анализа от классического метода состоит в том, что
213
число наблюдений (испытаний), по результатам которых проверяют-
ся гипотезы, не устанавливается заранее, а зависит от этих ре-
зультатов.
Область принятия I Область проЗолжения I Критическая
гипотезы испытании область
иА(п) us(n) и
Рис.4.5.2
В методе Вальда необходимое число результатов наблюдений
(объем выборки) является случайной величиной. Поэтому для про-
верки гипотез методом последовательного анализа предпочтитель-
8Ы критерии, которые при фиксированных уровнях с; и т= вероят-
ностей ошибок первого и второго рода обеспечивают минимум мате-
матического ожидания необходимого объема выборки. При исполь-
зовании таких критериев данный метод оказывается более эконо-
мичным по сравнению с классическим методом, так как требует
для своей реализации примерно в два раза меньший объем выборки.
Сущность и общая схема метода последовательного анализа за-
ключается в сл едущем:
а) выбирается показатель согласованности й(п)-,
б) устанавливается решающее правило, согласно которому пос-
ле каждого испытания принимают одно из трех решений:
- принять проверяемую гипотезу;
- отклонить проверяемую гипотезу;
- провести еще одно испытание.
В качестве показателя согласованности гипотез при проверке
рассматриваемым методом применяется предложенный Вальдом п о-
следовательный показатель отно-
шения вероятностей
Рол
где рм - вероятность появления результатов испытаний xf , х2,
при условии справедливости проверяемой гипо-
тезы;
р1п - вероятность появления этих результатов при условии,
что проверяемая гипотеза неверна.
К настоящему времени метод последовательного анализа в
окончательном виде разработан лишь для решения одного типа за-
214
дач статистической проверки гипотез, а именно для проверки
гипотез о том, что та или иная числовая характеристика а. не
превышает некоторой заданной величины а, . В основу проверки
таких гипотез положено следующее решающее правило: если прове-
ряемой гипотезой является выполнение неравенства ал « а\ ,
то отклонение ее не считают серьезной ошибкой в тех случаях,
когда действительное значение оказывается несколько мень-
шим значения а'д . Не считают серьезной ошибкой и принятие
этой гипотезы, если действительное значение а£ несколько пре-
вышает ад . исходя из этого, выбирают два значения исследуемой
числовой характеристики а* : а£°са'х и ах => а'х , считая недо-
пустимой ошибку первого рода при а£ а£ , а ошибку второго
рода - при а$ а$ . Если же а$ с ад а£, , то полагают без-
различным, капое решение относительно проверяемой гипотезы бу-
дет принято. Это позволяет при вычислении показателя (4.5.1) оп-
ределять вероятность р1п как вероятность появления результатов,
отвечающую условию а^ = а^ , а вероятность роп - как вероят-
ность, отвечающую условию1 ад = а$ .
Заметим, что выбор значений а$ и а. не является статисти-
ческой задачей и производится в каждом случае на основе оценки
последствий, к которым может привести неправильно принятое ре-
шение относительно проверяемой гипотезы.
Для показателя согласованности (4.5.1; принято значения ал
и ал вычислять в виде *в
5
(4.5.3)
V
П'-оле проведения п -го испытания вычисляется величина ПС
по формуле (4.5.1). Испытание заканчивается принятием проверяе-
мой гипотезы, если окажется, что
и(п)^
('4.5.4)
или отклонением ее, если
(4.5.5)
Когда вычисленное значение ПС будет удовлетворять неравен-
ству
гг5
(4.5.6:
процесс проверки гипотезы продолжается,т.е. производится еще
одно испытание, после чего вычисляется новое значение ПС
u(n+/) = ^-
и проверяется выполнение неравенств (4.5.4)-(4.5.6).
4.5.2, Проверка гипотезы о вероятности события
Задача проверки гипотезы решается путем выполнения ряда пос-
ледовательных испытаний, в каждом из которых регистрируется
факт наступления или ненаступления события А .
Пусть граничные точки ро и pt областей принятия и отклоне-
ния гипотезы выбраны. Тогда значение ПС (4.5.1) после л -го ша-
га будет определяться выражением
где т - число наступлений события А .
С учетом выражения (4.5.7) неравенства (4.5.4)
можно записать в виде
Е.
где
\Р°) V-pJ - t; ’
Прологарифмировав эти выражения, получим:
m^ao(n')i m^af(n)-} а^п^т^а^п),
(4.5.8)
tn-y^-4-Л
П0(Л) =--- р ----
1пу- - In
f~Po
(4.5.9)
Ln-J-i + nLn-r^-
а-(л)= —А-----
(4.5.10)
216
Таким образом, значения ао(л) и at(n) , которые принято на-
зывать приемочными и браковочными числами, при фиксированных
Ро • Pt •Р зависят только от л и могут быть вычислены за-
ранее.
Задача проверки гипотезы может быть решена графически сле-
дующим образом. Перед началом испытаний рассчитывают коэффициев
ты уравнений (4.5.9) и (4.5.10) и проводят на графике прямые
а0(л) и а,(п) (рис.4.5.3), которые делят плоскость графика на
Рис.4.5.3
три области: область отклонения гипотезы Но , область принятия
гипотезы HQ и область продолжения испытаний. При испытании пос-
ле каждого его шага на график наносят точку с координатами (л ,
по). В зависимости от того, в какую из областей попадет данная
точка, проверяемую гипотезу либо принимают, либо отвергают.ли-
бо продолжают испытание. На графике показан случай, когда пос-
ле 10-го шага испытаний гипотеза оказалась принятой.
На практике для упрощения процесса построения графика пред-
варительно рассчитывают среднее число испытаний по формулам:
=
Мр/Н(] =
4.5.3, Проверка гипотезы о том, что математическое ожидание
не превышает заданного значения
Пусть случайная величина х подчинена нормальному закону
распределения и дисперсия ее Ил известна.
217
Гипотеза проверяется последовательным проведением испыта-
8ий, в каждом из которых регистрируется значение х , которое
принимает случайная величина х .
Если граничные точки /И. и выбраны, а испытания неза-
висимы, то выражения для вероятностей p0,pt можно записать в
виде t „
)2
4 ’ ’ (dx)n ;
Pon (2Я)*Х
д =—+---е i (dx) ,
так как в первом случае М. = М$ , а во втором - = М* .Сле-
довательно, статистическая характеристика и(п) букет иметь вид
ц(л) = е 1
Решающие правила (4.5.4) - (4.5.6) определяются выражениями:
где
М£< + Ms
2
®£ ?
ч^Г1п7^+"
Таким образом, и в данном случае приемочное и браковочное
условия будут представлять собой прямые. Задачу, как и в пре-
дыдущем случае, удобно решать графически, причем контрольная
точка будет иметь координаты (п, S xt) .
§ 4.6.ПРОВЕРКА ГИПОТЕЗ МЕТОДАМИ ТЕОРИИ СТОХАСТИЧЕСКОЙ ИНДИКАЦИИ
Для проверки гипотез о виде законов распределения могут
быть также использованы методы теории стохастичеокой индикации
[50].
218
4.6.1. Понятие стохастического супериндикатора и его
основные свойства
Стохастический супериндикатором т -го ранга первого порщ-
ка называется случайная величина (*)*"*, определяемая равенство»
[52] Л (4-6,1’
где т - размерность случайных векторов Х<т>, У<и> .
Поскольку в соответствии с выражением (4.6.1) супериндика-
тор определяется через функцию распределения Fj (Х<т>),то егс
возможные значения сосредоточены на отрезке [оДУ.
Вероятностные свойства супериндикатора полносты
определяются вероятностными свойствами случайных векторов Хсл>,
Y<m>, так что закон его распределения можно представить в вида
(Ш) = (X</n>), F^(Y<m>)}, (4.6.2)
где Q - оператор преобразования. Очевидно, что каждой паре
распределений F* , F? соответствует единственное распре-
деление Fj.em> , x‘m>
В частном случае при т= I оператор (4.6.2) имеет следую-
щее выражение:
^(w) = F. (ио) = F* [?''(о))] , (4.6.3)
где х = F?(w) - функция, обратная для функции w=Fs(x).
Супериндикатор т -го ранта вида
(4-М
называется собственным индикатором распределения Рл (Х<1П>).
При этом каждому распределению F. (Х<от>)соответстцует единст-
венное распределение Fa<TO(w) егеГсобственного индикаторам®
Пусть т произвольна, компоненты xl , х^ вектора Х<т> вза№
но независимы и имеют произвольные законы распределения,т.е.
тогда
(4.6.s,
Функция F&<m> (OJ) определяет логарифмически
закон распределения т -го порядка.В частности, при т = I и
произвольном распределении функции FA (I) формулы (4.6.3) и
(4.6.4) дают
219
Fi-^) = \^rVH=U,r,{U):0’/,+A(U)_/)- (4.6.6)
График функции распределения F-JW) имеет вид рис.4.6.1.
Таким образом, все собственные индикаторы одномерных случай-
ных величин имеют равномерное распределе-
ние на интервале (0,1].
Кроме супериндикаторов первого поряд-
ка, могут вить введены супериндикаторы
более высоких порядков. Например, супер-
авдикатором 1-го ранга 2-го порядка на-
зывается случайная величина [52]
Рис.4.6.1
(4.6.7)
Из ранее оказанного следует, что
F.kj (W) = (о))= а)П(и)-, 0,/) + Д (о)-/) ,
где ш”3 = Fat0 (<L)(cn ) “ собственный индикатор распределения /\(П(а)).
4.6.2. Проверка гипотезы о виде одномерного
закона распределения
Пусть требуется, проверить простую гипотезу
He:FA(x) = FAr(x) ,
где FJr(i) - гипотетическое распределение случайной величи-
ны £ .
Введем в рассмотрение случайные величины
W( = FAf(x) и u>0=F.r(£r). (4.6.8)
из предыдущего пункта следует, что если выполняется равенство
F(I) = Far(x), то выполняется и равенство
Н' : FA (up) = FA ((D) . (4.6.9)
0 <4>, <U0
"ледовательно, проверка гипотезы Н равносильна проверке гипо-
тезы н'.
Проверка гипотезы Нд может решаться с помощью любого из
известных методов, однако в силу простоты распределения FA ((D)
задача существенно упрощается, что делает предпочтительным про-
верку гипотезы о виде одномерного закона распределения с исполь-
зованием супериндикаторов. Рассмотрим методику такой проверки.
220
Над случайной величиной х проводится п независимых од-
нородных наблюдений, в результате которых получается простая
выборка
< Х1>•••’xn> = <‘Xj>n.’ (4.6.10)
По данной выборке определяется простая выборка
<tt)^> = <Fr(xp>, у = /(/)л , (4.6.II)
варианты o)fj которой имеют закон распределения (to) . По
выборке (4.6.11) строится статистическая функция распределения
Гл (о)) супериндикатора <£)( , используемая в дальнейшем при про-
верке статистического варианта гипотезы (4.6.9), т.е. гипотезы
^(о))«Гйо(«)). (4.6.12)
В качестве статистического показателя согласованности (ПС)
гипотезы с результатами наблюдений в рассматриваемом случае це-
лесообразно использовать ПС Н.В.Смирнова (со2) , который наи-
более информативен, свободен от произвола в группировании ре-
зультатов и имеет выражение
u = nj [Г*((1))-Га dF^ (ш). (4.6.13)
Преобразовав соотношение (4.6.13) к виду, позволяющему про-
водить расчеты непосредственно по выборке (4.6.II), получим
Можно показать, что закон распределения ГЛ(ы;л) характе-
ристики и при увеличении л быстро сходится к предельному
закону Рл (и).
Пусть 5 - уровень значимости. В качестве критической для
данного случая целесообразно выбрать правостороннюю критичес-
кую область. Тогда величина определится о помощью выра-
жения
(4.6.15)
Правило проверки гипотезы с учетом сказанного можно сфор-
мулировать следующим образом:
I. Назначается уровень значимости q и по таблице закона
распределения показателя согласованности Смирнова [59] на ос-
новании выражения (4.6.15) определяется критическая граница ц.
2. Вычисляется по формуле (4.6.14) значение ПС и .
221
3. Если u ц,. , т.е. наблюдаемое значение ПС попало в
о&аасть допустимых значений, то делаем вывод об отсутствии суще-
ственного различия между сравниваемыми законами, т.е. гипоте-
за , а следовательно, и гипотеза На принимаются. В пролив-
аем случае гипотеза Нд отвергается. Из рассмотренного видно,
что описанная методика отличаетоя простотой, причем гипотети-
ческое распределение (ц)) не зависит не только от вида за-
кона распределения случайной величины х , но и от его парамет-
ров и, следовательно, проверка требует минимума априорных све-
дений о случайной величине х , что существенно облегчает про-
цесс проверки гипотезы.
4,6.3. Проверка гипотезы о виде многомерного закона распределения
Применение методов теории стохастической индикации позво-
ляет также решить задачу проверки гипотезы о виде многомерного
закона распределения. Отметим, что в настоящее время практиче-
ские методы решения данной задачи развиты недостаточно.
Схема решения задачи проверки гипотезы о виде многомерного
закона распределения заключается в следующем.
Пусть требуется проверить простую гипотезу
Н° ’ ^т>(Хлт>^ ’ (4.6.16)
где Х<т> = <х,, хг, ..., хт> - т -мерный случайный вектор,
Fjr (X<m> ) - гипотетический закон распределения.
‘"Рассмотрим случайные величины
Из п.4.6.2 и формулы (4.6.16) следует, что еоли справедли-
ва гипотеза (4.6.16), то справедлива и гипотеза
Far>(uj)sFar»(UJ) ’ (4.6.18)
где = F-r (\m>) - собственный индикатор гипотетическо-
го распределения F&r (Х<(П>).
В данном многом*е”рном случае, как и в одномерном, проверка
гипотезы Нд сводится к проверке равносильной гипотезы Нд . Од-
вако если гипотеза Но связана с проверкой многомерного зако-
ва распределения, то проверка гипотезы Нд представляет собой
проверку гипотезы об одномерном законе распределения, что су-
щественно упрощает процесс проверки, так как позволяет приме-
нить известные методы.
222
Сущность проверки гипотезы состоит в следующем.
Над случайным вектором Хся>> проводится п независима наб-
людений, в результате которых получается простая выборка
......(4.6.19)
По ней определяется простая выборка
<<7>=<^(Х^)>, j = (4.6.20)
варианты £)*** которой имеет закон распределения Рй<т> (ш) .
По выборке (4.6.20) строится статистическая функция распре-
деления Ft<m>(w) супериндикатора а)*т>, которая затем исполь-
зуется для1проверки статистического варианта гипотезы (4.6.18),
Но : F*«n> Мs № • (4.6.21)
По указанным выше причинам для проверки гипотезы выбираем
метод Смирнова, согласно которому показатель согласованности
определяется выражением
u = п j , (4.6.22)
преобразование которого имеет вид
(4-e-2s)
ИЛИ г- „ Л 2
“=7й+Я<-4?] >
ГД6 =%'->(<'П>) •
В качестве критической выбирается правосторонняя область
по методике, изложенной в предыдущем пункте.
Правило проверки гипотезы можно сформулировать следующим
образом:
а) назначается уровень значимости <; и по таблице распреде-
ления для ПС метода Смирнова [59] на основании выражения
(4.6.15) определяется критическая граница
б) вычисляется наблюдаемое значение характеристики и по
формуле (4.6.24);
в) принимается гипотеза н'о , а следовательно, и гипотеза
Но , если выполняется условие и « .В противном случае
гипотеза Нд отвергаетоя.
223
4.6.4. Проверка гипотизы о независимости компонент
случайного вектора
Как известно, наиболее содержательные результаты в матема-
тичеокой статистике получены для простых выборок, т.е. в пред-
положении о независимости результатов наблюдений (вариантов
случайной выборки). В связи с этим задача установления факта
везависимооти случайных величин является весьма важной. Дадим
формулировку этой задачи.
Имеется случайная выборка <х.>,£=/(/)л объема л из одномерной
генеральной совокупности {г} . Необходимо проверить гипотезу
Но о том, что выборка<х ^является простой,!, е. величины ,
х2 ,..., хп независимы в совокупности.
Будем рассматривать случайные величины х, , хг,...,хп как
компоненты л-мерного век тора. Х<п>=<£|,£г,...,1п>. Если случайные
величины х" , х£х" независим, то
(X<m>) = F (Х<П>)=ПД(Х), (4.6.25)
л<л» л<п> Xj °
а собственный индикатор
^> = ^н>(Х<Нп>) (4.6.26)
имеет логарифмическое распределение (4.6.5) п -го порядка. По-
этому проверка гипотезы может быть сведена к проверке гипо-
тезы
<F.w«o) = ^(W), (4.6.27)
где
= (*<„>)•. ^Я>=Г (<„>)•
<»> л<л>
Сущность проверки гипотезы состоит в следующем.
Выборка Х<п> реализуется т раз и определяется выборка
= (<>), j = (4.6.28)
А Х<Л>
варианты которой а),*"* имеют закон распределения Fi<n> (о)).
По выборке (4.6.28) строится статистическая функция распре-
деления F?<m.(i»>) суиериндикатора щ)*п> , которая затем исполь-
зуется для'проверки статистического варианта гипотезы (4.6.27)
(4.6.29)
Последующая процедура проверки гипотезы идентична рас-
смотренным в пп.4.6.2, 4.6.3.
224
§ 4.7. ПРОВЕРКА ГИПОТЕЗ МЕТОДАМИ ТЕОРИИ СТАТИСТИЧЕСКИХ РЕШЕНИЙ
Рассмотренные методы проверки гипотез обладают тем сущест-
венным недостатком, что уровень значимости q выбирается поо-
извольнс, в связи с чем не исключена возможность появления гру-
бых ошибок при принятии решения. Одним из путей преодоления это-
го недостатка является путь, основанный на применении методов
теории статистических решений. Возможность применения данных
методов к проверке гипотез определяется тем, что эта проверка
по существу принадлежит к классу статистических задач, связан-
ных с выбором одного из нескольких возможных решений и являю-
щихся объектом изучения теории статистических решений.
4.7.1. Общая задача выбора решений
Сущность задачи выбора решений состоит в определении опти-
мального решающего правила (правила выбора решений), позволяю-
щего принять решение в заданной ситуации, наилучшее с какой-лий
точки зрения.
В общем виде задача выбора решений формулируется следующим
образом.
Наблюдаемый объект случайным образом принимает одно из т
возможных состояний 5, , S2,..., Sm , априорные вероятности ко-
торых P(S() , P(S2),..., P(Sm) удовлетворяют условию SP(St )=/
и известны. Имеется множество решений /? = {/?.}, =/(/)/< , причем
последствия выбора любого решения R^ ,при условии, что
объект находится в состоянии SL , поддаются количественной
оценке, с помощью некоторой функции П (S , ЯЭта функция мо-
жет представлять ообой, например, потери, к которым приведет
решение R- , принятое при условии, что наблюдаемый объект нахо-
дится в состоянии S£.
Проводитоя испытание, в котором осуществляется л наблюде-
ний какого-либо признака наблюдаемого объекта, причем резуль-
таты наблюдений представляются системой случайных величин xt ,
х2 ,..., Хп , распределение которой зависит от состояния наб-
людаемого объекта и определяется функцией правдоподобия L (xt ,
...,<гп|б£ ), известной для всех состояний S , 1 — 1 (1}т . По
результатам конкретных значений выборки х, ,...,хп, получен-
ных при испытании, необходимо выбрать одно из к решений Rt ,
..., RH , каждое ин которых основывается на оценке по данным ис-
пытания действительного состояния наблюдаемого объекта. Требу-
225
ется среди всех возможных правил выбора решений найти оптималь-
ное, т.е. наилучшее в смысле некоторого показателя, связанного
с функцией П (SL , R^ ).
Сформулированная задача является общей задачей выбора реше-
ний при фиксированном заранее числе параллельных наблюдений для
сонечных множеств возможных состояний наблюдаемого объекта и
возможных решений. Данная постановка задачи не единственная.Так
она может быть сформулирована и для бесконечного множества воз-
можных состояний объекта наблюдений или применительно к актив-
ному эксперименту, в котором наблюдения производятся последо-
вательно, причем порядок последующих наблюдений зависит от ре-
зультатов предыдущих. Здесь рассматривается только задача выбо-
ра в приведенной формулировке.
Каждое правило выбора решений устанавливает определенное
соответствие между результатами наблюдений и возможными реше-
ниями. Сущность правила выбора решений заключается в следующем.
Любую выборку <Х£>„ можно рассматривать как точку
в л -мерном пространстве (непрерывном или дискретном), множест-
во точек которого образует область & . Дс проведения испыта-
вия область ff (пространство выборок) каким-либо способом раз-
бивается на к непересекающихся областей G ,L = l(l)k с одновре-
менным указанием принципа выбора тоге или иного решения при по-
едании выборки в ту или иную область ff . Таким образом, пра-
вило выбора можно рассматривать как некоторую решающую функцию,
определенную на множестве G и отображающую G в R .
Правила выбора решений могут быть нерандомизированными,т.е.
устанавливающими однозначное соответствие решений R^ областям
, либо рандомизированными, т.е. предусматривающими сл /чайный
выбор одного из решений R^ при попадании выборки в область Gt.
Далее рассматриваются только нерандомизированные правила.
Функция n(St, R^ ) , которую впредь будем называть Функцией
потерь, может быть задана различными способами, в частности в
виде матрицы потерь
п„ пй ... п,;
1М1> п» (4-7-1)
Пт, Пт2 ... Птк
которая и будет в дальнейшем использована. Заметим, что теория
статистических решений не дает методов определения функции по-
терь. На практике значения П£ определяют исходя из условий
рассматриваемой задачи соответствующими методами.
226
Для оценки потерь в теории статистических решений исполь-
зуются два вида характеристик: функция риска и средняя функция
риска.
Функция риска применяется в качестве характеристики потерь,
средних для многократного применения какого-либо нерандомизиро-
ванного правила .../?*>, при условии, что наблюдаемый
объект находится в определенном состоянии . Функция риска
определяется выражением
где ₽[<it>e 6 WP)|Sj - вероятность попадания выборки <.xi>n в полу-
ченную согласно правилу область Gd (Qr) пространства выбо-
рок (вероятность выбора решения R, ), при условии, что наблю-
даемый объект находится в состоянии $ , и называется риском.
Средняя функция риска Мср р?г] используется в качестве харак-
теристики потерь, средних для каждого нерандомизированного пра-
вила по всем возможным состояниям наблюдаемого объекта, и
определяется выражением
. (4.7.3)
Ее называют также средним или полным риоком.
В теории статистических решений используются два способа м-
бора решающих правил, оптимальных относительно минимума потерь.
Если функция потерь определена и априорные вероятности
P(S ) известны для всех i = /(/)m, то за показатель качества пра-
вила выбора решений может быть выбрана наиболее полная харак-
теристика последствий применения того или иного правила - сред-
няя функция риска. При этом оптимальным, естественно, считается
правило, которому соответствует наименьшее значение данной функ-
ции, т.е. правило, удовлетворяющее условию
lsJ р1Д] = mln . (4.7.4)
Можно показать, что минимум средней функции риска имеет ме-
сто для такого нерандомизированного правила, согласно которому
каждой точке пространства выборок G ставится в соответствие
решение R* , обеспечивающее минимум .математического ожидания
Mp[ff] = Sn4P[SJ<r >п = ^], (4.7.5)
где p[sj<xt>n=^] - апостериорная вероятность состояния
st , соответствующая попаданию выборки <£t>„ в точку CjtG.
Данная вероятность вычисляется по известной Формуле Байеса, а
решение называется байесовским.
227
Если функция потерь определена, и априорные вероятности воз-
можных состояний наблюдаемого объекта неизвестны, то за показа-
тель качества правил выбора решений принимается функция риска.
При этом оптимальным правилом выбора решений служит правило,для
которого наибольшее по воем возможным состояниям наблюдаемого
объекта значение функции риока наименьшее, т.е. правиле, удовлет-
воряющее условию
мр[^ Is J=т^п ^{МР ЙIs J}=
= min max £%p[4>n4lsd • (4-7-6)
Это правило называют минимаксным или правилом М1нимаксного рис-
ка. Отыскание минимаксных правил овязано с рядом дополнитель-
ных трудностей, обусловленных тем, что эти правила часто явля-
ются рандомизированными.
4.7.2. Проверка гипотез как частный случай задачи
рыбора решений
Как уже отмечалось, задачи проверки гипотез могут быть све-
дены к задаче выбора решений, так как проверка в сущности сво-
дится к оценке состояния наблюдаемого объекта по результатам ис-
пытания, т.е. к частному случаю задачи выбора решений, когда
каждое из них представляет собой утверждение о справедливости
одной из гипотез, согласно которой истинным является какое-ли-
бо определенное состояние. Таким образом, в данном случае чис-
ло различных решений оказывается равным числу возможных состоя-
ний наблюдаемого объекта.
Формулировка задачи проверки гипотез как задачи выбора ре-
шений осуществляется следующим образом.
Наблюдаемый объект случайным образом принимает одно из т
возможных состояний Sf ,‘S2,..., Sm, Например, если производит-
ся исследование математического ожидания, то при простых гипо-
тезах возможно два состояния: М£ = и М£ .
Относительно каждого состояния выдвигается' гипотеза, а имен-
но: Н'-м^ = м$2-, н2-. .
Проводится испытание, в результате которого получается вы-
борка <xt >п , распределение которой зависит ст справедливости
одной из гипотез и определяется функцией правдоподобия
L(i'..xj//.), 1 = 1,2. Необходимо выбрать одно из Н решений/?f,
Rh на основе обработки результатов выборки <^>^.6 нашем
228
случае /?( - решение принять гипотезу , /?2 - отвергнуть ги-
потезу Н, , т.е. принять, что,возможно, более справедлива ги-
потеза Н2 . Последствия принятия любого решения R^ при усло-
вии, что справедлива гипотеза Н , оцениваются функцией потер!
П(Н ,R ) . В рассматриваемом случае имеются четыре возможных
сочетания состояний объекта S (гипотез Н ) и принимаемых ре-
шений R :
- справедлива гипотеза Н( , принимается решение ;
- справедлива гипотеза Hf , принимается решение /?2;
- справедлива гипотеза Н2 , принимается решение /?2;
- справедлива гипотеза Н2 , принимается решение Rf .
Очевидно, что в первом и третьем случаях решения соответ-
ствуют состоянию объекта и поэтому потери будут нулевыми. Во
втором и четвертом случаях принимаются ошибочные решения, ко-
торые могут привести к потерям, величина которых определится
"ценой" последствий, или ущербом, наносимым этими ошибками.При-
мер формирования функции ЦП, || был рассмотрен в § 4.1.
Необходимо среди всех возможных правил выбора решений по
результатам обработки выборки <xt>n найти оптимальное, т.е.наи-
лучшее в смысле некоторого критерия, связанного с функцией по-
терь.
При проверке гипотез попользуются четыре вида правил,причем
практическое применение правила того или иного вида зависит от
наличия, полноты априорных данных.
Если задача проверки гипотез сформулирована как задача вы-
бора решений и матрица потерь || DtJ || определена, то оптималь-
ное решение может быть получено на основе байесовского либо ми-
нимаксного правила.
Если функция потерь |П„ || не определена, то для однознач-
ного выбора решений при проверке гипотез можно использовать два
подхода. Применительно к задачам с известным априорным распре-
делением гипотез наиболее полной характеристикой степени соот-
ветствия каждой из них результатам произведенного испытания яв-
ляется апостериорная вероятность этой гипотезы. Данная вероят-
ность определяется по известной Формуле Байеса. При этом ис-
тинной считается гипотеза, которой соответствует наибольшая апо'
стерисрная вероятность. Указанное правило называется правилом
апостериорной вероятности.
При отсутствии данных об априорном распределении гипотез
единственной характеристикой степени соответствия той или иной
229
гипотезы результатам наблюдения является функция правдоподобия
выборки. Поэтому в таких случаях выбор решений производится на
основе правила максимума правдоподобия, т.е.истинной считается
гипотеза, при которой функция правдоподобия достигает наиболь-
шего значения.
Выбранный вид правила принятия решения позволяет определить
критерий проверки (решающее правило), позволяющей по результа-
там наблюдений выбрать одно из решений R , т.е. решить вопрос
о разбиении пространства выборки G на непереоекающиеся облас-
ти С? такие, что попадание выборки в j -ю область
(/ = /(О/< ) ведет за собой принятие J -го решения. Естественно,
что полученный способ разбиения пространства выборок G на обла-
сти должен обеспечивать минимальные потери из-за неправильного
принятия решений.
Методику такого разбиения применительно к каждому из видов
правил рассмотрим на примере проверки проотой гипотезы при про-
стой альтернативе, т.е. для двух возможных состояний объекта и
соответствующих им двух проотых гипотез , Н2 .
Байесовское правило. В данном случае вероятности P(S,) и
Р(§2) известны и равны соответственно р и 1-р , а функция
потерь задана матрицей
11пЛ=[п^ У1 п.гп». п„*п., •
В соответствии о формулой (4.7.3) среднюю функцию риска мож-
но представить в виде
tn„P[X„e S,|S ,]]₽+
‘М.Ц I S>] +П>> Pf*"e c=ls J} 1 '
Учитывая, что P[Xn6G(|St]=/-P[XneG2|St] , получим
V/’nH+?n2<+(nn-nH)P[V&2|S(]p-(n21-nK)PCXne^|C2]?. (4.7.8)
Выразив вероятности P[Xne Gz|Sj и P[X„ 6 Ьг | S2] че-
рез соответствующие функции правдоподобия.выражение (4.7.8) мож-
но привести к виду
.......................^|S,)pJ. (4.7.9)
Так как pn()4-qi П2( = const , то минимум величины Мср обеспечи-
вается при условии
(%-Пи)Ь(т......^|52)?&(П(-П(()£(х(....,гп|5()р,
230
т.е. когда в
для
Величина
критическую область &г включаются те точки <х( ,
которых выполняется неравенство
L(i,,...,i„|S2) (П,г~П„ )р
Мх,.....xn|S.) '(П2,-П22)?
(4.7.10)
(4.7.II)
Ь(хг-,хя|5г)
£(x,,...,xn|Sf)
называется отношением правдоподобия, а величина
ц =<п<п„)р jn„-n„)
l (Пгг ^22)? <П2г П22)
р
где ju= - порогом.
Таким образом, применительно к задаче проверки гипотез байе-
совское правило формулируется следующим образом: если для полу-
ченных результатов выполняется неравенство (4.7.10)
то принимается решение /? , в противном случае - решение Rt .
Минимаксное правило. Оно являетоя частным случаем байесов-
ского правила, для которого значения функции риска при всех воз-
можных состояниях наблюдаемого объекта одинаковы. В рассматри-
ваемой задаче данное условие представляется равенством
Пн <1 - )+ % = П2, V п22(, (4.7.12)
где 5Б , " вероятности ошибок первого и второго рода для
критической области, соответствующей байесовскому правилу,т.е.
Здесь G , 62 - области, на которые разбивается пространст-
во G в соответствии с байесовским правилом.
Так как границей разбиения областей является точка
(4.7.13)
то выражения (4.7.13) можно представить в виде
^ = /-Fx
(4.7.14)
5s-
231
Подставив выражения (4.7.14) в равенство (4.7.12), получим
п'-п” + = I (’b (4.7.15)
П2/ П22 П2! n22L *п|3, J X"IS2
решением которого является отношение ju* = p/^.
С учетом сказанного минимаксное правило применительно к рас-
сматриваемой задаче дает следующий критерий выбора решений:ес-
ли для полученных результатов <x/t...,xn> выполняется неравенство
и,х....^‘с’ (4-’-К)
то принимается решение ff2 , в противном случае - решение R, .
Правило максимума апоотериорной вероятности. Это правило
представляет собой частный случай байесовского правила при П;2-
"П((=Пг-П22. Как видно из структуры матрицы || П( || , данное ра-
венство выполняется, когда при выборке правильных решений поте-
ри отсутствуют (Пп-П22=0), а потери из-за выбора ошибочных
решений одинаковы (П/2=П21 = П) . При этом байесовский риск оп-
ределяется выражением
^ = ^% + ^6)П- (4.7.17)
Правило максимума апостериорной вероятности минимизирует
априорную вероятность ошибок любого рода, т.е. в достаточно
длинной последовательности проверок гипотез оно обеспечивает
максимальную частоту выбора правильных решении.
Формулировка правила максимума апостериорной вероятности
состоит в следующем: если для полученных результатов <х(,...,хп>
выполняется неравенство
и(х1,...,хп)^р/ч = }1 , (4.7.18)
то принимается решение /?2 , в противном случае - решение .
Правило максимума правдоподобия. Данное правило является
частным случаем правила максимума апостериорной вероятности и,
как и последнее, обеспечивает максимальную частоту выбора пра-
вильных решений в достаточно длинной последовательности прове-
рок рассматриваемых гипотез.
Формулировка правила: если для полученных результатов
<х/,...,хл> выполняется неравенство
и(х,,...,Хл>/, (4.7.19)
то принимается решение /?2 , в противном случае - решение /?( .
232
Рассмотренные способы проверки гипотез обеспечивают обосно-
ванный выбор критической области, однако их применение требует
априорной информации о проверяемых гипотезах и последствиях
принятия ошибочных решений, что не воегда выполнимо на практике.
Применение указанных правил к проверке олояных гипотез прин-
ципиально не отличается от рассмотренной методики.
В заключение отметим, что методы проверки гипотез, рассмот-
ренные в предыдущих параграфах, эквивалентны проверке по отно-
шению правдоподобия. Использованному в них правилу выделения
критической области на основании назначения уровня значимости
q соответствует критическая область , включающая точки,для
которых
................................., (4.7.20)
где G* - корень уравнения
Г<Х...(4-7’21)
!33
Глава 5
СТАТИСТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИ РЕЗУЛЬТАТОВ НШИИИЙ
В практике широкое распространение имеет задача эксперимен-
тального исследования различных функциональных зависимостей,оп-
ределения параметров некоторых функций. К такому классу отно-
сятся, в частности, задачи оценивания неизвестных параметров
распределения случайных величин, моментов распределения и дру-
гие, которые yse рассматривались в гл.2 - 4.
В основе наиболее общих практических методов отыскания не-
известных параметров функциональных зависимостей лежит метод
ваименьших квадратов (МНК). МНК может быть использован для ре-
пения тех задач, решение которых возможно ранее рассмотренны-
ии методами, такими, как метод максимума правдоподобия, метод
максимума апостериорной вероятности и др. Однако решение, да-
ваемое МНК, далеко не воегда совпадает о решениями, получаемы-
ми упомянутыми методами.
Исторически МНК возник значительно раньше других методов,
решающих аналогичные задачи. Вероятностное обоснование МНК дане
Ч.Гаусоом в начале XIX в.и А.А.Марковым в начале XX в.
§ 5.1. ОБЩИЕ СВЕДЕНИЯ О МЕТОДЕ НАИМЕНЬШИХ КВАДРАТОВ
5.I.T. Сущность метода наименьших квадратов
Предположим, что требуется определить компоненты вектора
АЙЛ>=[а))аг,...,а,п]т, который в общем случае не поддается непосред-
ственному наблюдению. Однако можно наблюдать вектор X<p>=[z ,
V ,гг]т, функционально свянАанный с искомым вектором А :
(5.I.I)
Дри этом соотношение размерностей векторов А и X может быть
произвольным. В частном случае X может быть скалярной велича-
вой, а А - вектором, и наоборот.
234
В общем случае вектор-функция F является нелинейной. Схе-
ма оценивания, в которой по наблюдениям в некоторые моменты Bt:
мени t-L , l = Kt'jN , одного набора параметров (в данном случае
компонент вектора X ) необходимо оценить компоненты другого ва-
бора параметров (компоненты вектора А ), функционально овивав-
ного с первым, называется схемой косвенных наблюдений. Прошит
стрируем введенные понятия на примере.
Пример 5.I.I. Пусть материальная точка совершает плоское
движение в центральном силовом потенциальном поле под действи-
ем сил поля, а также под действием дополнительной силы Р , ко-
торая постоянна по величине и направлению.
Предположим, что возможно наблюдение координат точки ®(t
и у (t) в прямоугольной неподвижной декартовой системе Охуг
в некоторые моменты времени tL, t = I(I)/V. Необходимо по на-
блюдениям х (it ) и у (tL ), L = 1( 1)Л/, определить величину ешь
Р, а также ее ориентацию в пространстве, которая определяете-
двумя углами d и $ (рис.5.1.1). Отметим, что координата z в-
наблюдается.
Уравнения движения точки, которые связывают искомые ь
наблюдаемые величины, имеют вид (рис.5.1.1):
(t-t 1
xU) = x(i9)+ х (t0)U -10)-Psmd cosp —f— wx(x,yu)-, I
^)=M)+^f0)(£-to)+pcosdcosP^4^“^l,’i/’z)-j(5,I,2) |
Дополнительные обозначения в формулах (5.1.2) таковы: Р-
модуль вектора силы; w , и - члены, учитывающие составлять
х 3
235
ершового поля по осям Ох и Оу (конкретный их вид несуществен
для рассматриваемого примера); tg и t - соответственно началь-
ный и текущий моменты времени; i(t0) и ij(.tg) - начальные значе-
ния компонент вектора скорости точки по осям Ох и Оу ; о( и -
углы ориентации вектора Р относительно координатной системы
tyl (рис.5.1.2).
Введем обозначения: Х<г>=[х,у]т; A<3>=p:’,d, Дт=[а( ,а2, cJT,
а функции, стоящие в правых частях зависимостей (5.1.2), объ-
единим в вектор F<2>=[fp fj . Тогда уравнения (5.1.2) сводятся
’форме (5.I.I):
^<2> = /r<2>(t-A<3>)- (5.1.3)
Возвратимся к анализу общей схемы наблюдения.
Процесс наблюдения всегда сопровоадается ошибками. Наблюдае-
мое значение функции (5.I.I) в момент времени t отклоняется от
теоретического вследствие случайных факторов, результаты воздей-
ствия которых, как и сами факторы, неизвестны экспериментатору.
Происхождение этих случайных факторов может быть самым разнооб-
разным. Следовательно, результат наблюдения всегда представляет
собой реализацию случайной величины. В общем случае ошибка наб-
людения нелинейным образом связана с наблюдаемой функцией. До-
полнительно могут допускаться ошибки в фиксации момента време-
ни t; , т.е. £ -е наблюдение может проводиться не точно в запла-
нированный момент t , а в другой, связанный с требуемым зависи-
мостью
VVe\ ’ (5.1.4)
где - случайная ошибка определения момента наблюдения.
Обратимся вновь к примеру 5.I.I и покажем, какие ошибки мо-
гут возникать в процессе проведения эксперимента по определе-
нию величин Р , d и £ .
236
Ошибки могут возникать в определении начальных условий Z(t
y(tB), yit') в результате инструментальных ошибок системы
измерения, так что наблюденные их значения будут связаны с дей-
ствительными следующими ооотношениями:
z(t0) = z(t0) + Az0 ; z(t0) = i(t0)+Az0 ;
М)=М) + ^о - М)=Ж> + ^о •
Далее, истинные значения компонент вектора ускорения за
счет сил поля могут отличаться от тех, которые положены в осно-
ву вычисления величин и иг благодаря большому числу факто-
ров, среди которых наиболее существенны местные аномалии потен-
циального поля, упрощение модели потенциала силового поля, ошиб-
ки наблюдения кординат точки и ряд других. Обозначим эти ошиб-
ки в момент через .
Кроме того, при наблюдении z и у в каждый из моментов вра
мени t допускаются ошибки вследствие инструментальных погреш-
ностей системы измерения координат. Обозначим случайные ошибки
этого типа через и „ Если к тому же учесть ошибки вида
(5.1.4), то истинные уравнения наблюдения в момент t , которые
неизвестны наблюдателю, приобретают такую форму:
£ = ® ) +(z(t0)+4т0) (it + eL -10) -Psind cospx
5; = ‘/(t0) + ('/(io) + ^o)(tt+^"to)+Pcosd COSPX
x (t.+grto)2 -^HyL t
где HXi=4z0+&wXL + &zL ; = AyB + AMyL + A£ .
Модель наблюдения (5.1.5) позволяет продемонстрировать ос-
новные типы ошибок. Ошибки вида Н*. и входят в правые части
уравнений (5.1.5) в виде слагаемых, они называются аддитивныш,
Ошибки Д±д, Дуо и входят в уравнения нелинейно, фактически
изменяя форму теоретических уравнений.
На практике часто удается путем линеаризации уравнений мо-
дели (5.I.I) относительно случайных ошибок овеоти уравнения мо-
дели к форме, когда случайные ошибки входят аддитивно и (или)
в виде сомножителя (мультипликативно).
Однако наиболее простым и самым распространенным типом свя-
зи ошибок наблюдения и наблюдаемых величин является линейная
(аддитивная) связь, когда модель наблюдения может быть пред-
ставлена так:
Xt = F«t,A) + Ht , (5.1.6)
где HL - вектор аддитивной ошибки в i -й момент наблюдения.Эту
схему наблюдения и будем в дальнейшем рассматривать подробно.
Уравнения типа (5.1.6) называются уравнениями на-
блюдения.
Поскольку компоненты вектора являются случайными неиз-
вестными наблюдателю величинами, то для поиска оценок вектора
используется всегда уравнение вида Xt = F(t,A) , которое, вооб-
ще говоря, может оказаться и неоовмеотным, поскольку оно отобра-
жает наблюдаемый процесс приближенно. Поэтому уравнения такого
вида в теории оценивания принято называть условными,
В результате наблюдения случайного вектора X будут получены
реализации Х(,Л2,..., Х^, которые образуют выборку из некото-
рой генеральной совокупности. Поскольку каждый из этих векто-
ров имеет г компонент, то количество элементов в данной выбор-
ке (мощность выборки) равно rN . Обозначим это число через п
Объединим все X , F (4(,А) и Н в совокупные векторы размер-
ности п:
£>=[<«,.*).............................. (5.1.?)
....«;]
Зектор-функция F является функцией моментов наблюдения ,
t iN и искомого вектора А.
Поскольку моменты времени t( , t2 представляют со-
бой известные и в данной задаче фиксированные величины,то фак-
тически вектор-функция F является функцией только вектора А.
Поэтому в дальнейшем будем в число аргументов включать моменты
времени t( , 1г ,..., tN тогда, когда они либо неизвестны, либо
известны с ошибкой. Очевидно, что компоненты вектор-функции F
представляют собой фактически тот набор наблюдаемых величин,
-.оторый был бы получен при отсутствии ошибок. О учетом введен-
ных обозначений уравнение наблюдения запишется в виде
Z=F(A) + H . (5.1.8;
В соответствии с методом наименьших квадратов оценки
/оипонент вектора А отыскиваются на основе минимизации
238
суммы квадратог невязок между Z и F , а именно решени-
ем задачи
V(A*) = min[z-F(A)]T[Z-F(A)] , (5,Ii5
где A* - вектор, решающий задачу (5.1.9).
Чаото вместо минимизации квадратичной функции (5.1.9) для
поиска А используют минимизацию квадратичной функции более
общего вида:
V(A*)=nun[z-F(A)]T%[2-F(A)] , (5.1,1
где (?CnJ - неотрицательно определенная симметричная матрица,на-
зываемая весовой. Очевидно, что задача (5.1.9) является част-
ным случаем задачи (5.1.10), если в ней в качестве весовой мат-
рицы Q выбрать единичную матрицу.
Перепишем показатели качества оценивания, используемые в
задачах (5.1.9) и (5.1.10), в скалярной форме. Для этого обо-
значим через , i=/(/)n , компоненты вектора Z и вектор-фу:
ции F соответственно, а через , i, j = 1(1)п - элементы симке?
ричной матрицы Q . Тогда задача минимизации показателя (5.1?
может быть записана таким образом:
V(A*)=fnin|S [zt-/j(A)]2j , (5.1.9'
и задача (5.1.10) - так:
V(A*)=rnLn|S)[z-f (А)]} . (5.I.IG
Для сокращения записей, а также упрощения некоторых выкла-
док в последующем используем векторно-матричную запись показа-
теля качества оценивания параметров в форме (5.1.9) или (5.1?
Необходимое условие минимума функции (5.1.9) или (5.I.I0)
как известно, имеет вид
^ = 0, (5.I.I'
где а - компоненты вектора оцениваемых параметров.
Система уравнений (5.1.II) в теории МНК называется систе-
мой нормальных уравнений. Ее решение (в;
тор А* ) будем в дальнейшем называть МНК-оценкой.
В общем случае система нормальных уравнений нелинейна от-
носительно искомых параметров, а искомые параметры - комповеЕ
ты вектвра А - выражаются нелинейным образом через KOMnoaetj
вектора наблюдения Z .
239
5.1.2. Классификация схем метода наименьших квадратов
Свойства МНК-оценок, а также выбор того или иного вариан-
та алгоритма, реализующего оценивание по МНК, определяются ря-
дом факторов, зависящих от математической модели процесса наб-
людения, уровня априорной информации об ошибках наблюдения и
оцениваемых параметрах, характера ошибок наблюдения и пр.
Перечислим признаки, по которым целесообразно классифици-
ровать различные схемы МНК и варианты задач МНК-оценивания по
таллому из признаков.
I. По виду функциональной зависимости (5.I.I) между наблю-
даемыми и оцениваемыми параметрами:
а) МНК-оценивание с линейной моделью связи (5.I.I);
б) МНК-оценивание с нелинейной моделью связи (5.I.I).
2. По уровню априорной информации об ошибках наблюдения и
оцениваемых параметрах:
а) задачи при отсутствии априорной информации;
б) задачи с неполной информацией, которые включают в себя:
- задачи с полной априорной информацией об ошибках наблюде-
зия при отсутствии априорной информации об оцениваемых парамет-
рах;
- задачи с неполной априорной информацией как об оценивае-
мых параметрах, так об ошибках наблюдения;
в) задачи с полной априорной информацией об ошибках наблю-
дения и оцениваемых параметрах.
3. По виду связи между МНК-оценками и вектором наблюдаемых
величин:
а) линейные МНК-оценки;
б) нелинейные МНК-оценки.
4. По характеру ошибок наблюдения:
а) схема МНк-оценивания с равноточными наблюдениями, когда
дисперсии всех компонент вектора Н из формулы (5.1.8) одина-
ковы;
о) схема с неравноточными наолюдениями.
5. но наличию связей между ошибками наблюдения:
а) задача с некоррелированными ошибками наблюдения;
б) задача с коррелированными ошибками наблюдения.
6. По наличию дополнительных связей между оцениваемыми па-
раметрами:
а) задачи МНК-оценивания при отсутствии дополнительных свя-
зей между оцениваемыми параметрами;
240
б) задачи МНК-оценивания при наличии дополнительных связей
вида
ф„(А) = О, R=1(1)s.
7. По наличию ошибок в измерении момента времени t :
а) МНК-оценивание при отсутствии ошибок в определении мо-
мента проведения эксперимента, т.е. при =tL ;
б) МНК-оценивание при наличии ошибок фиксации момента про-
ведения эксперимента, т.е. при условии (этот раздел тео-
рии оценивания называется конфлюентным анализом).
8. По способу построения алгоритма получения МНК-оценок:
а) МНК-оценивание по рекуррентному алгоритму,в котором те-
кущая оценка вектора параметров А вычисляется заново по мере
роста объема выборки Z , причем на к -м шаге алгоритма исполь-
зуются лишь оценка ( к -1)-го шага А ' и вновь полученное к-е
наблюдение;
б) МНК-оценивание по полному объему выборки фиксированного
заранее объема.
Приведенная схема классификации задач МНК-оценивания иллю-
стрируется рис.5.1.2.
5.1.3. Связь метода наименьших квадратов с методом
максимума правдоподобия
Установим связь между МНК и рассмотренным в гл.2 методом
максимума правдоподобия, используемым также для оценивания па-
раметровл в частности параметров законов распределений.
Для использования метода максимума правдоподобия (ММП) не-
обходима априорная информация о векторе оцениваемых параметров.
Пусть схема наблюдения нелинейна и соответствует уравнению
(5.1.8) и известно, что вектор ошибок наблюдения Н имеет нор-
мальное распределение с нулевым математическим ожиданием и кор-
реляционной матрицей :
Ч>й(Н)=се1р{-|ят<'н] , (5.1.12)
где с = (251)2 j”7 - нормирующий множитель, который выражает-
ся через определитель матрицы и ^размерность вектора Н .
Если вместо случайного вектора Н в формулу (5.1.12) под-
ставить его выражение через Z и F(A) из формулы (5.1.8)
Н = Z~F(A),
Рис.5.1.2
2i£
то получим плотность распределения вектора Z , которая в каче-
стве параметров имеет компоненты вектора А . Эта плотность рас-
пределения в математической статистике имеет самостоятельное
значение и называется функцией правдоподобия
L(Z,A) = ceip^-|[z-F(A)]TK',p-/:(A)]|. (5.1.13)
В методе максимума правдоподобия за оценку вектора А при-
нимается то его значение, при^отором функция правдоподобия име-
ет максимум, т.е. тот вектор А , при котором выборка Z наибо-
лее вероятна.
Поскольку функция L(Z,A) воюду неотрицательна, то для нее
существует логарифм, а так как логарифм - функция монотонная,
то максимум логарифма функции соответствует той же точке, что
и максимум самой функции. Поэтому вместо исследования функции
L(Z,A) на максимум можно провеоти аналогичное исследование с
ее логарифмом:
tn£(Z,A) = tnr-|[z-f(A)]T<'[z-f(A)] . (5.1,14)
Максимум этой функции находится в той же точке, что и ми-
нимум положительно-определенной квадратичной формы:
V(A) = [Z-F(A)]TK‘'[Z-F(A)J . (5.1.15)
Очевидно, если ту же самую задачу решать с помощью МНК.при-
чем в качестве весовой матрицы показателя (5.1.10) выбрать мат-
рицу К* » то поиск МНК-оценок осуществлялся бы минимизацией
точно такой же квадратичной функции, как и (5.1.15), полученной
на основе метода максимума правдоподобия. Таким образом, если
сшибки измерений аддитивные, несмещенные и подчинены нормаль-
ному распределению с известней корреляционной матрицей Кл ,то
решения задач поиска МНК- и ММП-сценок совпадают при указанном
выше выборе в МНК матрицы Н~' в качестве весовой.
Существуют и другие варианты постановок задач, в которых
МНК и ММП дают одинаковые результаты. Однако в общем случае
МНК- и ММП-оценки не совпадают, это различные самостоятельные
методы, и неверны встречающиеся даже в современной литературе
утверждения с том, что МНК является частным случаем ММП.
§ 5.2. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ ПРИ ЛИНЕЙНОЙ СВЯЗИ
НАБЛЮДАЕМЫХ И ОЦЕНИВАЕМЫХ ПАРАМЕТРОВ
Теория МНК при линейной модели наблюдения была разработана
К.Гауссом (1809 г.) и А.А.Марковым (1900 г.).
243
К настоящему времени существует несколько различных подхо-
дов к построению теории МНК при линейной схеме наблюдения (схе-
ма Гаусса- Маркова), которые, естественно, приводят к одним и
тем же результатам, однако различаются набором необходимых ис-
ходных понятий, сложностью получения конечных результатов, а
также степенью общности.
Ниже рассматривается подход о позиций минимизации квадра-
тичных форм как наиболее простой, наглядный и достаточно общий.
Более общий подход, охватывающий практически вое ситуации и ос-
нованный на использовании обобщенного обращения особенных мат-
риц, охарактеризован кратко в § 5.4, посвященном вычислительным
аспектам МНК.
5.2.1, Линейная модель наблюдения (схема Гаусса - Маркова)
Пусть наблюдаемые и оцениваемые параметры связаны линейным
уравнением, а ошибки наблюдения аддитивны и имеют равные нулю
математические ожидания:
^>=^Л<п>Чп> > (5.2.1)
М[А] = 0, (5.2.2)
где Р[ппа - прямоугольная матрица, называемая обычно матрицей
наблюдения, a Z<n> и Н<п>, как и ранее, - соответственно случай-
ные векторы наблюдения и ошибок наблюдения.
На основании равенства (5.2.2) можно записать
М[2]=М . (5.2.3)
Это уравнение, как указывалось в п.5.1.1, называется услов-
ным. Модель наблюдения в виде равенства (5.2.3) называется схе-
мой Гаусса - Маркова, если относительно вектора Н известна не-
которая дополнительная информация. Рассмотрим возможные вари-
анты ее задания.
Один из наиболее простых случаев тот, когда известно, что
наблюдения некоррелированы и равноточны. В этом варианте корре-
ляционная матрица вектора Н или, что тс же самое, вектора Z
выражается формулой
\л3=бЧп; > (5.2.4)
где б2 - дисперсия наблюдения;
ЕСп3- единичная матрица.
244
Дисперсия наблюдения может быть и неизвестной, тогда она
подлежит оценке наряду с компонентами вектора А , поскольку
при неизвестном бг не представляется возможным получить какие-
либо характеристики точности оценивания.
Более общим является олучай, когда наблюдения коррелирова-
ны, однако для них известна только нормированная корреляционная
матрица , а корреляционная матрица вектора Н имеет вид
причем бг - в общем случае неизвестная диоперсия наблюдения.Оче-
видно, что наблюдения и в этом случае равноточны.
Покажем, что модель наблюдения (5.2.3), (5.2.5) легко сво-
дится к модели наблюдения (5.2.3), (5.2.4). Из линейной алгебры
известно, что любая симметричная положительно-определенная мат-
рица (а матрица G является таковой) может быть представлена
так:
-
где D[nJ - неособенная матрица. Произведем замену
формуле
(5.2.6)
переменных по
(5.2.?)
(5.2.8)
таким обра-
тогда л л
Z = DY .
Корреляционная матрица вектора Y вычисляется
зом:
^=w[(v-M[Y]XY-M[Y])rJ =
=Б”КЙ B"r= <5lI)'DDTlf'T = б’ Ет
и получается в форме, аналогичной выражению (5.2.4).
Условное уравнение (5.2.3) с учетом линейной связи (5.2.8)
преобразуется к виду
(5.2.Ю)
Таким образом, модель наблюдения (5.2.3), (5.2.4) путем не-
особенного линейного преобразования сводится к исходной модели
наблюдения (5.2.3), (5.2.4).
Если наблюдения коррелирсваны и неравнсточны.тс корреляци-
онная матрица ошибок наблюдения имеет вид
245
> (5.2.II)
где R[nj - известная симметричная положительно-определенная мат-
рица, которая, как и матрица & из формулы (5.2.5), может быть
представлена в виде произведения двух неособенных квадратных
матриц, как в равенстве (5.2.6). Это означает, что преобразо-
ванием, аналогичным преобразованию (5.2.7), модель наблюдения
(5.2.3), (5.2.II) сводится к первоначальной модели (5.2.3),
(5.2.4).
Но этим причинам в данном параграфе детально рассматрива-
ется только наиболее простая модель наблюдения (5.2.3),(5.2.4),
а в конце его с помощью преобразований типа (5.2.6) получены
аналогичные результаты для охем наблюдения о корреляционными
матрицами ошибок (5.2.5) и (5.2.II).
5.2.2. Нормальные уравнения и оценки наименьших квадратов
Для линейной модели наблюдения (5.2.1) квадратичная функ-
ция (5.1.10), минимизацией которой отыскиваются оценки компо-
нент вектора А , будет иметь вид
V=(Z-FA)TG(Z~fA), (5.2.12)
а нормальное уравнение (5.1.II) - вид
(5.г.13)
Можно показать, что система нормальных уравнений (5.2.13)
всегда совместна.
Будем считать, что матрица F имеет ранг т (предполагает-
ся, что пит}, а матрица весов Q - неособенная. Тогда мат-
рица FTQF будет неособенной, а потому из равенства (5.2.13)
можно получить выражение для сценки вектора А :
A'-tr'OfiV'OZ. (52Л4)
ьсли весовая матрица Q-Е , то вместо соотношения (5.2.14)
иолучим равенство
A*-(<F)"F'Z . (ьлл5)
Таким образом, в случае линейной модели связи наблюдаемых
ц оцениваемых параметров МНК-оценки для искомых величин, как
это видно из выражений (5.2.14) и (5.2.15), являются линейными.
Если относительно вектора ошибок ничего не известно, то ни-
чего нельзя сказать и о свойствах оценки (5.2.14) или (5.2.15).
246
Однако если выполнено соотношение (5<>2.2), то линейные оценки
(5.2.14) и (5.2.15) являются несмещенными. Действительно,
М [д *] F)"FtQ Z]=M [(FtQ F)~' FtQ (FA + H)] =
=m[a]+(ftqfyYqm[h]=m[a] = A ,
поскольку M[h] = 0.
Пуоть корреляционная матрица вектора ошибок наблюдений име-
ет вид (5.2.4). Вычислим корреляционную матрицу вектора оце-
нок А* . Обозначим матрицу FrQF символом S[n2 , a (FT(?F)'- сим-
волом С[п2 . В этих обозначениях формула для МНК-оценки вектора
А* (5.2.15) перепишется в виде
? = CF^Z = CY, (5.2.16)
где Y=FTQZ . Тогда корреляционная матрица вектора сценок А*
вычисляется по формуле
К -M[(CFt«£ -CF'9M[£])(CF'e2-lrtM[z])r] -
-cf'^JffWcfWfc'. (5.2.i7)
В процессе преобразований, приведенных в формуле (5.2.17), уч-
тено, что KiM = <5zECnl .
Если Q = Е , то
К = 61(f7)Vf(F>)''=61(fV)’' = 0?C. _
A
На практике часто используется вариант МНК-оценивания, при
котором в качестве весовой матрицы Q выбирается матрица К~* ,
поскольку в таком случае МНК-оценка получается эффективной. Для
такого варианта корреляционная матрица оценки вычисляется по
формуле
^=(fX'f)" ,
которая при K? = 6zf совпадает с формулой (5.2.18).
Когда величина б2 известна, формула (5.2.17) или (5.2.18)
позволяет отыскать корреляционную матрицу вектора А* . Из фор-
мул (5.2.17) и (5.2.18) следует, что даже при некоррелированши
равноточных наблюдениях компоненты вектора сценок А* оказывают-
ся коррелированными. Для их некоррелированности необходима еще
ортогональность столбцов матрицы наблюдений F (при Q=E ) или
столбцов матрицы CFTQ в общем случае.
Если величина <ог неизвестна, то ее необходимо оценить на-
ряду с компонентами вектора А , иначе не отыскать корреляцией-
’47
яую матрицу вектора А* , которая дает точечные характеристики
процесса оценивания»
Покажем, каким образом можно получить оценку величины <бг.в
математической статистике доказывается, что остаточная сумма
•свадратов
V(A*)=(Z-FA*)r(Z-rA‘)
(А - МНК-оценка вектора при линейной модели наблюдения) имеет
распределение ©г/г(л-т) , еоли вектор ошибок наблюдения Н име-
ет распределение с корреляционной матрицей бгЕ , где п - раз-
мерность вектора Z , т - число оцениваемых параметров. Тогда
на основании овойств бгХг(л-т)-распределения получается,что
M[V(A*)] =(л-т)бг,
а потому оценку для величины бг можно вычислять по формуле
= (ь.г.™
Отметим, что эта оценка несмещенная
Без доказательства укажем, что МНк-сценки не всегда получа-
ются эффективными. Свойством эффективности обладают МНК-оценки
для моделей наблюдения (5С2.3), (5.2.4) при <? = .? (5.2.5)
три (? = G'( и (5.d,b)s (5.2.71) при » Это следует, в част-
аости, для нормального распределения вектора ошибок Н из эффек-
тивности оценок, получаемых по методу максимального правдоподо-
бия, поскольку, как было показано в § 5.1, МНК- и ММП-оценки
совпадают при указанном здеоь споообе выбора весовых матриц.Во
всех остальных случаях МНК-оценки неэффективны. Однако это не
означает, что варианты выбора матрицы весов Q , приводящие к
неэффективным оценкам, нецелесообразны. Иногда другие соображе-
ния приводят к необходимости выбора матрицы весов Q в той или
иной ферме.
Основные результаты,.касающиеся МНК при различных схемах
оценивания, сведены в табл.5.2.1. Они легко могут быть получе-
ны при использовании преобразований, с которых шла речь в
п.5.2.1. Выкладки получаются достаточно простыми и могут быть
проделаны самостоятельно в качестве упражнения. В первой части
таблицы приведены результаты МНК-оценивания при произвольной
матрице веосв Q . Эти данные в общем случае соответствуют не-
эффективным оценкам. Выбор матрицы Q , приводящий к эффектив-
ности оценок, а также относящиеся к этому случаю расчетные со-
отношения, следуют из второй части табл.5.2.1.
248
Таблица 5.2.1
Схема |'(5.2.3),(5.2.4) |' (5.2.3),(5.2,5)"| (5.2.3),(5.2.11)
I. Несмещенные оценки
I 1 2 3 4
I.Нормаль- ное урав- нение SA=Y 2.Решение (C=s-') 3.Корреля- ционная матрица векторал. оценок А S=FTQF V = FTQZ ь*=сч tfCFTQQTFCT S=FTQF 4=FTQZ A*=CY &ZCFTQGQTFCT S=FTQF V=FTQZ T = CY CFTQRQTFCT
Несмещенные эффективные оценки
I. Матрица веоов 2. Нормаль- нее урав- нение Л SA = Y 3. Решение (C = S-) 4. Корреля- ционная мат- рица вектора оценок А* 5. (б*)2 Е S = FTF Y = FTZ A* = CY б2С V(A*) (л-т) g" s =ftg''f Y=FTG’'Z A*=CY 62C V(A*) (n-m) s=fVf Y=FTff"z A*=CY C
Пример 5.2.1. Извеотно, что величина а - псотоянная,схема
оценивания имеет вид
z( = a + ftt , ,
где z - наблюдаемая величина, ft - ошибка наблюдения. Требует-
ся по результатам наблюдения определить величину а* - сценку
величины а с использованием МНК, а также получить характери-
стики точности оценивания при известных моментных характеристи-
ках ошибки ft :
M[ftJ = O, Мр\] = б2, i= 1(1)N .
249
Решение. Пусть в результате эксперимента получены ре-
ализации величины ? , объединенные в вектор Z=[z,,z2.z#]T.
Размерность задачи определяется числами: т= I (оценивает-
ся один параметр), г = I (наблюдается в каждом эксперименте ска-
лярная величина z ), N- число экспериментов п = Nxr - N - объем
выборки.
Матрица F , имеющая размерность пхт , представляет собой
вектор-столбец, сплошь состоящий из единиц, т.е. Fr=[f,/,..., (].
Роль вектора оцениваемых параметров 4 играет скалярная величи-
на а.
В качестве матрицы весов Q выбираем единичную матрицу Е{пГ
МНК-оценка скалярной величины а может быть получена по фор-
муле (5.2.15). Найдем сначала матрицы (FTF)~' и FTZ :
FTF=[1,1..(]х [/, /../]r = /V;
<zОх1аЛ...............vr=,H •
Окончательно
Эта оценка является несмещенной и эффективной. Определим
точечную характеристику оценки а* . На основании формулы (52JB)
а также табл.5.2.1 получим
C = (FF) = — Kg,= -§- • (5.2.20)
Если бы величина б2 не была априори известной, то ее оцен-
ку можно было бы получить на основании формулы (5.2.19),а так-
ая табл.5.2.1 :
Л г
---- • (5.2.21)
Затем пс формуле (5.2.20) с заменой б2 на (б*)2 можно найти
дисперсию оценки Ка..
Данный пример фактически указывает, каким образом следует
оценивать математическое ожидание случайной величины и каковы
при этом точечные характеристики этих оценок. Напомним, что в
гл.2 тот же результат для оценки математического ожидания был
получен на основании предельных теорем. Получение же этого ре-
зультата по МНК значительно проще. А
250
Пример 5,2.2. Рассмотрим задачу, аналогичную приведенной
в примере 5.2.1, с тем отличием, что измерения величины а про-
изводятся с различное от эксперимента к эксперименту точностью,
характеризующейся дисперсией На практике ото имеет место
тогда, когда точность разных приборов для измерения одной и той
.те величины различная. Итак, ииэем схему нер ганотояаых наблюдений:
Va+\; ^ = [н,Д...........zj,
dLQ^M--Ks- <1 •
Измерения считаем незавьсимнии, поэтому корреляционная матрица
взята в диагональной форме
Сведем данную задачу к предыдущей, попользуй преобразования
(5.2.7). При этом
Я*ЙП = DM3 5с« ’
а 3 - диагональная матрица с диагональю
*Са9Бс«=[®.А............................•
Тогда преобразование (5.2.7) приводит к новому вектору
Y=Z?”Z =[z,/0,,Z2/a2................tM-
Легко убедиться, что корреляционная матрица вектора Y по-
лучается при этом единичной, а задача сводится к предыдущей .Ус-
ловное уравнение (5.2.10) записывается в виде
у=Б*'РА = ГА ,
где F~B''F =р/б( , V0:1” ’ У6*]’ •
Находим, далее, как и в примере 5,2.1,
f"Y = rrI>’'z = |-i-',
.»! б? '
Данная оценка является несмещенной и эффективной,причем
Отметим, что эти результаты можно получить а без вывода,е>
ли воспользоваться сводкой результатов, приведенных в табл 5.2h
251
Пример 5»2оЗ<, Пусть наблюдаемый вектор Z<2>-[z,, ?2]т ,
оцениваемый вектор A<3> = [a|ta2, а3]т и вектор ошибок Н
h: ]т связаны уравнениями наблюдения
г) = а|+а2т+ h^-, г2= а2+а3х+/?2 ,
где z - некоторый параметр, значение которого известно в каж-
дом эксперименте; hJ(h2- центрированные случайные ошибки наблю-
дения, корреляционная матрица которых от эксперимента к экспе-
рименту остается постоянной:
причем величина 62 считается априори неизвестной. Требуется по-
дучить несмещенные эффективные МНК-оценки компонент вектора и
оценку величины <ог.
Решение. Пусть проводится Л/ = 3 эксперимента, в каж-
дом из которых параметр т принимает значения zL-i, i- 1(1)3.
Размерность задачи определяется числами т= 3, г = 2,n = rxN=6.
Матрицы и и ЯЯся имеют вид:
Поскольку требуется получить эффективные оценки, то в ка-
честве матрицы весов Q нужно выбрать матрицу G'1 , которая
ввиду блочно-диагональной структуры матрицы G получается об-
ращением каждого из блоков последней:
252
причем
' 1.2/3 4/3J L2 4J
^удем теперь отыскивать матрицы S,C и вектор Y (см.таб-
лицу 5.2.1, графу 2, строку П.2):
Г12 30 I2-]"1 Г2,32 -I 0,43 “|
C = SH = 3 30 92 52 = -I 0,50 -0,25 .
|_12 52 5б] |_0,43 -0,25 0,19 J
Вычисляем теперь оценку компонент вектора А:
л Г2,32 -1 0,431 Г 32,4*1 Г 0,982*1
А*= CY = -I 0,50 -0,25 107,2 = 2,050 ,
|_0,43 -0,25 0,19_| [_ 76,7J |_ 1,993J
Для определения точечных характеристик оценок компонент век-
тора А необходимо предварительно найти оценку величины вг .ко-
торая подсчитывается по формуле, приведенной в табл.5.2.1 (гра-
фа 2, строка П.5).
Сначала вычислим остаточную сумму квадратов:
V(A*) = (Z-fA*)T(Z-AA*)=0,/668.
Затем для (б*)2 получим
(«7 _w555.
п-т з
Теперь можно получить корреляционную матрицу вектора А *,
характеризующую точечные свойства оценок компонент вектора А:
Г2.32 -I 0,431 Г 0,128 -0,056 0,024’
Кл=(б*)2 С = 0,0556 -I 0,50 -0,25^ -0,056 0,028 -0,014,
А L0»43 “°.25 0,19j L 0,024 -0,014 0,011.
Полученные оценки компонент вектора А являются несмещен-
ными и эффективными.
Расчеты в данном примере проведены на ЦВМ М-220. А
253
5.2.3. Доверительные интервалы для МНК-опенок
Одной из характеристик точности МНК-оценок является, как
указывалось выше, корреляционная матрица вектора оценок А*. По-
казатели точности такого рода в математической статистике назы-
ваются точечными оценками. Их достоинство состоит в том, что^они
не зависят от вида закона распределения вектора наблюдения Z
и могут быть получены достаточно просто. Применительно к линей-
ным моделям наблюдения выражения для корреляционных матриц
приведены в табл.5.2.1. Однако точечные оценки не всегда удов-
летворяют исследователя. Зачастую его интересует, с какой веро-
ятностью могут возникнуть в процессе оценивания ошибки той или
иной величины.
На этот вопрос можно ответить на основании вычисления дове-
рительных интервалов или точности и надежности оценок. Однако
дая этого необходима информация о законе распределения вектора
наблюдения Z .
Будем предполагать, что вектор наблюдения Z имеет нормаль-
ное распределение с математическим ожиданием М[Z] = FA и кор-
реляционной матрицей ©26Л , что для краткости записывается в
ваде 2~Л/(РА,бЧ).
Рассмотрим простейший случай МНК-оценивания, когда матрица
весов единичная. МНК-оценка вектора А при этом подучается в
(5.2.22)
если матрица (ГТГ) неособенная. Более общему случаю соответ-
ствует формула (5.4.12), приведенная ниже.
Поставим задачу определения вероятности Р(|а*-д. |<et),rfle
, характеризует интервал, в котором с данной ве-
роятностью находится истинное значение £-й компоненты оценивае-
те вектора А .
Как отмечено в п.5.2.2, остаточная сумма квадратов
V=(Z-M')'(Z-FA) (5.2.23)
иеет распределение tf'f(n-m). Заметим, что для этой суммы
с учетом формулы (5.2.22) для А* справедливо выражение
V=Zr(£-F(FrF)V)Z , (5.2.24)
которое может быть легко проверено подстановкой А из форму-
ш (5.2.22) в формулу (5.2.23).
254
Докажем теперь, что компоненты вектора оценок А* и квадра-
тичная функция в формуне (5.2.24) независимы. Из математичек
статистики известно, что случайный вектор BZ и квадратичная
форма ZTCZ независимы тогда, когда ВС-О.
Из равенств (5.2.22) при B = (FTF)''F ч (5.2.24) при С =
= (E-F(FTF)''F) следует, что
BC=(FTF),FT(E-F(FTF)''FT)=(FTF)',Fr-(FTF)',FTF(FTF)''Fr=
= (FTF)-'FT-(FrFr'FT = O ,
а это означает, что вектор А и величина V распределены не-
зависимо.
Обратимся к вычислению доверительных интервалов для коив>
неит вектора оценки А* . Поскольку корреляционная матрица век-
тора ошибок измерения Н определена с точностью до постоянно!
в рассматриваемом случае неизвестного сомножителя б2:
то и корреляционная матрица вектора оценок А также подучаем-
ся с точностью до постоянного сомножителя:
Тогда I -я компонента вектора оценок А* будет иметь распреде-
ление Л/(а* , б2£ц ), где - i -й диагональный элемент матри-
цы Яа, .
Случайная величина
нормирована, т.е. является центрированной, нормально pacnpet-
ленной случайной величиной с единичной дисперсией. Тогда с г
том свойств остаточной суммы квадратов V случайная величина
xi _ (a*- _ л
tn-m
имеет распределение Стьюдента с (п-т) степенями свободы.
Для величины tn.m может быть построен доверительный ик
вал на основании формулы
откуда следует, что
255
p[- ^,n.m I /^]=p-
Задаваясь доверительной вероятностью p , но таблицам рас-
пределения Стьюдента (см.табд.3.21 [40]), можно найти величину
t m , а затем и половину длины 100р-процентного доверитель-
ного интервала для параметра а£ •.
(5.2.26)
С учетом соотношения (5.2.26) равенство (5.2.25) примет вид
р [- е£ a* -a.L^ е J =р .
Пример 5.2.4. Построим доверительный интервал для парамет-
ра af из примера 5.2.3 при условии, что fi = 0,9 и, следова-
тельно,
p[-e,s5 е,]=0,9 .
Имеем п = 6; т = 3; togз= 2,353; V = 0,1668; = 2,32.
Тогда ______
£ _ У0,1668 •, .2,32 2 353 = 0,84.
' 3
Так как а* = 0,98, то с вероятностью 0,9 оцениваемый пара-
метр находится в интервале
10^а,> = [°,14; 1»82]- А
§ 5.3. ОБЩАЯ CXEvlA МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ ПРИ НЕЛИНЕЙНЫХ
СВЯЗЯХ МЕВДГ ОЦЕНИВАЕМЫМИ И НАБЛЮДАЕМЫМИ ВЕЛИЧИНАМИ
Рассмотрим задачу поиска МНК-оценок при нелинейной модели
связи оцениваемых и наблюдаемых параметров и аддитивных ошиб-
ках наблюдения. МНК-оценки отыскиваются путем минимизации квад-
ратичной функции (5.1.10):
С(А)=|г-г(Л)Уир-гм)], (6.эд,
что приводит к нормальному уравнению (5.Т.Н), которое в данном
случае имеет вид [см.дополнение 26, формулу (Д.6)]
Р^Уа₽’р(А)] = 0 • (5.3.2)
Аналогично получается нормальное уравнение для случая
256
[^]Т[2-Г(Л)]=0 . (5.3.3)
Нормальное уравнение (5.3.2) или (5.3.3) представляет со-
бой систему т в общем случае нелинейных уравнений с т неизве-
стными компонентами вектора оцениваемых параметров /4 . Теоре-
тически доказано, что зта система всегда имеет решение, однако
возможны случаи, когда число этих решений бесконечно, в то же
время среди них имеются сколь угодно далекие от истинного. Это
может быть в том случае, когда число уравнений связи в системе
уравнений наблюдения меньше числа оцениваемых параметров, или
среди этих уравнений имеются зависимые, так что число независи-
мых уравнений меньше числа оцениваемых параметров. Оба варианта
соответствуют некорректной постановке задачи оценивания парамет-
ров.
В общем случае при решении системы нелинейных алгебраиче-
ских уравнений (5.3.2) или (5.3.3) возникают большие трудности,
Точное их решение может быть получено только в отдельных част-
ных случаях, например, когда модель связи (5.I.I) вектора наблс-
даемых и вектора оцениваемых параметров линейна (см.§ 5.2).То
же имеет место, когда оценки вектора А отыскиваются в виде ли-
нейных функций вектора наблюдений (см.п.5.2.3). В нелинейном ме
случае необходимо обратиться к приближенным численным методам
решения систем нелинейных алгебраических уравнений. Они доста-
точно подробно описаны в литературе.
Существующие методы решения Таких задач являются в основное
итеративными и в явной или неявной форме используют линеари-
зацию либо условных, либо нормальных уравнений. При этом поду-
чаются процедуры последовательных приближений типа метода Нью-
тона.
Рассмотрим сначала случай, когда линеаризуются условные
уравнения. Запишем разложения функции Г(А) в ряд Тейлора по ис-
комым параметрам в окрестности некоторого вектора Ао , кото-
рый назовем начальным приближением. В этом разложении сохраним
не более чем линейные члены:
Г(А0+ДА)гГ(А0)+-^г|л , (5.3.4)
где ЛА - вариация вектора А ;
ctf(A)/dA- матрица частных производных [см.дополнение I, форму-
лу (Д.3)].
257
Подставим это выражение в показатель (5.1.12):
V = [z-Г(А0)-Да]\[z-F(Ао) - ДА] . (5.3.5)
Нормальное уравнение для поиска ДА запишется следующим
образом [см.дополнение 26, формулу (Д.7)]:
Итак, поиск ДА сводится к решению линейной системы алгебра-
ических уравнений. В том случае, когда матрица линейной систе-
мы Q неособенная, решение ее имеет вид
(6-3-6’
В общем случае решение этой системы получается с привлече-
нием понятия псевдообратных матриц, которое рассмотрено в § 5.4.
Следующий шаг решения задачи состоит в том, что в качестве
очередного приближения вектора оцениваемых параметров А берет-
ся вектор
А,= А0 + ДА ,
и вся процедура повторяется заново с новым начальным прибли-
жением. На к "М шаге получается ДА , а начальное приближение
для ( к + 1)~го шага
Ак„ = А,+ ДА^( .
При некоторых условиях, наложенных на свойства функции F(A),
а также на близость начального приближения к решению задачи А*
этот процесс сходится, т.е.
Um А = А*.
К—оо К
Другой вариант решения нормального уравнения (5.3.2), ос-
нованный на идеях линеаризации, состоит в применении к нему ме-
тода Ньютона. В этом случае итеративная процедура сводится к
реализации итеративной схемы
А„+(= A(f-[w]'1 S(AK) , (5.3.7)
где
> (5.3.8)
W - матрица производных от вектора 5(A) в точке А = АК по век-
тору А .
В § 5.2 было показано, что для линейной модели наблюдения
можно получить те или иные характеристики МНК-оценок в зависи-
258
мости от уровня информации об сшибках наблюдения. В частности
в линейном случав исчерпывающим образом решается вопрос о не-
смещенности оценок, если несмещенными являются наблюдения, а
также о точечных и интервальных характеристиках точности МЖ-
оценок, если имеется соответствующая информация о статистиче-
ских свойствах ошибок наблюдения.
В нелинейном случае модели наблюдения, который рассматри-
вался в настоящем параграфе, дело обстоит гораздо сложнее. Не-
смещенность наблюдений не гарантирует несмещенности оценок.Еще
сложнее подучить точечные, а тем более интервальные оценки. В
таких условиях оказывается невозможным сделать какие-либо суж-
дения о свойствах оценок. Вообще говоря, такие оценки лишены
какого-либо практического сшсла, ибо они могут оказаться сколь
угодно далекими от истинных значений оцениваемых параметров,хо-
тя экспериментатор и не всегда отдает себе в этом отчет. По-
этому нельзя останавливаться лишь на получении самой МНК-оцев-
ки, необходимо хотя бы приближенно установить свойства оценок.
Для установления этих свойств можно воспользоваться линеари-
зованной моделью, кото-
рая строится на каждом
шаге поиска МНК-оценок.
Получаемые при этом МНК-
оценки называются квази-
линейными.
Поимев 5.3.1. По эл-
липтической траектории
(рис. 5.3.1) движется точ-
ка. В одном из фокусов f(
эллипса находится наблю-
дательный пункт. На нем
Рис.5.3.1 в некоторые моменты вре-
мени, определяемые вели-
чиной угла 8 „ производятся замеры дальности г до точки, свя-
занной с параметрами ее траектории зависимостью
r(9)-^c.s18-P) (6-3-9’
где р - фокальный параметр эллипса; е - эксцентриситет;
(6-JS ) - истинная аномалия.
259
Требуется по результатам rt , г, ,..., гм измерений дально-
сти Г определить параметры р , е и £ траектории точки, полагая,
что наблюдения независимы, равноточны и имеют распределение с
дисперсией б2.
Даянью наблюдений в неслучайные моменты 8( , 8г,...^разме-
стим в табл,5.3.1„
Таблица 5.3.1
~е, I a, I е, | I », I I 8.
Решение. Введем обозначения; А<ч>= Сл» PJT » 2<Л>=
В "есоматриваексм случае г> = 3, измеряемая величина ска-
чяраая, М=п , а :линнмизируемая квадратичная форма при Q= Е
амает вад
V =[z~r(Af|r Гъ-ГСаЯ == S Гл - т-------Г .
Прздаотоким, что известно начальной прнбли&зяие для нско-
мкх параметров А0~[д°,а2, с°]т < То1да истинные значения а,,
а и а, моено выразить через приращения
а,= а’+Да,аг=а° + Да2; а3--а“ + £а3 •
Полагая прирашения Да,, Да2и Да3 малыш, линеаризуем фуак-
цип ft(A), i = в окрестности точки 40 :
f (А +ДД)= f (Д ---- даЛт^!.Е°^°Гаэ)_ да +
‘ ° ' £ ’ /+a2cos(6t-a®) ’ [/+a’cos(0-а°)i 2
- а°а° ып(8(.-а°)
Г/ч-а® ces(0-а° )12 3’
гни ‘
<^д)-г1(л,)=д<1,Ф1(е,)+аа!»1(в1).да,1|1,(9£), (6JJO)
где приняты вспомогательные обозначения:
fi(А°) “ f+a’cos'^-a’) ’ 10}“ /+a’cof(et-a’) ’
, a“cos(8-o®) , n a°a°s!.n(6,-<0
“-p+afcos(8^a5^’ <7+a’co5K9 -a" )]г
260
dF(A)
Воспользуемся теперь формулой (5.3.6) для поиска ДА на
первом шаге. Для этого необходимо сосчитать функцию dFlAy/dA.
Учитывая формулу (5.3.10) для каждого f(А) и принимая во вни-
мание правило дифференцирования вектора f(A) по вектору А
[см.дополнение I, формулу (Д.З)], получаем:
ф/е,) ф,(82) ... ф,(8/
ф2(8,) ^(82) ... 4>2(8J .
W W ••• W.
Матрица dF(A)/dA, таким образом, может быть легко найдена.
Остается только проделать вычисления, реализующие формулу
(5-з-ц)
где через F(A0) обозначен вектор , f2 (Ао),..., ^б^)]7 •
Далее, принимая вектор A =A0-4A, за следующее прибли-
жение искомого вектора А • все вычисления необходимо повто-
рять до тех пор, пока не будет найдена оценка А .
Для получения точечных характеристик процесса оценивания
следует линеаризовать уравнения наблюдения (5.3.9) в окрест-
ности вектора А и воспользоваться табл.5.2.1, считая спра-
ведливой линейную модель наблюдения в малой окрестности век-
тора А*. А
§ 5.4. АЛГОРИТМИЧЕСКИЕ ОСОБЕННОСТИ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ
Рассмотрим некоторые вопросы численной реализации процесса
МНК-оценивания при линейных связях наблюдаемых и оцениваемых
параметров. Задачи в такой постановке часто встречаются в прак-
тике использования МНК.
Как было показано в § 5.2, компоненты искомого вектора А
выражаются линейно через элементы вектора наблюдения, а если в
качествел весовой матрицы Q выбрана единичная матрица Е ,то
оценка А отыскивается по формуле (5.2.15):
A*=(FtF)"FZ, . (5.4.1)
Алгоритмические трудности при реализации вычислений по фор-
муле (5.4.1) обусловлены, с одной стороны, возможностью воз-
никновения вычислительной неустойчивости при поиске матрицы
(Р1/7)’’, поскольку матрица FTF может быть плохо обусловлена.
261
С другой стороны, вследствие большой размерности матрицы F мо-
гут стать существенными ограничения по объему памяти ЦВМ, на
которой решается задача. Кроме того, вычисления по формуле
(5.4.1) принципиально становятся невозможными тогда, когда мат-
рица F не является матрицей полного ранга, т.е. ранг (F) -с
В последнем случае матрица F F будет особенной и для
нее не существует обратной.
В настоящее время разработаны различные приемы, позволяю-
щие преодолевать отмеченные трудности. Эффективным средством
обеспечения устойчивости вычислительных процессов при МНК-оце-
нивании служит использование алгоритмов псевдообращения. Зада-
чи же очень большой размерности успешно решаются благодаря при-
певанию рекуррентных алгоритмов. Эти методы и будут кратко рас-
смотрены в данном параграфе.
5.4.1. Некоторые сведения об обобщенных обратных и
псевдообратннх матрицах. Их использование в
методе наименьших квадратов
Пусть даны прямоугольная матрица FCnml , векторы А<т>иХ</)>
Запишем систему линейных алгебраических уравнений
FA=Y. (5.4.2)
Отметим, что здесь пока не делается никаких предположений о
соотношении т и п , а также о ранге матрицы F .
Для любой матрицы F можно подобрать вектор Y , при кото-
ром система (5.4.2) будет совместной. Таких векторов Y мо-
S8T быть много. Запишем решение системы (5.4.2) в виде
A = F’Y . (5.4.3)
Матрица F~ , обладающая свойством (5.4.3), называется обоб-
щенной обратной для матрицы F . Очевидно, что если матрица F
неособенная, то матрица F~ совпадает с обычной обратной матри-
цей.
Оказывается, что обобщенная обратная матрица существует
всегда и для нее выполнено условие
FF~F = F, (5.4.4)
причем соотношение (5.4.4) может быть принято в качестве опре-
деления обобщенной обратней матрицы F~ . Действительно, если
выполнено равенство (5.4.4) и система уравнений (5.4.2) совме-
стна, то из условий (5.4.2) и (5.4.4) следует, что
FA=.FF~FA ,
262
и поскольку FA = Y s то
^‘Y = Y. (5.4.5)
Сравнивая равенства (5.4.5) и (5.4.1), подучаем, что
A=F'Y ,
откуда и следует, что матрица F~ , удовлетворяющая соотношвяв
(5.4.4), эквивалентна обобщенной обратной матрице, определен-
ной ранее по формуле (5.4.3).
Рассмотрим одно важное свойство обобщенных обратных матрс
Введем обозначение
F'F = 6C(n3 .
Вычислим матрицу S2;
в гг г-г i-=d . (5.4.6)
В линейной алгебре матрицы, обладающие свойством 5 = 52,на-
зываются идемпотентными. Таким образом, матрица F~F - идемпо-
тентная.
С учетом понятия обобщенной обратной матрицы решение нор-
мального уравнения (5.2.14) может быть записано в виде
;*=(FtQF)-FtZ?Z ,
а для Q=E
(5.4.7)
(5.4.8)
Эти формулы справедливы для матриц F произвольного ранга
и любых соотношений между тип.
Условием (5.4.4) обобщенная обратная матрица определяется
неединственным образом. Среди обобщенных обратных матриц,от-
вечающих данной матрице F , особую роль играет так называе-
мая псевдообратная матрица, которая будет в дальнейшем обозна-
чаться символом F+ . На нее дополнительно к условию (5.4.4)
(5.4.9)
накладываются такие:
(5.4.10)
(5.4.II)
Из условия (5.4.II) сразу вытекаетs
ется псевдообратной для матрицы F+ , з
'» что матрица F явпя-
263
Выведем соотношение для псевдообратной матрицы а частном
случае 0 когда ранг матрицы F равен минимальному числу из т
л п > Применив операцию транспонирования к правой н левой ча-~
отял форму ш '5о4о4)5 записанной предварительно в виде
(FF>)F = F .
ЛОЕУЧШ
(5.4ДЗ)
На основании свойства '.5.4Д2/ формулу (5.4.13) ионно пе-
реписать так:
(5.4.14)
Если матрица Г- представляет со'чой матрицу полного ранга,
ю мгтрвда FTF является неособенной, и тогда из последней фор-
’упа следует, что
(5.4.15)
Каа отмечалось, для неособенной матрицы понятия обобщенной
обратной матрицы и обычной обратной матрицы совпадают. На сс-
аоваези этого факта с учетом соотношения (5.4.15) формуле
J5.4.8) для оценки вектора А* можно придать вид
A* = F+Z .
(5.4.16)
На практике матрица F обычно имеет полный ранг, а пото-
ку формулой (5.4.16) почти всегда можно пользоваться. Достоин-
ствами применения этой формулы для поиска оценки вектора яв-
ляются сокращение объема вычислений и потребной памяти ЭВМ, а
такие хорошие показатели вычислительной устойчивости алгорит-
мов псевдообращения.
В форме, аналогичной (5.4.16), можно получить МНК-оценки
я для произвольного выбора матрицы Q , если воспользоваться
преобразованиями переменных наблюдения Z , описанными в
п.5.2.1. Например, если представить матрицу Q в виде
Q =ST S
м tn3 (5.4.17)
(а это всегда возможно для неособенной симметричной матрицы)
а обозначить
(5.4.18)
264
то формула (5.4.17) перепишется в виде
A*=(RTR)~ RSZ = R+SZ , (5.4.19)
так что если обозначим SZ=Y , то получим формулу, аналогич-
ную (5.4.16).
Дадим краткое описание одного из наиболее распространении
и эффективных алгоритмов псевдообращения, который известен в
литературе под названием последовательного алгоритма Гревшая,
Пусть fK - к -й столбец в матрице F^^ , т.е. F =
... fm] . Обозначим через F* матрицу, образованную первыми к
столбцами матрицы F . Пусть известна матрица F* , а последняя
строка в ней обозначена символом Ън . Тогда алгоритм состоит в
следующем.
Для к = I т
Если F, = f, = О, то и F* = О.
Для к> I *
F* =[-Ь;~] ’ BK=FH-rdxbK ' ^ = FK-ifK'
При зтом, если ck=fK-Fi(4ctff*O , то
Ь =c* = (f-F .
Если ке сК = О, т.е. fK = Fl(_lclH , то
\=('-чч)Хгл.
Приведем пример использования алгоритма Гревилля для поис-
ка псевдообратной матрицы.
'Пример 5.4.1. Пусть
° Т I
Действуя согласно алгоритму Гревилля, на первом шаге имвеи
Г*=(<f.r'f,=| f, = ['/«, - I/S. '/3.0]
На втором шаге
р/21
‘г'г'Л-к2 *»>
L1 J
поэтому
Ьг=с2+ = (с2тс2)-’с; = 2/3с;=[//3,//3. О, 2/3];
265
Вг=^-*гЬг = №,1./3, 1/3,1].
Таким образом, получаем
с+-Г-21-Г2>/3 1/3 1/3 И
2 М-|_1/3 V3 О 2/з] '
На этом второй шаг заканчивается. Далее делаем последний,
третий шаг
Так как с3 = 0, то Ь3 отыскиваем по другой, чем на втором
шаге, формуле
53=(/ + rfJdJ'rf3TF2+= [l/3,I/3]f2+= [ 1/3,2/9,1/9,5/9,] ,
и далее
й =г+_ ., _ Гг/з 1/з 1/з i ]_Гт/з 2/9 1/9 5/э]_
з 2 “з°з ~ |_j/3 j/3 0 2/3J |_I/3 2/9 1/9 5/9]"
Гт/З 1/9 2/9 4/9 “I .
|_О 1/9 -1/9 I/9j ’
г в -1 ГТ/З 1/9 2/9 4/9]
F=f3=FA-= 0 V9-I/9 1/9 . д
L °3 J |_1/з 2/9 1/9 5/9J
5,4.2. Рекуррентные алгоритмы метода наименьших квалпатов
Пусть наблюдения производятся в моменты времени tf , t2 ,
..., tn и для каждого момента t., i = /(/)/V, связь векторов оцени-
ваемых (\ и наблюдаемых Х£ = Х(±£) параметров соответствует за-
висимости (5.1.6). Если эта связь линейная, то ее можно запи-
сать в виде системы линейных алгебраических уравнений
Xt = FA+H , ( = (5.4.20)
где F A = f(tt,A).
Введем далее обозначения, аналогичные принятым в формуле
(5.1.7):
.......................................• (6-4-21)
При этом уравнение наблюдения остается в виде (5.2.1).
Пусть для простоты рассуждений матрица весов Q взята еди-
ничной, Тогда МНК-оценка вектора А отыскивается по формуле
(5.2.15). С учетом структуры матрицы F и вектора Z [см.вы-
ражения (5.1.7) и (5.4.21)], выражение для А* из формулы (5.2Д5)
можно переписать в виде
rvy I <Х, ,
(£.*.22)
Введем обозначения:
SH=irri^ (5.4.24)
А*д- "А (5.4.25)
Физический синея вектора А* состоит в тсы? что он пред-
ставляет собой оценку вектора А , подученную на основании нас
дюдения вектора X в первые к моментов временя t,, t2, , t,
Если дополнительно к проведенным ранее к наблюдениям век-
тора X будет добавлено еще одно наблюдение в момент времени
tK+( , то выражение для МНК-оценки вектора А при этом запишет-
ся в виде
^и=Ск*Аи ’ (5.4.26)
где
(5.4.27)
(5Л23)
С учетом обозначений (5.4.23) и (5.4.24) формулы (5.4.27)
и (5.4.28) примут вид
= К’ ‘‘ЛиF^ ' ! (5.4.29)
SK4i =Sh + Fh^Xh4 • (5.4.30)
Из линейной алгебры (см.дополнение 3) известна формула,на
основании которой соотношение (5.4.29) может быть переписано
следующим образом:
G ^G-G* F^i(FK+t &н FLt + F ) 4*t GK • ( И Л 4Y V
я+f н н k*j x k+i и k+j t <*r к ^0Ф4ф«л1)
Этим выражением можно воспользоваться для того, чтобы оцен-
ку А*+( записать редуррентно через полученную на предыдущем ша-
ге оценку ••
267
= &К+((^+С XJ~G^,*H + ^<
Из формулы (5,4.25) следует, что
sk = g;'4* .
Учитывая это, последнюю цепочку равенств продолжим таким обре-
зом:
А*м = А> GH„ (ff"'A* + f-;, хк - G^ А* ) =
ЧчЖ)КЛ] • (5.4.3,,
Из формулы (5.4.29) следует, что
^к+f — • (5.4.33)
Учитывая это, соотношение (5.4.32) можно окончательно за-
писать в форме
(5.4.34,
Последнее выражение совместно с формулой (5.4.31) образует
рекуррентную схему для оценивания вектора параметров А при на-
личии (к +1)—го наблюдения, если известна оценка этого вектора
по к предыдущим наблюдениям.
Для случая Q*E уравнения рекуррентного оценивания получа-
ются аналогично предыдущему и имеют вид:
= Чи &к ’> (5.4.35)
= + > (5.4.36)
где Q* - весовая матрица на к -м шаге процесса оценивания.
Для того чтобы можно было начать рекуррентное оценивание по
формулам (5.4.31), (5.4.34) или (5,4.34), (5.4.36), необходимо
знание начальных векторов Д’ и Ga . Первый из них можно выб-
рать в соответствии с имеющейся априорной информацией, а при
ее отсутствии просто положить вектор Д* равным нулевому. Мат-
рицу б0 в отсутствие априорной информации выбирают в виде
£„= с2Е , где с2~> оо .
Йели имеется априорная информация о распределении вектора
А , то можно положить
268
где к& - корреляционная матрица априорного распределения векто-
ра оцениваемых параметров А .
МНК-оценки, получаемые по рекуррентной схеме, обладают теми
же свойствами, что и оценки, получаемые по формуле (5.2.^.Вы-
ведем рекуррентное соотношение для пересчета корреляционной мат-
рицы вектора оценок А* при добавлении очередного измерения,ес-
ли рекуррентное оценивание ведется по формулам (5.4.35) и
(5.4.36). Из выражения (5.4.36) следует, что
Прибавляя и вычитая величину fR+(А в скобках в правой час-
ти равенства (5.4.36) и группируя члены, получаем
L"A’<£-C.X V,J(ArA)4X5<t,4«A)
Из последнего соотношения, учитывая = и не-
коррелированность векторов (А* -А) и Нк+( , ибо не ис-
пользуется при получении оценки А* , имеем
AK+f «
+ • (5.4.38)
Символ транспонирования у матрицы опущен ввиду ее сим-
метричности. Формула (5.4.38) существенно упрощается, когда ве-
совая матрица QK на кавдом шаге выбирается из соотношения
Напомним, что такой выбор весовой матрицы приводит к эффек-
тивным МНК-оценкам (см.п.5.2.2). Действительно, подставив вме-
сто Q" выражение К? получим
Аналогично соотношению (5.4.33) при фк= я'1
Это равенство можно использовать для упрощения первого
слагаемого в правой части формулы (5.4.39):
С, Н*к FM = Е~ G'h ) = GK*I GK •
(5.4.39)
получим
(5.4.40)
269
Учтем последнее преобразование в формуле (5.4.39):
V ’ G;,) ^+' =
= GkGk*i + Ч~ GH„ GK GK*I =
= &ян+&кЖЛ.СГ-е/)&^/ • (5.4.41)
Обратимся теперь к формуле (5.4.37), задающей начальное
приближение для G . Учитывая его в выражении (5.4.41), окон-
чательную формулу для получим в виде
’ (5.4.42)
так как при условии (5.4.37) второе слагаемое в правой части
5ормулы (5.4.41) обращается в нуль.
Подводя итог сказанному выше, можно утверждать, что рекур-
рентная схема оценивания (5.4.35), (5.4.36), помимо достоинства,
связанного с экономией памяти ЦВМ, имеет еще и то преимущество,
что позволяет одновременно определять количество наблюдений,
достаточное для получения МНК-оценок заданной точности.
Пример 5.4.2. Рассмотрим задачу, решение которой с помощью
обычной схемы МНК-оценивания приведено в п.5.2.2. Пусть задано
МзйЧй Ч:Ч
ЧIЧЧI “И 14U ЧЧз Ж
В качестве начальных приближений для А и & возьмем
ГО,7 1 Г2,5 001
Ао*= 0,6 <?„ = 0 0,8 0 .
[_2,5j |_0 О O,4J
Для получения рекуррентного алгоритма оценивания использу-
еи формулы (5.4.35), (5.4.36) и (5.4.42). Всего необходимо сде-
лать три шага. На первом из них:
Г 1,032 -0,405 -0,0321
°’397 -°’136 i
L 0,032 -0,136 0,326j
и. А . л л 1*1,691
А, = Ao+G,FtHH^rFiA^= 1,п ; Ч = Ч
1.2,62 J А’
270
На втором шаге
0,969 -0,415 0.I201
=1 -0Л15 0,292 -0,148 ;
L 0,120 -0,143 О,19Т]
Ч т - Г1’841
А?~-Д( С,32р
L2,43] "
Последний, третий шаг приводит к таким окс^чя^ельным ре-
зультатам:
Г 0 915 -0,347 0,Ilfl
ез = &2 5Vs &Л +К) '“Л = 1“°.3й7 V8* -0 088 :
L0.1II -С ,088 0,098j
л. Л, т , л „ Г1,651
[2,26J ’
Решение задачи проведено на ЭВМ М-220.
§5.5. СУЩНОСТЬ МЕТОДА НАИМЕНЬШИХ МОКУТТРЙ
Исходной задачей при анализе ъотода пелменьпп-х мсдрл---'’
монет сЬть задача, при зеленная в п.5.1.1 Яря изьоаевэл М от-
правным пунктом будет рассмотрение ;'ави<-.«уостн (S.I.8). Запяиеи
ее в более удобных формах: скалярной
r((f9)=f ....C/n)+Aw, р
и векторной
’ (5.5.2)
где I, 9, ju. - соответственно текущие номера функций, точек (мо-
ментов) наблюдения, определяемых параметров;
J,n,/n- соответственно количества (числа) функций, течек
наблюдения, определяемых параметров.
Решение задачи определения оценок состоит в отыскании таких
значений компонент вектора А<т>, при которых зависимость (5.5.2)
наилучшим образом описывала бы реальный процесс, "порождающий"
наблюдения.
Результаты наблюдений функцчй являются реализациями слу-
чайных объектов и представляют собой выборку, Пелв>5ообраэнс,каг
это было показано выше, осолна^тх и о,5.<>едиэвЕ1 длемезты выбор
ки,функции и аддитивной ou.ii.5ke э векторы
271
-:XU
f (5.5.3)
^<я> I - • I ^i<3> | ‘ ‘ j ^n<3>^> '
Тогда уравнение наблюдения примет вид
= <5-5.4)
Выражение для невязки в скалярном виде запишется так:
^V№»-A<»>)’ J-^nJ = N~ ^.5.5)
Оценка качества "восстановления" функций fL производится
в МНМ по некоторой функции ст совокупности невязок е, вида
Ф(Е)Л |ej = (tsn,A<m>)|-. (5.5.6)
а оптимальная оценка вектора
С> = аг^п>}| । " fj {tj*n • A<m>)| » (5.5.7)
где argnrun - аргумент, при котором функция, стоящая справа,
принимает минимальное значение.
Покажем далее, как изложенный выие общий подход трансфор-
мируется в конкретной задаче обработки наблюдений. Перейдем к
рассмотрению частной задачи.
Пусть поведение некоторой системы характеризуется траекто-
рией, определяемой независимыми параметрами а^, jt= Пред-
полагается, что непосредственное измерение последних выполнять
нельзя (схема косвенных измерений), но можно измерять
некоторые функции этих параметров (например, навигационные
функции при наблюдении за движением ЛА) Zt, , при не-
которых значениях независимой переменной , Ъ=Ц1)п , в ка-
честве которой чаще всего рассматривается время. Требование вы-
полнения измерения в каждой точке I* всех J функций Z- не
является обязательным. Наблюдения проводятся (планируются) так,
чтобы количество измерений было не меньше числа определяемых
параметров. Значения функций Z , измеренные в точках 9обо-
звачим через 24i , i = /(f)J, ^)= /(i)n .
272
Предполагается, что известна связь между функциями z
(дальность, скорость, углы и т.п.) и определяемыми параметра®
(например, кеплеровыми элементами траекторий), которая мо-
жет (йть записана в виде
k = 4 .....)+ AJ; • *= '= . (5.5,8)
где Zlj. - случайная оиибка наблюдения, порожденная совокупно-
стью неучитываемых факторов.
Пусть, далее, ошибки наблюдений корродированы и характери-
зуются нулевым математическим отданием и корреляционной матри-
цей
/и[д. 1 = 0, КЛ=КЛ *0 .
L lJ V"1 (5.5.9)
В более простых случаях некоррелированных и неравноточных оши-
бок наблюдения
а некоррелированных и равноточных ошибок
(5.5.10’
(5.5.1Г
Если предположить, что при каждом значении выполнялись из-
мерения всех Z( функций, что, очевидно, выполняется условие
Jn-N^m. (5.5.12
Пусть в качестве отправных (исходных для построения алго-
ритма обработки по МНМ) считаются известными некоторые значе-
ния параметров . Обозначим их через а° , а°,..., а^,...,с
При этих значениях параметров по заданному виду зависимостей
Z можно вычислять их значения в точках , кото-
рые могут быть записаны в виде
‘=w
Количество уравнений вида (5.5.13) равно nJ = N .
С другой стороны, в результате выполнения наблюдений были
получены измеренные значения Z^ , которые не сов-
падают с расчетными в ферме (5.5.13). Такое рассо-
гласование обусловлено:
- несоответствием значений 0.^ истинным значениям а^-,
- несоответотвием выбранного вида зависимостей истин®
зависимостям;
273
~ наличием погрешностей тех измерительных средств, которые
использовались при наблюдениях;
- несоответствием фактических моментов проведения измерений
, которые являются, вообще говоря, случайными величинами,при-
нятым моментам , используемым при расчетах в выражении
(5.5.13), и другими факторами.
Сложность решения задачи в такой постановке состоит в том,
что связь измеряемой функции и определяемых параметров нелиней-
на. Сущность метода легче понять при анализе более простого слу-
чая, а именно линейной связи. Здесь же покажем, как можно орга-
низовать итерационный процесс улучшения получаемых оценок.
Выполним линеаризацию функций Z . С этой целью рассмотрим
разности вида
4. =z*-z;.*o. b‘KW,i=wn. (5ЛЛ4)
Эти разности могут быть выражены через соответствующие откло-
нения (поправки) , которые будем считать отклонениями
принятых для расчета значений от истинных величин а , яв-
ляющихся неизвестными, т.е.
и, следовательно,
..........................................
.....<)*0, «=ОТ>. (5.5.16)
Здесь предполагается, что вид зависимости Z выбран достаточ-
но хорошо, что моменты времени определены без ошибок, а на-
личие разностей * 0 обусловлено неудачным выбором нуле-
вого приближения значений ( ) определяемых параметров, т.е.
выполнением условия (5.5,15). Далее будем считать, что поправ-
ки являются малыми величинами, но не настолько, чтобы
ими можно (йло пренебречь, но можно не учитывать их более вы-
сокие степени, т.е.
Да£^4о£ = ... =Дс£^О.
Разложим в ряд Тейлора в окрестности точки А°т зависимо-
сти 4Z и удержим линейные члены:
= t=/(/)J, 9=/(/)л . (5.5.17)
274
Отметим, что значения частных производных остаются практи-
чески постоянными для выбранной схемы измерений (расположение
измерителей), типа измерителей, а также точки А°<т> разложения
в ряд зависимостей (5.5.16). Это позволяет при многократном ре-
иении задач подобного типа рассчитывать значения производных
до проведения сеансов измерений (до эксперимента).
Отметим также, что разности (5.5.16) могут относиться к рав-
нинным функциям а для одной и той же функции Zt в
разные моменты измерения ее значений могут выполняться раз-
личными измерителями, т.е. с неодинаковыми погрешностями, выие-
сказанное приводит к необходимости отремиться сделать однород-
ными элементы выборки в отношении масштаба, размерности, влия-
ния на окончательный результат, т.е. удовлетворить требования»,
аналогичным требованиям в других методах статистической обработ-
ки наблюдений.
В дальнейшем для удобства изложения переобозначим двухин-
дексную задачу в одноиндексную по аналогии с выражениями (5.5.3),
тогда аналогично уравнениям наблюдения (5.2.1) запишем
~ Фм.пП^А<'п>+ ’
так как М[н</О] = 0 .
При отсутствии априорной информации об ошибках измерений
часто в качестве дисперсии используют квадрат погрешности из-
мерителя, указываемый в паспорте данного измерительного сред-
(5.5.18)
ства.
Дудем считать, что ошибки некоррелированы, а
наблюдения равноточны. В этом случае корреляционная матрица
вектора H<lt> или, что то же самое, вектора примет вид
Кй.«>=6Й^3 • (5.5.19)
Сиотема условных уравнений в векторной форме может быть за-
писана в виде
к'л Фг„ А
0 <N> d itNjri) <т> 0 <N>
n<N> n<N> n<N>
или в скалярном виде для невязок
(5.5.20)
(5.5.21)
275
Как уже отмечалось, если Jn = A/s/n, то, решая линейную си-
стему (5.5.21), находим в случае ее совместности единственное
решение, т.е. значения Да^,р = . Но при = часть
уравнений (m-Jn ) не будет использована и, следовательно,на-
личие случайных погрешностей скажется на результатах в большей
степени, чем при нахождении оценок Да^ по всей располагаемой
информации. Для получения оценок Да^,ju=/(f)/n по всей оовокуп-
вости измерений воспользуемся выражениями (5.5.6) и (5.5.7).
Оценка параметров, получаемая из этих выражений, обладает рядом
достоинств, а сама охема получила наименование метода наимень-
ших модулей. Этот метод обладает определенными преимуществами
перед другими, в частности перед МНК, в том отношении,чтс влия-
ние аномальных наблюдений (измерений) на получаемые из него
оценки сказывается в меньшей степени, чем в каком-либо другом
из известных методов. Причем МНИ не требует предварительной от-
браковки этих аномальных измерений в силу особенностей свойств
Функций вида (5.5.6).
Кратко поясним сущность метода поиска опенки ДА<т в гео-
аетрической интерпретаций.
Пусть в евклидовом пространстве Rm* имеется некоторая функ-
ция вида
L=jN <5-5-22>
где т - число Ла^ , a L - функция, экстремум которой нужно
определить. Поставим в соответствие этой функции дополнительную
ось координатной системы, которую будем обозначать через I. Не-
известными переменными в этой функции являются Ла^ . Анализ
вида функции и ее свойств позволяет сделать следующие выводы:
- функция непрерывная, неотрицательная и не ограничена свер-
ху, т.е. для любых Аа'р >Аа^ЦЛа'^
- функция куоочно-ненрерывная, а не "гладкая", т.е. произ-
водная функции существует не во воех точках;
- функция обладает определенной симметрией, что может быть
использовано при ее исследовании;
- функция выцуклая, так как для любых точек М( , Мг, лежа-
щих на поверхности, соответствующей функции L из формулы
(5.5.22), выполняется соотношение
+ (5.5.23)
276
Поскольку фуакция L неотрицательна, то она лежит целиком
выше гиперплоскости 1 = 0. Обозначим полупространство 1^0 симво-
лом Qm*'. Гиперповерхность, отвечающая функции L , образована
парами /Г)-мерных полуплоскостей, имеющих линию пересечения,ко-
торая лежит в плоскости 1 = 0 „ и каждая пара полуплоскостей на-
ходится в полупространстве ^'п+' , где выполняется условие L = 0.
Таким образом, функция Ь выпуклая, неотрицательная, не ог-
раничена оверху, и следовательно, ее экстремум может быть толь-
ко минимумом.
Для лучшего понимания излагаемого метода поиска экстремума
функции L предположим, что /п=2и /?'"*’ - трехмерное евклидово
пространство. В этом случае выражение (5.5.6) примет вид
L = S b |S +с, | ,
</=' </1н=|Т^ Л (5.5.24)
а функция L (Да(, Да2 ) является функцией двух переменных.
Рассечем поверхность, отвечающую функции L , плоскостью 5Г,
параллельной оси 0L . Плоскость проводится произвольным обра-
зом, например параллельно плоскости 0l&at.
В плоскости сечения 51 находится точка , принадлежащая
поверхности L , и минимальная точка на ломаной, лежащей в се-
чении 5Г . Обозначим эту ломаную символом . Координаты этой
точки M=L(bat\ Да”1) фиксируются. Далее через точку Mt проводит-
ся новое сечение плоскостью 5t2 , параллельной оси 01 . На обра-
зовавшейся в результате сечения поверхности, отвечающей функ-
ции ь , плоскостью Яр ломаной вновь отыскивается минимальная
точка М2 = Ь(Да”г,Да2), которая также фиксируется. Затем процесс
продолжается до тех пор, пока новое сечение не улучшит искомо-
го результата. Процесс заканчивается, когда будет нарушено ус-
ловие
Ь(Да*‘Да2‘)^£(Да*‘*\ Да"1*') . (5.5.25)
Последняя фиксированная точка Mt=L(da"‘, Да”‘)и дает решение за-
дачи, т.е. минимум значения функции L .
Алгоритмические схемы поиска экстремума функций вида (5.5.6
изложены в литературе и здесь мы только назовем их. Так, могут
быть рассмотрены два метода решения задачи оценивания по МНМ:
- метод приведения задачи к задаче линейного программиро-
вания;
-метод вариационно-взвешенных квадратических приближений.
277
§ 5.6о РЕГРЕССИОННЫЙ АНАЛИЗ
Задача регрессионного анализа состоит в предсказании зна-
чения одной или нескольких случайных величин на основе инфор-
мации, получаемой при наблюдении других случайных величин, свя-
занных с предсказываемыми вероятностной зависимостью. Еоли обо-
значить через А<т> т-мерный вектор искомых величин, а через
Z<„>- п -мерный вектор наблюдаемых величин, то вероятностная
зависимость между ними может быть задана, например, в виде сов-
местной плотности распределения вероятностей ip*. (A,Z). Иног-
да может быть известна (помимо векторов математичеоких ожида-
ний М[А] = A hM[z] = Z ) лишь корреляционная матрица их сов-
местного распределения, которая с учетом обозначения
YT=[AT;ZT] (5.6.1)
записывается в блочной форме:
Кл , (5.6.2)
где Ял и^ - соответственно корреляционные матрицы векторов А
к Z д, а Ял? = к\& - взаимная корреляционная матрица векто-
ров А и Z *, т.е.
K2. = m[(A-A)(Z-Z)TJ. (5.6.3)
Задачи предсказания подобного рода, основанныелна некото-
рой априорной информации о распределении вектора Y , в прак-
тике возникают достаточно часто. Например, задача предсказания
погоды на несколько часов вперед, задача предсказания траекто-
рий движения планет солнечной системы по данным наблюдения па-
раметров траекторий в прошлом и др.
В регреосионном анализе иопользуются различные показатели
качества предсказания. Наиболее распространен показатель,имею-
щий смысл среднеквадратической ошибки
M[v] = /w[(A-f(Z))T(A-F(Z))J , (5.6.4)
где F(Z) - некоторая функция от компонент наблюдаемой случай-
ной величины Z , называемая в математической статистике пре-
дпсатором для А •
Подчеркнем различие между регрессионным анализом и методом
наименьших квадратов, рассмотренным в § 5.1 - 5.3, поскольку
в обоих случаях постановки задач сходны.
278
В методе наименьших квадратов случайным считается вектор
наблюдения Z , относительно которого бывает известна та или
иная априорная информация. Иногда вектор А также считается
случайным, еолиди о нем имеется априорная информация. Однако
связь векторов Z и А рассматривается в детерминированной
(функциональной) форме. Регрессионный же анализ используетоя
тогда, когда связь этих векторов задается в вероятностной фор-
ме с некоторой степенью полноты, о чем уже шла речь в начале
данного параграфа. В качестве показателя качества в регрессион-
ном анализе рассматривается среднее значение квадратичной опис-
ки предсказания, что и отражено в формуле (5.6.4) для показа-
теля.
Итак, вернемся к задаче регрессионного анализа. Покажем,что
функция (5.6.4) достигает минимума в том случае, когда в качест-
ве предикатора F(Z) выбрано условное математическое ожидание
M[A/Zj , т.е. когда
A*=F*(Z) = M[A/z] . (5.6.5)
Прежде чем доказывать результат (5.6.5),убедимся в справед-
ливости формулы
М[ф(А,2)] = 0, (5.6.6)
в которой т
ф(й,2 ) = [f*(2)-F(Z)J [A -F*(Z)] ,
причем F(Z) - произвольная функция.
По определвнию^математического ожидания функции,
м[ф(А,1)]= j \..]^lA,Z)^idalda2...da„,dzldz2...dznt
что для краткости*?удем в дальнейшем записывать так:
м[ф(А,2)] = $ i|)(A,Z)q)i?.dAdZ , (5.6.7)
ЯдхЯх
подразумевая под областью Од х Qz область задания вектора X
и Z , под дифференциалами dA и dZ - произведения datda^..
dam и dz(dz2 ... dzn , а под интегрированием по (л+т)-мер-
ной области Од х Qz - (т+л)-кратное интегрирование в обычном
смысле.
Учитывая известное из теории вероятностей соотношение для
плотности вероятностей многомерного распределения
Ф„<А.2)=Ч>г(г)%.<Д/г),
279
формулу (5.6.7) можно преобразовать таким образом:
M[<|i(A,Z)] = (Z)-F(Z)]\(Z) jj [A-F*(Z)]фя/г(4,Z)JzMdZ =
= j[F*(Z)-F(Z)]TM[(A -F*(Z))/Z]ipjZ)dZ . (5.6.9)
Формула (5.6.9) получена на основании определения условно-
го математического ожидания
m[(A-F*(Z))/z] = J[^-F*(Z)]ip5/2(A/Z)flfA . (5.6.10)
q2
С учетом обозначения (5в605) для функции (5.6Л0), получим
m[(4-F*(Z))/z] = M[A/z]-M[A/z] = 0 , (5.6.II)
поскольку осреднение слева в формуле (5.6.10) ведется по А ,а
функция F*(Z) от А не зависит.
На основании свойства (5.6.TI) убеждаемся, что под интегра-
лом (5.6.9) содержится сомножитель, тождественно равный нудю,
а поэтому и весь интеграл равен нулю. Итак, формула (5.6.6) до-
казана.
Теперь совсзм проото получить основной результат регресоисн-
вого анализа (5.6.5). Перепишем показатель (5.6.4) в виде
M[v] = M[fA-F*(Z) + F*(2)-F(£))T(A-F*(Z)+F*(Z )-F(Z))] =
=M[(A-F*(Z))T(A-F*(Z)j|+2^[(F\Z)-F(Z))T(A"-F*(Z))]4-
+ M[(F*(Z)-F(Z))t(F*(Z)- F(Z))] .
С учетом формулы (5.6.6) получим
M[v] = M[(AA-F*(Z))7A-F*(Z)j+M[(F*(Z)-F(Z))r(F*(Z)-F(Z))j
&m[(A-F*(Z))t(A-F*(Z))] , (5.6.12)
так как в правой части равенотва (5.6.12) отбрасывается положи-
тельное слагаемое.
Поскольку F(Z)- произвольный предикатор, а равенство в со-
отношении (5.6.12) будет достигаться лишь при F(Z)=F*(Z) ,тс
F*(Z)- оптимальный предикатор, что и требовалось доказать.
Итак, оптимальным предикатором в задаче регрессионного ана-
лнза является условнее математическое ожидание прогнозируемого
вектора при наблюденном значении вектора Z .
Рассмотрим пример использоваиия этого правила для олучая,
когда вектор Y , введенный в формуле (5.6.1), имеет нормальное
280
распределение /V(Y, . Учтем при этом, что м[$]=[Ат; Zt]t
ш корреляционная матрица Я? разбита на блоки, как это пред-
ставлено в выражении (5.6.2).
Чтобы получить формулу для условного математического ожи-
дания вектора К при заданном Z , необходимо воспользоваться
соотношением (5.6.5), учитывая, что уолсвное математическое ожи-
дание
Mp/Z] = j Афа/? (A/Z)dA ,
где q>(A/Z) - определяется по формуле (5.6.8). Приведем оконча-
тельный результат:
' (56J8)
здесь Z - наблюденное значение случайного вектора Z .
Матрица Я«£ Яд в математической статистике ^известна под
названием матрицы коэффициентов регрессии А на Z . При этом
корреляционная матрица вектора оценок А
КИ ’ (5.6.14)
где Hg - корреляционная матрица априорного распределения век-
тора А .
Диагональные элементы корреляционнойлматрицы Я#, характери-
зуют дисперсии оценок компонент вектора А и образуют систему
точечных оценок этих компонент.
Анализируя результат (5.6.13), можно заметить, чтс опти-
мальные в среднеквадратическом смысле оценки компонент векто-
ра А для олучая нормального совместного распределения А и Z
выражаются линейно через компоненты вектора наблюдения f . В
общем же случае произвольного распределения оценки получаютря
нелинейными. Однако всегда оптимальные по показателю (5.6.4)
оценки получаются несмещенными. В частности, для нормального
распределения А и Z в этом легко убедиться из формулы (5.6.13),
В томдслучае, когда вид функции совместного распределения
векторов А и Z неизвестен, но известна корреляционная матри-
ца вида (5.6.2), можно решить задачу построения оптимальных не-
смещенных оценок вектора А по наблюдению вектора Z в классе
линейных оценок. Приведем ^решение этой задачи.
Пусть оценка вектора А отыскивается в виде
A=A-C(Z~Z) (5.6.15^
281
в требуется найти матрицу С из условия минимума показателя
(5.6.4). Очевидно, что сценка (5.6.15) для А будет несмещенной
при любой матрице С.
Введем обозначения для центрированных векторов А*-А и Z~Z:
А=А*-А ; 2=Z-Z .
Тогда формула (5.6.15) перепииется в виде
l-cl . (5.6.16)
Подставив в формулу (5.6.4) вмеото F(Z) правую часть выра-
иения (5.6.15) о учетом преобразования последнего к виду (5.6.16)
подучим А А
M^] = m[(A-c2)t(A-CZ)J . (5.6.17)
Условие минимума функции (5.6.17) имеет вид
<Й = 0, 1 = Ц1)т, j = . (5.6.18)
0Сч
Дифференцируя функции (5.6.17) по Ctj [см.дшолнение 2в, фор-
мулу (Д.9)]и приравнивая производные нуле, получаем
м[$-сЧ )2т] = 0 ,
откуда следует, что
HSz ~ C*Kt = ° ’
Подставим теперь выражение для С* в формулу (5.6.15)
А =А-К^(^)*(2-г). (5.6.19)
Сравнивая полученное выражение с формулой (5.6.13) для оп-
тимальной сценки при нормальном распределении векторов Я и Z ,
видим их полную аналогии. Отсюда следует замечательный резуль-
тат регрессионного анализа.
В классе линейных несмещенных сценок оптимальным предика-
тором,д независимо ст вида совместного распределения векторов
А и Z , является предикатор (5.6.13), а в классе нормальных
распределений последний оптимален на множестве всех возможных
предикат орсв.
Отметим,д что для произвольных распределений точечные оцен-
ки вектора А , оптимальные в классе линейных несмещенных оце-
аок, даются той же самой корреляционной матрицей (5.6.14).
282
Пример 5.6.1. Пусть известао, что векторы А<3> и Z<g> име-
от нормальное совместное распределение, причем
М[А] =[/, 2,21r, M[z]=[3,4,5,S 7,81 ,
а корреляционные матрицы К* К* и взаимная корреляционная мат-
рица КЛ. = KL таковь.: А 1
Г 0,13 -0,05 0,025~|
Яа = -0,05 0,025 -0,014 ,
А L °’025 -2.014 O.OIOJ
Г 0.08 -0,025
=| -0,025 0,011
L 0,011 -0,004
i О о о о
0 0 0 0
I -0,5 О О
-0,5 10 0 ’
001 -0,5
О 0 -0,5 I
0,03 0 -0,02 0,025'
О -0,03 0,025 -0,017
-0,008 0,006 -0,017 0,016.
в результате эксперимента получена реализация вектора L .
z = [3,l; 3,9; 5,05; 5,8; 7,2; 8,2jr
Требуется и помощью метода регрессионного анализа долучи-ь
апостериорную оценку и апостериорную корреляционную матрицу
вектора А . В данном случае эта матрица будет представлять со-
бой корреляционную матрицу оценки А* .
На основании фсрмулы_(5.6.13) имеем
Г=А-Кг2(Я?)-'(2-2) .
Входящие в последнюю формулу величины применительно к рас-
сматриваемой задаче таковы:
(Z-Z) =-[-0,1; 0,1; -0,05; 0,2; -0,2; 0,2]т •,
"4/3 2/3 О О О О
2/3 4/3 0 0 0 0
-1_ О 0 4/3 2/3 0 0
“ О 0 2/3 4/3 0 0 ’
О 0 0 0 4/3 2/3
О О О 0 2/3 4/3 _
[0,09 0,02 0,04 0,02 -0,01 0,02 1
-0,026 -0,002 -0,002 -0,004 0,022 -0,006!.
0,012 0,002 0 0,006 -0,012 0,010]
283
Отсюда следует, что
[1~| Г0,09 0,02 0,04 0,02 -0,01 0,02“I
2 - -0,026 -0,002 -0,002 -0,004 0,022 -0,006
г| 0,012 0,002 0 0,006 -0,012 о,oiq
’-o.il
0,1 |i,007'
-0,05^2,0015
0,2 1,999
-0,2
0,2
Корреляционная матрица оценки А* вычисляется по формуле
(5.6.T9):
Г 0,125 -0,047 0,02361
Кд#= - к ЛА (К )'’КЛА « “0,047 0,0237 -0,0132 .
А А Az 2 2А L 0,0236 -0,0132 0,0095_|
Поставленная задача решена полностью. д
§ 5.7. ЭЛЕМЕНТЫ ФАКТОРНОГО АНАЛИЗА И КОМПОНЕНТНОГО АНАЛИЗА
Факторный анализ и компонентный анализ относятся к тем раз-
делам математической статистики, в которых исследуется внутрен-
зяя структура корреляционных матриц. Возникновение этих подхо-
дов относится к первой четверти XX в., однако активное исполь-
зование их характерно лишь для последнего времени в связи с раз-
витием вычислительной техники, а также расширением круга задач,
где о успехом используется математическая статистика.
С помощью методов факторного анализа и компонентного анали-
за решается ряд проблем статистической оценки размерности наб-
людаемого набора случайных величин. При этом в качестве иоход-
зой информации используется корреляционная матрица (или ее оцен-
ка). Целью анализа является замена исходного набора оптимальным
забором меньией размерности, причем понятия оптимальности в фак-
торном анализе и компонентном анализе различны, и именно это
различие делает самостоятельным оба эти метода.
Основная задача компонентного анализа - выбор удобной в не-
котором смысле системы координат для задания и исследования мно-
вества случайных величин с целью выявления переменных, являющих-
ся линейными комбинациями исходных, с наибольией дисперсией.
Главное предположение факторного анализа заключается в том,
что множество исследуемых (наблюдаемых) переменных можно опи-
сать меньшим числом некоторых гипотетических переменных (прос-
тых факторов) и множеством независимых остатков, что эквивалент-
во поиску источника возникновения корреляционных связей в наблю-
даемой множестве случайных величин.
284
Таким образом, основное различие между факторным анализом
и компонентным анализом состоит в том, что если последний ори-
ентирован на анализ дисперсий набора случайных величин и выяв-
ление линейных комбинаций с наибольшей дисперсией, то факторный
анализ занимается выявлением причин возникновения корреляций в
исследуемом множестве случайных величин.
Рассмотрим элементы теории компонентного анализа. Пусть из-
вестно, что случайный вектор Z<n>=[z(,z2...zn]T имеет нулевое ма-
тематическое ожидание м[2] = 0 и корреляционную матрицу Кл ран-
га /п^л.
Первой главней компонентой набора случайных величин2назо-
вем линейную комбинацию его компонент
Hi ’ /г п т\
обладавшую наибольшей дисперсией при условии
(5.7.2)
где В - вектор неслучайных коэффициентов.
Второй главной компонентой назовем нормированную линейную
комбинацию
Ml ^2<n>^<n> ’
обладающую наибольшей дисперсией на множестве всех линейных кои-
бинаций, некоррелированных с первой главной компонентой yf , что
математически записывается в виде условия
«[ЗД-ИрГНЧМ'','’,”»- (5.7.8)
Аналогичным образом (по индукции) определяется л-я глав-
ная компонента как случайная величина, которая представляет со-
бой нормированную линейную комбинацию компонент вектора Z .не-
коррелированную со всеми предыдущими главными компонентами и
обладающую максимальной дисперсией. Заметим, что дисперсия /* -й
главной компоненты может быть вычислена по формуле
(5/м)
а условие нормировки аналогично равенству (5.7.2) формулирует-
ся в виде
(5Л5)
Алгоритм поиска главных компонент и их основные свойства
вытекают из следующей теоремы.
285
Теорема. Пусть случайный вектор Z<n>имеет нулевое матема-
тическое ожидание и корреляциейнув матрицу Нл[пз ( и случайный
вектор Y получается линейным преобразованием2^’неособенной мат-
рицей ВТ :
Y =ВТ Z .
<л> Слз <Л> ’
такой, что г -м столбцом матрицы S=[B(iB2' -.;ВП] является соб-
ственный вектор корреляционной матрицы Hi , отвечающий г-му по
величине собственному числу ее Лг, /• =/(/)п , где &
. Тогда г-я компонента случайного вектора Y (компо-
нента уг ) является r-й главной компонентой множества олучай-
вых величин Z = [z(, Z2,.,.,Zn]r. Дисперсия r-й главной компоненты
равна . Условное математическое ожидание случайной величины
m[ztz/^=o,</2=o...................^=o]=M[z^]-pt..
Наилучшее линейное предсказание вектора Z (при использо-
вании регрессионных методов) на основе множества линейных функ-
ций Д=£(<п>2, £г = сг<п>£.(предсказание с наименьшей дис-
персией) имеет место в том случае, когда множество указанных
случайных величин х, х* эквивалентно множеству первых
А главных компонент yt , <уг,..., ун в том смысле, что любая из
величин I , <. = /(/)/(, монет быть представлена в виде линейной
комбинации случайных величин ус, 1=Ц1)к. А
Доказательства теоремы приводить не будем. Оно несложно и
с нии можно познакомиться в литературе по многомерному стати-
стическому анализу [2J.
Из теоремы вытекает одно практически важное приложение ре-
зультатов компонентного анализа. В частности, если целью экс-
перимента является оценка компонент некоторого вектора А по
результатам наблюдения другого вектора Z , линейно связанного
^оцениваемым, то, располагая корреляционной матрицей вектора
А , можно получить главные компоненты и при первичной обработ-
ке наблюдений вектора Z вычислять с целью последующего запо-
минания и использования при вторичной обработке лишь линейные
комбинации компонент вектора Z , соответствующие нескольким
первым главным компонентам. Задачи такого типа называются зада-
чами сжатия информации. Таким образом, резюмируя сказанное, мож-
но отметить, что одним из направлений использования результатов
компонентного анализа является сжатие информации в процессе 'ее
первичной обработки.
Пример 5,7.1. Пусть случайный вектор Z<6> имеет нулевое ма-
тематическое ожидание и корреляционную матрицу
286
"о,159-Ю1 0,937-Ю"4
0,937-Ю"4 0,123-10'1
к = 0,456-Ю'4 -0,661 1О'4
z -0,118 IJ.135
-1,381 -1,610
-0,391 -0,033
Найдем собственные
0,456-10~“ -0,118 -1,381 -0.391 '
-0,661-Ю"4 0,135 -1,610 -0,033
0,155-10'г -0,319 -0,292 0,401
- 3,319 0,668104 -0,195-Ю4 -0,153-10“
-0,232 -0,195-Ю4 0,21910s 0,129-Ю3
0,401 -0,153-Ю4 0,129-Ю3 0.624 Ю4
числа и собственные векторы корреляцион-
ной матрицы. Решение этой задачи на Ц№ М-220 приводит к еле-
1нцшм puojмохахал«
Л, = О,221-Ю5; Л2 = 0,184-104, Л3 = 0,чЗЗ-!04 ,
\= 0,151-1O'Z; Л5 = 0,145 Ю'г-, Ае = 0,706ч0' ,
-0,611-Ю"4 | -0,124- Ю'5 j -0,104-Ю"31 0,702 > 0,700
-0,729-10’“ । -0,660-10’S | - 0,101-Ю’4 < -0,045 j Ц037
-0,105 Ю"4 1 0,737-Ю"4 ! 0,302-Ю"1 | 0,110 । -0.713
-0,127 | 0,722 I 0,678 I 0,805-Ю"4 [ 0991-Ю"5
0,991 |-Q107 ! 0,072 | 0,576-Ю"4 1 0,418-Ю’4
0,020 |-0,682 । 0,730 j 0,166-Ю’4 ! 0,924 Ю’“
! -0,639-Ю’2’
। -0,400-Ю'3
I 0,620 Ю'1
I 0,094
j 0,966
I 0,242
Первые три главных компоненты в нашем случае иочерпывам
практически всю дисперсию - свыше 99,999%. Эти компоненты име-
ют вид
у=-0,611-10'4 -0,729-10'4-0,105-10'4-0,1214^0,994^0,020?6 ;
& = -0,124 10'4Г0,660-10'42 +0,13-/-10'43+ 0,122£4-0,101zs-0,682zs ;
дз=-0,Ю4 10'4 -0,101-10'4^ 0,302-10'4+0,678г4+-0,0722£+ 0,1301. .
Таким образом, при решении задачи сжатия информации с целы
последующего ее использования для оценки некоторого вектора А,
линейно связанного с измеренным вектором Z , достаточно запо-
минать от эксперимента к эксперименту лишь три величины вместо
шести, что вдвое экономит память. Ирм этом точность восстанов-
ления вектора А по информации лишь о компонентах , у2 и у3
практически не ухудшится по сравнению со случаем использования
всего вектора Z . А
Рассмотрим модель факторного анализа. Представим случайный
вектор Z<n> в виде
^<п> ~ > (5.7.6)
где Fcm>- вектор случайных величин называемых простыми
факторами, которые могут быть как коррелированными,
так и некоррелированными;
287
&,п>- векгор некоррелированных случайных величин;
^т1- матрица, элемент , с = Ц1)п; д = Ц1)т, который называ-
ется нагрузкой J. -го фактора f в l -й случайной ве-
личине z; .
компоненты вектора F называют такхе общими факторами, а
компоненты & - частными. Заметим, что корреляционная матрица
вектора G- - диагональная (на диагонали могут быть и нули):
{5е7#7)
В факторном анализе постулируется, что корреляции между ком-
понентами случайного вектора Z могут быть объяснены их зависи-
мостью от небольшого числа факторов (случайных величин f( , f2 ,
,..,fm), за вычетом которых компоненты вектора Z становятся
некоррелированными. Поиск минимального числа таких факторов и
является задачей факторного анализа.
Вообще говоря, задача факторного анализа, как она только
что была сформулирована, решается неоднозначно. Покажем это.На
основании формулы (5.7.6) можно записать
M[(Z-Z)(Z-Z)r] = ^=DDr+Kg , (5>7ф8)
если предположить, что простые факторы некоррелированы и имеют
единичную корреляционную матрицу, причем - диагональная кор-
реляционная матрица вектора частных факторов. Рассмотрим неко-
торый другой вектор простых факторов А , связанный с исходным
F ортогональным линейным преобразованием с матрицей В (преоб-
разованием вращения) А
Тогда вместо равенства (5.7.6) можно записать
Z=BSA<-G-D,A^ . (5ф7 9)
Согласно основному свойству ортогональной матрицы,
л ВВТ = ВТВ = Е.
После подстановки Z ин формулы (5.7.9) в (5.7.8) получим
M[(Z-Z)(Z-Z)T] =R?=27,BBtD| + ^=D,^+Ka ,
т.е. ББТ = Л)И)Г. Z *
Это подтверждает, что задача факторного анализа имеет не-
единственное решение. Единственность решения обычно достигает-
ся наложением дополнительных ограничений на вектор искомых фак-
торов или на матрицу нагрузок D.
288
Имеются различные методы решения задач факторного анализа,
они подробно описаны в специальной литературе. Фактически зада-
ча состоит в поиске матрицы нагрузок L минимального ранга и
последующей интерпретации физического содержания факторов.Пред-
ставляет интерес проблема описания факторов ft через
компоненты вектора Z . Однако такая задача принципиально не мо-
жет быть решена. Оказывается возможным лишь найти такие линей-
ные комбинации компонент вектора Z , которые были бы близки к
ft, f2fn в некотором смысле. Один из подходов состоит в ис-
пользовании МНК. Не вдаваясь в детали вывода, отметим лишь,что
в случае некоррелированных простых факторов хорошее приближе-
ние получается применением методов регрессионного анализа:
(5.W
где D - матрица нагрузок факторов;
К$ - корреляционная матрица вектора Z .
Если простые факторы коррелированы, то следует пользовать-
ся формулой
(5.7.п
где Кл - корреляционная матрица простых факторов, которая счи-
тается известной (или найденной).
Методы факторного (как и компонентного) анализа находят пр
менение в различных задачах "сжатия" информации пря первичной
обработке, при анализе структуры случайных величин,в статисти-
ческих задачах распознавания и др.
§ 5.8. ПОНЯТИЕ О ДИСПЕРСИОННОМ АНАЛИЗЕ
Задача дисперсионного анализа - исследовать влияние тех им
иных факторов на средние значения наблюдаемых случайных величв-
Приведем примеры задач такого рода.
Пусть проводится мероприятие, цель которого, по замыслу ко'
структора - улучшение некоторой характеристики электронной ап-
паратуры. Например, меняются некоторые условия технологии изго-
товления и сборки аппаратуры (меняется процентное содержание
какой-либо добавки в металл, иопользуемый для изготовления эле-
ментов аппаратуры, изменяется температурный режим некоторого 1
процесса и пр.). Пусть под характеристикой аппаратуры понимает-
ся время ее безотказной работы, которое является случайной ве-|
личиной. В результате испытаний аппаратуры до проведения меро-1
289
дриятий, о которых шла печь, была получена случайная выборка
времен безотказней работы Х( , Х2,..., ХЛ. Аналогичная выборка
была получена и после проведения мероприятий: Y, , Y2,..., Y?.
Далее перед конструктором стоит задача определить, приводят ли
предложенные мероприятия к улучшению характеристик надежности
аппаратуры или нет. Для этого необходимо оценить среднее значе-
ние времен безотказной работы по первой и второй выборкам и сце-
дить, значимо ли в некотором смысле расхождение между ними.
Приведем пример другой аналогичной задачи, в которой тре-
буется установить, принадлежат ли две случайные выборки к од-
зой и той же генеральной совокупности, т.е. проверить гипотезу
о статистической однородности некоторой выборки, полученной объ-
единением двух подвыборок, Такая задача возникает при выявлении
систематических ошибок в измерительных приборах при сравнении
данного образца прибора с другим, принятым за эталон.
Итак, дисперсионный анализ состоит в выделении и оценке от-
дельных факторов, вызывающих изменчивость некоторых случайных
величин. С этой целью производится разложение дисперсии каждой
is подвыо'орок некоторой выборки на составляющие, каждая из ко-
торых порождается одним из факторов.
Схема дисперсионного анализа зависит от того, влияние сколь-
ких факторов исследуется в данной задаче. В связи с этим в ма-
тематической статистике рассматриваются однофакторный, двухфак-
терный и в общем случае многофакторный дисперсионный анализ.Ни-
ле рассмотрена простейиая схема однофакгорного дисперсионного
анализа.
Пусть х - случайная величина, характеризующая некоторый
количественный признак, а у - фактор, имеющий г постоянных
уровней, влияние которого на количественный признак х иссле-
дуется. Будем предполагать, что число наблюдений на каждом уров-
ае одинаково и равно . Будем также предполагать, что величи-
за£ имеет нормальное распределение и при всех уровнях факто-
ра о сохраняет дисперсию постоянной.
Итак, пусть наблюдалось значенийх признака х ,где
i - номер испытания, i = /(/)£ ; j - номер уровня фактора ,
. Сведем результаты наблюдений в табл.5.8.1.
Введем следующие понятия:
- общая сумма квадратов отклонений наблюдаемых значений от
общего среднего значения:
-х)2 , (5.8.1)
290
Т а б л и с 1 а 5.8.1
Номер испытания Уровни фактора tjj
Я» Яг
I 2 *л Х2, ^12 Х22 Х,г Х2г
Х92
Групповое среднее нн
- факторная сумма квадратов отклонения групповых средних
значений от общего среднего:
зг = (}$(Х;-Т)г , (5.8.3)
причем вычисляется так, как указано в последней строке таб-
лицы. Эта величина характеризует, как видно из равенства (5.8,.
рассеяние между группами;
- остаточная сумма квадратов отклонений наблюдаемых значе-
ний в каждой группе от своего группового среднего
• (5-м
Эта величина характеризует рассеяние внутри групп.
Для введенных величин справедливо соотношение
5ойц ~ 5Ф + Socm »
(5.8.5)
что доказывается простой подстановкой в равенство (5.8.5) вы-
ражений для , S* и s^ein из формул (5.8.1), (5.8.3) и (5Л.4
и формулы для х из табл.5.8.1.
Величина характеризует воздействие фактора £ . Дейст-
вительно, пусть этот фактор у оказывает существенное влияние
на х . Тогда группы наблюдений величины х при одном значе-
нии у и при другом будут отличаться между собой. Значит, будут
различаться и их групповые средние значения х = пре-
чем сни будут тем сильнее рассеяны вокруг общего среднего заа-1
291
чения, чем сильнее влияние фактора £ . Этот факт и от-
ражается формулой (5.8.3).
Величина s^mотражает влияние случайных причин, ибо она пред
отавляет собой оумму квадратов отклонений внутри каждой из
групп от своего среднего значения.Причины этих отклонений,оче-
видно, не связаны с фактором д , а потому отклонения этого ти-
па характеризуют случайные факторы„
На основании формулы (5.8.5) можно заключить, что от-
ражает влияние как исследуемого фактора, так и случайных при-
чин.
Суммы квадратов s* и s^, деленные на величины (г^-/),
г-/) и r(^-f), дают несмещенные оценки для диоперсии бг слу-
чайной величины х
(5.8.6)
se
(5.8.7)
Sar^rT^fj' (5.8.8)
Первая из этих оценок называется общей оценкой дисперсии,
вторая - оценкой дисперсии по факторам, третья - оценкой оста-
точной диспероии.
При выполнении дисперсионного анализа целесообразно поль-
зоваться табл.5.8.2. Таблица такого типа полезна не только при
Таблица 5.8.2
Вариации Сумма квадратов Число сте- пеней сво- боды Оценка дисперсии
Общая 5г общ гр-1
По факторам (между группа- ми) 4=^(^_£)г г-1 s»=4- ₽ г-1
Остаточная (внутри груп- пу) sL=s^-s; S2 = JW_ ООП г^-/)
ручном счете, но и при вычислениях на ЦВМ, так как она позво-
ляет рационально распределить память и характеризует последова-
292
тельность вычислений, что необходимо при программировании. Да-
лее для проверки значимости расхождения 52р1л5дс1П необходимо вос-
пользоваться статистикой Фишера, т.е. F - критерием.
Выберем в качестве нулевой гипотезу о равенстве групповых
средних. В этом олучае факторная и остаточная дисперсии явля-
ются несмещенными оценками неизвестной дисперсии . Поэтому
при истинности нулевой гипотезы сравнение 8гр и S^no критерии
F приведет к тому, что ее нужно будет принять.
Если нулевая гипотеза ложная, то с возрастанием расхожде-
ния между групповыми средними Xj будет увеличиваться и фактор-
ная дисперсия s£ , а вмеоте с этим и отношение r=S^/S^.m. В
результате F окажется больше F , при котором нулевая гипотеза
отвергается.
Из оказанного следует, что для проверки нулевой гипотезы о
равенстве групповых средних нормальных выборок с одинаковыми
диопероиями бг достаточно проверить по критерию F нулевую ги-
потезу о равенстве факторной и остаточной дисперсий. Эта про-
верка и есть заключительный этап однофакторного дисперсионного
анализа.
Пример 5.8.1. Пусть проведено четыре испытания на каждом из
трех уровней фактора у . Результаты иопытаний приведены в
табл.5.8.3.
Таблица 5.8.3
Номер испытания Уровни фактора а
9, 9г 93
I 51 52 42
2 52 54 44
3 56 56 50
4 57 58 52
Групповое, среднее х 54 55 47
Требуетоя проверить нулевую гипотезу о равенстве средних в
каждой из групп при уровне значимости 0,05. Предполагается,что
выборки извлечены из нормальных совокупностей с одинаковыми дис-
персиями.
Решение. Число уровней фактора г = 3, число испыта-
ний на каждом уровне = 4. Найдем общую и факторную суммы квад-
ратов отклонений [см.формулы (5.8.1) и (5.8.3)]:
293
-2se
4“"|<глг)’-'52-
Отсюда остаточная сумма квадратов отклонений
s* = S* - S* = 266 - 152 =//4 .
ост общ ф
Отыскиваем факторную и остаточную дисперсии:
s® - тгг - тг,- -76 ;
=jLx_ = JZi_=W=/276
r(?-/) 3(4-/) 9 '
Вычисляем наблюдаемое значение критерия Ft
с Sp 7g Л
F„= = S •
Учитывая, что число степеней свободы числителя Л(= 2 и зна-
менателя к2= 9, а уровень значимости d =-= 0,05, по таблице на-
ходим критическую точку
^р(0,05; 2:9) = 4,26 .
Так как FH > FHp , то нулевая гипотеза о равенстве сред-
них отвергается. Иначе говоря, различие между групповыми средни-
ки значимо. А
§ 5.9. КОНФЛЮЕНТНЫЙ АНАЛИЗ
Рассмотренные выше статистические методы обработки резуль-
татов наблюдений основаны на предположении о том, что парамет-
ры, в частности время, от которых зависит вектор F<n> в выраже-
нии (5.1.8) или матрица Ftn/n3 в равенстве (5.2.1) соответствен-
но при нелинейной и линейной схемах наблюдения, измеряются без
ошибок. В дальнейшем такие параметры будем называть координат-
ными функциями. Однако на практике данное предположение часто
не выполняется, что ухудшает статистические характеристики оце-
нок неизвестных параметров - компонент вектора А<Л1>, получае-
мых данными методами.
Для выяснения влияния ошибок измерения координатных функций
па статистические характеристики оценок искомых параметров,
получаемых, например, по МЯК, вернемся к примеру 5.2.3. В нем
будем считать, что координатная функция - наблюдаемый параметр
I - измеряется о ошибкой, распределенной по некоторому закону
с нулевым математическим ожиданием. В результате вместо истин-
294
вых звачевий xt = I, Xz = 2, хз = 3 параметра x в моменты вре-
мени ^,1 = /,2,3 , имеются измеревные звачения х, = 0,771; хг-
= 1,972 и Х3 = 2,975. Соответственво матрица будет иметь
вид 6,3:1
Л Г1 О I О I 0 1
fT= 0,771 I 1,972 1 2,975 1 . (5.9.1)
[О 0,771 0 1,972 0 2,975j
Формальное применение МНК для оценивания комповент векто-
ра А<3> = [а(, аг , aJT ва основании уравнения
Z = + H (5.9.2)
сводится к определению вектора А* из выражения
по схеме, изложенной в примере 5.2.3, и дает следующие резуль-
таты:
А. Г1’624]
А= 1,858 ,
L2.I05J
[0,173
-0,075
0,032
-0,075
0,039
-0,020
0,032
' 0,020
0,017
Исследуем статистические свойства полученных оцевок компо-
нент вектора А . С этой целью представим матрицу F для случая
т -мерного вектора А как
где
у = /(/)/п ,
(5.9.5)
F-^-й вектор матрицы F , составленный по истинным значенк-
/ ям координатных функций;
W - некоторый вектор, обусловленный наличием ошибок наблюде-
ния координатных функций;
При этом Л
В общем случае векторы Н и W могут быть коррелиро-
ванными:
Из выражений (5.9.3) - (5.9.5) видно, что компоненты век-
тора А в уравнении (5.9.3) являются нелинейными функциями
295
аомпонент векторов W., j = НПт. Докажем, что оценка А* векто-
ра А , получаемая при формальном применении МНК к уравнению
(5.9.2), является смещенной. Для доказательства воспользуемся
известной в математической статистике формулой
М[?А£]=мГГ]АмИ + 5р(^А) , (5.9.6)
где Х<л>, 4<п>~ Два случайных коррелированных вектора;
АгпЭ“ неслучайная матрица.
Возьмем операцию математического ожидания от левой и пра-
вой частей выражения (5.9.3). С учетом формулы (5.9.6) получим
(FtQF+B)A* = FTq1 + C , (5.9.7)
где
Q )|| 1 = ; = ; (5.9.8)
C<m> = ||S/?(*Z?)|| J = (5.9.9)
T
якуда оледует, что в общем олучае
м[А*]*А ,
?,е. оценки А вектора А , получаемые при формальном примене-
яии МНК для решения задач оценивания неизвестных параметров
при наличии ошибок наблюдения координатных функций, являются
смещенными и несостоятельными, поскольку с увеличением числа
ааблюдений это смещение не исчезает. Величина смещения зави-
сит от степени искаженности измерений координатных функций и
определяется статиотическими характеристиками ошибок их наблю-
дения.
Если корреляционные матрицы ~ и^д । = из-
вестны или могут быть определены riprf обработке измерений, то
с целью частичного устранения смещения можно использовать моди-
фицированный метод наименьших квадратов (ММНК), заключающийся
в нахождении вектора А по формуле
A* = (FrffF-8)’'(Fr/?Z-C), (5.9.10)
где матрицы В и С соответственно определяются выражениями
(5.9.8) и (5.9.9).
Решим задачу, рассмотренную в примере 5.2.3, с помощью ММНК
для случая, когда матрица F определяется выражением (5.9.1).
Измерения параметра х - равноточные с дисперсией =0,1 и
296
некоррелированны между собой
ния ht , h2 . Следовательно,
Кл Л , L,j = lU)m примут вид
v‘" =
diag(KJ=(O,I; 0; 0,1:
dlag(/^)=(O; 0,1; 0;
ГО 0,1 0
0 0 0
и со случайными ошибками набладе-
корреляционные матрицы К. А и
= % . / = /(03;
; 0; 0,1; 0 ) ;
0,1; 0; 0,1 )т;
0 0 0 '
ООО
О 0,1 О О
0 0 0 0
О 0 0 0,1
0 0 0 0
Определим матрицу Ва1:
ГО О О I
Sm= 0 0,40,2 .
Lo 0,2 0,4J
Проводя далее вычислевия по схеме, изложенной в примере
5.2,3, окончательно получим
" Г1,27б"| Г 0,0165 -0,0976 0,04531
А= 2,010 •, КА<= -0,0976 0,0515 -0,0275.
|_2,085j А* L 0,0453 -0,0275 0,0219]
Сравнивая эти результаты о приведенными в начале данного
параграфа при решении примера 5.2.3 с помощью МНК,видим,что оцеЕ
ки, полученные по ММНК, имеют существенно меньшее смещение по
сравнению МНК-оцевками, однако они неэффективны, так как не со-
впадают с ММП-оценками.
Задачи оценивания неизвестных параметров в услоддях, когда
все наблюдаемые параметры (в том числе и координатные функции)
содержат ошибки измерений, требуют для нахождения несмещенных,
состоятельных и эффективных оценок применения так называемого
ковфлюентного анализа1). В соответствии с этим указанные задачи
называются ковфлюентными. Конфлюентвый анализ - одно из новых
направлений современной математической статистики, о«исвы кото-
рого были заложены Р.Фришем в 1934 г. Дальнейшее развитие зто
направление получило в работах Т.Купмена, О.Рейерсоля, Н.П.Кйе-
пикова и С.Н.Соколова и других, однако его общая теория еще не
завершена._______________
Конфлюентный - от франц. confLuer - сливатьоя.
297
Рассмотрим постановку задачи конфлюентного анализа. Цуоть
координатные функции i, , z2 ,..., , а также наблюдаемые и
искомые параметры связаны функциональной зависимостью
Z<n> — 5 \/п>) ’ (5.9.II)
где л ГА А г
....м, «-*•.
X(<s>-s -мерные векторы значений вектора координатных функций
X<s>=[r(,i2..£s] в 2-м эксперименте, причем векторы 1<п> и
Г<п> определяются, как и ранее, соотношениями (5.1.7).
В частном случае вектор координатных функций 1 может быть
скалярной величиной, например, когда в качестве единственной
координатной функции выступает время t . Векторы Z и G связа-
ны между собой уравнением наблюдения
z<n> = (G<t> • А«п>) + Й<л> , (5.9.12)
где л
Z=Z + W; (5.9.13)
&=/; + W, (5.9.14)
W - совокупный вектор ошибок наблюдения координатных функ-
ций, причем
<w]=o<t>; 4«]=o<»>;
^м[й,¥*]; Кй=м[н/?Т]; Яфй=м[«(/?Г] .
Уравнение (5.9.I2J называется отруктуриым соотношениеи меж-
ду переменными Z и G , порожденным функциональным соотноше-
нием (5.9.II) между переменными Z и G.
Задача конфлюентного анализа состоит в определении истин-
ной функциональной зависимости (5.9.II) между переменными^ Z
। G по результатам измерений случайных переменных Z и G ,
свизаннмх с Z и G соотношениями типа (5.9.13) и (5.9.14).
В зависимости от объема имеющейся априорной информации в
конфлюентном анализе можно использовать различные критерии оп-
тнмальнести оценок неизвестных параметров - компонент вектора
А . Так, при заданных весовых матрицах и , соот-
ветствующих переменным Z и G , критерий обобщенного метода
наименьших квадратов в конфлюентном анализе'будет иметь вид
298
V(A*)=min{[z-F(ff,4)]X[z-F(&,Ai]+(e-C)TQ2(&-<;)}-. (5.9.15)
Отсюда оценка А* вектора А определяется из решения систе-
мы нелинейных уравнений:
AL = 0 J
ЛА <т> ’
dy_ f (5.9.16)
Заметим, что в этом случав оценки неизвестных параметров -
компоненты вектора X* выражаются нелинейным образом через ком-
поненты векторов Z и G даже при линейной подели наблюдения.
Другим критерием оптимальности в конфлюентном анализе слу-
жит критерий максимального правдоподобия, позволяющий учитывать
всю априорную информацию об ошибках наблюдения И и W . Вве-
дем следующие обозначения:
тогда выражениям (5.9.12) - (5.9.14) будет соответствовать
уравнение
У = Ф(М)+Д. (5.9.17)
Критерий максимального правдоподобия в конфлюентном анали-
зе заключается в следующем:
V(A*) = mazZ(Y;G,A), (5.9.18)
где L(Y; ff.A) = ц)а(У; &, А) -функция правдоподобия.
Таким образом, за оценку вектора А , соответствующую ис-
тинному вектору G принимается то его значение А* , при ко-
тором выборки Z и G наиболее вероятны.
Известно, что критерий обобщенного МНК (5.9.15) совпадает
с критерием ММП (5.9.18) конфлюевтвого анализа в случав нор-
мального закона распределения векторов Z и G при Af[WHT] =0
и Si = ^' , = • а оптимальные оценки неизвестных парамет-
ров, т.е. компонент вектора А , являются несмещенными, состоя-
тельными и эффективными.
Отличительная особенность критериев оптимальности (5.9.15)
и (5.9.18) состоит в том, что с увеличением числа измерений,
т.е. числа векторов Z и G , увеличивается число оцениваемых
параметров. Для уменьшения числа последних можно применять сле-
дующие два приема.
299
Первый прием заключается в использовании интегральных кри-
териев оптимальности оценок неизвестных параметров вида
V(A*)=maijL(Y;C,A)V(C)dC, (5.9.19)
где Q - область возможных значений вектора £<(>;
V(G)- некоторая функция плотности источников формирования
случайного вектора G(l> .
Второй прием уменьшения числа оцениваемых параметров - это
аппроксимации компонент вектора G какими-либо полиномами, не-
известные коэффициенты которых определяются из условия их удов-
летворения критериям оптимальности конфлюентного анализа
(5.9.15) и (5.9.18).
Рассмотренные критерии оптимальности конфлюентного анализа
при W = 0<l;> тождественно совпадают с соответствующими крите-
риями оптимальности оценивания, приведенными в § 5.1 без учета
оиибок наблюдения координатных функций. В этом смысле конфлю-
ентный анализ представляет собой обобщение классической теории
оценивания на случай, когда координатные функции наблюдаются
с ошибками.
§ 5.IO. ПОНЯТИЕ О ПЛАНИРОВАНИИ ЭКСПЕРИМЕНТА
В настоящей главе рассматривались задачи оптимальной обра-
ботки данных наблюдений, которые являются результатами некото-
рых экспериментов, при этом вопрос об оптимальных вариантах по-
становки самого эксперимента не ставился. Однако зачастую этот
вопрос становится существенным, в особенности тогда, когда каж-
дое отдельное наблюдение сопровождается большими затратами
некоторого ресурса (времени, денег и т.п.). Примерами могут
служить экспериментальные исследования в области физики эле-
ментарных частиц. Поэтому оказывается естественной потреб-
ность в математических методах, которые позволяли бы опти-
мальным образом планировать эксперимент при ограниченных
ресурсах. Такое направление в настоящее время интенсивно разви-
вается в математической статистике и называется теорией экспе-
римента.
По способу накопления экспериментальных данных процесса! по-
лучения информации можно разделить на две группы - пассивные
и активные. В соответствии с этим эксперименты принято делить
ва пассивные и активные, в пассивном эксперименте регистрируют-
300
оя данные наблюдений в режиме нормального функционирования ис-
следуемого объекта без внесения преднамеренных возмущений, В
условиях же активного эксперимента объект исследования подвер-
гается воздействию искусственно создаваемых возмущений, которые
заранее спланированы. Иначе говоря, в случае активного экспер"-
мента его проведением можно управлять.
Теория эксперимента рассматривает в основном активные экс-
перименты. Задача исследования в этой области заключается в is-
боре количества и условий проведения экспериментов, необходима
и достаточных для решения поставленной задачи оценивания с тре-
буемой точностью или с учетом ограниченности ресурсов.
В теории эксперимента в настоящее время можно выделить два
направления: планирование экстремальных экспериментов и плани-
рование экспериментов по выявлению механизма явлений (идентифи-
кации). Планирование первого типа применяется тогда, когда трр-
буетоя определить оптимальные условия (параметры) протекания
некоторого процесса. Например, выбор состава измерений навига-
ционной системы летательного аппарата с целью обеспечения наи-
более точного определения координат и компонент вектора скоро-
сти его центра масс. Планирование второго типа преследует цель
I, х2-—• хп- ~ F(A,X& 2
Рис.5.10.I
получить экспериментальные
данные, необходимые для по-
строения математической мо-
дели исследуемого процесса
иди объекта.
В теории эксперимента
принято рассматривать фор-
мализованную модель экс-
перимента, показанную на
рис.5.10.I.
факторы х ,L = f(f)n - это управляемые входные переменные
(параметры) исследуемого объекта. Их величины в различных экс-
периментах должны задаваться, иоходя из некоторых уоловий опти-
мальности, о которых будет идти речь в дальнейшем.
Помехи et, L=1(1)s - неконтролируемые случайные воздейс:
вия, вызывающие искажения выходной функции сиотемы z , которш
в теории эксперимента называется функцией отклика. Оператое об
екта предполагается зависящим от некоторого вектора параметров
^<т> •
В обоих направлениях тоории эксперимента, отмеченных выше,
обычно рассматривается одна и тз же формализованная модель
301
(рис.5.10.I). В случае планирования экстремальных экспериментов
цель состоит в определении таких параметров Х<л>, при которых
величина функции отклика z принимает экстремальное значение.
Планирование эксперимента по выяснению механизма явления име-
ет целью определить такие значения факторов Х<п>(или некото-
рых из них), при которых теоретические и экспериментальные зна-
чения функции отклика будут в некотором смысле наиболее близ-
кими.
Раоомотрим подробнее вопросы планирования экстремальных эк-
спериментов.
В теории эксперимента наиболее часто расоматривается поли-
номиальная модель функции отклика z ;
Z>-- (5.10.1)
и эксперимент направлен на определение компонентов вектора А<т>:
А.М.........*,......о,л................(5ф10>2)
С учетом обозначения, введенного в формуле (5.10.2), функ-
ция отклика может быть представлена в виде линейной комбинации
компонент искомого вектора А :
Z = /f(X<„>,A<m>) = ^>(X)A<m>,
гдеф<т>- Б0КГ°Рная Функция, значения компонент которой опре-
деляются значениями факторов Х<п>. Так, если модель функции от-
клика (5.I0.I) расоматривается в виде
то
А<2л+1> Ъ,.....Ъп ’ Ьц'Ь2г, • • •»bnn~\ ; "I
Ф<гп+1>=[/^(................<Г- J
Пусть для оценки функции отклика предполагается
N экспериментов с измерением функции отклика Z ,
дому экоперименту должна отвечать некоторая точка в
пространстве Х£,д = /(/)/У . Набор Л/ точек Х( , Х2,..., Х^ в
факторном пространстве на множеотве допустимых значений векто-
ра X называется планом эксперимента. Основ-
вая задача теории эксперимента состоит в том, чтобы из всех до-
пустимых планов выбрать такой, который позволил бы оценивать
коэффициенты функции отклика с наибольшей точностью при фикои-
(5.Т0.3)
провести
причем каж-
302
рованном Л/ или выбрать такой плав, при котором для получения
заданной точности необходимо провести минимальное количество
экспериментов.
Обозначим через FJ<m>вектор фт(Х/)в j -и эксперименте,тогда
(5.10.4)
Введем далее обозначения
С«.>пЗ
(5.10.5)
и назовем матрицу F матрицей наблюдения. Тогда вместо системы
уравнений (5.10,4) можно записать одно матричное
Учитывая наличие случайных ошибок наблюдения вектора Z в
каждом эксперименте, окончательно модель наблюдения приводим
к виду
Z<W>- ' -'5.10.?}
Как и ранее, цель эксперимента здесь - получить данные для
последующей сценки вектора А , однако существенное отличие
этой задачи от рассмотренной в § 5.2 заключается в том, то мат-
рица F зависит от плана эксперимента, который определяется
набором точек Х( , Х2,..., X* в факторном пространстве, подле-
жащих определению. Поскольку векторы Xf связаны с
элементами матрицы F взаимно-однозначным соотношением типа
(5.10.3), то можно в дальнейшем считать, что выбору подлежат
элементы матрицы наблюдения F , которую в связи о этим будем
называть матрицей плана эксперимента.
Пусть задано количество проводимых экспериментов. Выясним,
каким образом при этом решается задача поиска плана F , мини-
мизирующего ошибки оценивания компонент вектора А при исполь-
зовании метода наименьших квадратов.
Пусть наблюдения вектора Z равноточны и некоррелированы,
так что корреляционная матрица К* имеет вид
К. =62е\
Тогда корреляционная матрица оценки вектора А при использова-
нии МНК примет вид (см.табл.5.2.1).
(5.10.8)
303
В общем случае компоненты оценки А* оказываются коррелиро-
ванными величинами. Однако если выбрать матрицу плана F таким
образом, чтобы для ее отрок выполнялись условия нормированно-
сти
= N, 1 = 1(ПН (5.10.9)
и сртогональнооти
<F. = 0, = ,
то матрица FTF приобретает простую структуру
'N О ...О'
FrF= О N ... О
0 0.. • N
а корреляционная матрица МНК-оценки при этом оказывается диаго-
нальной: КА,= У/А/ 0 ... 0 0 tf/N ... 0
Таким образом, выб' о о ... tf/N. ор матрицы плана с со( Злюдением условий
(5.10.9) и (5.10.10) приводит к некоррелированным равноточным
оценкам компонент вектора А , причем
®Ъ}=£-
1 lJ N (5.I0.II)
Оказывается, что при таком выборе матрицы плана очень про-
сто вычисляются и оценки компонент вектора А *.
A* = (FrF)-'<Z = -LfT7, ,
что в скалярной форме записывается так:
л ЧЛ
^ = J^TL’ i = ,mrn ’
(5.10.12)
(5.10.13)
где через f. обозначены элементы матрицы плана F , а через
г. - компоненты вектора наблюдения Z .
Выбор матрицы плана F с соблюдением условий (5.10.9) и
(5.10.10) называется ортогональным планированием. Оказывается,
что ортогональное планирование позволяет получать оценки компо-
нент вектора А незавиоимо друг от друга. Это приводит к сле-
дующему. Предположим, что в модель функции отклика (5.I0.I) до-
бавлен еще один коэффициент ат+1 . Тогда
304
(5.10.14)
а оценки для остальных коэффициентов at, i=f(l)fn, пересчиты-
вать не требуется. Это одно из существенных достоинств ортого-
нального планирования. Одиако самым замечательным свойством
ортогонального планирования является то* что он оптимален при
заданном количестве экспериментов. Иначе говоря, оценки для
компонент вектора А при этом имеют наименьшую дисперсию на
множестве всевозможных допустимых планов эксперимента F .
Поимев 5.10.1. Пусть для функции отклика выбрана модель ви-
да
2 = Ь0 + Ь;х + Ь2х2 + Ь,?х,хг,
и в процессе эксперимента измеряется величина Z :
Г=[М2.-Л] •
с дисперсией © .
Известно, что величины х( и х2 имеют диапазоны изменения
х, = x|±Zlx|; хг=х2±^х2.
где х( и х2 - заданные величины. Требуется построить оптималь-
ный план эксперимента, если N = 4.
Решение. Перейдем сначала от величин х; и х2 к нор-
мированным величинам и, и иг , имеющим диапазон изменения [-Т ,+1]
и обозначим дополнительно u0=i и u3=utu2 .
Далее введем обозначения: Л =Гп ,а a n Wb t &,Ь Т
tbr ~ГП 11 II 111- <4> L > Z 3 4J L О f 2 Z2J '
Выберем теперь матрицу F в виде
"1 I I I '
- 5 4 4 1
-I I -I -I _
Для этой матрицы выполнены условия нормировки (5.ТО.9) и
условия ортогональности (5.10.ТО), так что
305
В соответствии со свойствами ортогональности планирования
эта матрица отвечав" оптимальному плану, причем оценки для ком-
понент вектора А
а дисперсии оценок коэффициентов ai получаются такими:
306
Глава 6
оснрж мнрда ста
§ 6.1. СУЩНОСТЬ МЕТОДА СТАТИСТИЧЕСКОГО МОДЕЛИРОВАНИЯ
6.I.I. Предварительные замечания
Для уяснения сущности метода статистического моделирования
необходимо, хотя бы в общих чертах, рассмотреть такие понятия,
как математическое моделирование, математическая модель, метод
отатистических испытаний (метод Монте-Карло), скольку эти по-
нятия являются основополагающими для проблематики, рассматривав
мой в настоящей главе. Раскрытию этих понятий посвящено немало
работ, среди которых для достаточно подробного ознакомления и
изучения можно рекомендовать, например, [7, 8, 19, 36, 53,62,«
Наша же цель - ознакомить читателей с этими понятиями в объеме,
необходимом для уяснения сущности метода отатистического моде-
лирования.
6Д,2, Матемэти?яркрлдод.едвдовлр,т и математическая моделд
Моделирование - один из наиболее распространенных способов
изучения различных объектов. В настоящее время известны и ши-
роко используются в научных исследованиях и инженерной практи-
ке различные методы моделирования, среди которых наиболее широ-
кое распространение и признание получили методы математического
моделирования.
Под математическим моделирова-
нием понимают способ исследования различных объектов мате-
матическими методами на основе математического описания их стрр
туры и поведения. При этом математическое описание структуры а
поведения объекта называют математичеокой мо-
делью этого объекта. Таким образом, для математического
моделирования любого объекта должна быть в первую очередь пост-
роена его математическая модель. Другими словами, данному реа»
307
ноцу (физическому, ичцрмационному в т.д.) объекту должен быть
’ доставлен в соответствие некоторый математический объект, назы-
ваемый его математической моделью, исследование которого мате-
натвчеокими методами позволяет получись полезные рекомендации
i относительно рассматриваемого реального объекта,
! Математическое моделирование - наиболее совершеннмй и вме-
сте с тем наиболее эффективный метод моделирования. Именно он
отбывает путь к применению современных эффективных математи-
ческих методов, так как по оамой овоей природе эти методы не
могут непосредственно прилагаться к реальной действительности,
а только к математический моделям того или иного круга явлений.
Естественно, результаты исследования такой модели представят
арактичеокий интерес, eon's оама модель достаточно хороио отобра-
ае? реальную ситуацию или, как говорят, достаточно адекватна
рассматриваемому явлению. Для более точного описания действи-
геаьяосви приходится строить к боки- слопвые и точные математи-
ческие модели, учитывающие многие стороны рассматриваемого яв-
звван, Заметим, что в сиду диалектического характера процесса
човве^йя реальной дейсеы^ельноотг полностью адекватных чоде-
гай б- существует г ле игчек существованье йс обоазяоцу замеча-
нию Н-Винера, п..о моделью, полностью адекватной койке, колет
слуштьо., сама ко&ка88. Степень совершенства математических мо-
делей, применяемых в той или иной науке, математический аппарат,
аспользуемый для их исследования, в известной мере характеризу-
ет уровень развитая науки.
Вольное разнообразие изучаемых объектов и явлений естест-
веаным образом порождает многообразие их математических иоде-
вей. Более того, в зависимости от задач изучения один и тот ке
ибьект, одно и то ке явление могут отображаться различными ма-
тематическими моделями. Поэтому нельзя указать какие-то прави-
ла, нельзя дать рецепт, руководствуясь которым можно построить
цатематичеокую модель любого реального объекта или, точнее, ма-
тематическую модель процесса функционирования. Единственно, на
что можно указать, это те соображения, которыми следует руко-
водствоваться при построении математичеокой модели.
В ходе построения математической модели можно выделить сле-
дующие основные этапы, которые присущи моделированию любого ре-
ального процесса, протекающего в той или иной системе:
- содержательное описание процесса;
- построение формализованной схемы процеоса;
308
- построение математической модели процесса.
Разумеется, в ряде случаев такая этапность поотроения ма-
тематической модели не выдерживается и в значительной мере ус-
ловна. Вое хе, как правило, она достаточно полно отображает ту
последовательность действий, которая сложилась на практике мо-
делирования процессов функционирования систем.
Содержательное описание представ-
ляет собой первую попытку четко изложить закономерности, харак-
терные для исследуемого процесса, и постановку прикладной зада-
чи. Содержательное описание в словесном выражении концентриру-
ет сведения о физической природе и количественных характеристи-
ках элементарных явлений исследуемого процесса, о степени и
характере взаимодействия между ними, иеоте и значении каждого
элементарного явления в общем процессе функционирования рассмат-
риваемой реальной системы. Содержательное описание может быть
составлено в результате достаточно обстоятельного изучения про-
цесса, поэтому участие специалистов соответствующей прикладной
области техники на данном этапе построения матеиатичеокой модем
как правило, необходимо. Помимо сведений, непосредственно ха-
рактеризующих процеоо, содержательное описание включает в себя
постановку прикладной задачи, определяющей цели моделирования
исследуеиого процесса, и исходные данные, необходимые для ис-
следования. Постановка прикладной задачи может не иметь стро-
гой математической формулировки, однако она должна обязательно
содержать четкое изложение идеи предполагаемого исследования,
перечень зависимостей, подлежащих оценке по результатам моде-
лирования, а также окончательно установленный и обоонованный
перечень факторов, учитываемых при построении математической
модели процесса.
Содержательное описание процесса обычно самостоятельного
значения не имеет, а служит линь основой для дальяейией фор-
мализации этого процеооа - построения формализованной охеш и
матеиатичеокой модели процесса.
Формализованная схема процесса пред-
ставляет собой промежуточное звено между содержательным описа-
нием и математической моделью. Она разрабатывается не во всех
случаях, а лишь тогда, когда из-за сложности исследуеиого про-
цесса или трудности формализации некоторых его элементов непо-
средственный переход от содержательного описания к математиче-
ской модели оказывается невозможным или нецелесообразным. Форма-
309
лизованная схема npoi.~са должна разрабатываться совиестными
' усилиями математиков и специалистов соответствующей приклад-
ной области техники. Хотя форма представления материала в дан-
ной схеме, как и в содержательвом опиоании, может оставаться
! словесной, однако она должна бйть уже отрого формальным описа-
вием процесса. Для построения формализованной схемы необходи-
мо выбрать характеристики процесса, установить систему пара-
метров, определяющих его,вполне строго определить вое зависимо-
сти между характеристиками и параметрами процесса о учетом тех
факторов, которые принимаются во внимание при формализации.На
этом этапе построения формализованной схемы должна быть дана
иатематическая формулировка задачи исследования о указанием
окончательного перечня искомых величин, оцениваемых зависимо-
стей и исходных данных.
Заметим, что обычно содержательное описание включает в се-
бя сведения, достаточные для построения формализованной схемы.
Однако бывают случаи, когда при этом построении необходимы не-
которые дополнительные сведения. Тогда может потребоваться до-
полнительное изучение процесса, уточняющее представление о нем.
Преобразование формализованной схемы в матеиатичеокую мо-
дель выполняется математическими методами без притока дополни-
тельной информации о процеоое. Такое преобразование может быть
выполнено непосредственно математиком без участия специалиста
соответствующей прикладной области техники. Математическая мо-
дель представляет ообой систему ооотноиений, связывающих харак-
теристики процесса о его параметрами и начальными условиями.
При этом понятию "система ооотноиений" придается весьма широ-
кий смысл. В некоторых случаях эти соотношения могут бйть пред-
ставлены в виде явных функций, в других - в виде совокупности
уравнений (алгебраических, дифференциальных, функциональных
а т.д.). Для преобразования формализованной схемы в математи-
ческую модель необходимо, воспользовавшись соответствующими ма-
тематическими схемами, записать в аналитической форме все оо-
отвоиения, которые еще не были записаны, выразить логические
условия в виде сиотем неравенотв, а также по возможности при-
дать аналитическую форму всем другим сведениям, имеющимся в
формализованной схеме.
Из изложенного ясно, что построение математичеокой моде-
ли - это сложный и многогранный процесс, и для того чтобы по-
дучить математическую модель, действительно вскрывающую общие
310
свойства изучаемого процесса функционирования системы, недо-
статочно владеть только формально-математическими методами.Не-
обходим о глубокое понимание сути вещей, сути исследуемого про-
цесса функционирования системы.
После того как математическая модель построена, встает воп-
рос об ее исследовании для определения искомых величин, для ава-
лиза процесса функционирования системы. Исходя из способа даль-
нейшего использования математических моделей для изучения си-
стем, эти модели можно разделить на аналитические и имитацион-
ные. Для аналитических моделей характерно то, что процессы функ-
ционирования элементов системы записываются в виде некоторых
функциональных соотношений (алгебраических, интегродифферен-
циальных, конечно-разностных и т.п.) или логических условий.
Аналитическая модель может быть исследована одним из следующих
способов:
- аналитически, когда стремятся получить в общем виде яв-
ные зависимости для искомых величин;
- численно, когда не умея решать имеющиеся уравнения в об-
щем виде, мы все же имеем возможность (в той числе и с примене-
нием средств вычислительной техники) получить числовые резуль-
таты при конкретных начальных данных;
- качественно, когда, не имея решения в явном виде, мы тек
не менее можем найти некоторые свойства решения.
На практике в первую очередь стремятоя к аналитическому
исследованию процесса функционирования системы, т.е. к такому
представлению математической модели, при котором имеют место в
общем виде явные зависимости для искомых величин. Как прави-
ло, математическая модель в своем первоначальном виде не может
быть использована для аналитического исследования процесса.Так,
математическая модель вообще может не содержать в явном виде
искомых величин. Поэтому необходимо ее преобразовать в систему
соотношений относительно искомых величин, допускающую либо по-
строение явных зависимостей для искомых величин, либо приведе-
ние уравнений к виду, для которого решения известны, либо, на-
конец, исследование уравнений качественными методами (например,
оценка асимптотических и экстремальных значений искомых вели-
чин, оценка устойчивости решений и т.п.). Это преобразование
является наиболее существенным и в то же время часто наиболее I
трудным шагом при аналитическом исследовании процессов. Более
того, для сложных процессов эти трудности часто оказываются не-
311
преодолимым. Однако _\>алитическое исследование процессов столь
заманчиво, что при решении многих прикладных (а иногда и теоре-
тических) задач идут на умышленное отступление от первоначаль-
ной модели, на ее упрощение и огрубление ради возможности полу-
чить хотя бы приближенное аналитическое решение задачи в явном
и общей виде относительно искомых величин. Заметим, что для по-
лучения аналитического реиения различных типов функциональных
уравнений развит мощный математический аппарат (алгебра, функ-
циональный анализ, теория и методы решения разнообразных диф-
ференциальных, интегральных и разностных уравнений, теория ве-
роятностных процессов и т.д.). Можно без преувеличения оказать,
что все многовековое существование математики как науки было
заправлено на создание и развитие такого аппарата.
Еще раз подчеркнем, что если исследуемая система достаточ-
но сложна, то ради получения аналитического решения задачи мы
вынуждены накладывать жесткие ограничения на ее модель и прибе-
гать к упрощениям. При этом приходится пренебрегать некоторыми
особенностями системы, отчего таким образом преобразованная мо-
дель уже, строго говоря, перестает отвечать своему основному
назначению - быть средством изучения рассматриваемой системы.
Но, несмотря на это, если только накладываемые ограничения и
принятые упрощения не приводят к недопустимо грубым результа-
там, все же следует стремиться к аналитическому реиению задачи
или, как говорят, к построению аналитической модели системы,ко-
торая обеспечивает хотя и грубое, но простое и легко обозримое
решение рассматриваемой задачи, в этих случаях такое решение
обычно используется как ориентировочное до получения более точ-
ных решений другими методами.
В тех случаях, когда не удается провести аналитическое ис-
следование процесса функционирования системы, т.е. преобразо-
вать модель в систему функционирования соотношений, допускаю-
щих получение в общем виде явных зависимостей для искомых вели-
чин, прибегают к численный методам - довольно мощному средст-
ву решения сложных прикладных задач. Наэваншя некоторых из та-
ких методов - методы Ньютона, Эйлера, Лобачевского, Гаусса,Че-
бышева, Эрмита - свидетельствуют о том, что их разработкой за-
нииались крупнейшие ученые-математики своего времени. Теорети-
ческие исследования в области численных методов в основном груп-
пируются вокруг численных методов решения так называемых типич-
ных математических задач. В настоящее время сюда принято отно-
312
оить задачи анализа (приближение, дифференцирование, интегри-
рование), задачи аглебры, решение дифференциальных и интеграль-
ных уравнений, задачи оптимизации, отметим, что последнее нап-
равление в теории численных методов начало формироваться линь
в последние пятнадцать лет.
Численные методы по сравнению с аналитическими применимы
к значительно более широкому классу функциональных уравнений
и их использование стало особенно эффективным в связи с внед-
рением современных средств вычислительной техники, в особенно-
сти быстродействующих электронно-вычислительных машин. Однако
их применение не имеет здесь принципиального значения, ибо оно
ограничивается лишь автоматизацией вычислений.
6.1.3. Метод статистических испытаний (метод Монте-Карло)
Колоссальное быстродействие современных ЭВМ обусловило при-
менение таких численных методов, которые при прежних вычисли-
тельных средствах не могли быть реализованы в приемлемое для
практического использования время. К их числу относится метод
статистических испытаний, или метод Монте-Карло. Именно благо-
даря появлению и внедрению в практику быстродействующих ЭВМ
этот метод как бы пережил период своего второго рождения, так
как главным образом это обстоятельотво обусловило возросший в
последние годы интерес к нему, способствовало дальнейшему раз-
витию и расширению области его применения.
Общепринятого определения метода Монте-Карло пока нет. По-
этому, следуя работе [62J, назовем методом стати-
стических испытаний (методой Монте-Карло)^
численный метод решения математических задач о помощью модели-
рования случайных объектов (случайных событий, величин, векто-
ров, функций) и статистической оценки их характеристик.
Официальной датой рождения метода Монте-Карло считают 1949г
когда появилась статья Н.Метрополиоа и С.Улама под заглавием
"Метод Монте-Карло". Возникновение метода обычно связывают так-
же с именами Дж.Неймана, Г.Кана и 3.Ферми.
I) Название "Монте-Карло" произошло от одноименного города
в княжестве Монако, известного своим казино, ибо одним из прос-
тейших приборов для генерирования случайных чисел служит ру-
летка.
Первые отечественные работы по методу Монте-Карло появились
в 1955 г. (В.В.Чавчанидзе. Метод случайных испытаний (метод
• ’.1онте-Карло), Труды института физики АН Грузинской ССР, З.Т955;
г Ю.А.Шрейдер. Метод статистических проб (Монте-Карло) и его ис-
( пользование в цифровых машинах. "Приборостроение", 1955,te 7).
В настоящее время имеется более двух тысяч работ, где исоледу-
атся теоретические основы метода или рассматривается его приме-
нение к конкретным задачам» Некоторые из них приведены в списке
литературы [7, 8, 19, 36, 53, 62].
Следует, однако, подчеркнуть, что теоретические основы ме-
тода Монте-Карло были известны значительно раньше. Более того,
фактически он не раз использовался в математической статистике.
Однако до появления ЭвМ этот метод не мог стать универсальным
численным методом, ибо моделирование случайных величин вручную -
весьма трудоемкий процесс.
Сущность метода Монте-Карло состоит в том, что при исполь-
зовании его для решения конкретной задачи стремятся определение
ее искомых величин свести, вообще говоря, к расчету математиче-
ских свиданий (свидания) некоторой специально придуманной си-
стемы случайных величин (величины). Другими словами, если, на-
пример, нужно вычислить приближенное значение а некоторой ска-
лярной величины а , то надо придумать такую случайную величи-
ну , для которой
= (6.I.I)
Затем, вычислив п независимых значений слу-
чайной величины е, , на основании известной предельной теоремы
Чебышева можно считать, что
Поскольку является статистической оценкой ,то
величину а называют статистической оценкой величины а , при-
чем чем больше число п , тем выше точность и надежность ра-
венства ц я а . Оценка погрешности, вызванной заменой искомо-
го параметра а егс приближенным значением .а. , носит вераят-
зостный характер и может быть получена лишь с помощью аппарата
математической статистики, изложенного в главе 3 настоящего по-
собия.
Таким образом, использование метода Монте tap^o для решения
конкретной вычислительной задачи сводится к выбору некоторой
314
случайной величины i= , вычислению ряда реализаций и реше-
нию типичной задачи математической статистики по определению
статистической оценки ] . Последнее обстоятельство и
обусловливает тот факт, что метод монте-Карло часто называют
методом статистических испытаний.
Пример 6.I.I. Требуется найти методом Монте-Карло прибли-
женное значение однократного определенного интеграла вида
(6.1.3)
I = j f (z)dz ,
где f(z) > 0, Vze[a,b]
(последнее ограничение несущественно ввиду возможного переноса
начала координат). Такая задача имеет место, когда значение I
не может быть получено непосредственным интегрированием.
Очевидно, что для вычисления I можно воспользоваться од-
ним из численных методов, хорошо известных в вычислительной ма-
тематике (квадратные формулы, методы Ньютона - Котеоа, Симпсо-
на и т.п.). Эта же задача может быть решена с использованием
метода Монте-Карло. Рассмотрим ее ре-
шение. Для наглядности изобразим на
рис.б.1.1 график подынтегральной фун-
кции f(z), xefa.b] . Обозначим:
{D} - область,ограниченную кривой
y = f(x) , осью абсцисс и прямыми х~
Рис.6.1.I
площадь области {Г}.
Очевидно, что
SJ,= I = jf(x)dx .
(6.1.4)
Выберем, как это показано на рис.6.1.1, некоторый прямоуголг
ник*Л , область {Л}, которого содержит область {р}, т.е.
{Г} с {Л} . Площадь прямоугольника
Sn = (b-a)d ,
где dasup(f(x)), хе [a, bj .
Рассмотрим теперь некоторую сдучайшую точку Q = <x,y> с
плотностью
(6.1.5)
(6.1.6)
т.е. точку, имеющую равномерное распределение в области {Л}
315
прямоугольника и случайную величину i= , зависящую от положе-
ния точки (?=<£, у >; л
Г8П, если (? = <х,у>е{Г}--,
£=1 (6.1.7)
[о , если $=<1,у>^{В}(9=<х,у>е{Л-Б}).
Нетрудно видеть, что М[щ] = 5л = 1 . Действительно,
4£] = Sn Р|л = Sn] -Ь О Р$ = 0] = SnPg = 5Л],
80
pg = Sn] = Р[<х, у > е {В}] = jj ср<£5> (Х,у) dzdy =
w
= s^drdy = ^S£ = -^I.
{Л}
С учетом последнего выражения получим
/И[£]=5ПР[£=5П>5Л^5Л = 5Л = 1,
т.е. выбранная нами случайная величина g удовлетворяет условию
(6.I.I), о котором говорилось выше.
Теперь согласно изложенному остается вычислить п независи-
шх реализаций , g2,..., t,n случайной величины £ и по форму
ле (6.1.2) определить статистическую оценку I интеграла I. В
связи с этим встает вопрос: как получить независимые реализации
Ег</ = /(/)л случайной величины g ?
В условиях нашего примера значения случайной величины g
зависят от положения случайной точки i? = <x,y> и определяются
соотношением (6.1.7). Поэтому для получения ряда независимых
значений gr , g ,..., Ел необходимо уметь вычислять независимые
реализации^ =<х,, у, > , (?2 = <х2, у2> ,..., (?„ = <тп, уп> случай-
ной точки $ = <х, у > .
Поскольку плотность распределения системы случайных вели-
чин определяется соотношением (6.1.6), то
«(“»)
а а
Отсюда
ч, следовательно, <х,у > представляет собой систему независи-
мых случайных величин х и у , имеющих равномерное распреде-
ление соответственно в интервалах (а , Ъ ) и ( 0 , d. ).
316
Таким образок, для вычисления независимых реализаций J =
(?( =<гс,, с/, > Qn =<.хп,ул > необходимо уметь какяа-то
способом получать независимые значения г и у, для каждой у -В
реализации =<’zJ,у >,^ = Ц1)п. Предположим, что в ваяем распорг-
женин имеются какие -1- с механизмы или алгоритмы случайного высе-
ра, позволяющие получчть последовательности возможных значет
двух независимых случайных величин £ и у (или, как говорят,
моделировать эти случайные величины). Заметим, что подобные ме-
ханизмы или алгоритмы часто называют датчиками случайных чисел,
О них и вообще о способах моделирования случайных величин и дру-
гих случайных объектов подробно речь будет идти в следующих па-
раграфах.
В данном примере, очевидно, необходимо иметь два датчика
случайных чисел: один для моделирования случайной величины х
имеющей равномерное распределение в интервале (а , b ), дру-
гой - для моделирования случайной величины у , имеющей равно-
мерное распределение в интервале (0 , of ). Последовательно об-
ращаясь к этим двум датчикам, получим реализации х, и у, слу-
чайных величин х и у , совокупность которых образует реали-
зацию = случайной точки (? = <£,$>. Теперь для по-
лучения значения ц, , очевидно, необходимо проверить выполнение
уоловия
(6.i.e)
что эквивалентно выполнению неравенства
(6.1.9)
Если это условие выполнено, то точка <?z = <i(,y(> попала в об-
ласть^} под кривой y=f(x) и, следовательно, в соответствии
с соотношением (6.1.7) ^(= Sn . В противном случае ц,= О.
Повторяя описанную выше процедуру, мы таким образом сможем
получить все п реализаций ^,j=t(J)n случайной величины £
Поскольку реализация Е принимает значение, равное 5П топъ-
ко в том случае, воли смоделированная точка = <xj,yJ> окажет-
ся под кривой y = f(x) , т.е. <zJ,yJ> , то, очевидно,что
можно записать
|л=/л5'”
где т - число попаданий случайной точки Q = <x,y>
{Sr} (П7«л).
(6.I.I0)
в область
317
На освовании соотношения (6.1.2) статистическая оценка I
ннтеграль I примет вид
4^-75-’1=!-’ l6-I-II)
Заметим, что к такому не виду оценки Т можно придти и другим
путем.
Рассмотрим случайную величину
„fl, если С = <х,^>е{Р|;
[о, если Q = <T,y>$ {Б} .
Тогда
М[£] = Р[<£,у>е{Г}] = ^^yjdxdyA = j-
Если теперь, используя описанную выше процедуру, вычислить
л независимых реализаций c^>c/ = /(/)n, случайной величины
$ ,т°
Поскольку я , ТО (6.1.12)
I 5Л Л7 Sn ~ Sn ' п ’ (6.1.13)
отсюда
r = S^f 5^1. (6.1.14)
При этом случайная величина Е= , удовлетворяющая условию (6.IJ),
может (йть определена соотношением вида
Й=5ПЦ, (6.1.15)
так как
При решении конкретной вычислительной задачи методом Монте-
'{арло (в частности, только что рассмотренного примера), можно
придумать много случайных величин , таких, что /И[£] = а ,По-
этоцу теория этого метода должна дать ответы на два вопроса:
- как выбрать подходящую величину ц для решения той или
иной вычислительной задачи?
318
- как получать шезависимые значения , ц2,..., произ-
вольной случайной величины £ ?
Изучение этих вопросов, как правило, и составляет основное
содержание практического курса метода Монте-Карло [58]в В на-
- стоящее время этот метод успешно применяется для решения самых
разнообразных задач вычислительной математики, таких, ’’ак вы-
числение кратных интегралов, решение систем линейных алгебраи-
ческих уравнений, дифференциальных уравнений в частных произ-
водных , интегральных уравнений, задач оптимизации и т,д, [7S
19, 36, 53, 62, 6б].
Обычно метод статистических испытаний, или метод мовте-Кап-
ло, как вычислительный метод, позволяющий довести решение ана-
литической задачи до численного результата, применяют в тех слу-
чаях, когда использование детерминированных вычислительных ме-
тодов либо затруднено, либо вообще невОоиоквс. Среди apyrw в"-
числительных методов метод Монте-Карло выделяется своей просто-
той и общностью, хорошей приспособленностью к реализации на ЭВМ.
Только что рассмотренный простейший пример хороио члвюстт*-
рует эти особенности метода Монте-Карло как вычислителе'? »го ив
тода. Действительно, для вычисления искомой скалярной да-мы
(в данном случае - определенного интеграла) нами осуществляй!-;
последовательные независимые испытания. Каздое случайное азпы-
тание представляет собой серию вычислительных операций, а весь
вычислительный процесс состоит из ряда повторяющихся серий
(циклов). Поэтому метод Монте-Карло всегда реализуется с по-
мощью циклического вычислительного процесса, причем вычисления
во воех циклах проводятся по одной и той же схеме. По оконча-
нии каждого цикла фиксируются лишь конечные, а не все прииеау-
точные результаты вычислений, что обусловливает малую связность
программ, реализующих метод Монте-Карло на ЭВМ.
Недостаток метода Монте-Карло заключается в его медленной
сходимости, которая к тому ее является сходимостью по вероят-
ности. (Правда, последнее обстоятельство вряд ли следует от-
носить к числу его недостатков, ибо вероятностные методы в
достаточной мере оправдывают себя в практических приложениях).
Однако этот недостаток носит относительный характер, во-первых,
в связи о тем, что растет быстродействие ЭВМ, а во-вторых, раз-
работаны и разрабатываются модификации метода Монте-Карло,обес-
печивающие высокий порядок сходимости при некоторых дополнитель-
ных предположениях [53, 62J„
319
б.1Метод..махистиче^кр^.,,модедир.ов.ани
Перейдем теперь к рассмотрению и изложению сущности метода
статистического моделирования. Прежде всего еще раз подчеркнем,
что если процесс функционирования системы удается описать с по-
мощью каких-либо функциональных соотношений, то имеет место ана-
литическая модель системы, которая, как отмечалось, может быть
исоледована аналитически - численно или качественно. В первом
случае наряду о другими численными методами находит широкое при-
менение и метод Монте-Карло, сущность которого мы только что
рассмотрели. Эдеоь этот метод выступает именно как вычис-
лительный метод, позволяющий получить приближен-
ное численное решение аналитической задачи. Кстати, первоначаль-
но он использовался именно в вычислительном аспекте, т.е. для
приближенного численного решения аналитических задач. Напомним,
что при этом решение аналитической задачи достигалось моделиро-
ванием случайных объектов, вероятностные характеристики кото-
рых совпадали с искомыми параметрами рассматриваемой аналитиче-
ской задачи, а затем найденные статистические оценки этих харак-
теристик использовались как приближенные значения искомых пара-
метров. Впоследствии было подмечено, что этот же прием можно
пряиенять и для исследования процесса функционирования систем,
подверженных случайным возмущениям. Такой метод исследования
процесса функционирования систем назвали статистиче-
ским моделированием.
Для практического использования этого метода необходимо в
первую очередь построить так называемую имитационную модель про-
цесса функционирования системы. Имитационная модель (как и ана-
литическая) отображает, вообще говоря, формализованный процесс
функционирования системы, однако в отличие от аналитической мо-
дели здесь используется так называемое алгоритмическое описание
процесса функционирования системы (с помощью алгоритма, пред-
назначенного для реализации на ЭВМ). Поэтому имитационная мо-
дель, как правило, строится в виде моделирующего алгоритма,ко-
торый при своей реализации на ЭВМ приближенно воспроизводит сам
процесс оригинал, его протекание во времени, при этом элемен-
тарные явления, составляющие процесс, имитируются с сохранением
их логической структуры и последовательности протекания во вре-
мени, характера и состава информации о состояниях процесса.Влия-
ние случайных факторов на течение процесса имитируется с помощью
моделирования случайных объектов с заданными или вырабатываемы-
320
иш в ходе моделирования вероятностными характеристиками. Ери
реализации моделирующего алгоритма за ЭВМ вырабатываемся ин-
формация, списывающая гичйечтерные явления иссяедуечогз процес-
са с у«етом их связей и взаимен? явлений. Определенная
этой информации используется затем для определения тех хара?тг
ристик процесса, которые требуется получить в результате моде-
лирования. Заметим, что в это!' случае для решения поставленная;
задач имеется возможности использовать дюбуа информацию о со-
стояниях процесса, еои только ее можно регистрировав!.
В силу действия случайных факторов результаты моделированс?,
полученные при однократном воспроизведении на имитационной мо-
дели рассматриваемого случайного процесса, будут являться лишь
одной едишотвеиной его реализацией и не смогут объективно ха-
рактеризовать изучаемую систему (хотя рассмотрение отдельной
реализации также дает возможность получать интересные сведения
о процесса). Поэтому искомые характеристики случайного процес-
са при его исследовании на имитационной модели определяют пут?’
его многократного воопроиз ведение
о последующей статистической обработкой полученных данных. При
этом в качестве оценок искомых характеристик принимают их сред-
ние значения. Если количество воопроиьведений процесса, т.е.
количество реализаций п , достаточно велике, то в силу дейст-
вия закона больших чисел получаемые оценки приобретают стати-
стическую устойчивость (порядок дисперсии оценок равен 1/л )
и о достаточной для практики точностью могут быть приняты в ка-
честве приближенных значений искомых характеристик. Имение по-
этому метод исследования процессов функционирования систем,под-
верженных случайным возмущениям, с помощью имитационных моде-
лей принято называть методом статистиче-
ского моделирования (хотя, разумеется,ими-
тационные модели применимы и в детерминистском случае).
Нетрудно видеть, что последняя особенность метода статисти-
ческого моделирования характерна как раз для рассмотренного на-
ми метода Монте-Карло, но в силу существенного различия этих
двух аспектов статистических испытаний в некоторых работах [8,
62] признано целесообразным иметь и различные термины для их
обозначения. Именно методом статистического моделирования или
просто статистическим моделированием называют метод изучения
систем, подверженных воздействию случайных возмущений, с по-
мощью имитационных моделей, а название "метод Монте-Карло" или
321
"метод статистически ыспытаний" оставляют для обозначения чис-
ленного метода решения аналитических задач.
Таким образом, с помощью статистического моделирования лож-
но вычислить значение любого функционала, заданного на мно»ст-
ве реализаций процесса функционирования изучаемой системы,еши
только соответствующие процедуры предусмотрены в построение!
пннтационной модели. Наиболее важным функционалом, интересующим
исследователя в первую очередь, является, например, показатель
эффективности процесса функционирования системы, отражающий
степень соответствия результата функционирования системы целящ
и задачам этого функционирования. Умея находить значения пока
зателя эффективности, мы можем с помощью модели решать целый
ряд задач. В их числе:
- оценить эффективность функционирования системы;
- оцетать варианты структура системы;
- оценить влияние изменения различных параметров систеш
вли ее отдельных элементов, а также начальных условий на эффек-
тивность и т.д.
Э?о - задачи так называемого анализа систем. Не менее важ-
ны, но гораздо сложнее задачи синтеза систем, когда требуется
создать систему с наперед заданными свойствами и в некотором
смысле оптимальную. Результаты моделирования часто оказываются
полезными и при решении этого класса задач. Основным преимуще-
ством имитационных моделей по сравнению о аналитическими являет-
ся возможность моделирования процессов функционирования систем
исключительной сложности. Такие особенности рассматриваемой си-
стеиы, как наличие одновременно элементов непрерывного и дис-
кретного действия, нелинейные соотношения любого характера,опи-
сывающие связи между элементами системы, воздействие многочис-
ленных случайных факторов сложной природы, которые приводят к
принципиальным и далеко не всегда преодолимым трудностям при
аналитических исследованиях, не являются препятствием при ими-
тации процесса функционирования системы. Поэтому имитационные
подели применимы к исследованию значительно более сложных про-
цессов, чем физические и аналоговые. Кроме того, в этом случае
пет необходимости создавать специальную аппаратуру для каждой
новой задачи.
Наряду с отмеченными преимуществами имитационное моделиро-
вание, как и любой численный метод, обладает тем существенным
ведостетком, что полученное решение всегда носит частный ха-
322
рактер, отвечая фиксированным значениям параметров системы,
входной информации а начальных условий. Несмотря на этот серь-
езней недостаток, имитационное моделирование ь настсяшее время
приставляет собой наиболее эффективный метод изоледованчя еди-
ных систем, а подчас и единственно практически доступное сред-
ство получения интересующей нас информации о поведении системы,
особенно на стадиях ее проектирования и разработки.
Если искать аналогии, то можно оказать, что имитационное
моделирование наиболее близко к натурному эксперименту, но
в отличие от него является методом математичеокого эксперимев-
ярсвавия, причем гораздо более экономичного, менее длительно-
ю и обладающего неограниченными возможностями при исследова-
ли процессов функционирования любых сложных систем. Что каса-
тся натурного эксперимента, то, как хорошо известно, он дале-
to не во всех олучаях возможен вообще.
В связи с этой аналогией мы в дальнейшем однократное вос-
произведение моделирующего алгоритма (реализацию имитационной
модели) будем также называть экопериментом на модели.
6.1.5. Моделирующий алгоритм
Особенностью имитационного моделирования является то, что
оно осуществляется главным образом на ЭВМ. Для этого, как уже
отмечалось, имитационная модель строится в виде соответствую-
щего моделирующего алгоритма, на основе которого затем состав-
ляется программа его реализации на ЭВМ. Обычно структура про-
граммы зависит не только от специфики воспроизводимого алго-
ритма, но и от характеристик самой машины, ее математичеокого
обеспечения, вида используемого данной ЭВМ входного яэыка.По-
этсму запись алгоритма, предназначенного для моделирования про-
цесса, сразу в виде программы с учетом перечисленных особенно-
стей весьма затруднена. Кроме того, эта запись оказывается не-
удобной, малообозримой и затрудняет ориентировку в структуре
моделирующего алгоритма. В связи с этим желательно представ-
ление моделирующего алгоритма в таком виде, который отражал бы
в первую очередь основные особенности его структуры, без из-
лишних второстепенных деталей. Учитывая это обстоятельство, а
также необходимость сохранять некоторую свободу в выборе ти-
па ЭВМ, предназначенной для реализации моделирующего алгорит-
ма, обычно стараются сделать запись алгоритма независимой от
перечисленных выше индивидуальных особенностей машины.
323
В настоящее время наиболее широкое распространение получи-
ло графическое изображение моделирующих алгоритмов в виде так
называемых структурных схем алгоритмов. Такое
представление моделирующих алгоритмов отличается высокой наг-
лядностью отображения общего хода присущих им вычислительных
процессов.
Структурная схема моделирующего алгоритма является графи-
ческим изображением последовательности операторов, каждый из
которых реализует вполне определенную функцию, предусмотренную
имитационной моделью. Заметим, что графическое изображение опе-
ратора часто называют блоком, а последовательность бло-
ков, реализующую определенный алгоритм, - блок-ох е-
п о й алгоритма.
Выбор системы операторов и графического их изображения для
представления моделирующего алгоритма играет важную роль,так
как он определяет степень наглядности изображения алгоритма
и удобство его дальнейшего использования. Основным требовани-
ем, предъявляемым к выбранной системе операторов, является ее
полнота, т.е. она должза быть такой, чтобы с ее помощью можно
было представить моделирующий алгоритм любого исследуемого про-
цесса. На наш взгляд этому требованию удовлетворяет система опе-
раторов, приведенная в табл.3.55 [40], где приведены рекоменду-
емые графические изображения операторов, их наименования и крат-
кие пояснения. Здесь основными операторами являются: ариф-
метический, стохаотический и ло-
гический, причем для пооледних двух в таблице приведе-
вы возможные варианты их графического изображения. Основные опе-
раторы реализуют соотношения имитационной модели, описывающие
процессы функционирования реальных элементов системы о учетом
вовиущающих воздействий. Остальные операторы - служебные. Они
ее связаны с соотношениями имитационной модели и обеспечивают
взаимодействие остальных операторов при реализации моделирующе-
го алгоритма и выполняют указанные в таблице второстепенные
функции.
Отметим, что для всех операторов, представленных в таблице
(кроме логического), существенным является то обстоятельство,
что после выполнения предусмотренных ими соответствующих опера-
ций, независимо от результатов, производится переход (иди, как
км говорим, передача управления) к какому-нибудь одному опрзде-'
ленному оператору. При этом передача управления изображаетоя
324
стрелкой, выходящей иэ прямоугольника, обозначавшего оператор,
от которого передается управление, а острие стрелки направлено
к изображению того оператора, которому управление передается.
Логические операторы характерны тем, что после их реализа-
ции управление передается одному из двух операторов алгоритма
в зависимости от выполнения условий, проверяемых оператором.При
этом стрелки, указывающие направление передачи управления, от-
мечаются единицей или нулем. Управление от логического операто-
ра передается по стрелке, отмеченной единицей, если условие,про-
веряемое оператором, выполнено, и по стрелке, отмеченной нулем,
если оно оказывается невыполнимым.
В структурных схемах алгоритмов часто используются еще не-
сколько специфических операторов, не входящих в рассмотренные
выше классы, а именно операторы, означающие ввод исходных дан-
ных, окончание вычислений, выдачу результатов и т.п. Эти опера-
торы обычно изображают прямоугольником с соответствующей
нэдписью»
Иногда наряду ос структурной схемой используют представле-
ние моделирующего алгоритма в виде операторной схемы, где каж-
дый оператор определенного класса обозначается соответствующей
буквой [8,36]. Такая форма представления отличается компактно-
стью, но, к сожалению, она менее наглядна, чем структурная схема.
В дальнейшем везде будем представлять моделирующий алгоритм
в виде структурной схемы. Отметим, что такое представление удоб-
но не только для моделирующего алгоритма, но и вообще для алго-
ритма любой расчетной задачи, подлежащей реализации на ЭВМ.
В качестве иллюстрации принятых обозначений представим алго-
ритм расчета определенного интеграла (пример 6.I.I) в виде ук-
рупненной структурной охемы (рио.6.1.2).
Работа алгоритма протекает следующим образом. Оператор I
осуществляет ввод необходимых исходных данных. В условиях рас-
сматриваемого примера - это значения величин a , Ь , d , п ,а
также параметров функции f (х) . Затем оператор 2 подготавли-
вает счетчики текущего числа J испытаний (реализаций) и счет-
чика числа m удачных1испытаний (реализаций) посредством за-
сылки единицы и нуля в соответствующие ячейки памяти ЭВМ.
Под удачным испытанием (реализацией) будем понимать та-
кое , в котором j -я реализация точки Q = <х,,и > удовлетво-
ряет условию <ху>е{и}. J J
325
ДаЕве в каждой d -и испнта-
ани (j -й реализации, </ = /(/)п )
оператор 3 моделирует точку
.имеющую равномерное
распределение в области прямо-
угольника {/1} ,а логический опе-
ратор (блок) 4 проверяет принад-
лежность смоделированной точки
(ir^> области {Д}, т.е. прове-
ряет выполнение условия <г ,
Если зто условие вы-
полнено , !/^ >е {D}), ТС ОТ
оператора * по стрелке о индек-
сов Т управление передается опе-
ратору 5, в противном случае
'>^{1);) по отрелке с иа-
дексок О - оператору 6. Опера-
тор 5 подсчитывает число т
удачаих испытаний (реализаций),
т.е. число точек, попадающих ъ
область {Г} , а оператор 6 под-
считывает текущее число </ ис-
пытаний (реализаций), после че-
го логический оператор (блок) 7
сравнивает подсчитанное текущее
число j испытаний (реализаций)
с заданным числом л иопытаний
(реализаций), т.е. проверяет ус-
ловие J. S5 л . Если оно выпол-
нено (^=s л ), то от оператора
7 по отрелке с индексом I управ-
ление передается оператору 3 и
начинается новый цикл испытаний,
аналогичный описанному.В против-
ной случае (j > л ) по отрелке
с индексом 0 управление переда-
ется оператору 8, который вы-
числяет статистические оценки
О_______________
Г Ввод
I исходных данных
© I
0=> <ОТ>
/-</>
Оценивание
точности и надежности
результата.
Рис.6.1.2.
I интеграла I. Затем оператор 9 реализует алгоритм оценивания
точности и надежности оценки I и передает управление операт--
326
ру 10, который выдает (печатает) результаты вычислений (значе-
ние I , границы доверительного интервала) и фиксирует конец вы-
числений.
Заметим, что рассмотренная структурная охема (блок-схема)
алгоритма является укрупненной потоку, что такие операторы
(блоки), как, например, 3, 4, 8, реализуют целую совокупность
операций. Если алгоритм каждого из ншх, в свою очередь, пред-
ставить в виде структурной схемы, то она будет более деталь-
ной. Эта схема попользуется при составлении программы реализа-
ции алгоритма на ЭВМ.
6.1.6. Фиксация и обработка результатов моделирования
При реализации моделирующих алгоритмов на ЭВМ вырабатыва-
ется информация о состояниях исследуемых систем. Эта информа-
ция служит исходным материалом для определения приближенных
значений искомых величин, или, как принято говорить, оценок
искомых величин. Объем этой информации, как правило, довольно
значительный. Поэтому при построении моделирующих алгоритмов
стараются таким образом организовать фиксацию и обработку ре-
зультатов моделирования, чтобы оценки для искомых величии фор-
мировались постепенно по ходу моделирования, без специального
запоминания воей информации о состояниях системы. Поскольку
при исследовании процессов функционирования систем, подвержен-
ных случайным возмущениям, в качестве искомых величин раооиат-
риваютоя различные вероятностные характеристики соответствую-
щих случайных объектов (случайных событий, величин, векторов,
Функций и т.п.), то в качестве приближенных значений этих ве-
личии, определяемых по результатам реализаций моделирующего
алгоритма, используют их отатиотичеокие оценки. Вопросы, свя-
занные с построением статистических оценок различных вероятно-
стных характеристик, подробно расомотрены в главе 2 настоящей
пособия и здесь затрагивать их ие будем. Пае будут интересовать
особенности формирования этих оценок в ходе процесса реализа-
ции моделирующего алгоритма на ЭВМ. Эти особеннооти рассмот-
рим на примерах формирования оценок, получивших наибольшее уши-
ребИение в практике статистического моделирования, таких, как
оценки математического ожидания и диоперсии некоторой случайное
величины, оценки корреляционного момента для системы двух слу-
чайных величин, оценки математического ожидания и корреляцион-
ной функции случайных процессов.
327
Цуоть в результате каждой j -й реализации [j=1(1)n] моде-
лирующего алгоритма мы имеем возможность получать (моделировать)
зиачвние х^ некоторой случайной величины х . Тогда после осуще-
ствления л независимых (однородных) реализаций будем иметь не-
которую выборку <хрхгхп > и в ооответотвии о изложенным
в пп.2.5.1 и 8.6.2 в качестве статистических оценок для матема-
тического ожидания и дисперсии случайной величины х можно при-
нять
h • (6.1.17)
Для того чтобы оценку (6.1.16) формировать в ходе реализа-
ции моделирующего алгоритма, достаточно в памяти ЭВМ отвести од-
ну специальную ячейку, в которой предусмотреть накопление суммы
2х^ а затем уже после осуществления всех п реализаций оцен-
ку вычислить в соответствии с формулой (6.1.16).
Подобный прием можно использовать и при формировании оценки
(6.1.17) для дисперсии. Для этого преобразуем данную оценку в
более удобный вид:
Д=Л S (х-М„* )2= т-yS хг-2М* + -р-М*л = -1-Лхг-
I х П-1 J.I J X п-1 J--I J П-1 X п-1 J
(6.I.I8)
П(П-1) \j=l J/ п(п-1)\у.| <// n-1 j-t J П(п-Г) y.( <//
Отсюда следует, что для определения оценки Д достаточно на-
капливать значения и Зх^. 1
Если обозначить: '
Л ; (6.1.19)
Sz=Jx1( ’ (6.1.20)
то процесс формирования оценок можно отобразить в виде алгорит-
ма, структурная схема которого показана на рис.6.1.3. Далее
предположим, чтс в результате каждой j. -й реализации (у=/(/)а)
моделирующего алгоритма мы имеем возможность получать значения
Xj и некоторой системы случайных величин <х,р> . Тогда
согласно § 2.7 в качестве статистической оценки для корреля-
ционного момента Кля этой ссстег. случайных величин можно
принять
328
Это выражение можно также преобразовать к более удоб-
ному виду
HA/t = d_AXu-.-l_AX2q .
ху n—lj=t J'Jj n(n-l) j--t (6.1.22)
Отсюда следует, что для определения оценки достаточ-
но накапливать значения ^х^ и Ъу,Если обозначить:
Рио.6.1.3
Пусть в результате
дарующего алгоритма мы
SJ = 3x</ ; (6.1.23)
5Г3^; (6.1.24)
~ (6.1.25)
то алгоритм определения можно
изобразить в виде структурной схемы.
Формирование оценок вероятностных
характеристик случайных функций (процес-
сов) в ходе реализации моделирующего
алгоритма имеет свои особенности,обус-
ловленные тем, что как вероятностные
характеристики, так и их оценки являют-
ся функциями некоторого аргумента (ча-
ще всего времени t ). Вопросы построе-
ния оценок для вероятностных характе-
ристик случайного процесса х(£) под-
робно рассмотрены в § 2.9. В соответ-
ствии о изложенным в этом параграфе
оценки для математического ожидания,
дисперсии и корреляционной функции
случайного процесса x(t) находят,
разбивая интересующий нас интервал
времени (О, Т) на чаоти о постоянным
шагом h=ti+)-tL, i= 1(1)т .
каждой ^-й реализации Е/=/(/)п] иоде-
имеем возможность для фиксированного мо-
мента времени получать (моделировать) значения
329
, соответствующие сечению z(tj случайного
ароцесса r(t) (для наглядного представления си.табл.2.9.1).Тог-
да аа основании соотношений (Z.9.I), (2.9.4) и (2.9.5) выраже-
ния для интересующих нас оценок иожно написать в виде
(ъа.26)
Из последнего выражения нетрудно видеть, что при4 = /( приходим
и соотношению (6.1.27). Таким образом, для определения интере-
сующих нас оценок достаточно реалиновать соотношения (6.1.гб;
и (6.1.28).
Поскольку k^L , то при реализации соотношения (6.1.28)
полагают L = 1(1)m , a k=L(l)m . Процедура фиксации результа-
!ов и расчета оценок a K^(tL,tH') , l= 1 (1)/п , k=i(1)m
по формулам (6.1.26) и (6.1.Z8) представляет самостоятельный
иетерео. Действительно, если бы в нашем распоряжении уже име-
лись результаты моделирования, например, в виде табл.2.9.1, то
организация расчетов не составила бы большого труда. Нс чтобы
зафиксировать в памяти ЭВМ содержимое такой таблицы, очевидно,
веобходимо пт ячеек, что, конечно, нерационально. Поэтому
рассмотрим возможный подход к более рациональной организации
вычислений непосредственно в ходе моделирования. Для упрощения
обозначим:
, 4 = /(/)/п ; (6.1.29)
S(=Jx (f )=Extr L = f(f)my (6.1.30)
i = k=L(})m. (6.I.3I)
Тогда
1В№; *-<(/)«. (6Л-33)
330
Теперь в процессе j -й реализации моделирующего алгоритма
предусмотрим следующее:
I. Для всех 1=1(1)т фиксируем полученные (смоделированные)
значения x/(t£)=x , засылая их в соответствующие рабочие яче?-
ки посредством реализации оператора х(4£)=&»<х,> (в этом слу-
чае нам потребуется только т ячеек памяти). Наряду с фиксацв-
ей также для воех 1 = 1(1)т накапливаем оуммы St = 5x/(ft)
посредством реализации оператора S +х ==> < S > . Заметим, что
для этого надо построить циклический процесс по переменной I -
= /(/)/п.
2. Для воех и k=i(1)m посредством реализации цик-
лического процесса накапливаем суммы S, =Sz (f;) т ff,) (xr +
''
После осуществления воех n n реализаций моделирующего алго-
ритма будут зафиксированы St = S)x/(it) , i = !(1)in и SiH =
= , 4=/(/)л? , к^с(1')т и поэтому организа-
ция вычислений интересующих нас оценок по соотношениям (6,1.92)
и (6.1.33) не составит затруднений.
Изложенную идею формирования оценок ^(tt) и ,
i=Z(7)/n , k = i(l)m непосредственно в ходе моделирования ион-
но отобразить в виде алгоритма, структурная схема которого изоб-
ражена на рис.6.1.4. Работа алгоритма достаточно ясна и не нуж-
дается в пояснениях. Отметим только, что формирование моментов
времени t, осуществляется посредством реализации оператора
i + tA==»<t>, где h определяется соотношением b=tl+|-tt ,
1=1 (1)т . Таким образом, описанная выше процедура организа-
ции вычислений требует для запоминания значений х (t£ ) только
m ячеек памяти вмеото тп.
Нами рассмотрена процедура формирования оценок для вероят-
ностных характеристик нестационарного случайного процесса.Если
же случайный процесс стационарен и обладает овсйотвом эргодич-
ности, то эта процедура имеет свои особенности. Дело в той, что,
как отмечено в п.2.9.2, для эргодического случайного процесса
оценки вероятностных характеристик могут быть приближенно опре-
делены как среднее по времени Т наблюдения одной реализации.
Поэтому в данном случае достаточно фиксировать результаты мо-
делирования лишь в одной реализации моделирующего алгсритма.По-
скольку этот вопрос подробно освещен в п.2.9.2, то здесь рас-
сматривать его не будем и представим читателю возможность само-
стоятельно синтезировать структурную схему алгоритма подобно
рассмотренной выше.
331
Рис.6.1.4
.3.32
В заключение отметим, что важным моментом пр? статистиче-
ском моделировании процессов является оценка точности и надея-
нссти результатов моделирования, а такие определение потребно-
го числа реализаций» Эти задачи решаются в полном соответствий
с методами, изложенными в гл.З, поэтому ьдс-сь ограничимся лииь
указанием на безусловную необходимость завершить исследование
процессов функционирования систем методом статистического моде-
лирования оценкой точности и надежности получаемых результатов.
Поскольку точность (надежность) результатов моделирования
определяется количеством реализаций, то представляет интерес
рассмотреть хотя бы в общих чертах вопрос, связанный с синте-
зом алгоритма, позволяющего в зависимости от заданной точности
(надежности) результатов осуществлять необходимее количество
реализаций. Здесь весьма полезен материал § 2.ТО, В частности,
там показано, что для оценок вероятностных характеристик слу-
чайных объектов можно построить рекуррентные соотношения, поз-
воляющие получать значения при различном числе реализаций. Эти
соотношения дают возможность установить связь между значением
оценки, полученной по результатам п + 1 реализаций, со значение*
той же оценки, полученной ho результатам п реализаций. В об-
щем виде эта зависимость имеет вид
af''=f(^',Q„+(), (6.1.34)
где Q - символ некоторого случайного объекта;
а^’(а"+1’) - оценки вероятностной характеристики случайного
объекта соответственно по результатам п а п + 1
реализаций,
£2П+,- л+1 - реализация случайного объекта Q.
Идея построения алгоритма, позволяющего автоматизировать
получение нужного числа реализаций в зависимости от требуемой
точности £тр оценки а& , состоит в следующем. Сначала реа-
лизуют моделирующий алгоритм при некотором начальном числе пв
реализаций и по их результатам вычисляют оценку . Затеи
методами, изложенными в главе 3, определяют точность е"1"’ поду-
ченной оценки а'л°] и если она не удовлетворяет предъявленным
к ней требованиям (е("°’ > 6тр ) , то осуществляют дополнитель-
ную п0+1 реализацию моделирующего алгоритма для получения зна-
чения Q%+, случайного объекта Q . Далее, используя рекуррент-
ное соотношение (6.1.34), вычисляют оценку 2;"°+" . определи-
333
jj ее точность е<л“+,) и опять проверяют выполнение условия
6"°+1' *г- етр • Если 310 Условие не выполняется, то описанную
знше процедуру повторяют до тех пор, пока значение 21п’ не бу-
дет удовлетворять заданным требованиям по точности и надежно-
сти. Изложенную идею в общем виде можно реализовать с помощью
алгоритма, структурная схема которого изображена на рис.6.1.5.
6.1.7. Комбинированный метод определения вероятностных
характеристик
В пооледнее время получили распространение так называемые
комбинированные методы определения вероятностных характеристик.
Как отмечено в работе [54 j , под этим названием объединяются
334
методы определения вероятностных характеристик систем и мх ма-
тематических моделей, базирующиеся на совместном применении ана-
литических методов, метода статистического моделирования и на-
турных экспериментов, а также методы оптимальной организации
подобных экспериментов с использованием при статистическом мо-
делировании априорных сведений. Необходимость в комбинированна
методах возникла в первую очередь при исследовааиях систем,для
которых статистическое моделирование и натурные эксперименты
весьма трудоемки (последние в некоторых случаях вообще неосу-
ществимы), а требуемая точность результата при обычном спосо-
бе его получения приводит к необходимости проведения большого
числа реализаций или экспериментов. Типичными примерами подоб-
ных систем могут служить сиотемы массового обслуживания, си-
стемы управления запасами и некоторые другие. Суть комбиниро-
ванных методов состоит в использовании по возможности всей ин-
формации о вероятностных характеристиках системы, полученных
при различных видах исследований, о целью либо более точной
оценки этих характеристик, либо уменьшения числа экспериментов
с системой и моделью.
Рассмотрим применение комбинированных методов лишь для оп-
ределения оценок вероятностных характеристик системы пс резуль-
татам исследования ее аналитическим методом и методом статисти-
ческого моделирования. При этом, поскольку аналитические методы
могут быть применены только лишь в результате ряда упрощений
соответствующую математическую модель будеы называть упро-
щенной моделью или упрощенной с а-
с т е м о й, а модель, реализуемую методом статистического мо-
делирования -исходной моделью или исход-
ной системой.
Еудеи предполагать, что вероятностные характеристики исход-
ной системы не могут быть получены аналитическим путем и для
этой цели можно использовать только метод статистического мо-
делирования. Разумеется, вероятностные характеристики упрощен-
ней системы могут быть определены и аналитически.
Возможности и способы использования результатов аналитиче-
ских исследований упрощенной системы для оценки вероятностных
характеристик исходной системы всегда упираются в незнание со-
ответствия этих систем и связи их вероятностных характеристик.
Это обстоятельстве является причиной того, что в большинстве
случаев результаты исследований исходной и упрощенной сисгеы
335
приводятся независимо друг ох друга и, как правило, подверга-
йся лишь сравнительной оценке. В то же время ясно, что иссле-
дование любой разумно упрощенной системы всегда дает определен-
ную информацию об исходной системе и правильное использование
згой информации позволит получить более точное значение вероят-
востных характеристик исходной системы.
Так как в рассматриваемом случае исследование исходной си-
стемы в соответствии с принятыми предположениями возможно лишь
иетодом статистического моделирования, то установить соответ-
ствие исходной системы к упрощенной также можно только о помо-
щью этого метода. Очевидно, что для выявления соответствия си-
стем необходимо подавать на их входы одни и те же воздействия,
которые разовом внешними.
На этом понятии остановимся особо и несколько конкретизи-
руем его. Внешними воздействиями будем считать те, которые при-
ложены к исходной и упрощенной системам и имеют одинаковые ве-
роятностные характеристики. Остальные воздействия будем считать
для соответствующих систем внутренними. Так, например, если при
упрощении мы некоторыми воздействиями пренебрегли, то будем счи-
тать их внутренними воздействиями исходной системы.
Если в ходе построения упрощенной системы изменено описа-
ние какого-либо воздействия, то здесь необходимо различать два
случая. В первом из них воздействие на исходную и упрощенную си-
стемы может быть получено путем преобразования одного воздейст-.
вия с помощью каких-либо формирующих фильтров. Тогда эти фильт-
ры относятся к соответствующим системам, а воздействие на эти
фильтры - к внешним. Во втором случае воздействие на обе систе-
мы не может быть получено из одного воздействия, тогда этс воз-
действие относят к внутреннему воздействию соответственно каж-
дой из систем.
Для более эффективного применения изложенного ниже метода
хелателъно по возможности большую часть воздействий отнести к
внешним.
Выявление соответствия исходной системы упрощенной для из-
лагаемого ниже метода будем осуществлять по результатам стати-
стического моделирования исходной и упрощенной систем при оди-
наковых внешних воздействиях. Получаемые в результате статисти-
ческого моделирования оценки вероятностных характеристик, как
известно, являются случайными, т.е. представляют собой систему
случайных величин. Полной характеристикой этой системы мот' бы
336
служить их совместный закон распределения, однако найти это?
закон при ограниченном числе реализаций с надлежащей доверен-
ностью трудно. Поэтому установление степени соответствия ис-
ходной и упрощенной систем осуществляется по корреляционный чл-
ментам статистических значений вероятностных характеристик,™
чем зти моменты находятся по тем же реализация^ что и сами ве-
роятностные характеристики.
В качестве вероятностны?: характеристик могут рассматривать-
ся любые вероятностные характеристики, представляющие собой ма-
тематические ожидания некоторых случайных величин, являющихся
функционалами случайных процессов в системе. Под такое понятие
вероятностной характеристики подходят практически вес употреб-
ляемые вероятностные характеристики: математические ожидания,
дисперсии, корреляционные моменты и моменты высших порядков,за-
коны распределения, вероятности и т.д.
Перейдем к изложению рассматриваемого метода определения
вероятностных характеристик.
В простейшем случае исследованию подлежит процесс функцио-
нирования некоторой системы, подверженной случайным возмущент
Исследование системы проводится на ее математической модели,ко-
торую назовем исходной моделью (системой) и будем обозначать
V -модель (система).
Задача исследования состоит в определении одной веооятво-
отной характеристики ал некоторой случайной величины и , яв-
ляющейся функцией определенных параметров и характеристик как
самой системы, так и условий, в которых протекает ее функцио-
нирование. Предположим, что при допущениях, принятых ь исходной
модели, решение поставленной задачи можно осуществлять только
методом статистического моделирования, в результате применения
которого получаем статистическую оценку вероятностной ха-
рактеристики . Далее предположим, что в результате ряда уп-
рощений исходной модели вам удалось построить упрощенную модель,
обозначим ее U -модель (система), которая допускает ее анали-
тическое исследование. При этом может случиться так, что в ре-
зультате упрощений нам не удастся получить аналитически именно
необходимую нам вероятностную характеристику , но для изло-
женного метода зто вовсе не обязательно. Более того, предполо-
жим, что упрощенная модель допускает аналитическое исследование
для совершенно другой по своему физическому смыслу вероятност-
ной характеристики (например, нам требуется найти вероятность
337
достижения цели функп;;./ .нрования системы в функции определен-
ий совокупности параметров и характеристики системы, а упро-
щенная модель позволяет получить аналитически лишь математиче-
ское ожидание некоторого результата функционирования системы
в функции лишь отдельных из указанных параметров и характери-
стик системы).
В связи о этим будем предполагать, что в общем случае упро-
щенная модель позволяет получить аналитически вероятностную ха-
рактеристику Ьй некоторой случайной величины и , являющейся
функцией параметров и характеристик системы, учитываемых в уп-
рощенной модели. Излагаемый метод предполагает, что для веро-
ятностной характеристики Ь* отыскивается также ее статистиче-
ская сценка Ь* методом статистического моделирования и -си-
стемы.
Выше отмечалось, что практически любая вероятностная харак-
теристика может быть представлена как математическое ожидание
соответствующей случайной величины. Согласно этому
аа = ^[Ь] ; (6.1.3Ь)
= • (6.1.36)
Предположим, что для определения статистических оценок а*
н Ь* вероятностных характеристик и приведено л незави-
симых экспериментов соответственно о V- и U -системами (осуще-
ствлено п независимых реализаций V- и U -моделей). Тогда
(6.1.37)
= ' (6.1.38)
Будем считать, что значения V и и получены при одних и тех
ке внешних воздействиях, т.е. эксперименты (реализации) о сди-
яаковыми внешними воздействиями имеют ш одинаковый номер.
Таким образом, нам известны статистические оценкш а* , 6*
к значение Ьл , найденное аналитически. Задача состоит в по-
строении некоторой оценки аод вероятностной характеристики ,
которая является функцией , Ъ*& и Ъ& , т.е. в отыокаиии
оценки вероятностной характеристики V -системы по статистиче-
ским оценкам вероятностных характеристик V- и U -систем и точ-
яому значению вероятностной характеристики U -системы. Для уп-
338
рощебия оценку в дальнейшем просто обозначим а0 . Оценку а0
будем строить в классе аддитивных функций относительно а* , Ь*
Ьа ,т.е.
а. = Аа*+ВЬ* + СЬЛ ,
0 « (6.1.39)
где А , В , С - некоторые коэффициенты.
Поскольку оценки а* и являются случайными, то оценка
ае представляет собой линейную функцию случайных аргументов,
а = Ап* + ВЬ* + СЬЛ ,
° fr й. и
где
(6.1.40)
(6.1.41)
(6.1.42)
Причем в соответствии с изложенным в § 2.5
*'R]“ha • а (6.1.44)
Известно (§ 2.1), что для того чтобы оценка ав могла слу-
жить объективной характеристикой параметра а* , она должна бык
несмещенной, состоятельной и эффективной, т.е.
MW = a*; (6.1.45)
ШпБ|ао] = 0, (6.1.46)
и дисперсия л[п0] минимальна на множестве дисперсий всевозмож-
ных оценок рассматриваемого класса. Поэтому коэффициенты А ,
В , С соотношения (6.1.40) найдем из условия несмещенности оцев
ки ад и минимума ее дисперсии. Поскольку
М[по] = АМ[аД + ВМ ] + С62
или с учетом выражений (6.1.43) - (6.1.45)
VAV6VCVAV(S + C^ ’ (6.1.47)
то оценка а0 будет несмещенной, если А = I и В + С = 0, т.е.
В--С, Подставив значения А = I, В = -С в соотношение (6.1.40
получим
339
“о а1 Ьй) . (6.1.48)
Найдем теперь дисперсию оценки а0 , определяемую соотно-
иевием (6.1.43). Исходя ив определения дисперсии
BpJ =м[(ав-М$ )*] =м[(ав-алу] (6.1.49)
или с учетом (6.1.48)
‘б-1-50’
В соответствии с изложенным в § 1.3 (п.1.3.5)
(6.1.51)
(6.1.52)
(6.1.53)
Подставив выражения (6.1.51) - (6.1.53) в равенство (6.1.50),
получим
-°[^1 = Я-ГДл-2СКЛЛ + Сг1)Л1 .
l 0J л L £ &! (6.1.54)
Нетрудно видеть, что последнее соотношение представляет со-
бой квадратную функцию относительно С , график которой еоть па-
рабола. Причем, поскольку Д /л % 0 , то ветви параболы направ-
лены вверх. Поэтому минимум“В[50] будет достигаться в верши-
не параболы. Значение 0 , отвечающее этому минимуму, можно най-
ти из уравнения
— 2\л + 2СДЛ=0
ас »и и
(6.1.55)
откуда к л
(6.1.56)
Таким образом, соотношение (6.1.48) для оценки ао о уче-
том (6.1.56) примет вид
(6л-57)
340
Для конкретных значений реализаций и я , полученных при
статистической моделировании соответственно V- и U -систем,мож-
но записать, что
^аГ^(Ь'ГЬ11- (6.1.58)
а Л
Остановимся на интерпретации формулы (6.1.57). Разность Ь*-
-Ьл равна статистической ошибке в определении вероятностной
характеристики Ьл , которую удается найти благодаря знанию точ-
ного значения Ьа“.
Величина (Ь* - Ь^) представляет собой значение ошибки,
пересчитанное для величины а* с учетом корреляционной связи
между оценками а* и . Для получения оценки 50 это пересчи-
танное значение ошибки“вычитается из статистической оценки а*
вероятностной характеристики ал . В результате оценка 20 полу-
чается более точной, чем оценка а* .
Для определения выигрыша в точности рассмотрим отношение
<•-44-,
л[а.]
т.е.отношение дисперсий статистической оценки а*
вероятностной характеристики ал .
Поскольку
4aa=M^-a-.fl.
то на основании соотношения (6.1.51)
Диоперсию найдем, подставив (6.1.56) в
(6.1.54). В результате подстановки получим
и оценки а0
(6.1.60)
соотношение
(6.1.61)
(6.1.62)
где
341
Подставив (б.I.СО) и (6.1.61) в выражение (6.1.59) для а?0,
найдем
d° = ;_'г ’ (6.1.63)
откуда следует, что чем больше квадрат коэффициента корреляции
г,* , тем значительнее выигрыш в точности. Поскольку /.
то d°s- / , и выигрыш в точности отсутствует, если гДЛ=0.
Отсутствие выигрыша или его малое значение эквивалентно то-
ну, что процессы в упрощенной системе не соответствуют или мало
соответствуют процессам в исходной системе. При этом, естествен-
но, излагаемый метод применять вообще нецелесообразно.
В ряде случаев необходимо находить оценки вероятностных ха-
рактеристик с заданной точностью. При этом применение только
что изложенного метода позволяет получить выигрыш в числе экс-
периментов (реализаций). Значение этого выигрыша легко найти из
отношения
(6.1.64)
“тр
где птр- требуемое число экспериментов (реализаций) для опреде-
ления оценки а„ с точностью, задаваемой значением
п*р- требуемое число экопериментов (реализаций) для опреде-
ления оценки а* обычным методом статистического моде-
лирования V -системы с той же точностью .
Значение птр найдем из соотношения (6.1.61), подставив вме-
сто -С[§0] ее требуемое значение Втр:
4=^<''гй)- (6-1-65’
Аналогично из соотношения (6.1.60) найдем
(6.1.66)
тр
С учетом (6.1.65) и (6.1.66) выражение (6.1.64) для выигрыша
в числе экспериментов примет вид
п°= j-'p- ’ (6.1.67)
т.е. в данном случае выигрыш п° в числе экспериментов равен
просто выигрышу d° в точности по дисперсии. На рис.б.1.6 изо-
бражен график зависимостей п°= d° в функции 1гЛЛ| . Из графика
1 '
342
следует, что выигрыш в числе экспериментов (реализаций) и в
точности получается более чем в два раза, если |г&А| > 0,7.
Поэтому для успешного применения изложенного метода построение
упрощенной модели необходимо
осуществлять таким образом,что-
бы соответствующие значения и
были как можно больше коррели-
рованы оо значениями и; ис-
ходной модели. Котати, это об-
стоятельство обусловливает тот
факт, что раооматриваемое здесь
понятие упрощенной модели явля-
ется более широким, чем обычно
понимаемое. Действительно,обыч-
но построение упрощенной моде-
ли осуществляется путем пренеб-
режения некоторыми процессами
в элементах исследуемой системы, линеаризации реальных характе-
ристик элементов, принятия допущений о стационарности протекаю-
щих в системе процессов, пренебрежения дискретностью процессов
и т.д. При этом каждое из принимаемых допущений вызывает у ис-
следователя все возрастающую неуверенность в достоверности по-
лучаемого результата и в близости его к истинному. Все это при-
водит к известной осторожности и даже перестраховке при приня-
тии допущений и упрощений, к необходимости проведения различ-
ных обоснований и исследований.
Для рассматриваемого метода построения упрощенной модели
можно осуществлять без проявления особых мер осторожности и об-
ширных исследований приемлемости допущений, так как в крайнем
случае сколько-нибудь серьезное пренебрежение или допущение мо-
жет вызвать лишь некоторое уменьшение выигрыша в точности ре-
зультата или в чиоле экспериментов. Все это значительно облег-
чает процесс построения упрощенной модели.
Для практического использования формулы (6.1.58) необходи-
мо знать корреляционный момент Клл и дисперсию DA . Так как
упрощенная модель может исследоваться аналитически (по крайней
мере для определения ЬА ), то в принципе возможно вычисление
аналитическим цутем и точного значения Пй . Однако в некоторых
случаях определение ЛА аналитически может представить опреде-
ленные трудности. Тогда вместо дисперсии D* можно найти метод
343
статистического моделирования ее статистическую оценку D* по
результатам тех же реализаций, что используются при нахождении
Что же касается корреляционного момента Клл , то для него
полно найти только статиотичеоцую оценку Н*й При этом про-
цедура отатистического моделирования должнаибыть построена та-
ким образом, чтобы в ходе моделирования имелась возможность реа-
лизации соотношения
Кл*л = 5 V и -~7~ Vv- iu . (6.1.68)
mi П-1 d d П(П-1) d j-.t d
В связи с изложенным практически оценка а может быть опреде-
лена по одной из следующих формул:
= (6.1.69)
или
(б.т.70)
Как показано в работе [54], оценки (6.1.68) - (6.1.70) близ-
ки по точности даже при сравнительно небольшом числе (л^2С)реа-
лизаций.
Необходимо отметить, что полученные результаты сравнитель-
но нетрудно обобщить [54] и на тот более общий случай, когда
раосматривается не одна, а несколько вероятностных характери-
стик. Тогда для исходной и упрощенной модели будут определять-
ся векторы вероятностных характеристик, причем компонентами этих
векторов могут быть характеристики, различные по физическому со-
держанию, а число компонент этих векторов также может быть раз-
личным. Кроме того, в работе [54] показано, что чем больше ве-
роятностных характеристик рассматривается в упрощенной модели,
тем больше выигрыш в точности и числе реализаций.
§ 6.2. МЕТОДЫ МОДЕЛИРОВАНИЯ СЛУЧАЙНЫХ ОБЪЕКТОВ
OffiMSL при8ципы...ирделирования
В предыдущем параграфе мы выяснили, что метод статистическо-
го моделирования представляет собой метод изучения процесса функ-
ционирования системы, подверженного случайным воздействиям (или,
как еще говорят, действию случайных факторов), с помощью имита-
ционной модели.
344
В зависимости от характера случайного воздействия оно в
своем формализованном представлении может выступать в виде не-
которого случайного объекта: случайной величины, случайного со-
бытия, случайного вектора, случайной функции и т.п. Таким об-
разом, можно сказать, что случайный объект представляет собой
некоторую математическую схему, используемую для формализации
случайного воздействия. Поэтому имитация данного воздействия
при статистическом моделировании процесса функционирования си-
стемы на ЭВМ сводится к выработке реализаций соответствующе-
го случайного объекта. Например, если при формализации некото-
рого случайного воздействия в качестве математической схемы ис-
пользуется случайная величина х с заданным законом распреде-
ления (!) или , то имитация этого воздействия оводитоя
к получению (вычислению) значений , i2, xJt..., случайной
величины х .
Процесс получения (вычисления) значений некоторого случайно-
го объекта называют моделированием случайного
объекта или формированием реализаций
случайного объекта. В связи с этим широко применяются такие
понятия, как моделирование случайной величины, случайного со-
бытия, случайного вектора, случайной функции и т.п.
При реализации на ЭВМ метода статистического моделирования
(впрочем, кок и метода Монте-Карло) прежде всего возникает воп-
рос: как практически моделировать на ЭВМ тот или иной случай-
ный объект, т.е. как на ней получать реализации того или иного
случайного объекта? Ответ на этот вопрос и составляет содержа-
ние данного параграфа. Но прежде чем рассматривать конкретные
способы, методы, приемы и алгоритмы моделирования определенных
случайных объектов рассмотрим некоторые общие принципы, которы-
ми руководствуются при решении этого вопроса. Прежде всего от-
метим, что с точки зрения поставленного вопроса всю совокуп-
ность случайных объектов, используемых в качестве математиче-
ских схем при формализации случайных воздействий (действий слу-
чайных факторов), целесообразно разделить на следующие основ-
ные классы (группы) случайных объектов:
- случайные величины;
- случайные события;
- случайные векторы;
- случайные процессы;
- случайные поля.
345
Такое деление случайных объектов обусловлено главным обра-
зом тем, что каждой группе объектов, как правило, присущи свои
специфические способы, методы и приемы моделирования, которые,
кстати говоря, отличаются большим разнообразием.
Далее, поскольку речь идет о моделировании случайных объек-
тов на ЭВМ, то очевидно, что каждая конкретная реализация любо-
го случайного объекта, получаемая в процессе моделирования,долж-
на быть представлена в виде числа или для более общего случая -
в виде некоторой совокупности чиоел. В оилу этого моделирование
любого случайного объекта на ЭВМ сводится к выработке слу-
чайных чисел. Поэтому в качестве синонима понятия
"моделирование случайного объекта" часто употребляют термин
"формирование последовательности случайных чисел".
Количество случайных чиоел, используемых для формирования
одной реализации моделируемого процесса функционирования систе-
мы, как правило, весьма велико (десятки и сотни тысяч) и, кро-
ме того, существенное количество операций расходуется на дейст-
вия со случайными числами. Поэтому при разработке или выборе
способов, методов и приемов моделирования случайных объектов
(формирования последовательности случайных чиоел) следует исхо-
дить из того, чтобы они были достаточно просты и экономичны,
так как именно это обстоятельство во многом определяет возмож-
ность практического применения метода статистического модели-
рования для исследования процессов функционирования систем.При
этом используемые способы, методы и приемы должны обеспечивать
требуемое качество формируемых последовательностей случайных
чисел (моделируемых случайных объектов) в смысле определенных
статистических критериев качества.
Общий принцип формирования любой последовательности случай-
ных чисел (моделирования случайного объекта любого класса) со-
стоит в формировании некоторой "с т а н д а р т н ой", или
"б а з о в о й", последовательности случайных чисел (модели-
ровании "стандартного" или "базового" случайного объекта), из
которой затем посредством функционального преобразования полу-
чают любые требуемые последовательности случайных чисел (моде-
лируют требуемый случайный объект). Вообще говоря, в качестве
базовой может быть принята любая последовательность случайных
чисел. Однако целесообразно выбрать такую, которая может быть
получена с наименьшими затратами машинного времени и, кроме то-
го, обеспечивает простоту и удооство дальнейших преобразований.
346
Обычно считают, что этим требованиям удовлетворяет после-
довательность чисел ту , та2 представляющих собой
в идеале реализации случайной величины та с равномерным распре-
делением в интервале (0,1). В идеале потому, что на практике
отдельные числа этой последовательности мы вынуждены представ-
лять в той или иной системе счисления с оснсвениен с&2 лишь
с конечным (ограниченным) числом п разрядов и, следовательно,
иметь дело не с бесконечным (непрерывным) множеством {та} С (0,1)
возможных значений случайной величины та , а лишь с конечным
дискретным множеством этих значений {та,, «2, . , гот) , где т=с"
и каждое возможное значение wt,t = /(F)m равновероятно. Рас-
пределение случайной величины га , имеющей конечное множество
возможных значений о одинаковыми вероятностями появления любого
из них, принято называть квазиравномерным рас-
пределением.
Из теории вероятностей известно, что для случайной величины
та , имеющей равномерное распределение в интервале (0,1), ео
числовые характэристики - математическое ожидание Мл и средне-
квадратичное отклонение бЛ соответственно равны;
Мл = -^ = 0.5; (6.4.1)
Найдем числовые характеристики для случайной величины та ,
имеющей квазиравномерное распределение в интервале (0,1).Буден
полагать, что возможные значения тас этой случайной величины
представляют собой п -разрядные числа в системе счисления с
основанием с , причем
Ч = ^> с = 0,/,2,3,. (6.2.2)
Тогда
<6.2.3)
Д =М[ит2]-М* ,
где
Поскольку
; s(s+/)(2s+/)
347
го
и2] = з tc"-»c"b(cn-n+Q 1_ (сп-!}(2сп-1) ,
откуда
/г^ сгп)’ ®5г гуз1^ с2п '
(6.2.4)
Из выражения (6.2.3) видео, что математическое ожидание ква-
зиравномерного распределения имеет смещение, определяемое ве-
личиной порядка (с"-/,’/с" , которое при малых л может оказать-
ся существенным. Поэтому в качестве возможных значений квази-
равномерного распределения целесообразно рассматривать значения
вида
=-f— , t=0,/,2 ...,cn-/ .
1 c"~l ’
(6.2.5)
Нетрудно убедиться, что в этом случае
*W5- Vzr/W • (6-2-6>
Укажем теперь обобщенный прием моделирования квазиравномер-
ного распределения при произвольном основании с . Любое п -раз-
рядное чиоло из интервала (0,1) в системе очиоления с основани-
ем с может быть представлено в виде
«Г.г,С-'+гге-Ч.„+г,с-.2г,С-> (6гл)
где zt - цифра i -го разряда этого числа i = /(/)n , принимающая
значения 0,1,2,..., с -I.
Предположим теперь, что zt, 4 = /(/)л-взаимно независимые слу-
чайные цифры, каждая из которых с одинаковой вероятностью,рав-
ной f/n , может принять любое значение из множества {0,1,2,3,
..., с -ij, т.е., другими словами, = образуют систему
дискретных взаимно независимых случайных величин, для которых
возможные значения 0,1,2,3,..., с -I - равновероятны. При этом
предположении выражение (6.2.7) будет уже случайной величиной
w- = zlc', + z2c'2+...+znc,'=S ziC“ , (б.2.8)
являющейся функцией случайных аргументов zf, z? .
Имеет место следующая теорема [62J.
Теорема 6.2.1. Если в выражении (ь.2.8) z(,z2,...,z - взаим-
но независимые случайные цифры, для которых возможные значения
348
0,I,2,3,..., с -I равновероятен, тс выражение (,6.2.8) опреде-
ляет собой случайное чиоло иг , имевшее квазиравномерное рас-
пределение в интервале (0,1). Наоборот, если случайное число w
определяемое выражением (6.2.8), имеет квазиравномерное распре-
деление в интервале (0,1), то с -ичные цифры z(,z2>.. ,z„ это-
го случайного числа v представляют собой взаимно независимые
случайные цифры, для которых возможные значения O,I,<i,3,...9
С -I равновероятны.
Доказательство этой теоремы можно найти в монографии [б2].
Непосредственно из теоремы следует, что для моделирования слу-
чайных чисел, имеющих квазиравномерное распределение в интер-
вале (0,1), необходимо и достаточно уметь формировать незави-
симые реализации случайных цифр zt,i=/U)n для каждой из ко-
торых возможные значения 0,1,2,3,..., с -I равновероятны.
Для формирования реализаций с -ичной случайной цифры необ-
ходимо иметь некоторое устройство, которое позволяло бы с веро-
ятностью 1/с получать люоое из возможных значении О, I, 2,.,.,
с ~1 этой цифры. Такого рода устройство принято называть г е-
нератором или датчиком с -ичных с л у ч й-
н ы х цифр (знаков). Примером такого устройства может быть
урна с с шарами или жетонами, на каждом из которых написана
одна из с-ичных цифр - от 0 до с -1.
Предположим, что нами осуществлено N независимых опытов
(извлечений из урны о возвращениями), в результате которых по-
лучено N случайных цифр z,, z2...., Записав их в таблицу
(в порядке появления), получим так называемую таблицу
случайных цифр (чисел). Примером может служить
табл.3.25 [40], составленная в десятичной системе счиоления
(с = 10) и где цифры объединены в группы только ради удобства
чтения. Способ употребления такой таблицы весьма прост. Если
в ходе моделирования процесса функционирования нам потребуется
случайная цифра z , то можем взять любую цифру z из таблицы.
Если понадобится п -разрядное случайное чиоло иг , то можем
взять п очередных цифр и считать, что гц = О,zl,z2,...,zn. Выби-
рать цифры из таблицы в случайном порядке не обязательно. Их
можно выбирать подряд, начиная с любого числа, читать в любом
направлении и вообще использовать любой заранее заданный алго-
ритм выбора, не зависящий от конкретных значений цифр таблицы.
Такую таблицу можно, в свою очередь, рассматривать как простей-
ший датчик случайных чисел (цифр).
349
В качестве другого примера датчика отметим механический
датчик случайных чисел, выполненный в виде круглого диска,
вращакщегося вокруг своей оси. На окружности диска наг-
несена равномерная шкала в диапазоне от 0 до I. Диск раскручи-
вается, а затем останавливается с помощью тормоза. После оста-
новки какое-то деление шкалы окажется совмещенным о неподвиж-
ный индексом. Из соображений симметрии вытекает, что снятый та-
ким образом отсчет представляет собой возможное значение слу-
чайной величины, имеющей равномерное (строго говоря, квазирав-
номерное) распределение на интервале (0,1). Заметим, что с по-
мощью такого датчика можно моделировать и другие распределения,
отличные от равномерного. Для этого, очевидно, нужно на диок
нанести шкалу, соответствующую моделируемому распределению.(Как
построить такую шкалу - это уже другой вопрос, ответ на который
читатель сам может дать после рассмотрения материала, изложен-
ного в последующих пунктах данного параграфа).
И еще один пример датчиков - так называемые физиче-
ские датчики случайных чисел, которые чаще назы-
вают генераторами случайных чисел.
Физический датчик, или генератор случайных чисел, представ-
ляет собой некоторое техническое устройство, формирующее слу-
чайные числа путем физического моделирования некоторых случай-
ных процессов. Если не вдаваться в техничеокие подробности, то,
исходя из оказанного выше, такого рода устройство в самом об-
щем случае должно включать в себя л независимых физических
датчиков (генератсров) случайных цифр zt , с = /(/)л и формиро-
ватель случайного числа zi/ = Sz с"‘ . Устройство работает сле-
дующим образом. Каждый из л1'1 физических датчиков (генерато-
ров) случайных цифр посредством моделирования некоторого физи-
ческого процесса и независимо от других датчиков вырабатывает
с -ичную случайную цифру, которая затем с помощью опециального
устройства формируется в олучайное чиоло. Обычно физический дат-
чик (генератор) случайных цифр строят таким образом, что он вы-
рабатывает случайные цифры в двоичной системе счисления (с =2),
при этом источником "случайности" служит любой физичеокий слу-
чайный процесс: внутриламповый шум, радиоактивный распад, атмо-
сферный шум и т.д. В этом состоит основной принцип построения
физического датчика (генератора) случайных цифр. Конкретные тех-
нические аспекты способов построения такого датчика здесь не
рассматриваются. Об этом можно прочитать,например, в работах
[8,19,36,53,62].
350
Подведем некоторый итог.
Из рассмотренного выше следует, что для моделирования на
ЭВМ некоторого случайного объекта мы должны либо разместить в
ее памяти заранее составленную таблицу "стандартной", или "ба-
зовой", последовательности случайных чисел, т.е. чиоел.имеющих
квазиравномерное распределение в интервале (0,1), либо исполь-
зовать физический датчик (генератор) той же "стандартной", или
"базовой", последовательности случайных чисел, который можно
рассматривать как специальную приставку к ЭВМ. Таким образом,
использование таблицы или датчика можно рассматривать как два
разных опособа получения на ЭВМ "стандартной", или "базовой",
последовательности случайных чиоел. Разных в том смысле, что в
первом случае ЭВМ выбирает случайные числа из таблицы, заранее
размещенной во внутреннем или внешнем ее накопителе, а во вто-
ром - случайные числа из внутреннего или внешнего ее накопите-
ля, которые попадают туда после обращения к специальной пристав-
ке - датчику (генератору) случайных чисел.
Неокольцу в указанном смысле это разные опоообы, то есте-
ственно возникает вопрос: какой из них лучше, предпочтитель-
нее? Обсуждение этого вопроса пока отложим, а обратим внимание
на следующее чрезвычайно важное обстоятельство. Дело в том,что
как числа таблицы, так и числа, вырабатываемые физическим дат-
чиком (генератором), должны удовлетворять некоторым принятым
статистическим критериям качества, поэтому проверка качества
случайных чиоел абсолютно необходима. Она осуществляется с по-
мощью специальных тестов. Критерии и тесты здесь рассматри-
вать не будем (желающие подробно ознакомиться с ними могут вос-
пользоваться, например, монографией [62], где эти вопросы из-
ложены достаточно полно, или работами [19,36]). Важно подчерк-
нуть ту мысль, что числа таблицы или числа, вырабатываемые дат-
чиком (генератором), пригодны тогда, когда они удовлетворяют
принятым критериям, и только в этом случае их можно использо-
вать в качестве "стандартной", или "базовой", последовательно-
сти случайных чисел для моделирования на ЭВМ различных случай-
ных объектов.
С рассмотренной точки зрения таблица случайных чисел име-
ет то преимущество перед датчиком (генератором), что для нее
достаточно однократной проверки. Датчик же, поскольку он пред-
ставляет собой некоторое техническое устройство, которое в про-
цессе работы требует известной настройки и регулировки,очевид-
351
во, необходимо периодически подвергать проверке, т.е. осущест-
влять ее неодвократно. Этот аспект при сравнении различных спо-
собов получения случайных чиоел также будем иметь в виду. Нам
сейчас важно подчеркнуть то обстоятельство, что пригодность слу-
чайных чиоел определяется в конечном счете не процессом их по-
лучения, а тем, удовлетворяет ли они некоторым принятым крите-
риям их качества. Но в таком случае совершенно безразлично,как
эти числа появились, они даже могут быть получены по какой-ни-
будь формуле или вычислены посредством реализации некоторого ал-
горитма, лииь бы они удовлетворяли принятым критериям качества.
Такой подход может вызвать возражения с точки зрения "случайно-
сти" этих чисел, понимаемой в обыденном смысле этого слова, так
как при этом мы как бы отказываемся от этой "случайности". Одна-
ко с точки зрения математики равномерно распределенная случай-
ная величина та - это абстрактное понятие, и только опыт может
убедить нас в том, что какая-либо конкретная последовательность
чисел ц, та2,та3,... представляет собой независимые реализации
этой случайной величины. Для этого рассматриваемая последова-
тельность чисел с помощью специальных тестов подвергается про-
верке, позволяющей осуществить статистический анализ качества
этой последовательности и по соответствию принятым критериям
качества вынести суждение, является ли она последовательностью
независимых реализаций случайной величины та или нет.Коль ско-
ро рассматриваемая последовательность чисел удовлетворяет при-
нятым критериям, то есть основания полагать, что она представ-
ляет собой независимые реализации равномерно распределенной ве-
личины та . В связи с этим последовательность чисел, вычисляе-
мых по какой-либо формуле или посредством реализации некоторо-
го алгоритма и удовлетворяющих принятым статистическим критери-
ям их качества, называют псевдослучайной по-
следовательностью чисел, а сами числа -
псевдослучайными числами.
В настоящее время известно несколько такого рода алгорит-
мов (см.,например, работы [19, 62]). Их отроят, исходя, как пра-
вило, из двух требований:
- формируемая последовательность чисел должна (йть последо-
вательностью независимых случайных величин с квазиравномерным
распределением;
- количество операций ЭВМ, затрачиваемых на формирование од-
ного числа, должно быть небольшим.
352
Не будем рассматривать эти алгоритмы. Укажем лишь на один
из них, показанный на рис.6.2.1. Он достаточно широко распрост-
ранен в практике моделирования.
I =*<*> J
1
<а,> !
X )
it
1 1
t
| ><м 1
| ><(*> 1
Рис.6.2.1
На рис.6.2.1 переменные ut и и, вна-
чале полагают равными соответственно
3,14159265 и 0,542101887. 3 табл,3.53
[40] данный алгоритм записан в виде про-
цедуры - функции Rav- на языке АЛГОЛ-60.
Таким образом, использование псевдо-
случайных чисел представляет собой тре-
тий способ получения на ЭВМ "стандарт-
ной". или "базовой", последовательности
случайных чисел.
В табл.6.2.1 перечислены достоинст-
ва и недостатки этих трех способов по
следующим шести признакам;
- числу проверок;
- запасу чиоел (длина последователь-
ности чисел);
- возможности повторного воспроизведения чисел;
- времени, затрачиваемому на получение одного числа;
- месту, занимаемому в накопителе (памяти) ЭВМ;
- необходимости внешнего специального устройства.
Способы Достоинства Недостатки
Таблиц Проверка однократная Воспроизводить числа мож- но Запас чисел ограничен Занимает много места в накопителе или медленно вводится. Нужна внешняя память
Датчиков Запас чисел неограничен Сверхбыстрое получение Места в накопителе не за- нимает Проверка периодическая Воспроизводить числа нельзя Требуется специаль- ное внешнее уст- ройство
Псевдослучай- ных чисел Проверка однократная Воспроизводить числа мож- но Запас чисел ограничен
Быстрое получение Места в накопителе занима- ет мало Внешние устройства не нужнь
353
Из таблицы видно, что способ псевдослучайных чисел - самый
удобный с практической точки зрения. Это подтверждается также
и практикой статиотичеокого моделирования на ЗВМ. В дальнейшем
на всех структурных схемах оператор, моделирующий равномерно
распределенные в интервале (0,1) случайные числа (независимо
от способа их получения), будем изображать так, как это пока-
зано на рис.6.2.2, и называть датчиком Д-1.
Как уже отмечалось, случайные числа о _____
квазиравномерным распределением служат и с-
ходным материалом для конструирования слу-
чайных объектов более сложной природы: слу- ytzt
чайных величин о произвольным законом рао- Рис.6.2 2
пределения, случайных событий, случайных
векторов, случайных процессов, случайных полей. К сожалению,ог-
раниченный объем пособия не позволяет сколько-нибудь подробно
остановиться на расомотрении методов моделирования перечисленных
случайных объектов (для этого нужно отдельное пособие),поэтому
содержание следующего параграфа будет нооить в основном обзор-
ный характер.
6.2.2. Моделирование случайных объектов
6.2.2.1. Моделирование случайных
величин
А. Метод обратных функций
Общий прием моделирования случайных величин с заданным за-
коном распределения вытекает из следующей теоремы.
Теорема1^ 6.2.2. Если случайная величина х имеет плотность
распределения (х) , Tq распределение случайной величины
£r = ( q)n(x)dx=F (х)
1 1 * (6.2.9)
является равномерным в интервале (0,1). д
Непосредственно из этой теоремы следует, что если мы имеем
последовательность случайных чисел wt, zdz,...,% , распределен-
ных в интервале (0,1) равномерно, то последовательность случай-
вых чисел х,,хг, хл , найденная путем решения относительно
г , L = i(l]n уравнения
1) Доказательство теоремы ом.в книге И.В. Д у в и н - Бар-
no в о к и й, Н.В. Смирнов. Теория вероятностей и матема-
тическая статистика в технике (общая часть). М.,Гостехиздат,1955.
354
( шл (г)dx = ar F.(J.) = W,,(. = /(/)n,
Гх ' ‘или х (6.2.10)
будет всегда случайной выборкой из совокупности с заданной плот-
ностью распределения ц>£ (х) или функцией распределения FM.
поскольку из выражения (6.2.10) следует, что (xj=»t ,ь=/(/)л,
то
* Л (6.2.II)
есть квантиль распределения случайной величины х порядка аг.
Иными словами, если иорядок квантиля имеет равномерное распре-
деление, то оаы квантиль подчинен заданному закону распределе-
ния.
Непосредотвеннс отсюда вытекает следующий прием моделиро-
вания любого распределения: необходимо обратиться к датчику
Д-1 и получить исходное случайнее чиоло w , а затем найти со-
ответствующее ему значение квантиля заданного распределения,
т.е. подвергнуть иоходное число преобразованию, обратному функ-
ции распределения (рис.6.2.3). Данный прием является общи»,так
Рис.6.2.3
как в принципе он пригоден для моделирования любых случайных
величин - непрерывных, дискретных и смешанных. В литературе
этот прием моделирования случайных величины называют мето-
дом обратных функций.
Б. Другие методы
Хотя метод обратных функций и является наиболее общим,од-
нако его практическая реализация для некоторых конкретных рас-
пределений наталкивается на значительные трудности, вызванные
тем, что функция распределения F\(x) и квантиль распреде-
ления часто не имеют достаточно простого аналитическо-
го описания и не могут быть вычислены с помощью каких-нибудь
355
сравнительно простых приближенных методов. Кроме того, приме-
нение метода обратных функций для некоторых распределений при-
водит к тому, что квантили зтих распределений выражаются через
элементарные или табличные функции, которые для их вычисления
на ЗВМ требуют большого количества операций, а следовательно,
и времени. Поэтому в данных случаях используют иные методы мо-
делирования, например методы отбора, из которых наиболее упот-
ребительны метод Неймана и метод кусочной аппроксимации плот-
ности распределения. Применяются и другие методы. Некоторые из
них основаны на моделировании уоловий, в которых становятся
справедливыми соответствующие предельные теоремы теории вероят-
ностей (например, при моделировании нормального распределения),
другие - на использовании определенных соотношений между моде-
лируемой случайной величиной и некоторых случайных величин,при-
нимаемых за "базовые", или "стандартные’1.
В силу ограниченного объема поообия мы не можем в нем уде-
лить место рассмотрению зтих методов и поэтому отсылаем читате-
ля к литературе, в которой эти вопросы рассмотрены достаточно
подробно (см..например, [7,8,19,36,53,62,66]).
В. Моделирование дискретных случайных величин
Важное значение для многих практических приложений (в част-
ности, для моделирования случайных ообытий) имеет рассмотрение
вопросов, связанных с моделированием диокретной случайной вели-
чины на основе применения метода обратных функций. По отноше-
нию к непрерывным случайным величинам здесь имеется некоторая
специфика, обусловленная особенностями построение
алгоритмов.
Рассмотрим дискретную случайную величину х (
ей вероятностей заданной таблицей:
Л, х,
U ••• я,/;
где pi =Р[£ = xj,i=l(l)n. Очевидно, что S pt= /.
Функция раопределения х может быть записана
Гл(х) = 5р1Л(х-Х1) .
Разделим интервал (0,1) на непересекавщиеся интервалы (ZJ,
i=/(/)n , такие, что длина Ut) равна pt ,т.в. mes(l() =pL .
i моделирующих
' распределени-
(6.2.12)
в виде
(6.2.13)
356
В основе моделирования дискретной случайной величины х , задан-
ной распределением (6.2.12), лежит следующая теорема, являющая-
ся частным случаем теоремы 6.2.2.
Теорема 6.2.3, Случайная величина х , определенная фор-
мулой
х = х. при иге(^), (6.2.14)
имеет распределение вероятностей (6.2.12).
Доказательство. Очевидно, что P[x = xJ=P[we(tlj|.
Поскольку w- - равномерно распределенная случайная величина из
интервала (0,1), то P[w-e(£t)] = me6(li) = /7i, L = 1(1)n. ▲
Можно показать, что формула (6.2.14) может быть записана
также в виде
x=xt, когда Дрн-w)=l, (6.2.15)
который следует из (6.2.II).
Непосредственно из формулы (6.2.14) или (6.2.15) вытекает
следующий алгоритм моделирования дискретной случайной величи-
ны х . Для вычисления очередного значения х случайной вели-
Гх fx
Рис.6.2.4 Рис.6.2.5
3b7
дичины x находим очередное значение ш- случайной величины ш.
Затем сравниваем ьл о pt . Если иг «с р, , то х=х(; если Wa plt
то сравниваем w о р, + рг. Если ы^р+р^ то х = хг ; если а?ар(+рг,
то сравниваем W с pt+pz+p3 и Т.Д. Отсюда структурная схема
алгоритма, моделирующего случайную величину х , будет иметь
вид, изображенный на рис.6.2.4.
Легко видеть, что в случае, когда х=хг,/«(«л-/, приходит-
ся осуществлять l сравнений, и лишь при х = х„ число сравне-
ний равно п-1 . Повтому среднее число сравнений т , затрачи-
ваемых при получении одного значения х определяется выражением
т = 1 Lp+(n-1)pn .
t=' 1 " (6.2.16)
В работе [53] показано, что если расположить x.,i=/(/)n, в
порядке убывания их вероятноотей, т.е. так, чтобы р»рг^...^рп,
то величина /г? будет минимальней.
Следствия.
I. Если возможные значения х - целые положительные чиола
(0,1,...,л ), то отпадает необходимость размещать их в памяти
ЭВМ и вместо формулы (6.2.14) можно записать:
х=1, когда ате(^). (6.2.17)
Структурная схема алгоритма изображена на рис.6.2.5.
__________________ 2. Если все значения z рав-
\вйод л,я;ь^ = /(Пп I невероятны,т.е. д=р2=...=д=//л, то уоло-
Рис.6.2.6 Рис.6.2.7
358
вие wt 6 (lt) равносильно условию или E(nw') = L-1,
где Е(у) - оператор целой части числа у . Тогда вмеото фор-
мул (6.2.14) и (6.2.17) можно записать:
x = ZL при i = / + E(n£); (6.2.18)
Х = 1 при 1 = / + Е(лй>). (6.2.19)
Отсюда следует, что в этом случае многократные сравнения не
нужны и структурные схемы расомотренных алгоритмов будут иметь
вид, показанный ооответотвенно на рис.6.2.6 и 6.2.7.
Г. Моделирование нормального распределения
Учитывая большую важность нормального распределения, кратко
расомотрим опособы его моделирования.
Нетрудно показать, что применение метода обратной функции
для моделирования нормально распределенной случайной величины
х с числовыми характеристиками М& и 6^ приводит к соотно-
шению:
x = A^+6sy2'<₽;,(2ar-f), (6.2.20)
где Ф~’ (d) - функция, обратная функции Лаплаоа
т.е. такое значение аргумента у “для которого Ф((у) = о(.
Чтобы избежать обратного интерполирования в таблицах функ-
ции Лапласа Ф,(1/) । удобно воспользоваться специальной таб-
лицей (например, табл.3.8 [40]), в которой приведены значения
величины
Тогда
х = мл + ел
* х 2W-I (6.2.22)
Если ввести в рассмотрение нормированную случайную величину £
с параметрами = 0 и = / , то моделирование такой
случайной величины может быть" осуществлено с помощью алгорит-
ма, не зависящего от каких-либо параметров, так как нетрудно
видеть, что в этом случае
(6.2.23)
'59
Отсюда с очевидностью вытекает, что для получения заданной нор-
мально распределенной случайной величины х следует хн подверг-
нуть линейному преобразованию вида
i = /4£ + 0£xn . (6.2.24)
Данный споооб обладает тем недоотатком, что для его реализации
необходимо каким-то образом вводить в ЭВМ таблицу функции
(6.2.21). Поэтому на практике чаще используют другой споооб,ос-
нованный на приближенном моделировании условий, при котором ока-
зывается справедливой центральная предельная теорема Ляпунова.
Рассмотрим сумму п независимых случайных величин, каждая
из которых равномерно распределена на интервале (0,1):
Отсюда
v"” = S4
(6.2.25)
(6.2.26)
Тогда нормированная случайная величина V™ определится из
выражения
(6.2.27)
Согласно центральной предельной теореме, при
(6.2.28)
Следовательно, по формуле (6.2.27) при достаточно больших п
иожно вычислять приближенные значения нормированной нормально
распределенной случайной.величины х* с параметрами Мл = О,
б£я = ь Хн
"как показано в монографии [62], асимптотика в формуле
(6.2.28) устанавливается весьма быстро и поэтому на практике
можно ограничиться значением л = 12, и тогда можно принять
$ У » - к
" " *' ‘ (6.2.29)
На рис.6.2.8 изображена структурная схема алгоритма, реа-
лизующего соотноиение (6.2.29), а в табл.3.8 [40] данный алго-
ритм записан в виде процедуры-функции на языке АЛГОЛ-60.
360
Иногда ограничиваются лишь пятью сла-
гаемыми, но зато добавляют поправку, уско-
ряющую сходимость распределения к нормаль-
ному:
хн «= 0,01V (н5’ [Р7 + . (6.2.30)
Поскольку нормированное нормальное распре-
деление наряду с равномерным распределени-
ем на интервале (0,1) часто рассматривает-
ся как "базовое", или "стандартное", то в
дальнейшем случайную величину хн будем обо-
значать через v , а оператор, моделирующий
эту случайную величину (независимо от спо-
соба) , на всех структурных схемах будем
изображать так, как на рис.6.2.9, и назы-
вать датчиком Д-2.
Отметим, что в справочном пособии
[40] (см. табл.3.8) приведены алгоритмы моделирования наиболее
употребимнх 5 дискретных и 22 непрерывных
распределений, записанные на язике АЛГОЛ-60
в виде процедур или операторов моделиро-
вания.
Рис.6.2.9
6.2.2.2. Моделирование олучайных
событий
Моделирование олучайных ообытий сводится к моделированию
дискретных олучайных величин, возможные значения которых - це-
лые положительные числа (1,2,3,...). Чтобы показать, как это
делается, раоомотрим следующий пример.
Пример 6.2.1. Пусть требуется смоделировать некоторую после-
довательность одинаковых независимых испытаний, с каждым из ко-
торых связана полная группа попарно несовместных ообытий А, ,
А2,...,А„, и вероятности P(At )=pL, L = Ц1)п заданы (Ё pt = /).
Очевидно, что в этих условиях единственно возможным исходом каж-
дого испытания будет являться наступление одного из событий
А,-А2.....V
Для моделирования таких испытаний введем в рассмотрение слу-
чайную величину х - номер наступивиего события. Очевидно, что
ряд распределения х выражается таблицей
361
/ 2 ... л\
А Рг ••• Рп)’
где я = р[£=4] , 1=1(1)п.
Согласно теореме 6.2.3 и формуле (6.2.17), для моделирова-
ния каждого испытания надо воспользоваться процедурой,реализуе-
мой алгоритмом, структурная схема которого изображена на
рис.6.2.5 [только здесь L=1(l)n] . Очевидно,что если в некото-
ром испытании x = i , то это означает, что в нем произошло собы-
тие А£..
6.2.2.3. Моделирование случайных
векторов
Пусть Х<л> = <£,,хгхпУ - л-мерный случайный вектор,
т.е. система п случайных величин.Рас-
смотрим два случая
а) Х<л> - система п независимых
случайных величин.
В этом случае
где (г ) - функция распределения
£ , 1 = /(/)л.
Естественно ожидать, что в этом
случае можно моделировать каждую слу-
чайную величину xL независимо, ис-
пользуя, например, метод обратных
функций:
A = (6.2.31)
где щ(, ь>2, ..., ы,п - независимые
случайные числа. Действительно, так
как ш£, 1 = 1 (1)п независимы, то и
, определенные формулами (6.2.31),
независимы.
Структурная схема алгоритма, реа-
лизующая эту процедуру, изображена
на рис.6.2.10.
362
6) X<n> - система п зависимых случайных величин.
В общем случае, когда xt,...,xn зависимы, их совместную
плотность можно представить в виде произведения условных плот-
ностей этих величин:
. *2 XJ = 4>s, (*,) Фм/Хг i ) Фе
(6.2i32)
Известно, что все условные плотности распределения выража-
ются через совместную плотность распределения ipA (Х<п>). Вве-
дем условные функции распределения х к<п
Теорема 6.2.4. Пусть w,l,...,urn - независимые случайные чис-
ла. Совокупность случайных величин х,.....хп , полученных при
последовательном решении уравнений
(6.2.33)
или
Р£г/£,£г..
F (т2;$,)=£2
(6.2.34)
имеет
Д
Ч/£,£г...: ’ хг • • • ’ % ) - “4, •
совместную плотность распределения ify (х,,х2,..., х„).
о к а з а т е л ь с т в о. Если значения х, =х,,...,XL_=zt_
фиксированы, то значение xt случайной величины х£ о функцией
распределения Fл л „ (xt -,х ,...,х. ,) можно определить по фор-
муле (6.2.II): Jx'X1 Xl"
= (^;Z,....xt_,
1 XJ£IX2 ' Х,-1 / ‘
Тогда вероятность неравенства xl <х с х£ + dxL
P[xt<x. '=x£ + rfxt-/х, = х, ,х2=х2,...,х_
’%£/£„гг....................•
Следовательно, с точностью до бесконечно малых более высокого
порядка вероятность совместного выполнения п неравенств равна
произведению
363
Р [х, х, - х,+ dz....Хп^ Тп - х„ + ofxj =
=p[x(<x(<x,+dx^[^<x2+^2/i=x^..P^<£„<x0+dx/,/i,=X,......Xn.(=x^=
= 4>4((®,)dx, {£{x2-,zt)... А(х„; х,, х2,...,х„_,)dzn =
На рис.6.2.11 изображена структурная схема алгоритма, реали-
зующего идею изложенной процедуры моделирования системы п за-
висимых случайных величин.
При реализации рассмотренных процедур следует руководство-
ваться следующими практическими соображениями:
I. Из рассмотрения структурных схем алгоритмов на рис.6.2.10
и 6.2.II следует, что моделирование случайного вектора Х<п> сво-
364
дится к последовательному моделированию его компонент, причем
для последнего случая в строго определенном порядке. Если ком-
поненты Х<л>- независимые случайные величины, то порядок мо-
делирования роли не играет.
2. Плотность (X) в форме произведения условных плотно-
стей компонент вектора Х<п>может бйть представлена л! способа-
ми. Различным способам соответствуют разные порядки моделирова-
ния компонент и, вообще говоря, разные уравнения (6.2.33) или
(6.2.34). Иногда удачный выбор порядка моделирования позволяет
упрсотить уравнения. Л
3. Для моделирования компонент Х<п> использовался метод об-
ратных функций. Но это вовсе не обязательно. В некоторых случа-
ях для моделирования определенных кошснент целесообразнее ис-
пользовать какой-нибудь из методов, указанных в п.6.2.2.1.
4. Рассмотренный метод моделирования Х<п> является доста-
точно общим. Однако он сложен, поэтому там, где возможно, изло-
женной процедурой стараются не пользоваться, а прибегают к дру-
гим методам, носящим сугубо чаотный характер.
365
ДОПОЛНЕНИЕ
НЕКОТОРЫЕ СВЕДЕНИЯ ИЗ ЛИНЕЙНОЙ АЛГЕБРЫ
I. Правила вектсрно-матричного дифференцирования.
Пусть даны векторы
Z<n>=[2„z2.--. Zn]T; A<m>=[a,,a2.........Qm]T
и скалярная величина х . Тогда по определению
(Л.1)
(Д-2)
(Д.З)
_^х__Гйс_ дх "1 .
cfА ~ |_3аг ’ даг ’ дат J ’
~ 3z, 3l, gz, •
да, даг дат
dz Згг дг2 дг2
dA ~ да, даг дат
дгп дгп ... дгп
да, ИГг ~да^ _
2. Правило дифференцирования квадратичной формы по вектор-
ному аргументу.
а) Пусть Q[ni - симметричная матрица и
V = ZT QZ
- квадратичная форма. Выведем формулу для производной
dV gV ЗУ дУ ~|
dZ L^z, ’ дг2 ’ "3i„ J ’
Для каждой компоненты ,/<=/(/)л, вектора dVjdZ справед-
ливо *
366
Учитывая, что для симметричной матрицы , получа-
ем
где QH -к -й столбец матрицы Q . Объединяя результаты для
всех к , переходим к формуле
— = 27,TQ
*Z ZZ * (ДЛ)
или, что эквивалентно,
[4t]’-2«z • «.*'>
б) Пусть дано, что вектор Z</?> зависит от векторного парамет-
1>а
z<
= Z<n>(A<m>)
и требуется найти производную
Выведем формулу для произвольной компоненты 4—, к=!(1)п 7
ЗУ
вектора ;
дУ д
да да.
2t (a,,C2....,a,„)z/a,,a.
-2, z^+
ij-лч j да,, i
местами, что
Поменяем во втором слагаемом индексы i и j
просто эквивалентно переобозначению. Тогда
ЗУ у „ дг. $ д2,
дан i,j-i % z</ дан lj дан
Поскольку , то справедливо равенство
дУ _ п , dzt
дан дан
В векторно-матричной форме последняя зависимость может быть
переписана таким образом
^ = 2/
9Z = 2Z’^.
367
Объединяя результаты для всех значений к = 1(1)т , полу-
чаем
^_2ZTflr^z \дъ । ;w_1=2Z^rfz, ,л6х
dA -2Z₽|fa, ; даг ; •••] flaj ZZ,W dA ’ (д,6)
причем производная от вектора Z пс вектору А , как и ранее,
определяется формулой (Д.З).
в) Пуоть дана квадратичная форма
V ~ ( Z<„> ~ А<т>) ^СпЗ (^<л> ^Сп,тЗ^<л»)
и требуется найти производную
Г_йУ <7V gy
дс„ dci2 " Вст
dV__ W dV
dC Sc2l дсгг dc2m
(Д.7)
по произволь-
дУ дУ ... дУ
_ dcn> dcn2 dcnm
Найдем производную от квадратичной формы V
ному элементу матрицы С :
4; &> (z‘ с‘г aN2' ~i< ъа®)]=
=h^-a^r^sas)+
\Wz~b<raJ(-Qt)=
= -?[^£ + ^)аг^-1^Сг)] =
=-4MZ.’lC-ar)aJ • (Д-8)
Обратим далее внимание на следующее:
где cL - i -я строка матрицы С.
Объединим теперь результаты (Д.8) для всех номеров k,l = Kt)n.
Получим следующую матричную форму записи производной (Д.7):
-^- = -2Z?(Z-CA)AT . (Д.9)
368
Проверить допустимость перехода от формул (Д.8), справед-
ливых для всех и,1 = 1(1}п , к одной векторно-матричной форме
(Д.9) можно простой проверкой того факта, что для произвольной
пары к и I элемент матрицы dV/dC в формуле (Д.9), отве-
чающий этой паре, совпадает с там, который следует из выраже-
ния (Д.8).
г) Выведем еще одну необходимую формулу для
где А ,Z и С имеют смысл и размеры, аналогичные рассмотренным
в предыдущем пункте. Для этого воспользуемся результатом (Д.6):
~^=2(Z~CA')TQ ~ Zd} = ~2(Z-СА)TQC. (Д.Ю)
причем результирующий вектор dVfdA , как и в определении
производной от скаляра по вектору, здесь записан в строку.Если
необходимо t(V/dA записать в столбец, то это можно сделать
так:
ЙтГ-"гС’<г(г'М)- (1.П)
3. Проверим справедливость формулы
(Г+<Г)-'= G~GFT(FGFT+E)''FG. (Д>12)
Предполагается, что в вей все обратные матрицы существуют,
а размерности матриц таковы, что все алгебраические операции
имеют смысл. Для этого умножим матрицу, стоящую в правой части
равенства (Д.12), на матрицу, обратную тсй, которая стоит слева:
[С - GFT(FGFT+ Е)~' FG ] (G”+ Г>) = & &' -
- GFr(FGFT+ Ey'FGG'4 GFTF -GFT(FGFT+E)~'FGFTF=
= E-GFT^FGFT+Ey,{E-FGFr^F+GFTF=E-GFrF+6FTF=E.
Поскольку произведение зтих матриц равно единичной матри-
це, то, по определению, эти матрицы взаимно обратные, откуда
и вытекает справедливость формулы (Д.12).
369
ЛИТЕРАТУРА
физиков! И.! -Над2а"?1974!О₽ИЯ в9рсятвостей дая астровсмов и
авая^з.Ам",ДФизиатги8Н 196з!ВеД0ВИв В мвогомервый статистический
«Р Б® 5 лтао? ° в Г,И* Чеи вавимается статистика? М.,
"Статистика", 1974»
стики* М а ^Мир" 1974* Освоввые поиятия математической стати-
5. Бешелев С.Д., Г у р в и ч Ф.Г. Математико-стати-
стические методы экспертных оценок. М., "Статистика", 1974.
стика" Б1972 ₽ с к и й э,а* Порядковые статистики. М., "Стати-
?* Б £ м л е ,5 к °х Н.’А 5 д₽* Метод статистических испыта-
ний (метод Менте-Карло). М., Физматгиз, 1962.
»в 8. Б ?а?ол 0 н к ° н*п« Моделирование сложных систем. М.,
паука , 19бо. 1
м а И1г"дт^^ -Варден Б.Л. Математическая стати-
стика• MJ1, 1Уби.
10. Ве ненки й И.Г., Кильдяшев Г.С. Основы
математической статистики. М., Госстатиздат, 1963.
гиз111962в “ 1 ц 8 л ь Е*с* Те°Рия вероятностей. М., Физмат-
12. Вероятностные методы
Р.М.Юсупова. Л., 1976.
в прикладной кибернетике. Под ред.
13. В е т р о в А.А.. Л
ный анализ в экономике. Й.,
о м о в а ц к и й Г.И. Дисперсион-
"Статиотика", 1975.
15. Г и л ь б о Е.П., Ч ел па н ов И.Б. Обработка сиг-
налов на основе упорядоченного выбора. М., "Сов.радио", 1975.
16. Г му рм а в В.Е. Теория вероятностей и матеглатиче-
ская статистика. М., "Высшая школа", 1972.
17, ГЛЛ Д е н к о Б.В. Курс теории вероятностей. М.,Физ-
матгиз, 1961.
ке ZM* Г"3нание" Н1968 Б'В* Беседы ° ма1ематической статисти-
370
19. Голенко Д.И. Моделирование и статистический ана-
лиз псевдослучайных чисел на ЭВМ. М., "Наука", 1965.
20. Г с л ев ко Д.И. Статистические методы в экономиче-
ских задачах. М., "Статистика", 1970.
21. Голе н к о О.Н. Статистические метода остевого плани-
рования и управления. М., "Наука", 1968.
22. Головач АЛ, Ерина А.М., Трофимов В.П.
Критерии математической статистики в экономических исследова-
ниях . М., "Статистика", 1973.
23. Гре н ь Е. Статистические игры и их применение. М.,
"Статистика", 1975. ’
24. Гришин В.К. Статистические метода анализа и плани-
рования экспериментов. МГУ, 1975.
25. Г у р с к и й Е.И. Теория вероятностей с элементами ма-
тематической статистики. М., "Высшая школа", 1971.
26. Г у р о к и й Е.И. Сборник задач по теории вероятностей
и математической статистике. М., "Высшая школа", 1975.
,, 5 ° г р 001 М. Оптимальные статистические оценивания.
М*>"Мир"| I974*
28, й р У.„ж ивин Н.К. Логика оценки статистических ги-
потез. И., "Статистика", 1973.
, гоГое Д’ Теоретическая и прикладная статистика. М.,
ннука г9 1972.
30. Ж д а н ю к Б.Ф. Введение в статистическую баллистику
летательных аппаратов. Министерство обороны СССР, 1970.
31. Зав эд н ы й А.М. Основы расчетов по статистической
радиотехнике. М., "Связь", 1969.
.. 32Д-3 а„й ь А,Н* Ошибки измерений физических величин.
М • 9 гпЗуКйИ| 1974.
I9753’ 3 а к с Ш* Т0°РИЯ статистических выводов. М., "Мир",
34. Зотов В.11., Гаврилов В.М. Основы теории ве-
роятностей, вып.З. ВИА им.Ф.Э.Дзержинского, 1967.
35. 3 о т о в В.П. и др. Теоретические основы оценки эф-
фективности. ВИА им.Ф.Э.Дзержинского, 1967.
36. Иоффе А.Я. Статистическое моделирование. Л., 1964.
37. Иоффе А.Я., Марков В.М .Петухов ГБ
Теория вероятностей, л!, 1966. ’ У i,b<
38. Иоффе А.Я. и др. Краткий справочник по вероятно-
стным и статистическим расчетам. Л., 1969. порилхпи-
39. И о ф ф е А.Я., Петухов Г.Б., Миров Ю.Н.
Лекции по математической статистике. Л., 1976.
40. И о ф ф е А.Я., Петухов Г.Б., Морозов Л.М
Справочное пособие по прикладной математике. Л., 1975.
вита J isra.ь ° а р т А-
371
42, К о ф и а в А., Д в б а з е й Г. Сетевые истоды плани-
рования и их применение. М., "Прогресо”, 1968.
"Мир”’ 19^а М 6 ₽ Г’ Ма?!вматичвскив методы статистики, м.,
44. Л и в ш и ц Н.А., Пугачев В.Н. Вероятностный
анализ систем автоматического управления. М., "Сов.радио",1963.
45. Ли н и и к Ю.В, Метод наименьших квадратов и основы
теории обработки наблюдений. М., Физматгиз, 1961.
46. И а м з и ш вили А.И. Способ наименьших квадратов.
И»* 'Недра1968®
47. М и т р опольский Л.К. Техника статистических
вычислений. И., Физматгиз, 1961.
48. М и х а й л о в Г.А. Некоторые вопросы теории методов
Монте-Карло. И., "Наука", 1974.
49. Н е й м а н Ю. Вводный курс теории вероятностей и мате-
матической статистики. И., "Наука”, 1968.
50. Павловский 3. Введение в математическую ста-
тистику. М., "Статистика", 1967.
51. П а с х а в е р И.С. Закон больших чисел и статистиче-
ские закономерности. Й., "Статистика", 1974.
52. Петухов Г.Б. Методы теории стохастической индика-
ции в прикладной кибернетике. Л., 1975.
53, П о л л я к Ю.Г. Веооятаостное моделирование на элек-
тронных вычислительных машинах. М., "Сов.радио", 1971.
54. Пугачев В.Н. Комбинированные методы определения
вероятностных характеристик. М., "Сов.радио", 1973.
55. П устыл ь н и к Е.Н. Статистические методы анализа
и обработки наблюдений. М., "Наука", 1968.
56. Рао С.Р. Линейные статистические метод» и их примене-
ние. М., "Наука", 1968.
57. Румиинский Л.З. Математическая обработка ре-
вультатов эксперимента. М., "Наука", 1971.
58. Рябинин И.А. Основы теории и расчета надежности
судовых электрсэнергических систем. М., "Судостроение", 1967.
59. Сборник задач по теории вероятностей, матеиатичеокой
статистике и теории случайных функций. Под ред.Свешникова. М..
"Наука", 1965. ’
60. Сборник задач по теории вероятностей, математической
статистике и математическим методам исследования о граций. Ми-
нистерство обороны СССР, 1971.
~ r н V м J П « а оаулилилии П.В.
ка^° 196^Н ввР°ятностей н иатаимической статистики. М.в «Нау-
„62« С 0 боль И.М. Численные методы Монте-Карло. М., "Нау-
ка", 1973. '
^63. Справочник по вероятностным расчетам. М., "Всепиздат",
m 64. Та р а с е н к о Ф.П. Непараметрическая статистика.
Томский Государственный университет, 1976.
372
65. Теория вероятностей, математическая статистика и методы
исследования операций. Ч.П, математическая статистика. Под ред.
О.В.Сосюры. ВИА им.Ф.Э.Дзержинокого, 1961.
66. Хан Г.. Ш а п и р о С. Статистические модели в инже-
нерных задачах, м., "Мир”, 1969.
67. Харкевич А.А. Теоретические ооновы радиосвязи,
И., Гостехиздат, 1957.
68. Хейнекен П.Л., Т о р т р а А. Теория вероятно-
стей и некоторые ее приложения. М., "Наука”, 1975.
69. X и м м ел ь т а н у Д. Анализ процессов статистиче-
скими методами. М., "Мир", 1973.
70. X у д с о н Д. Статистика для физиков. И., "Мир”,1967.
71. Ш о р Я.Б. Статистические методы анализа и контроля
качества надежности. М., "Сов.радио”, 1962.
Т9702’ ш 1 0 Р и Тв0₽ия вероятностей и статистика. И.,"Мир",
73. Щ е д р и н Н.И., К а р х о в А.Н. Статистика и кибер-
нетика. И., "Статистика”, 1975. р
. 7 fa ® и„г ?о?пе в Б’М’ Математическая обработка наблюдений,
и», "наука", 1969»
75. Ю л Д.Э., Кендалл М.Дж. Теория статистики. М.,
Госстатиздат, I960. *
"Мир"’ 1968° Ш И Л’ Т&0₽ия и пРактика обработки измерений. М.,
373
ОГЛАВЛЕНИЕ
Предисловие................................................ 3
Введение................................................... 5
Глава I. Введение в математическую статистику
§ I.I. Основные понятия математической отатистики и сущ-
ность выборочного метода.................................. 12
§ 1.2. Законы распределения и числовые характеристики
порядковых статиотик...................................... 18
I.2.I. Основные понятия и определения................. 18
1.2.2. Законы распределения порядковых отатистик.... 20
1.2.3. Числовые характеристики порядковых статистик
при некоторых наиболее распространенных зако-
нах распределения генеральной совокупности... 26
1.2.4. Закон раопределения и числовые характеристики
размаха выборки........................................ 30
1.2.5. Предельные (асимптотические) законы распреде-
ления порядковых статистик............................. 32
§ 1.3. Предельные теоремы теории вероятностей............ 38
I.3.I. Виды вероятностной сходимости. Понятие о
предельных теоремах.................................... 38
1.3.2. Теорема Ляпунова............................... 40
1.3.3. Теоремы Муавра - Лапласа....................... 45
1.3.4. Неравенства Чебышева.......
1.3.5. Теорема Чебышева...........
1.3.6. Обобщенная теорема Чебышева.
1.3.7. Теорема Бернулли...........
1.3.8. Теорема Пуассона............................... 60
Глава 2. Статистические методы оценивания вероятностных
характеристик случайных объектов
§2.1. Проблема оценивания как статистиче’ская задача.... 61
2.I.I. Общая постановка задачи оценивания законов
и параметров распределения случайных величин 61
2.1.2. Основные свойства статиотических сценок и
требования к ним....................................... 64
Ю Ю LD Й
374
§ 2.2. Общие методы оценивания.......................... 70
2.2.1. Метод моментов............................... 70
2.2.2. Метод минимального риска..................... 73
2.2.3. Метод максимальной апостериорной вероятности 77
2.2.4. Метод максимального правдоподобия............ 79
§2.3. Оценивание законов распределения случайных ве-
личин...................................................... 83
2.3.1. Статистические ряды распределения............ 83
2.3.2. Статистические плотности распределения..... 88
2.3.3. Статистические функции распределения....... 90
§ 2.4. Оценивание числовых характеристик случайных
величин (общие предпосылки)................................ 93
§ 2.5. Оценивание математического ожидания случайной
величины................................................... 94
2.5.1. Равноточные наблюдения.................. 94
2.5.2. Неравноточные наблюдения................ 96
2.5.3. Параллельные независимые наблюдения..,...... 99
2.5.4. О других оценках математического ожидания... 102
§ 2.6. Оценивание дисперсии и среднего квадратического
отклонения случайной величины........................... 103
2.6.1. Параметр распределения известен....... 103
2.6.2. Параметр /VL распределения неизвестен..... 106
2.6.3. О других оценках среднего квадратического
отклонения........................................... 109
§ 2.7. Оценивание параметров распределения и числовых
характеристик случайных векторов (систем случай-
ных величин).............................................. III
§ 2.8. Оценивание вероятности случайного события..... 117
§ 2.9. Оценивание числовых характеристик случайных функ-
ЦИЙ.............................................. 11°
г.9.1. Оценивание числовых характеристик нестацио-
парных случайных функций..........................
2.9.2. Оценивание числовых характеристик стационар-
ных случайных функций...............................
§ 2.10. Некоторые практические приемы вычисления оценок 129
2.I0.I. Случайные величины и векторы............... 129
2.10.2. Случайные функции.......................... 133
Глава 3. Методы исследования качества оценивания парамет-
ров распределения случайных величин
§ 3.1. постановка задачи интервального оценивания пара-
метров распределения случайных величин................. 135
§ 3.2. Исследование точности и надежности оценок мате-
матического ожидания...................................... 138
3.2.1. Исследование точности и надежности оценки
математического ожидания в случае большой
выборки............................................. 138
375
3.2.2. Исследование точности и надежности оценки
математического ожидания в случае малой вы-
борки................................................ 140
3.2.3. Исследование точности и надежности оценки
математического ожидания в случае показа-
тельного закона распределения генеральной
совокупности........................................ 14,5
§ 3.3. Исследование точности и надежности оценок дис-
Персии и среднего квадратического отклонения.... 14<
3.3.1. Исследование точности и надежности оценок
дисперсии и среднего квадратического откло-
нения в случае большой выборки....................... 146
3.3.2. Исследование точности и надежности оценок
дисперсии и среднего квадратического откло-
нения в случае малой выбсрки......................... 1°!
§ 3.4. Исследование точности и надежности оценки ве-
роятности случайного события...........................
Глава 4. Методы отатиотичеокой проверки гипотез
§ 4.1. Постановка и общая схема решения задач статисти-
ческой проверки гипотез.................................. 160
4.1.I. Понятие отатиотичеокой гипотезы. Общая поста-
новка задачи проверки отатиотичеокой гипотезы 160
4.1.2. Общий подход и логические основы методов
статистической проверки гипотез...................... 164
4.1.3. Статистическая характеристика гипотезы и
ее особенности....................................... 168
4.1.4. Методы задания критической области.......... 170
4.1.5. Общая схема решения задач отатиотичеокой
проверки гипотез..................................... 162
§ 4.2. Проверка гипотез о законах распределения...... 183
4.2.1. Методы проверки гипотез о законах распре-
деления.............................................. 165
4.2.2. Проверка гипотезы с законе распределения по
методу Колмогорова................................... 186
4.2.3. Проверка гипотезы о законе распределения
по методу Пирсона.................................... 188
4.2.4. Проверка гипотезы о законе распределения
по методу Смирнова................................... 192
§ 4.3. Проверка гипотез о математических ожиданиях
и дисперсиях............................................. 194
4.3.1, Проверка гипотезы с равенстве математиче-
ских ожиданий........................................ 194
4.3.2. Проверка гипотезы о равенстве дисперсий... 203
§ 4.4. Проверка гипотез об аномальных результатах
наблюдений............................................... 208
§ 4.5. Статистическая проверка гипотез методом после-
довательного анализа..................................... 212
4.5.1. Сущность метода последовательного анализа... 212
376
4.5.2. Проверка гипотезы о вероятности события.... 215
4.5.3. Проверка гипотезы о том, что математическое
ожидание не превышает заданного значения.... 216
§ 4.6. Проверка гипотез методами теории стохастической
индикации.............................................. 217
4.6.1. Понятие стохастического супериндикатора и
его основные свойства.............................. 218
4.6.2. Проверка гипотезы о виде одноиерного за-
кона распределения.................................. 219
4.6.3. Проверка гипотезы о виде многомерного за-
кона распределения.................................. 221
4.6.4. Проверка гипотезы о незавиоимости компонент
случайного вектора................................. 223
§ 4.7. Проверка гипотез методами теории статистических
решений................................................... 224
4.7.1. Общая задача выбора решений................. 224
4.7.2. Проверка гипотез как частный случай задачи q
выбора решений................................ 227
Глава 5. Статистические методы обработки результатов
наблюдений
§ 5.1. Общие сведения о методе наименьших квадратов.... 233
5.I.I. Сущность метода наименьших квадратов........ 233
5.1.2. Классификация схем метода наименьших
квадратов......................................... 239
5.1.3. Связь метода наименьших квадратов с методом
максимума правдоподобия............................. 240
§ 5.2. Метод наименьших квадратов при линейной связи
наблюдаемых и оцениваемых параметров...................... 242
5.2.1. Линейная модель наблюдения (схема Гаусса -
Маркова).............................................. 243
5.2.2. Нормальные уравнения и оценки наименьших
квадратов............................................. 245
5.2.3. Доверительные интервалы для МНК-оценок.... 253
§ 5.3. Общая схема метода наименьших квадратов при не-
линейных связях между оцениваемыми и наблюдаемыми
величинами................................................ 2о5
§ 5.4. Алгоритмические особенности метода наименьших
квадратов................................................. 260
5.4.1. Некоторые сведения об обобщенных обратных
и псевдообратных матрицах. Их использование
в методе наименьших квадратов......................... 261
5.4.2. Рекуррентные алгоритмы метода наименьыих
квадратов............................................. 265
§ 5.5. Сущность метода наименьших модулей................ 27С
§5.6. Регрессионный анализ.............................. 277
§ 5.7. Элементы факторного анализа и компонентного
анализа................................................... 283
377
§ 5.8. Понятие о дисперсионном анализе.................. 288
§ 5.9. Конфлюентный анализ.............................. 293
§ 5.10. Понятие о планировании эксперимента............ 299
Глава 6. Основы метода статиотического моделирования
§ 6.1. Сущность метода статистического моделирования... 306
6.I.I. Предварительные замечания................... 306
6.1.2. Математическое моделирование и математиче-
ская модель......................................... 306
6.1.3. Метод статистических испытаний (метод Мон-
те-Карло)........................................... 312
6.1.4. Метод статистического моделирования........ 319
6.1.5. Моделирующий алгоритм........................ 322
6.1.6. Фиксация и обработка результатов модели-
рования............................................. 326
6.1.7. Комбинированный метод определения вероят-
ностных характеристик............................... 333
§ 6.2. Методы моделирования случайных объектов....... 343
6.2.1. Общие принципы моделирования................ 343
6.2.2. Моделирование случайных объектов............ 353
6.2.2.1. Моделирование случайных величин... 353
6.2.2.2. Моделирование случайных событий... 360
6.2.2.3. Моделирование случайных векторов.. 361
Дополнение. Некоторые сведения из линейной алгебры.... 365
Литература............................................... 369