/
Автор: Льюнг Л.
Теги: математическая кибернетика математика обработка сигналов системный анализ математическое моделирование теория управления
ISBN: 5-02-014511-4
Год: 1991
Текст
л. льюнг
ИДЕНТИФИКАЦИЯ
СИСТЕМ
Теория
для пользователя
Перевод с английского
А.С. МАНДЕЛЯ И А.В. НАЗИНА
Под редакцией
Я.З. ЦЫПКИНА
МОСКВА "НАУКА**
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
1 99 1
ББК 22.18 ! " И
д91 ! System Identification:
УДК 519.711 i е°гУ ^г the User
I Lennart Ljung j
University of Linkbping Sweden
¦ university ot Linkoping Sweden \
Л ыо н г Л. Идентификация систем. Теория для пользователя: Пер. с англ. / Под
ред. Я.З. Цыпкина. -- М.: Наука. Гл. ред. физ.-мат. лит., 1991. - 432 с. -
ISBN 5-02-014511-4.
Содержит изложение вопросов теории идентификации, которые наиболее существенны
для практического использования. Большое внимание уделяется применению компьютеров.
Приводятся оригинальные результаты, формируются новые задачи.
Для специалистов, занимающихся различными аспектами проблемы идентификации дина-
мичоских систем и объектов. Может спужить своеобразным справочником для указанной кате-
категории читателей.
Табл. 6. Ил. 80. Ьибпиогр. 455 назв.
Научное издание
ЛЬЮИ Г Леннарт
ИДЕНТИФИКАЦИЯ СИСТЕМ
ТЕОРИЯ ДЛЯ ПОЛЬЗОВАТЕЛЯ
Заведующий редакцией Т.В. Шаровйтова
Редактор Т.И. Пташник
Художественный редактор Г.М. Коровина
Технические редакторы О.Ь. Черняк, ВЛ. Никитина
Корректоры Т.С Вайсберг, H.IL Круглова, Т.А. Печко
Набор осуществлен в издательстве
на наборно-печатающих автоматах
ИБ№ 30995
Сдано в набор 10.07.90. Подписано к печати 19.11.90
Формат 70 X 100/16. Бумага книжно-журнальная
Гарнитура Пресс-Роман. Печать офсетная.Усл.печ.л. 35,10
Усл.кр.-отт. 35,10. Уч.-изд.л. 34,54.Тцраж 9200 экз.
Тип. зак.320 Цена 5р. 60 к.
Ордена Трудового Красного Знамени
издательство "Наука"
Главная редакция физико-математической литературы
I 17071 Москва B-7L Ленинский проспект, 15
Четвертая типография издательства "Наука"
630077 г. Новосибирск-77, ул. Станиславского, 25
1402050000-026 @ ,98? b Рге|Шсе„На11,1пс^
Л 053 @2)-91
©"Наука". Физматлит,
перевод на русский язык,
ISBN 5-02-014511-4 9
ОГЛАВЛЕНИЕ
Предисловие редактора перевода 7
Предисловие к русскому изданию 8
Предисловие автора 9
Основные обозначения и сокращения 12
Глава I. Введение 15
1.1. Динамические системы 15
1.2. Модели. Типы моделей и их использование 18
1.3. Процедура идентификации системы. Три основных компонента 20
1.4. Организация материала книги 21
1.5. Комментарии к библиографии 23
Часть I. Системы и модели 25
Глава 2. Стационарные линейные системы 25
2.1. Импульсные реакции, помехи и передаточные функции 25
2.2. Частотные формулы 32
2.3. Спектры сигналов 37
2.4. Поведение отдельных реализаций и ургодическис результаты 43
2.5. Многомерные системы 44
2.6. Заключение 45
2.7. Комментарии к библиографии 46
2.8. Задачи 46
Приложение 2А. Доказательство теоремы 2.2 50
Приложение 2В. Доказательство теоремы 2.3 52
Приложение 2С. Ковариационные формулы 56
Глава 3. Моделирование, прогнозирование и управление 57
3.1. Моделирование 57
3.2. Прогнозирование 57
3.3. Наблюдатели 63
3.4. Управление 66
3.5. Заключение 68
3.6. Комментарии к библиографии 68
3.7. Задачи 69
Глава 4. Модели линейных стационарных систем 71
4.1. Линейные модели и множества линейных моделей 71
4.2. Семейство моделей передаточных функций 72
4.3. Модели в пространстве состояний 81
1* 3
4.4. Модели с распределенными параметрами 89
4.5. Множества моделей, структуры моделей и идентифицируемость: некоторые
формальные положения 91
4.6. Идентифицируемость некоторых модельных структур 98
4.7. Заключение 102
4.8. Комментарии к библиографии 103
4.9. Задачи 104
Приложение 4А. Идентификация многомерных модельных структур типа черного ящика НО
Глава 5. Модели нестационарных и нелинейных систем 119
5.1. Линейные нестационарные модели • 119
5.2. Нелинейные модели как линейные регрессии 121
5.3. Нелинейные модели в пространстве состояний 124
5.4. формальная характеризация моделей .' 125
5.5. Заключение 128
5.6. Комментарии к библиографии 129
5.7. Задачи 129
Часть II. Методы 131
Глава 6. Непараметрические временные и частотные методы 131
6.1. Анализ переходных процессов и корреляционный анализ 131
6.2. Частотный анализ 133
6.3. Гармонический анализ Фурье 135
6.4. Спектральный анализ 139
6.5. Оценивание спектра шума 147
6.6. Заключение 149
6.7. Комментарии к библиографии 149
6.8. Задачи 150
Приложение 6А. Вывод асимптотических свойств оценки спектрального анализа 153
Глава 7. Методы параметрического оценивания 155
7.1. Основные принципы формирования методов параметрического оценивания. . . . 155
7.2. Минимизация ошибок предсказания 156
7.3. Линейные регрессии и метод наименьших квадратов 160
7.4. Статистическая трактовка параметрического оценивания и метод максимально-
максимального правдоподобия 164
7.5. Корреляция ошибок предсказания с прошлыми данными 172
7.6. Методы инструментальных переменных 174
7.7. Заключение 177
7.8. Комментарии к библиографии 177
7.9. Задачи : 178
Приложение 7 А. Доказательство неравенства Крамера - Рао 185
Глава 8. Сходимость и состоятельность 187
8.1. Введение 187
8.2. Условия на последовательность данных 188
8.3. Подход ошибки предсказания 191
8.4. Состоятельность и идентифицируемость 195
8.5. Линейные стационарные модели: частотное описание предельной модели 200
8.6. Корреляционный подход 203
8.7. Заключение 206
8.8. Комментарии к библиографии 207
8.9. Задачи 207
Глава 9. Асимптотическое распределение оценок параметров 2 J 0
9.1. Введение 210
9.2. Подход, о снованный на ошибке предсказания: основная теорема 211
9.3. Выражения асимптотической дисперсии 213
9.4. Выражения асимптотической дисперсии в частотной области 218
9.5. Корреляционный подход 223
9.6. Использование выражений асимптотической дисперсии 226
9.7. Заключение 230
9.8. Комментарии к библиографии 230
9.9. Задачи 231
Приложение 9А. Доказательство теоремы 9.1 233
Приложение 9В. Асимптотическая дисперсия оценки параметра 237
Глава 10. Методы вычисления оценок 239
10.1. Линейные регрессии и наименьшие квадраты 240
10.2. Численное решение с помощью итеративных методов поиска 246
10.3. Вычисление градиента 249
10.4. Двухэтапные и многоэтапные методы 251
10.5. Локальные решения и начальные значения I 254
10.6. Заключение 257
10.7. Комментарии к библиографии 257
10.8. Задачи 258
Глава 1L Методы рекуррентного оценивания 263
11.1. Введение 263
11.2. Рекуррентный алгоритм наименьших квадратов 265
11.3. Рекуррентный метод инструментальных переменных 270
11.4. Рекуррентные методы ошибки предсказания 270
11.5. Рекуррентные псевдолинейные регрессии 274
11.6. Выбор схемы пересчета шага 276
11.7. Реализация алгоритмов 279
11.8. Заключение 282
11.9. Комментарии к библиографии 283
11.10. Задачи 284
Приложение 11 А. Техника исследования асимптотики рекуррентных алгоритмов 285
Часть III. Пользовательский выбор <• 293
Глава 12. Варианты выбора и цели 293
12.1. Варианты выбора 293
12.2. Цели идентификации 294
12.3. Смещение и дисперсия 298
12.4. Заключение 299
12.5. Комментарии к библиографии 300
12.6. Задачи 300
Глава 1 i. Влияние распределения величины смещения на оценки передаточной функции 300
13.1. Некоторые основные соотношения 301
13.2. Эвристическое рассмотрение метода настройки оценок передаточной функции в
разомкнутом контуре 301
13.3. Некоторые решения формальных задач проектирования 304
13.4. Заключение 306
13.5. Комментарии к библиографии 307
13.6. Задачи 307
Глава 14. Планирование эксперимента 308
14.1. Несколько общих вопросов 308
14.2. Информативные эксперименты 310
14.3. Оптимальное планирование входных сигналов 317
14.4. Оптимальное планирование эксперимента для моделей черного ящика высокого
порядка 322
14.5. Выбор интервала дискретизации предварительного фильтра 325
14.6. Предварительная обработка данных 332
5
14.7. Заключение 335
14.8. Комментарии к библиографии 335
14.9. Задачи 336
Глава 15. Выбор критерия идентификации 338
15.1. Общие вопросы 338
15.2. Выбор нормы: робаегиость 339
15.3. Дисперсионно оптимальный метод инструментальных переменных 344
15.4. Заключение 347
15.5. Комментарии к библиографии 348
15.6. Задачи 348
Глава /6. Выбор структуры модели и подтверждение модели 349
16.1. Общие вопросы выбора структуры модели 349
16.2. Априорные соображения 351
16.3. Выбор структуры модели на основе предварительного анализа данных 353
16.4. Сравнение модельных структур 355
16.5. Подтверждение модели 363
16.6. Заключение 368
16.7. Комментарии к библио1рафии 368
16.8. Задачи 369
Глава 1 7. Идентификация систем иа практике 370
17.1. Инструмент идентификации: интерактивное программное обеспечение 371
17.2. Применение к лабораторной системе 375
17.3. Идентификация рулевой динамики корабля 383
17.4. Что же можег дал> идентификаций систем? 388
17.5. Комментарии к библиографии 389
Приложение I. Некоторые понятия теории вероятностей 389
Приложение И. Некоторые статистические методы линейной регрессии 392
Список литературы 410
Список литературы на русском языке 429
Предметный указатель 430
ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА
Проблеме идентификации систем посвящено большое число книг, как отечест-
отечественных, так и зарубежных. Они охватывают различные аспекты проблемы иденти-
идентификации. Однако к настоящему времени отсутствовали книги, которые содержали
бы изложение вопросов теории и техники идентификации, наиболее существенные
для практических применений, и могли бы служить путеводителем для пользователя.
Этот пробел в значительной мере устраняется монографией профессора Линчепнинг-
ского университета (Швеция) Л. Льюнга, известного специалиста, активно работаю-
работающего в области идентификации и адаптивного управления.
Книга охватьюает широкий круг вопросов. В первой части, главы 2-5, описаны
типовые системы с постоянными и переменными параметрами, а также нелинейные
системы, и обсуждаются их модели. Разнообразным методам идентификации (па-
(параметрическим, ненараметрическим, рекуррентным) посвящена вторая часть, гла-
главы 6-11. Наконец, третья часть, главы 12 - 17, содержит изложение вопросов вы-
выбора пользователем моделей, критериев, алгоритмов для решения разнообразных
задач идентификации. В основном в тексте опущены многие математические дока-
доказательства ряда утверждений. Заинтересованный читатель может найти их в прило-
приложениях и ссылках к главам. Часто приводится физическая трактовка ряда вопросов,
указаны возможности приложения основных результатов теории. Большое внимание
уделено применению компьютеров для решения разнообразных конкретных задач
идентификации динамических систем.
Книга завершается обширной библиографией (более 450 названий). Каждая гла-
глава книги сопровождается краткими выводами и комментированными ссылками на
литературу, формулировками задач. Задачи весьма разнообразны. Они касаются об-
общих вопросов, упражнений, дальнейшего развития теории, деталей основного текста,
математического обеспечения, использования компьютеров. Помимо систематичес-
систематического изложения известных методов идентификации книга содержит и оригинальные
результаты, которые ранее не излагались в монографиях. Она не только знакомит
читателя с современным состоянием проблемы идентификации, но и формулирует
новые задачи. Методика изложения очень продумана. Материал, не обязательный
для пользователя, но полезный для исследователя, выделен в отдельные отмеченные
знаком (*) параграфы.
Охватывая широкий круг вопросов, интересных с теоретической точки зрения и
важных для практических приложений, не перегруженная в основном тексте матема-
математическими подробностями, ориентированная на использование компьютера - эта
книга представит большой интерес для очень широкого круга специалистов, зани-
занимающихся различными аспектами проблемы идентификации динамических систем.
Я.З. Цыпкин
7
ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ
Идентификация систем представляет собой ту часть теории автоматического уп-
управления и анализа временных рядов, в разработку которой советские исследователи
внесли очень большой вклад. В бытность мою аспирантом я имел полезную возмож-
возможность находиться в контакте с советской научной общественностью на протяжении
шести месяцев моего пребывания в Москве в Институте проблем управления. Я чер-
черпал вдохновение в общении с многими советскими учеными, которые проявили по
отношению ко мне огромное гостеприимство, И прежде всего мне хотелось бы
упомянуть профессоров Якова Залмановича Цыпкина и покойного Наума Самойло-
вича Райбмана. Именно поэтому мне особенно приятно предложить вниманию науч:
ных работников и студентов в Советском Союзе это исследование по идентифика-
идентификации систем. Надеюсь, что книга может оказаться полезной »не только при изучении
предмета, но и как справочник по применениям идентификации. Позвольте мне
также воспользоваться возможностью выразить мою признательность кандидатам
технических наук А.В. Назину и А.С. Манделю за выполненную ими серьезную работу
и наше доброе сотрудничество.
Л. Льюнг
ПРЕДИСЛОВИЕ АВТОРА
Широта предмета идентификации систем позволяет излагать его многими раз-
разными способами. Выбранный подзаголовок "Теория для пользователя" отражает
отношение автора к данному тексту. Да, это книга о теории, но о такой теории,
из которой непосредственно вытекает возможность содержательного понимания
и практических применений имеющихся методов. Свою задачу я видел в том, чтобы
читатель, твердо усвоив основные принципы, мог уверенно решать прикладные
задачи, а также самостоятельно знакомиться с обширной, хотя, порой, беспоря-
беспорядочной литературой по идентификации.
Мне хочется верить, что выделение утилитарного смысла теории не будет вос-
восприниматься как форма извинений по поводу неаккуратной математики. Я пы-
пытался развивать теорию не совершая "подлогов". При этом наиболее сложные ма-
математические фрагменты были вынесены в приложения или в помеченные звездочкой
разделы, избавляя упрямого читателя от необходимости о них спотыкаться. И
действительно, спасительной особенностью жизни является наша способность де-
делать множество вещей, не понимая всех их деталей. Верно это и для теории иден-
идентификации систем. Ищущему каких-либо готовых рекомендаций практику предос-
предоставляется возможность быстро перейти к части III (пользовательский выбор),
"пробежав" взглядом заключения предыдущих глав.
По своей сути материал этой книги должен подходить для чтения лекций по
идентификации систем на старших курсах высших учебных заведений. Естествен-
Естественным, хотя вряд ли обязательным условием для чтения такого курса следовало
бы считать знакомство слушателей с элементами теории динамических систем и
случайных сигналов. Рукопись этой книги использована в качестве основы курсов
по идентификации систем, прочитанных в Стэнфордском университете, Массачу-
сетском технологическом институте, Йельском университете, Национальном уни-
университете Австралии и университетах Лунда и Линчёпинга. Конспекты курса, как
и пособие по решению задач, имеются у издателя.
Необходимо отметить роль, которую играют в рамках курса по идентифика-
идентификации упражнения, рассчитанные на работу с ЭВМ. Участие в процессе имитацион-
имитационного моделирования, которое наглядно демонстрирует применение рассмотренных
в книге методов к выявлению скрытых особенностей исходных данных, способ-
способствует расширению и углублению понимания изложенного материала. В задачах
из глав со 2-й по 16-ю, которые помечены буквой 5, даны схематичные очертания
того интерактивного пакета программ, который можно было достаточно безбо-
безболезненно организовать в языковой среде высокого уровня. В продаже имеются
версии этого пакета на языке PC-MATLAB (см. [257]). С помощью такого пакета
9
можно продемонстрировать и проверить в работе на реальных и искусственных
данных все основные методы из этой книги.
Известная сего да я литература по идентификации систем, действительно, на-
настолько обширна, что, ио существу, не может быть покрыта любой библиогра-
библиографией. В этой книге я попытался обратить внимание как на самые последние и
наиболее доступные источники, которые, по моему мнению, могли бы служить
для углубленного изучения материала, так и на некоторые из первых работ, от-
отражающих историю вопроса. Очевидно, что многие из вполне достойных упоми-
упоминания работ не вошли в список.
В заключение несколько слов о плане книги. Взаимосвязи между главами
показаны на рис. 1.13, из которого видно, что знакомство с некоторыми из глав
не является обязательным условием для чтения последующих глав. Кроме того,
некоторые фрагменты книги адресованы скорее к серьезном}' студенту, изучаю-
изучающему теорию идентификации, чем к пользователю. Эти фрагменты помещены
либо в приложения, либо в разделы и подразделы, помеченные звездочкой. Хотя
на этот материал время от времени могут делаться ссылки, возможность выбороч-
выборочного чтения сохранена; беглое знакомство не служит помехой систематическому
изучению.
В конце каждой главы имеются задачи, которые могут быть разбиты на шесть
разных групп:
- G-задачи, т.е. задачи общего характера, которые могут заслуживать изуче-
изучения даже при отсутствии намерения их решать;
— Е-задачи, которые представляют собой рабочие упражнения, помогающие
усвоению основного материала главы;
— Т-задачи относятся к классу теоретических задач и, как правило, труднее
Е-задач.
— D-задачи, в которых читателю предлагается проделать опущенные в тексте
книги подробные выкладки (способ превращения пособия по решению задач в
"место свалки" устраняемых из книги технических деталей!);
— S-за дачи, в которых разрабатывается упомянутое выше программное обес-
обеспечение;
— С-задачи, требующие для своего решения ЭВМ.
Ясно, что при наличии прикладного программного обеспечения С-задачи мо-
могут быть дополнены множеством других задач, посвященных экспериментам с
методами идентификации и обработки данных. Здесь такие задачи не конкретизи-
конкретизируются, однако мы поддерживаем дерзновенное побуждение читателя осуществить
такие исследования самостоятельно.
Выражение признательности. Любой автор тсхнической книги бывает приз-
признателен тем, кто ввел его в рассматриваемый предмет, и тем, кто сделал написа-
написание книги возможным. Мой интерес к идентификации систем восходит к годам
моего студенчества на факультете автоматического управления университета Лунда.
Профессор Карл Йохан Острем познакомил меня с предметом, а его серьезное
отношение к исследованиям всегда было для меня эталонной моделью. С тех нор
мне довелось работать со многими людьми, способствовавшими расширению
моих знаний. И я благодарен всем моим соавторам: Андерсу Алену, Питеру Кэйн-
су, Дэвиду Фалконеру, Фархату Фнайешу, Бену Фридландеру, Михелю Геверсу,
Кейту Главеру, Ивару Густавссону, Тому Кайлату, Стефану Льюнгу, Мартину
Морфу, Тому ван Овербэку, Йорме Риссанену, Торстену Седерстрему, Гете Сул-
бранду, Еве Трулсон, Бо Уалбергу, Дону Вибергу и Жен-Донг Юану.
Эта книга создавалась на многих семинарах и во время нескольких коротких
лекционных курсов, которые мне довелось читать в разных странах мира. Заме-
Замечания участников семинаров способствовали поиску подходящего плана, струк-
структуры и характера подачи материала.
10
Несколько человек ознакомились с разными вариантами рукописи и позво-
позволили мне по-новому осмыслить ее содержание. Прежде всего я бы назвал Михеля
Геверса, который прочитал первый вариант и оказал мне неоценимую помощь при
редактировании текста; Роберта Кошута и Арайя Нехораи, которые смотрели ру-
рукопись в Стэнфорде и Йелс соответственно, и Яна Холста, который вел дискуссион-
дискуссионные обсуждения материалов книги в Датском техническом университете и также
собрал полезные замечания. В Массачусетсом технологическом институте я вел
общий курс с Фредом Швенке и его лекции, как и его замечания, позволили внести
ясность во многие места рукописи. Много полезных замечаний было сделано и
студентами разных курсов и потоков. Упомяну, в частности, Джорджа Харта, Жана
Лаваля, Ивана Марель, Бретта Риджли и Бо Уалберга. Несколько моих коллег
бы»?* настолько любезны, что согласились критически оценить рукопись. Я особо
признателен Хиро Акаике, Хрису Бирнесу, Петеру Фалбу, Меир Федер, Жен Франк-
ш«ч, Классу Челлстрему, Дэвиду Раннерту, Торстену Седерстрему, Петре Стойка
и Петеру Уиттлу.
Сванте Гуннарссон и Стэн Гранат выполнили эксперименты, описанные в раз-
разделе 17.2. Бо Уалберг способствовал развитию частотных интерпретаций, Альф
Исакссон выполнил рис. 14.4.
Большей частью безупречно выполненной работы по координации и согласо-
согласованию многих вариантов рукописи я обязан Ингегерд Стенлунд при действенной
помощи Уллы Саланек и Карин Ленн. Марианна Энсе-Лундберг квалифицированно
подготовила все рисунки. Я глубоко ценю затраченные ими усилия.
Написание книги требует времени и мне, скорее всего, не удалось бы завер-
завершить эту работу, не имей я привилегии в виде семестровых творческих отпусков
для научной работы. Первый набросок этой книги был написан во время такой
годичной поездки в Стэнфордский университет в 1980-81 годах. Первый вариант
того текста, который в конечном счете превратился в последнюю редакцию, я на-
написал во время полугодичного пребывания в Национальном университете Австралии
(г. Канберра) в 1984 году. Работа над текстом была завершена в 1986 году, когда я
находился в Массачусетсом технологическом институте. Я благодарен Тому Кай-
лату, Брайану Андерсону и Саньо Миттер (а также Отделу научных исследований
армии США в рамках контракта DAAG-29-84-K-005), которые сделали эти поездки
возможными и обеспечили замечательные условия для работы. Важную поддерж-
поддержку я получил также от Шведского национального совета по техническому разви-
развитию (STUF).
Работа по написанию книги (я уж не говорю о размышлении над ней) незави-
независимо от того, привязана ли она к творческому отпуску или совмещена с повсед-
повседневной деятельностью, неизбежно требует сверхурочных затрат. И я благодарю мою
семью: Анн-Кристин, Йохана и Арвида за то время, которое они мне предоставили.
ЛеннартЛьюнг
. Линчепинг, Швеция
ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
arg(z) — аргумент комплексного числа z;
argmin/(x) — значение х, минимизирующее функцию /(х);
хдг G Ля/7 (л, /я) — последовательность случайных величин х^у, которая слабо
сходится к случайной величине, имеющей F-распределение спит степенями сво-
свободы;
xN G Asx2 (n) — последовательность случайных величин х^у, которая слабо
сходится к случайной величине, имеющей х2 -распределение с п степенями свободы;
xN G AsNQn, P) — последовательность случайных величин х^у, которая сла-
слабо сходится к нормально распределенной случайной величине со средним т и
матрицей ковариации Р, см. формулу A.17);
Cov(x) — матрица ковариации случайного вектора х, см. формулу (L4);
(let Л — определитель матрицы Л;
dim б - размер (число строк) вектора-столбца в;
Ех — математическое ожидание случайного вектора х, см. формулу (L3);
1 JV
Ex(t) = lim — S Ex (r), см. B.60);
N -* <*> N t=\
О(х) - функция, стремящаяся к 0 так же, как х;
о (х) — функция, стремящаяся к 0 быстрее, чем х;
х G N(m, P) - нормально распределенная случайная величина со средним т
и матрицей ковариации Р, см. A.6);
Re 2 — вещественная часть комплексного числа z;
<R(/) — область значений функции /;
R — fif-мерное евклидово пространство;
х = sol{/(x) =0} — множество решений (или, просто, решение) уравнения
/(*) = 0;
tr(^) - след (сумма элементов главной диагонали) матрицы А;
Var(x) — дисперсия случайной величины х;
Л — обратная матрица к матрице А;
АТ — матрица, транспонированная по отношению к матрице А;
А~т — матрица, транспонированная по отношению к матрице Л;
F — комплексное число, сопряженное числу z;
у\ = (у(*), у(* + О---- у it)};
/= (УО), yB),...,y(t)};
Un (w) — преобразование Фурье от функции и^ см. B.37);
12
Rv(t) = Ev(t)vT(t - г),см. B.61);
Rsw(r) = Es(t)wr(t - г),см. B.62);
- спектр сигнала и, т.е. преобразование Фурье от Rv(t), cm. B.63);
— взаимный спектр сигналов s и w, т.е. преобразование Фурье от
Д5И,(т),см. B.64);
А 1 N
R?(t) = — 2 5(f)sr(r - г), см. F.10);
N г = l
Ф^(со) - оценка спектра и по данным if*, см. F.48);
0 (Г I Г — 1) - прогноз значения сигнала v(t) по данным v* ~~ !;
— К@) - градиент V@) по 0, т.е. вектор-столбец размера dim б, если функ-
dO
ция V скалярна;
V9 @ ) - градиент функции К по ее аргументу;
J<-F> в) — частная производная / по б;
5,-/ — индекс Кронекера, который равен 0, если / Ф /;
«(*) = 5fco;
5S@o,e) - 6-окрестность точки 0о, т.е. множество {в: \\ 0 - 0О 11< б} ;
^ - левая сторона определяется правой частью;
1 - I — (евклидова) норма вектора;
II • II - норма матрицы (по Фробениусу), см. B.89).
Символы, использованные для обозначений
В этот список включены символы, получившие в книге повсеместное исполь-
использование. Иногда некоторые из них используются в другом смысле.
Dj/i — множество значений параметра в в рамках модельной структуры М,
см. D.119);
Dc — множество сходимости оценок в, см. (8.23);
e(t) ~ помеха в момент t\ обычно {e(t)9 t = 1,2,...} - дискретный белый
шум (последовательность взаимно независимых случайных величин с нулевым
средним и дисперсией X);
ео(О - "истинная" помеха, действующая в данной системе §, см. (8.2);
fe(x)>fe(x> 0) — функция плотности распределения вероятностей случайной
величины е, см. A.2) и D.4);
G(q) - передаточная функция от и к у, см. B.20);
G(q, 0) — передаточная функция модельной структуры, соответствующей зна-
значению параметра б, см. D.4);
Go (q) - "истинная" передаточная функция данной системы от и к у, см. (8.7);
Gm (q) - оценка G{q) по данным ZN;
G* (q) — предельная оценка G(q), см. (8.68);
GN(Si) -разность GN(q) - G0(tf),cM. (8-15);
%} - множество передаточных функций, получающихся в рамках данной струк-
структуры, см. (8.44);
#(</), #(</, 0), H0(q), HN(q), H* (q), HN(q)9 К - аналогичны соответствую-
соответствующим характеристикам G, но для передаточных функций от е к у\
L (q) — предварительный фильтр ошибок предсказания, см. G.10);
/(б), /(е, 0), /(е, f, 0) — используемая в критерии норма ошибок предсказа-
предсказания, см. G.11), G.16), G.18);
М- структура модели, или модельная структура (отображение, действую-
действующее из пространства параметров в множество моделей), см. D.119);
13
JC(O) - конкретная модель, соответствующая значению параметра в, см. D.119);
JC* - множество моделей (обычно порождается как множество значений,
принимаемых структурой модели), см. D.115) и стр. 93;
Pq - асимптотическая матрица ковариации 0, см. (9.11);
q4 q~l — операторы прямого и обратного сдвига, см. B.15);
$ - "истинная система", см. (8.7);
T(q) = [G(q)9 H(q)], см. D.106);
T(q, 0), T0(q), TN(q), T^(q) — аналогичны соответствующим конструкциям
для G и Я;
u(t) — входной сигнал в момент f;
VN @, ZN) - минимизируемая критериальная функция, см. G.11);
К@) - предельное значение критериальной функции, см. (8.28);
о (f) — сигнал помехи в момент t;
w(f) - обычно помеха в момент Г, как правило, понимается в контексте как
точное значение истинной помехи;
x(t) - вектор состояния (размера п) в момент f;
y(t) — выходной сигнал в момент Г;
y(t 10) - прогноз значения выходного сигнала в момент t на основе модели
JC@ ) и данных Z* ~ *, см. D.6);
2@ = Ь@ и (Г)] г, см. D.110);
N
е (f, 0 ) — ошибка предсказания, равная у (f) — jh (Г I б );
X — обычно .дисперсия; в главе И — коэффициент забывания, см. A1.6),
A1.63);
О — вектор, используемый для параметризации моделей размерности d9 см. D.4),
D.5), E.53);
0дг» 0о> Q*>Qn ~ аналогичны соответствующим конструкциям для G;
\p\t) — регрессионный вектор в момент f, см. D.11) и E.34);
Хо@ = 1м@ еоСОГЛ см. (8.14);
\jj(ty в) - градиент y(t\ в) по 0, tf-мерный вектор-столбец, см. D.118b);
f (f), f (f, 0) — "корреляционный вектор" (вектор инструментальных пере-
переменных) , см. G.36);
T'(qy0) - градиент T(q, 0) по 0 ((d X 2)-матрица),см. D.122).
Список аббревиатур
ARARX-см. табл. 4.1;
ARMA - авторегрессия со скользящим средним, см. табл. 4.1;
ARMAX — авторегрессия со скользящим средним с внешним входным сигна-
сигналом, см. табл. 4.1;
ARX — авто регрессия с внешним входным сигналом, см. табл. 4.1;
BJ - модельная структура Бокса-Дженкинса, см. табл. 4.1;
ETFE — эмпирическая оценка передаточной функции, см. F.24);
FIR — модель конечной импульсной реакции, см. табл. 4.1.
Глава I
ВВЕДЕНИЕ
Формирование моделей на основе результатов наблюдений и исследование их
свойств - вот, но существу, основное содержание науки. Модели ("гипотезы", "за-
"законы природы", "парадигмы" и т.п.) .могут быть более или менее формализованны-
формализованными, но все обладают той главней особенностью, что связывают наблюдения в некую
общую картину. Решение задачи построения математических моделей динамических
систем по данным наблюдений за их поведением составляет предмет теории иденти-
идентификации, которая тем самым становится элементом общей научной методологии.
А поскольку мы "окружены" динамическими системами, методы идентификации
систем имеют широкие приложения. Цель этой книги заключается в том, чтобы
дать представление об имеющихся методах идентификации, их обосновании, свой-
свойствах и применении.
1.1. Динамические системы
Говоря нестрого, система - это объект, в котором происходит взаимодействие
между разнотипными переменными и формируются наблюдаемые сигналы.
Интересующие нас наблюдаемые сигналы обычно называют выходными сигнала-
сигналами. Все остальные сигналы называют возмущениями, причем возмущения могут
Рис. 1.1. Система с выходным сигналом у,
входным сишалом и, измеряемой помехой
w и неизмеряемой помехой v
быть разбиты на два класса: измеряемые непосредственно и доступные лишь косвен-
косвенной оценке по воздействию, оказываемому ими на выходной сигнал. С точки зрения
описания объекта разница между входными сигналами и измеряемыми возмущения-
возмущениями (помехами) часто оказывается несущественной. См. рис. 1.1.
Очевидно, что понятие системы сформулировано достаточно общо, поэтому
не удивительна та важная роль, которую оно играет в современной науке. В рамках
системного подхода решаются самые разнообразные задачи. Не пытаясь дать общего
определения системы, проиллюстрируем это понятие на нескольких примерах.
Пример 1.1. Дом с солнечным подогревом.
Рассмотрим дом с солнечным подогревом, изображенный на рис. 1.2. Принцип функциони-
функционирования системы основан на том, что солнечные лучи разодевают воздух в солнечной панели,
15
W
Li
У
Солнечная
панель
Тепловой
аккумулятор
Вентилятор
Рис. 1.2. Дом с солнечным подогревом
ШШШЛ
I:солнечное
излучение
и: скорость
поддува
у; ветер у внешняя
температура и т.д.
у: температура
'теплового
аккумулятора
Рис. 1.3. Система дома с солнечным подогревом: и - входной сигнал; / - измеряемая помеха;
у - выходной сигнал; v - неизмеряемая помеха
у(°с)
30
250
600
760
ty мин
Рис. 1.4. Температура теплового аккумулятора уу скорость поддува иу интенсивность солнечно-
солнечного излучения/ за 16-часовой отрезок времени. Интервал между-замерами - 10 мин
представляющей собой набор прозрачных трубок. Этот воздух подается в тепловой аккумулятор,
в качестве которого используется заполненный камнями ящик. Так накапливаемая тепловая
энергия может использоваться для отопления дома. Интерес представляет вопрос о том, какое
влияние оказывают иа температуру теплового аккумулятора изменения солнечного излучения
и скорости поддува. Структурная системы изображена на рис. 1.3, а на рис. 1.4 показаны записи
данных наблюдений в течение 16 часов. Замеры производились каждые 10 мин.
16
6:уеол
поворота
рулей
v: силы ветра
и волн
ф: курсовой.
У80Л
Рис. 1.5. Движение судна в горизонтальной плоскости F - команда на руль, ф - курсовой угол)
Рис. 1.6. Система дииамики рулевого управления F - входной сигнал, ф - выходной сигнал,
v - неизмеряемая помеха)
70°
0
б
МП
ф
LfUlIlfl
Jl II
Л
n П..ПП
iiiui
Губы
' Голосовые
0 500 1000 t%c I связки
Рис. 1,7. Входо-выходные данные дня системы рулевой динамики судна (интервал между заме-
замерами - 10 с)
Рис. 1.8. Генерация речи
v: воздушный по тон
от вибрирующих
связок
У: Звук
20
tyMC
Рис. 1.9. Речевая система (у - выходной сигнал, и - неизмеряемая помеха)
Рис. 1.10. Речевой сигнал (давление воздушного потока). Замеры осуществляются каждые
0,125 мс
Пример 1.2. Динамика управления судном.
Движение судна происходит под действием тяговой силы винта и зависит от положения
рулей, силы и направления ветра и воли. См. рис. 1.5. В качестве подпроблемы можно рассмот-
рассмотреть частную задачу о зависимости курса судиа (направления движения носовой части) от
положения рулей при постоянном тяговом усилии. Эта система изображена иа рис. 1.6. Записи
данных наблюдений показаны на рис. 1.7. Длительность интервала наблюдений составила 25 мин,
замеры осуществлялись каждые 10 с.
Пример 1.3. Речь человека.
Звуки человеческого голоса порождаются вибрацией голосовых связок или, если это не речь,
потоком воздуха, проходящим по горлу, и формируются в результате изменения геометрии
голосового тракта. См. рис. 1.8. В этой системе выходной сигнал представляет собой звуковые
колебания (т.е. изменения давления воздуха), но внешние воздействия оказываются ненаблюдае-
ненаблюдаемыми. См. рис. 1.9. Данные по этой системе приведены на рис. 1.10.
Все эти системы являются динамическими, т.е. такими, в которых текущее зна-
значение выходного сигнала зависит не только от текущих, но и более ранних значений
внешних воздействий. Выходные данные динамических систем с ненаблюдаемыми
внешними воздействиями (пример 1.3) называют временными рядами. Наиболее
широко этот термин используется в экономических приложениях. Очевидно, что
только перечисление примеров динамических систем может занимать очень много
места и относиться ко многим научным направлениям.
1.2. Модели: Типы моделей и их использование
Имея дело с системой, мы нуждаемся в какой-то схеме соотнесения между собой
характеризующих систему переменных. В широком смысле мы будем называть
совокупность предполагаемых связей между наблюдаемыми сигналами моделью.
Очевидно, что модели могут принимать самую разную форму и записываться с разной
степенью математической детализации. Выбор того уровня сложности, который де-
делает модель полезной, определяется планируемым использованием.
Несомненно, что в повседневной практике при работе с системами пользуются
умозрительными (субъективными) моделями, в которых математики нет вообще.
Так, например, для управления автомобилем достаточно знать, что к повороту налево
приводит вращение руля против часовой стрелки, а также располагать более тонким
опытом соответствующей программы мышечных усилий. При этом важность и слож-
сложность такого опыта, конечно, не следует недооценивать.
Для описания свойств некоторых систем подходят числовые таблицы и (или)
графики. Такие описания будут называться графическими моделями. Например,
линейные системы могут быть единственным образом представлены своими импульс-
импульсными реакциями, реакциями на единичный скачок или частотными характеристи-
характеристиками. Соответствующие графические представления широко используются в различ-
различных задачах проектирования. Хорошо приспособлены к описанию на языке графи-
графических моделей и некоторые нелинейные звенья, например, клапаны.
В более сложных приложениях могут понадобиться такие модели, в которых
соотношения, описывающие связи между системными переменными, задаются в
виде разностных и дифференциальных уравнений. Тжие модели будут называться
математическими (или аналитическими) моделями. Математические модели могут
быть снабжены набором поясняющих прилагательных (непрерывные и дискретные
но времени, сосредоточенные и распределенные, детерминированные или стохасти-
стохастические, линейные или нелинейные и т.д.) в зависимости от типа используемых раз-
разностных или дифференциальных уравнений. Математическое моделирование явля-
является составной частью всех технических и естественно-научных дисциплин. Действи-
Действительно, основная задача техники заключается в том, чтобы используя математичес-
математическую модель, найти хорошее проектно-конструкторское решение. Математические
модели являются также инструментальным средством решения задач имитационного
18
моделирования и (Предсказания (прогнозирования), которые часто возникают не
только в технике, но и экономике, экологии, биологии и других областях знания.
В процессе машинного моделирования моделью системы является программа
для ЭВМ. Программа, которой описывается поведение сложных систем, может пред-
представлять собой совокупность взаимодействующих между собой подпрограмм и прос-
просмотровых таблиц и формализация такой совокупности в виде некоторой математи-
математической модели может оказаться неразрешимой задачей. Такие компьютеризованные
представления мы будем называть программными (или машинными) моделями.
Такие модели со временем будут играть все большую роль в процессе принятия
решений в сложных системах.
Построение моделей. Построение моделей опирается в основном на данные на-
наблюдений. Так, например, субъективная модель динамики рулевого управления ав-
автомобиля основана на личном опыте водителя. Графические модели используют
результаты некоторых измерений. Существует два способа (а также их комбинации)
формирования математических моделей. Первый способ состоит в том, чтобы, образ-
образно выражаясь, "расщепить" систему на такие подсистемы, свойства которых очевид-
очевидны из ранее накопленного опыта. По существу, это означает, что мы опираемся на
"законы природы" и другие надежные соотношения, основанные на ранее проведен-
проведенных экспериментальных исследованиях. Формальное математическое объединение
этих подсистем становится моделью всей системы. Такой подход называют модели-
моделированием, в его рамках проведение натурных экспериментов не обязательно. Кон-
Конкретный вид процедуры моделирования сильно зависит от прикладной задачи и часто
определяется традиционными и специфическими средствами из рассматриваемой
прикладной области. Основной прием сводится к структуризации процесса в виде
блок-схем, блоки которых состоят из более простых элементов. Процесс восста-
восстановления системы по этим простым блокам все чаще выполняется с помощью ЭВМ
и приводит не к математической, а к машинной модели системы.
В другом способе построения как математических, так и графических моделей
непосредственно используются экспериментальные данные. В этом случае ведется
регистрация входных и выходных сигналов системы (см., например, рис. 1.4, 1.7
и 1.10), и модель формируется в результате обработки соответствующих данных.
Этот способ называется идентификацией.
Фиктивность представления об "истинной" системе. Реальная система отличается
от построенной нами математической модели. Можно сказать, что мир математичес-
математических описаний отделен от реального мира непреодолимым, но прозрачным экраном.
Глядя на этот экран-окно, мы можем сравнивать некоторые особенности физических
систем и соответствующих им математических моделей, но никогда не сможем га-
гарантировать их точного совпадения. Вопрос о "податливости" природы математичес-
математическому описанию имеет глубокие философские корни, поэтому в практическом плане
необходимо располагать более прагматической концепцией достоверности модели.
Приемлемость модели следует понимать не в плане ее "истинности", а скорее в плане
"полезности". Тем не менее, мы время от времени будем использовать понятие
"истинной системы", определенной некоторой математической моделью. Это понятие
оказывается удобным при синтезе и обсуждении свойств методов идентификации.
В рамках концепции "истинной" системы предполагается, что данные наблюдений
порождены некоторой идеализированной системой, которая описывается однозначно
определенной совокупностью математических правил.
19
1.3. Процедура идентификации системы. Три основных компонента
Конструирование моделей по данным наблюдений включает три основных ком-
компонента.
1. Данные.
2. Множество моделей-кандидатов.
3. Правило оценки степени соответствия испытываемой модели данным наблю-
наблюдений.
Прокомментируем каждый из этих компонентов.
1. Данные наблюдений. Входо-выходные данные иногда регистрируются в процес-
процессе проведения целенаправленных идентификационных экспериментов, когда пользо-
пользователь может определить перечень и моменты измерения сигналов, причем некоторые
из входных сигналов могут быть управляемыми. Задача планирования эксперимен-
экспериментов, таким образом, состоит в том, чтобы, учитывая возможные ограничения,
выбрать максимально информативные данные о сигналах системы. В некоторых слу-
случаях пользователь может быть лишен возможности влиять на ход эксперимента и
должен опираться на данные нормальной эксплуатации.
2. Множество моделей. Множество моделей-кандидатов устанавливается посред-
посредством фиксации той группы моделей, в пределах которой мы собираемся искать
наиболее подходящую. Несомненно, это наиболее важная и в то же время наиболее
трудная часть процедуры идентификации. Именно на этом этапе знание формаль-
формальных свойств моделей необходимо соединить с априорным знанием, инженерным
искусством и интуицией. Множество моделей иногда становится результатом тща-
тщательного моделирования, после чего на основе законов физики и других достоверных
знаний формируется модель, включающая физические параметры с еще не определен-
определенными значениями. Другая возможность состоит в том, чтобы без всякого физичес-
физического обоснования использовать стандартные линейные модели. Множество таких
моделей, у которых параметры рассматриваются прежде всего как варьируемые
средства подстройки моделей к имеющимся данным и не отражают физики процесса,
называется черным ящиком. Множества моделей с настраиваемыми параметрами,
допускающими физическую интерпретацию, называют серыми ящиками.
3. Определение на основе данных наблюдений "наилучшей*4 модели множества.
Эта часть есть собственно метод идентификации. Оценка качества модели связана,
как правило, с изучением поведения моделей в процессе их использования для вос-
воспроизведения данных измерений.
Подтверждение модели. В результате осуществления всех трех этапов процеду-
процедуры идентификации мы получаем, хотя бы в неявной форме, конкретную модель:
одну из множества, причем такую, которая в соответствии с выбранным крите-
критерием наилучшим образом воспроизводит данные наблюдений.
Остается проверить, "достаточно ли хороша" модель, т.е. выполняет ли модель
свое предназначение. Такие проверки известны под названием процедур подтвержде-
подтверждения модели. К ним относятся различные процедуры оценивания соответствия моде-
моделей данным наблюдений, априорной информации и поставленной прикладной цели*
Неудовлетворительное поведение модели пс каждому из этих компонентов
заставляет нас отказываться от модели, тогда как хорошее ее функционирование
создает определенную степень доверия к модели. Модель никогда нельзя считать
окончательным и истинным описанием системы. Ее скорее можно рассматривать
как способ достаточно хорошего описания тех аспектов поведения системы, которые
представляют для нас наибольший интерес.
Контур идентификации системы. Процедура идентификации системы порождает
следующую естественную логику действия: A) собрать данные; B) выбрать мно-
множество моделей; C) выбрать наилучшую в этом множестве модель. Однако вполне
20
Априорное
знание
Планирование
экспериментов
Текущие
данные
Выбрать
множество
моделей
Выбрать
критерий
согласия
Произвести расчет
модели
НЕ Т ; пересмотреть
модель
I "Да "i использовать
модель
Рис. 1.11. Контур идентификации системы
вероятно, что первая из так найденных моделей не выдержит проверки на этапе под-
подтверждения. Тогда нужно вернуться и пересмотреть различные шаги процедуры.
Существует несколько причин несовершества моделей:
- численный метод не позволяет найти наилучшую по выбранному критерию
модели;
- критерий выбран неудачно;
- множество моделей оказалось неполноценным в том смысле, что в этом мно-
множестве вообще нет "достаточно хорошего'' описания системы;
- множество данных наблюдений не было достаточно информативным для того,
чтобы обеспечить выбор хороших моделей.
По существу, главным в приложениях идентификации является итеративное ре-
решение всех этих вопросов, особенно третьего, на основе априорной информации и
результатов предыдущих попыток. См. рис. 1.11. Очевидно, что важным инструмен-
инструментальным средством решения этой итеративной задачи является диалоговое програм-
программное обеспечение.
1А Организация материала книги
Чтобы овладеть средствами идентификации в контуре на рис. 1.11, пользователь
должен быть знаком с целым рядом вопросов, а именно, он должен знать:
1. Существующие методы идентификации и их обоснование, а также типовые
множества моделей.
Имеющиеся вариан-
варианты выбора
Главы U и 5
Главы 6 и 7
Главы 10 и 11
Выбор
пользователя
Глава 1U
Глава 16
Глава 15
Глава 16
Анализ
Планирование 1
экспериментов |
Данные
Выбор множества
моделей
Выбор критерия
согласия
Расчет модели
1 Подтверждение
| модели
> Главы 8 и 9
Рис. L12. План книги
предварительные
сведения
Инеющиеся
Структуры
моделей
Методы
идентификации
Анализ
Численные
методы
Варианты выбора
пользователя
Средства
идентификации
Рис. L13. Связи между главами книги
2. Свойства идентифицируемой модели и их связь с основными компонентами
процедуры: данными, множеством моделей и критерием идентификации.
3. Численные методы расчета оценок.
4. Разумные схемы выбора планов экспериментов, множеств моделей и критерия
идентификации как на основе априорной информации, так и по данным наблю-
наблюдений.
На деле лицо, использующее процедуры идентификации, может обнаружить,
что он (или она) является пользователем интерактивного пакета программ для ре-
22
шения задач идентификации. Решение вопросов 1 и 3 реализовано непосредственно
в пакете и для >спешного поиска ответа на вопрос 4 важно хорошо разбираться в
вопросе 2. Это объясняет подзаголовок книги: 'Теория дня пользователя" и именно
вокруг этой темы концентрируется ее материал.
Организация материала в книге подчинена идее охарактеризовать список обще-
употребимых и полезных множеств моделей, непосредственно перечисляемых в гла-
главах 4 и 5. Известные методы идентификации представлены в главах 6 и 7 и исследу-
исследуются в главах 8 и 9. Численные методы решения прикладных задач идентификации
в автономном режиме и непосредственно в контуре управления описываются в гла-
главах 10 и 11. После некоторого предварительного обсуждения (главы 12 и 13) рас-
рассматриваются задачи, связанные с решением вопроса 4 о выборе пользователей. Им
в основном посвящены главы 14-16. Кроме того, в главах 2 и 3 приводится некото-
некоторая начальная сводка необходимых формальных результатов, а в главе 17 описыва-
описываются применения методов идентификации для решения практических задач.
На рис. 1.12 приведена схема размещения материала книги в привязке к задачам,
решаемым в контуре идентификации систем. Блок-схема взаимосвязи глав книги
приводится на рис. 1.13. Помимо прочего с помощью этой блок-схемы читатель
сможет определить, какие главы могут быть опущены без ущерба для понимания
материала всей книги.
О концептуальной основе книги. Предмет системной идентификации трак-
трактуется в этой книге на весьма общей концептуальной основе. Мы не ограничи-
ограничиваем рассмотрение линейными моделями или квадратичным критерием и не пред-
предполагаем, что система может быть описана в рамках конкретного множества мо-
моделей. Тем не менее нередко приводятся доказательства и выписаны явные фор-
формулы для некоторых частных случаев, например, случая одномерной системы
и квадратичного критерия. Целью при этом являлось, конечно, выпукло обри-
обрисовать основные идеи, не скрывая их за техническими деталями. Соответствую-
Соответствующие ссылки, как правило, адресуют читателя к результатам более общих исследо-
исследований.
Обычно задачи параметрического оценивания и идентификации трактуются как
вероятностные. Мы в этой книге придерживаемся в основном той же точки зрения.
Однако мы иытаемся быть и прагматиками, избегающими вероятностных интер-
интерпретаций. Иначе говоря, описываемые нами методы и приводимые рекомендации
должны допускать и невероятностное толкование, несмотря на то, что "оптималь-
"оптимальность" соответствующих решений являлась следствием именно их вероятностной
формулировки. Вероятностные и статистические конструкции описываются в При-
Приложениях I и II соответственно. Эти дополнения можно прочесть заранее или обра-
обращаться к ним по мере необходимости. Как бы то ни было, в основном изложении
этот дополнительный материал используется мало.
1.5. Комментарии к библиографии
Литература по идентификации систем со всеми ее разделами весьма обширна.
Среди наиболее общих монографий можно упомянуть книги Бокса и Дженкинса
[62], Эйкхоффа [ПО] ,Сириетаи Ванстсенкисте [384] как достаточно полные ис-
исследования, относящиеся к некоторым практическим разделам идентификации,
и книги Гудвина и Пейна [141], Дэвиса и Винтера [93] и Седерстрема и Стойки
[375] с более абстрактным изложением теории. Кашьяп и Рао [210] подчеркивают,
что в их толковании теории центральное место занимают процедуры подтвержде-
подтверждения и выбора моделей, а Седерстрем и Стойка [374] особое внимание уделяют
методам инструментальных переменных. Среди работ по рекуррентным методам
идентификации отметим книги Льюнга и Седерстрема [262] и Янга [448]. К пред-
23
мету идентификации систем вполне естественно отнести статистические исследо-
исследования моделей временных рядов, описанные в монографиях Т.Андерсона [14],
Хэннана [163] и Бриллингера [63].
Из сборников работ можно упомянуть книги под редакцией Мера и Лайниоти-
са [85], Эйкхоффа [111], Хэннана, Кришнайа и Рао [173] и Леондеса [232] и тема-
тематические журнальные выпуски под редакцией Кайлафа, Мера и Мейна [197] и
Изерманна [187] .Большое число статей, относящихся к разным разделам теории
идентификации, можно найти в трудах симпозиумов IFAC по идентификации и
оцениванию параметров (Прага, 1967, 1970; Гаага, 1973; Тбилиси, 1976; Дармштадт,
1979; Вашингтон, 1982; Йорк, 1985; Биджинг, 1988)*).
Философские аспекты математического моделирования реальных объектов рас-
рассмотрены, в том числе, в работе Поппера [326]. Методология моделирования на
основе законов физики, а не данных наблюдений, обсуждается во многих книгах,
см., например, работы Уэлстеда [426], Николсона [307] и Фредерика и Клоза
[121] с описываемыми в них техническими приложениями. Подобные исследова-
исследования существенно дополняют представления о методах выбора множеств моделей
(см. раздел 1.3 и главу 16).
Во многих книгах рассматриваются вопросы применения методов модели-
моделирования и идентификации в различных прикладных областях. См., например,
монографии Гранджера и Ньюболда [145] или Малинво [274] (эконометрика),
Годфри [137] (биология), Робинсона и Трейтеля [345] или Менделя [288] (гео-
(геофизика), Дадли [102] (электромагнитные поля), Маркеля и Грея [277] (речевые
сигналы) и Бека и ван Стратена [37] (экология). Работы советских авторов пере-
перечислены в обзоре Н. Райбмана [332].
*) Труды симпозиумов в Гааге и Тбилиси издаиы North-Holland, Amsterdam, остальные труды
выпускались Pergamon Press, New York.
Часть I
СИСТЕМЫ И МОДЕЛИ
Глава 2
СТАЦИОНАРНЫЕ ЛИНЕЙНЫЕ СИСТЕМЫ
Стационарные линейные системы, несомненно, представляют собой наиболее
важный класс динамических систем, рассматривающихся в теории и на практике.
Нужно понимать, что такие системы соответствуют идеализированному представле-
представлению о реально протекающих процессах. Но несмотря на это, такое приближение
оправдано, а проектные решения, основанные на использовании линейной теории,
во многих случаях приводят к хорошим результатам.
Курсы по теории линейных систем входят во все типовые программы инженер-
инженерного образования и, несомненно, читателю кое-что о них известно. Тем не менее,
в этой главе мы напомним те основные положения теории, которые будут использо-
использованы в дальнейшем изложении. В разделе 2.1 рассматриваются импульсная реакция
и различные подходы к описанию и интерпретации помех, вводится также понятие
передаточной функции. В разделе 2.2 исследуются частотные представления и вво-
вводится понятие периодограммы. В разделе 2.3 развивается единый подход к спект-
спектральному описанию детерминированных и случайных сигналов, который затем про-
проводится по всей книге. В разделе 2.4 доказан основной результат об эргодичности.
Всюду изложение ведется для системы со скалярным входным и скалярным выход-
выходным сигналами. Аналогичные выражения для многомерных систем представлены в
разделе 2.5.
2.1. Импульсные реакции, помехи и передаточные функции
Импульсная реакция. Рассмотрим систему со скалярным входным сигналом
u(t) и скалярным выходным сигналом y(t) (рис 2.1). Говорят, что система ста-
стационарна, если форма ее реакции на произвольный входной сигнал не зависит от
выбора начала отсчета времени. Говорят, что система линейна, если ее выходная
реакция на линейную комбинацию входных сигналов совпадает с линейной ком-
комбинацией выходных реакций на каждый отдельный входной сигнал. Кроме того,
систему называют причинно обусловленной, если значение выходного сигнала в
произвольный момент времени зависит от значений входного сигнала в более ран-
ранние моменты времени до текущего момента включительно.
Хорошо известно, что линейная, стационарная, причинно обусловленная систе-
система может быть описана импульсной реакцией (или весовой функцией) g(r), a
именно:
У@= I x{T)u(t-T)dr. B.1)
о
25
Зная {g(r)} 7 = о и w(s) для s < f. можно произвести последовательный расчет
выходного сигнала y(t) (s < t) для любого входного сигнала. Таким образом, им-
импульсная реакция полностью определяет поведение системы.
Дискретизация. Как следствие типового подхода к сбору информации почти
по всей книге мы будем иметь дело с наблюдениями входных и выходных сигна-
сигналов, относящихся к дискретным моментам времени. Таким образом, будем пред-
предполагать, что y(t) наблюдается в выборочные моменты времени tk = кТ {к =
= 1,2,...):
у(кТ) = / g(T)u(kT-T)dr. B.2)
о
Интервал Т будем называть выборочным интервалом. Можно, конечно, рассматри-
рассматривать случаи неравномерно расположенных моментов выборочных измерений.
u(t)
y(t)
Рис. 2.1. Система
В компьютеризованных системах управления входной сигнал и (г) чаще всего
постоянен в интервале между выборочными моментами времени:
u(t) = uk, kT<t<(k+\)T. B.3)
Будучи обусловленным в основном чисто практическими соображениями, это об-
обстоятельство чрезвычайно упрощает анализ системы. Подстановка B3) в B.2) дает
гт
= f g(r)u(kT-T)dT = 2 / g(r)u(kT-T)dT =
о / i (/i)r
=
где
оо
/= 1
-(/) =
0
IT
[ / g(j)dT ] t
(l-l)T
IT
f g{r)dr.
l - i
oo
B.5)
(/-1)Г
Соотношение B.4) определяет значения выходного сигнала в выборочные моменты
времени. Отметим, что для входных сигналов, удовлетворяющих условию B.3),
соотношение B.4) является точным, и для расчета отклика на входной сигнал доста-
достаточно знать последовательность {^^@) 7= i • Соотношение B.4) описывает систе-
систему с дискретными, или выборочными, наблюдениями, и мы будем называть после-
последовательность {gr@} 7= i импульсной реакцией этой системы.
Даже если входной сигнал не является кусочно-постоянным и не удовлетворяет
условию B.3), запись B.4) может оставаться приемлемой аппроксимацией при ус-
условии, что изменения в выборочном интервале не слишком велики. См. также соот-
соотношения B.21)- B.26).
К обозначениям из формул B.3)- B.5) мы будем прибегать в тех случаях, когда
существенны выбор начала отсчета и величина интервала Т. Но в большинстве случаев
обозначения можно упростить, считая, что величина Г равна I, и используя для нуме-
нумерации дискретных моментов времени индекс t. Тогда можно переписать B.4) в виде
у {t) = f g(k)u(t-k), t = 0,1,2,... B.6)
k = 1
26
Для последовательностей будет также использоваться следующее обозначение:
B.7)
и, с еще большим упрощением записи,
Помехи. Используя формулу B.6), можно произвести точный расчет выходного
сигнала, если известен входной сигнал. Последнее в большинстве случаев нереально.
Всегда найдутся такие неконтролируемые сигналы, которые также влияют на пове-
поведение системы. В рамках линейной теории используется предположение, что влияние
Рис. 2.2. Система с помехой u(t)
этих сигналов сводится к аддитивной компоненте v (t) в выходном сигнале (см»
рис. 2.2):
у (О = ? g(k)u(t-k) + v(t). B.8)
к = 1
Существует множество источников и причин возникновения таких шумовых до-
добавок. Отметим некоторые из них.
Шум наблюдений. Датчики-измерители сигналов подвергаются воздействию по-
помех и дрейфу.
Неконтролируемые входы. В систему поступают сигналы, которые имеют харак-
характер входных, но не контролируются пользователем. Если взять, например, самолет,
то направление его полета зависит не только от положения рулевого оперения и эле-
элеронов, но также от порывов ветра и турбулентности атмосферы. Другой пример - это
помещение с центральным отоплением, в котором температура зависит не только от
управляемой степени нагрева радиаторов, но и от непредсказуемого, постоянно
меняющегося числа людей в помещении (==» 100 Вт на человека) .
Характер помех может изменяться в широком диапазоне. Классическим спосо-
способом описания помех в задачах управления является введение скачкообразных и им-
импульсных воздействий, в то же время в рамках стохастической теории управления
помехи задаются как реализации случайных процессов. На рис. 2.3 и 2.4 приведены
примеры помех с типичными, но совершенно разными характеристиками. В некото-
некоторых случаях помехи могут быть измерены раздельно, однако более типична ситуация,
когда воздействие помех обнаруживается лишь по тому совокупному эффекту,
который порождает действие помех в выходном сигнале. Разумеется, если известна
импульсная реакция системы, то фактическая величина помехи в момент t может
быть найдена из формулы B.8).
Предположение об аддитивном характере помехи на выходе системы (см.
рис. 2.2) накладывает некоторые ограничения. Иногда и измерения входного сиг-
сигнала могут быть искажены шумом (модель "ошибки в переменной"). В этих слу-
случаях будем действовать чисто прагматически, полагая, что результаты замеров вход-
входного сигнала и есть действительный входной сигнал u(t) объекта, а их отклонения
от истинных воздействий, пропущенные через систему, включаются в помеху v (t),
показанную на рис. 2.2.
Характеристики помех. Наиболее характерной особенностью помехи является то,
что значение помехи заранее неизвестно. Однако информация о прошлых значениях
27
Частота
tj t2 Время
Рис. 2.3. График частоты генератора напряжения переменного тока при изменении нагрузки в ин-
интервале [/lf t2 ]
Рис. 2.4. Натяжение бумаги в сушильном агрегате бумагоделательной машины
помехи могла бы использоваться для обоснования оценок ее последующих значений.
Для описания будущего поведения помехи естественно использовать язык вероят-
вероятностных конструкций. Тогда для текущего момента t хотелось бы высказать какие-
то соображения о характере помех в моменты t + к (к > 1). Полной характеристи-
характеристикой была бы условная совместная плотность вероятности значений {v(t + к), fc > 1}
при заданном наборе { v (s), s < t } . Однако в большинстве случаев реализация этой
идеи потребовала бы слишком трудоемких вычислений, вместо этого мы поступим
более просто.
Пусть v (t) задается соотношением
v(t) = 2 h(k)e(t-k),
к = о
B.9)
где {e(t)} — последовательность взаимно независимых (одинаково распределен-
распределенных) случайных величин с некоторой функцией плотности вероятности. Такое описа-
описание хотя и не дает полной характеристики вероятностных свойств помехи, но явля-
является достаточным доя достижения большинства практических целей. В.разделе 3.1
будет показано, каким образом можно использовать соотношение B.9) для пред-
предсказания и формирования статистических гипотез о будущем поведении помех. В
целях нормировки обычно будем считать, что И @) = 1. Это не умаляет общности,
поскольку всегда можно надлежащим образом подобрать величину дисперсии сиг-
сигнала е (г).
Следует понимать, что задание различных функций плотности вероятности для
последовательности { е (t) } может порождать помехи с самыми разными характе-
характеристиками. Если, например,
e(t) = O с вероятностью 1 — ju, q \Q\
e(t)-r с вероятностью ju,
где г - нормально распределенная случайная величина с распределением ЛГ(О, 7) >
то при малом (I последовательность значений помехи будет представлять собой неко-
некоторый процесс с нулевым средним и характерным набором всплесков "детерми-
"детерминированной" формы, происходящих в случайные моменты времени. См. рис. 2.5.
Этого могло бы хватить для описания помех "классического вида": скачков, им-
импульсных всплесков, синусоид и трапецевидных помех (см. рис. 2.3). С другой
стороны, задание плотности вероятности в виде
дает совершенно другую картину. См. рис. 2.6. Эта картина больше подходит для
28
Рис. 2.5. Реализация процесса B.9) при е, удовлетворяющем B.10)
Рис. 2.6. Реализация того же процесса B.9), но для е, удовлетворяющего B.11)
описания шумов измерений и других нерегулярных и высокочастотных шумов
"входного тина".
Нередко ограничиваются заданием только характеристик второго порядка пос-
последовательности ie(t)} , т.е. средних значений и дисперсий. Отметим, что соотно-
соотношения B.10) и B.11), отличаясь по виду, задают последовательность взаимно не-
независимых случайных величин с нулевым средним и дисперсией X (в формуле B.10)
Х )
Замечание. Определенные выше последовательности {е (г)} и {v (г)} яв-
являются случайными процессами (т.е. последовательностями случайных величин).
Отсюда следует, что наблюдаемые значения аддитивной на выходе помехи представ-
представляют собой реализации случайного процесса {v(t)} . Строго говоря, для процесса
и его реализаций следует пользоваться разными обозначениями, однако не стоит
взваливать на себя эту "дополнительную ношу", поскольку обычно конкретный
смысл величины ясен из контекста. Часто приходится сталкиваться с изучением сиг-
сигналов, которые представляют собой смеси детерминированных и случайных компо-
компонент. Методология такого исследования будет обсуждаться в разделе 2.3.
Функция ковариации. Используя формулу B.9) для v(t), можно вычислить
среднее значение
Ev(t) = 2 h(k)Ee(t-k)=0
к = 0
и ковариацию
Ev(t)v{t-T)= 2 ? h(k)h($)Ee(r-k)e(t-T-s) =
к = 0 5-0
B.12)
к = 0 s= 0
h(k)h(s)d(k-T-s)X =
B.13)
= X 2 h(k)h(k- r).
к =* 0
Здесь Л (О = 0 при г < 0. Отметим, что так определенная ковариация не зависит от
/ i; назовем
Rv(T)=Ev(t)v(t~T) B.14)
29
функцией ковариации процесса v. Эта функция вместе со средним значением опре-
определяет характеристики второго порядка процесса и, которые тем самым однознач-
однозначно определяются заданием последовательности {/?(?)} и дисперсии Л процесса е.
Поскольку функция B.14) и Ev(t) не зависят от Г, процесс называется стацио-
стационарным.
Передаточные функции. Удобно ввести сокращенные обозначения для сумм,
фигурирующих в формулах тина B.8) и B.9), которые будут часто возникать в
этой книге. Введем оператор сдвига вперед q:
qu(t)= u(t + i),
и оператор сдвига назад q~l:
q'lu(t) = u(t -1).
Можно переписать формулу B.6) в виде
y(t)= ? g(k)u(t-k) = ? g(k)(q-ku(r)) =
k = 1 k = 1
= [ f g(k)q-k] u(t) = G(q)u(t\ B.15)
к = 1
где используется обозначение
G(q)= ? *(*)<Г*. B.16)
л = i
Будем называть G(cf) передаточным оператором или передаточной функцией линей-
линейной системы B.6). Заметим, что формула B.15) описывает связь между последо-
последовательностями иг и у*.
Замечание. В качестве аргумента функции G выбрана переменная </, а не
q~l (что, судя по виду правой части, могло бы казаться естественным), чтобы сог-
согласовать получающуюся запись с формулами z-преобразования и преобразования
Фурье. Строго говоря, термин "передаточная функция" следовало бы зарезервиро-
зарезервировать доя z-преобразования последовательности {g (k)} 7 , т.е.
G(z) = ? g(k)z~k, B.17)
к = 1
но иногда мы не будем придавать значений этой тонкости.
Аналогично, вводя
H(q) = ? h(k)q-k, B.J8)
к = О
можно записать вместо формулы B.9)
v{t)=H(q)e(t). B.J9)
Таким образом, основной формой записи уравнений линейной системы с аддитив-
аддитивной помехой становится соотношение вида
B.20)]
где {e(t)} — это последовательность взаимно независимых случайных величин с
нулевым средним и дисперсией X.
Непрерывные по времени представления и дискретные передаточные функции.
Для многих физических систем естественно использовать непрерывное по времени
30
представление, задаваемое формулой B.1), поскольку базовые соотношения запи-
записываются в виде дифференциальных уравнений. Если через Gc(s) обозначить преоб-
преобразование Лапласа от импульсной реакции системы {#(т)} из формулы B.1), то
можно записать соотношение
Y(s)=Gc(s)U(s)y B.21)
связывающее переменные Y(s) и U(s), преобразования Лапласа от выходного и
входного сигналов соответственно. Вводя оператор дифференцирования р, можно
было бы переписать исходное дифференциальное уравнение B.1) в краткой опера-
операторной форме:
= Gc(p)u(t). B.22)
В этом случае уравнение B.1) (или B.22)) описывает поведение выходного сигнала
для всех непрерывных моментов времени t. Если {u(t)} — известная функция
(не обязательно кусочно-постоянная), то уравнение B.22) можно конечно исполь-
использовать и для описания выборочных значений выходного сигнала, имея при этом в
виду, что в процедуру расчета этих значений войдет численное интегрирование диф-
дифференциального уравнения. В самом деле, дискретную модель B.9), которой опи-
описывается помеха на выходе системы, можно преобразовать к виду
y(t)=Gc(p)u{t)+H(q)e(t\ r=l,2f... B.23)
Однако вместо этого мы, как правило, будем переходить от непрерывного описания
B.22) к стандартной дискретной модели B.15), используя Преобразование переда-
передаточных функций
Gc(p)->GT(q). B.24)
Здесь Т обозначает выборочный интервал. Если входной сигнал в выборочном интер-
интервале постоянен (а вообще, кусочно-постоянен), то в силу B.4) замена является
точной. См. задачу 2G.4, где предлагается выписать явную формулу для передаточ-
передаточной функции, а также формулы D.65)-D.68), более удобные в численных, мето-
методах расчета. Можно воспользоваться и приближенными формулами, которые полу-
получаются, если заменить дифференцирование вычислением конечных разностей. Так
можно прийти к формуле эйлеровой аппроксимации
'<7-1
и формуле Тастина
/2 q~\ \
ttz~j- B26)
Дальнейшее обсуждение можно найти в работе Острема и Виттенмарка [32].
Некоторые термины. Функция G(z) из формулы B.17) представляет собой
комплекснозначную функцию от комплексной переменной z. Значения /},-, которые
являются решениями уравнения G(($j) = 0, называются нулями передаточной функ-
функции (или системы), а значения а,-, при приближении к которым функция G(z) стре-
стремится к бесконечности, называют полюсами. В полном соответствии с терминологи-
терминологией теории аналитических функций (см., например, [1]). Если G(z) — рациональная
функция от z, то полюса представляют собой нули полинома в знаменателе переда-
передаточной функции.
31
Будем говорить, что передаточная функция G(q) (или "система G", или "фильтр
G") устойчива, если
G(<7)= ? *(*)<Г*. ? !*(*)!<-. B.27)
fc= i Л = 1
Определение B.27) совпадает с известным в теории определением ОРОВ-устой-
чивости (ограниченная реакция на ограниченный входной сигнал), см., например,
[66]: если выполнено условие B.27), то для ограниченного входного сигнала
\u(t)} системы G(q) (| и (г) | < С), и выходной сигнал z (t) = G(q)u(t) также ог-
ограничен (|z(/)|< С"). Отметим, что выполнение B.27) гарантирует сходимость
разложения Лорана
GB)= ? g(k)zk
к = 1
всюду, где | z | > 1. Это означает, что функция G(z) вне открытого единичного круга
является аналитической. И, в частности, не имеет полюсов в этой области.
Часто придется иметь дело с семействами фильтров Ga (q) , а Е Л :
Ga{q)= ? g*(k)q-k, сел. B.28)
к = 1
Будем говорить, что семейство является равномерно устойчивым, если
I **(*)!<*(*) VaG^, f *(*)<-• B.29)
fc = i
Иногда требуется несколько более сильное условие, чем условие B.27). Говорят,
что G(q) является строго устойчивой, если
? *i*(*)l<~. B.30)
к = 1
Отметим, что для рациональной по q передаточной функции из устойчивости вытека-
вытекает строгая устойчивость (разумеется, верно и обратное утверждение). См. задачу
2Т.З.
Наконец, фильтр H(q) называется моническим, если коэффициент с нулевым
номером равен 1 (или единичной матрице), т.е.
#(</)= ? h(k)q~kf Ао = 1. B.31)
к = О
2.2. Частотные формулы
Синусоидальный отклик и частотная характеристика. Представим себе, что на
вход системы B.6) поступает гармонический сигнал
и (t)= cos <ot. B.32)
Этот сигнал удобно представить в виде
u(t)=Reeiwty
где Re обозначает вещественную часть числа. В силу B.6) соответствующий выход-
32
ной сигнал можно записать как
y(t)= 2 *(*)Ree/w(f-fc) = Re f
к = l fc = l
= Re{elW 2 *(*)*-'"* ) = Re {e'wG(e/w)} = I G(e'w)| cos(arf + </?), B.33)
л = l
где
*=argG(e/GJ). B.34)
В этой цепочке второе равенство следует из вещественности чисел g (к) , а четвертое
равенство — из определений B.16) или B.17). Пятое равенство вытекает непос-
непосредственно из свойств комплексных чисел.
В B.33) предполагается, что входной сигнал являлся косинусоидой в сколь-
угодно далеком прошлом. Если u(t) = О при t < 0, то в B.33) появляется допол-
дополнительный член
-Re {*'"' 2 g(k)e-iu>*}.
к = t
Этот член мажорируется величиной
1
к ~ t
и, следовательно, имеет характер переходного процесса (стремится к 0 при t, стре-
стремящемся к бесконечности) при условии, что G(q) устойчива.
В любом случае из B.33) следует, что выходной сигнал, определяемый форму-
формулой B.32), также окажется косинусоидальным сигналом той же частоты, амплиту-
амплитуды, усиленной в \G(etLJ)\ раз, и фазовым сдвигом, равным arg G(eiw) радиан. Отсю-
Отсюда следует, что комплексная величина
<?(e'w), B.35)
равная значению передаточной функции в точке z = elU>, полностью характеризует
поведение системы в стационарном режиме при синусоидальном входном сигнале
частоты со. Поэтому комплекснозначную функцию
G(e'w), -7T<w<7T, B.36)
называют частотной характеристикой системы B.6). В качестве графического пред-
представления этой характеристики принято использовать графики зависимостей
lg | G(eIW)| и argG(eICJ) от lg со. Такое представление называют диаграммой Воде.
Годограф B.36) на комплексной плотности называется диаграммой Найквиста. Эти
конструкции, по-видимому, более известны для непрерывного случая, но все их
основные свойства переносятся и на случай выборочных данных.
Периодограммы сигналов над конечными интервалами. Рассмотрим конечную
последовательность значений входного сигнала u(t) (/ = 1, 2, . . . ,N). Определим
функцию Un(co):
2 u{t)e~lwt. B.37)
i
Последовательность значений этой функции в точках со = 2nk/N (k = 1, 2, . . . , N)
представляет собой известное дискретное преобразование Фурье (ДПФ) последо-
последовательности и1?. Сигнал u(t) можно представить через обратное ДПФ, используя
2. Л. Лыонг 33
соотношение
1 N
B.38)
Для доказательства подставим B.37) в правую часть B.38) и получим
I n n / i2nks \ (il-nkt \
— 2 2 u(s)exp( Jexpl ) =
TV fc= i *= i \ N J \ N J
1 N N ( 2nik(t -s)\ 1 ^
= — 2 u(s) 2 exp( ) =— 2
N s=J k= \ \ N / N s= \
Здесь использовано соотношение
1 N
( f Г 0' B.39)
Из B.37) видно, что функция UN(co) имеет период 2тг:
B.40)
А поскольку сигнал и(/) является вещественным,
B.41)
где черта сверху обозначает взятие комплексно-сопряженного числа. Таким об-
образом, функция Un(oS) полностью определяется своими значениями в интервале
[О, тг]. Тем не менее, принято рассматривать функцию U^(io) в интервале
[- я, я], поэтому используя формулу B.40) и периодичность функции eICJ, фор-
формулу B.38) часто записывают в виде
\ Nl2 /Ink \
U{t) = —— 2 UN ( \ei2nktlN B 42)
yj/\f к = -N/2 + ] \ N /
В формуле B.42) и следующих за ней N считается четным, для нечетного N можно
выписать аналогичные пределы суммирования.
В формуле B.42) сигнал u(t) представляется в виде линейной комбинации N
экспонент eiu>t разных частот со. Как показано в задаче 2D.1, посредством пос-
последующих преобразований этот сигнал можно представить в виде суммы cos со/
и sin cor с теми же частотами, избавившись от комплексных чисел.
Число UwilnklN) характеризует "вес" компоненты с частотой со = 2nk/N в раз-
разложении сигнала {и(t)} ^= j. Квадрат модуля этого числа | UNBiiklN)\2 является
мерой энергетического вклада соответствующей частотной компоненты в суммар-
суммарное "действие сигнала". Эта величина
\UN(co)\2 B.43)
известна под названием периодограммы сигнала u(t) (j = 1, 2,. .. ,7V) .
Равенство Парссваля
12 N
2
к = 1
)
N /\ t = i
u2(t) B.44)
является еще одним свидетельством в пользу правильности утверждения об ад-
аддитивности энергии сигнала по разночастотным составляющим. Обратите внима-
внимание на аналогию со спектральным разложением света.
34
Пример 2.1. Периодограмма синусоиды.
Пусть
u(t) = A cosuV, B.45)
где cj0 = 2n/NQ для некоторого целого числа No > 1. Рассмотрим интервал / = 1, 2, . . . , JV, где
N кратно No: N = sN0 . Записывая
cosu,0/=i [*""• ' + «"'"•'],
получим
Используя B.39), находим
.. Аг 2я 2ns
N , если и> = ± cj0 = =
4 2„* ^ " B'46)
О, если w = ——, k^s.
N
Периодограмма в интервале [- я, я| имеет два всплеска.
Пример 2.2. Периодограмма периодического сигнала.
Допустим, что u(t) = u{t + Wo), и рассмотрим сигнал в интервале [ 1, iV J (N = sNQ). В силу
B.42) сигнал в интервале [1,-/VO ) можно записать в виде
*(О = -^- Ni12 Arei2ntr'N*t B.47)
y/N~0 r = -N0/2+l
где
t = I
Поскольку сигнал u периодический, формула B.47) применима во всем интервале [1, /V J . От-
Отсюда сигнал представляется в виде суммы Wo синусоид и, используя результаты предыдущего
примера (или путем непосредственных вычислений) , можно показать, что
s\Ar\2, если cj = -^-, r = 0,± 1,...,±-~-,
Ink ° B-49>
О, если и> = —-— , к Фп.
N
В примерах 2.1 и 2.2 периодограммы оказались "хорошими**. Обычно, когда
сигналы являются реализациями случайных процессов, периодограммы описы-
описываются очень нестабильными функциями частоты. См. рис. 2.8 и лемму 6.2.
Преобразования периодограмм. После пропускания сигнала через линейный
фильтр его периодограмма меняется. Покажем теперь, какое влияние оказывает
линейная фильтрация на преобразование Фурье сигнала. Отсюда сразу станет ясно,
как преобразуются соответствующие периодограммы.
Теорема 2.1. Пусть сигналы { s (/)} и (и>(/)} разделяет строго устойчи-
устойчивая система G(q):
s(O=G(q)w(t). B.50)
Для t < 0 входной сигнал w(t) неизвестен, но удовлетворяет неравенству \ w(t) | <
2* . 35
<CW, справедливому при всех t. Пусть
^ 2 i
s/N
где
SN (со) = С(е'ы) Wn (со) + RN (со),
Cg
y/N
B.51)
B.52)
B.53)
B.54)
= 2
к = I
Доказательство. По определению имеем
1 n i оо N
fc = i t = \
y/N t= i
= [замена переменных: t - к- т] =
Тогда
1 n
2
«-IfCJ _
B.55)
1
о
2
Отсюда вытекает, что
N-k
2
,-/tw
V5v t=i-*
<—— ^cw.
y/N
B.56)
-| 2
N-l
\//v
vv(r) <
что и доказывает выполнение соотношений B.53)— B.55) .
Следствие. Пусть сигнал (и>(/)} имеет период N. ТогдаЯ^(со) из форму-
формулы B.53) равна 0 при со = 2nk/N.
Доказательство. Левая часть формулы B.56) равно 0 для периодичес-
периодической функции vv(r) в точках со = 2nk/N.
36
2.3. Спектры сигналов
В некотором смысле периодограмма определяет "частотное наполнение" сигнала
в конечном интервале времени. Однако, как правило, нестабильность периодограм-
периодограммы как функции от со сильно искажает эту информацию. Хотелось бы построить
аналогичную конструкцию в интервале t Е [1, °°) . Можно предположить, что такой
аналог позволит более четко оценить вклад в сигнал различных частот.
Впрочем, в рассматриваемом контексте дать такое определение сразу не удается.
Представляется более естественным определить спектр сигнала s как
lim \SN(u)\\ B.57)
N -*¦ <*>
но этот предел для многих практически интересных сигналов не существует. Другая
возможность сводится к тому, что спектр, или спектральная плотность стационарно-
стационарного случайного процесса определяется как преобразование Фурье от функции кова-
риации процесса. Однако рассматриваемые нами процессы часто не являются стацио-
стационарными. О причинах речь пойдет дальше. Ниже будет изложена схема описания сиг-
сигналов и их спектров, которая приложима как к детерминированным, так и случай-
случайным сигналам.
Общая схема описания детерминированных и случайных сигналов. В этой книге
нам придется часто работать с сигналами, которые описываются случайными процес-
процессами с детерминированными компонентами. Дело в том, что нам удобнее рассмат-
рассматривать входную последовательность как детерминированную или, но крайней мере,
частично детерминированную, считая возмущения, поступающие в систему, случай-
случайными величинами. В результате выходной сигнал системы становится случайным про-
процессом с детерминированными компонентами. Для уравнения B.20) находим
т.е. процесс {у (/) } не является стационарным.
Чтобы преодолеть эту трудность, будем считать, что сигнал (s(r)} удовлетво-
удовлетворяет следующим предположениям:
(О Es(t) = ms(t)9 \ms(t)\<C Vr,
r) = Ra(t,r)9 \Ra(t,r)\<C, B.58)
1 "
lim — 2 Rs(t,t t) = Rs(t) Vr. B.59)
N — «> N t = i
При выполнении условий (i) и (ii) процесс {s (г)} называется квазистационар-
квазистационарным. Здесь математическое ожидание Е берется по "случайным компонентам" s (/).
Если процесс {$(/)} представляет собой детерминированную последовательность,
то вычисление математического ожидания по сути дела не производится, а квазиста-
квазистационарность означает, что { s (t) } — это такая ограниченная последовательность,
для которой существует предел
Л,(т)= lim — 2 s(t)s(t-T).
N -> «> N t = 1
Если {s(f)} — стационарный случайный предел, то формулы B.58) и B.59) стано-
становятся тривиальными, поскольку Es (/) s (t - г) = Rs (г) не зависит от /.
Для упрощения обозначений введем символ Ё:
Ef(r)= lim ~ Ef(f\ B.60)
t -*¦ «> N
37
неявно предполагая, что соответствующий предел существует. Тогда формула B.59) ,
которая является определением функции Rs (r) , может быть преобразована к виду
Es(t)s(t-T)=RS(T). B.61)
Иногда мы будем не вполне точно называть Rs (г) функцией ковариации процессам,
отдавая себе отчет в том, что такое название корректно только тогда, когда { s (/)} -
стационарный случайный процесс с нулевым средним.
Точно так же будем называть два сигнала {$(/)} и lw@) взаимно квазиста-
квазистационарными, если оба сигнала квазистационарны и, кроме того, существует функция
взаимной ковариации
Rsw(t) = Es(t)w(t-T). B.62)
Будем говорить, что взаимно квазистационарньте сигналы некоррелированы, если
соответствующая функция взаимной ковариации тождественно равна 0.
Определение спектров. Когда существуют пределы типа B.61) или B.62),
спектр (энергетический) сигнала {s(r)} определяют как
Ф,(ы)= ? Л,(г)е~/ты, B.63)
а взаимный спектр сигналов {$(/)} и {w(t)} —как
Ф^(со) = si^w(T)e"'TW B.64)
при условии, что введенные бесконечные суммы существуют. В дальнейшем, говоря
о "спектре" сигнала, мы будем неявно предполагать, что все включенные в опреде-
определения условия выполнены.
Хотя спектр Ф.у(со) всегда веществен, спектр Ф,и,(о>) в общем случае является
комплекснозначной функцией от со. Его вещественная часть известна под названием
коспектра, а мнимая часть — квадратурного спектра. Аргумент аг§Ф5Н, (со) называют
фазовым спектром, а | <Z>SW (со) | - амплитудным спектром.
Заметим, что по определению обратного преобразования Фурье
- 1 ! 7
Es (/) = Rs@) = J Ф5(со)с1со. B.65)
2тг -я
Пример 2.3. Спектр синусоиды.
Снова рассмотрим сигнал B.45), распространив его на интервал [1,°°). В этом случае имеем
— 2 Eu(k)u(k - т) = — 2 /12cos(o;0*)cos(cj0(* - г)), т > 0. B.66)
(Знак математического ожидания снимается, поскольку сигнал и является детерминированным).
Далее
1
cos(cj0*)cos(cj0(* - т)) - — (cosBcj0A: - cjot) + cos cjot),
Eu(t)u(t - т) =^— cos и>от = Ru(t).
откуда следует, что
А*
~2
Теперь можно записать спектр в виде
~ Л
'о Ж B.67)
38
где б — функция Дирака. Этот результат хорошо согласуется с формулой B.46) для конечно-
конечного интервала.
Пример 2.4. Стационарные случайные процессы.
Пусть {v(t) } - стационарный случайный процесс с функцией ковариации B.14). Поскольку
в этом случае формула B.59) тождественна формуле B.14), наше определение спектра совпа-
совпадает с обычным. Пусть теперь процесс и определяется формулой B.9). Соответствующая функ-
функция ковариации в этом случае дается соотношением B.13). Используя B.18), можно представить
спектр в виде
J ? И(к)И(к--т)
к = тах(О, т)
? ?
7 = —ею % = max @, т)
= [замена переменных: Л-т = *)«х2 h (s) eisoj 2 h (к) e~iku> = \ | H(eiuj) |2.
s=0 fc = O
Этот результат, как крайне важный для будущих приложений, сформулируем отдельно:
Спектр случайного процесса, описываемого соотношениями v(t) =
= H(q)e(t), где {e(t)) - последовательность взаимно независимых случай-
случайных величин с нулевым средним и ковариацией X, определяется следующей формулой:
<t>v(oj) = \\H(eioj)\\ B.68)
Этот результат нетрудно было бы доказать в частном случае стационарного случайного
процесса, в общем случае он будет доказан в этом же разделе (теорема 2.2). На рис. 2.7 пред-
представлен спектр процесса, показанного на рис. 2.5 и 2.6, а периодограмма реализации, изобра-
изображенной на рис. 2.6, приводится на рис. 2.8.
Пример 2.5. Спектр смеси детерминированного и случайного сигналов.
Рассмотрим теперь сигнал вида
B.69)
где {н(О} - детерминированный сигнал со спектром Фи(и>) и {v(t)} - стационарный случай-
случайный процесс с нулевым средним и спектром Фу(и>). Тогда
Es(t)s(t- T) = Eu(t)u(t- r) + Eu(t)v(t - T)+Ev(t)u(t- т) +Ev(t)v(t - т) =
= Ru(t) + Rv(t)9 B.70)
поскольку Ev(t)u(t - r) = 0. Следовательно,
ф5(") = Фм(") + <М"). B.71)
Связь с периодограммой. Хотя исходное определение B.57) оказывается некон-
неконструктивным, можно доказать осмысленность идейно близкой конструкции, а имен-
именно: доказать, что среднее значение периодограммы слабо сходится к спектру:
Я|^(со)|2^>Ф,(со). B.72)
Это означает, что
lim / Е\Зн(о>)\2Ъ(со)с1со= j Ф5(со)Ъ(<о)г?<о B.73)
N -*¦ » —я — оо
для всех достаточно гладких функций Ъ(со).
Справедлива следующая лемма.
Лемма 2.1. Пусть сигнал {s(t)} является квазистационарным со спектром
Фу (со). Пусть также
39
7t
oj^pad/c
Рис. 2.7. Спектр процесса v(t) - l,5u(f -1) + 0,7u(f - 2) = e(t) + 0,5e(f - 1), где {e(t)} - белый
шум
Рис. 2.8. Периодограмма реализации с рис. 2.6
а Ъ (со) - произвольная функция в области | со | < тг с такими коэффициентами
Фурье at, что
2 \аг\<°».
Тогда имеет место соотношение B.73).
Доказательство.
= — 2 2 ?
N fc = i /= i
N-l
2
B.74)
где
1 N
N Nk =
с условием, что s(k) полагается равным 0 вне интервала [1, jV] . Умножая B.74)
на ^(со) и интегрируя в интервале [- тг, тг], в силу определения коэффициентов at
получим
f E\SN(co)\2V(u>)dio= 2 RN(T)<*f
Аналогично, меняя местами операции суммирования и интегрирования, находим
= 2 Rs(r)aT.
— If
Следовательно,
я
— п
2
т= -(N-1]
Доказательство
40
т = -
2
I (о>) io
)
завершается
-ею
п
Rs(r)\ + 2 aTRs(ry
\t\>N
решением задачи 2D.5.
Отметим, что для стационарных случайных процессов результат B.72) может
быть усилен до ''обычной" сходимости (см. задачу 2D.3). Отметим также, что в рас-
рассматриваемом контексте результаты типа B.72) могут быть применены к отдельным
реализациям случайных процессов, если опустить вычисление математических
ожиданий. В этом случае рассматриваемую реализацию воспринимают как заданную
"детерминированную" последовательность, при этом для данной реализации нужно
потребовать выполнения условий B.58) и B.59) (разумеется, формулы B.58)
и B.59) в этом случае используются без оператора Е).
Преобразование спектров в линейной системе. При фильтрации сигналов через
линейные системы их свойства будут изменяться. Из теоремы 2.1 мы видели, как
меняется периодограмма и как, в соответствии с формулой B.68), белый шум пре-
преобразуется в стационарный случайный процесс. Для спектров имеет место следующий
общий результат.
Теорема 2.2.Пусть {w(t)} -- квазистационарный сигнал со спектром Ow(co) и
пусть G(q) -устойчивая передаточная функция. Пусть также
s(t) = G(q)w(t). B.76)
Тогда сигнал {s(t)} также квазистационарен и
Ф,(со)= | G(eiu>)\2<bw(u)9 B.77)
Ф™(«) = ?(*'")<**,(«). B.78)
Доказательство. Доказательство приводится в Приложении 2А.
Следствие. Пусть {y{t)} задается уравнением
y(t)=G(q)u(t) + H(q)e(t), B.79)
где {u(t)} - квазистационарный детерминированный сигнал со спектром Фм(со) и
{e(t)} - белый шум с дисперсией X. Пусть G и И - устойчивые фильтры. Тогда сиг-
сигнал {y(t)} квазистационарен и
Фу(ы) = \С(е*»)\2Фи(и)) + \\Н(е'и})\29 B.80)
Фуи(со) = С(е'")Фи(со). B.81)
Доказательство. Следствие вытекает из теоремы, основанной на приме-
примерах 2.4 и 2.5.
Спектральная факторизация. Обычно используемые здесь передаточные функции
G(q) и H(q) являются рациональными функциями от q. В этом случае результаты
типа формулы B.68) и теоремы 2.2 описывают спектры как вещественнозначные
рациональные функции от el w (это также означает, что они являются рациональными
функциями от cos со).
На практике большой интерес представляет обращение этих результатов, т.е.
решение вопроса о возможности отыскания для заданного спектра Ф„(со) такой пе-
передаточной функции H(q), что процесс v(t) = H(q)e(t) будет иметь этот спектр в
случае, когда (e(t)} - белый шум. Вполне понятно, что для любых положительных
функций Фу(со) это невозможно. Например, если спектр равен нулю в некотором
интервале, то функция H(z) должна быть равна нулю на части единичного круга.
Но поскольку разложение B.18) возможно, только если функция H(z) является
аналитической всюду вне и на единичном круге, то функция H(z) окажется равной
нулю всюду и не будет соответствовать заданному спектру.
Точные условия, при которых поставленный вопрос имеет положительный ответ,
обсуждаются в работах по стационарным процессам, например, в книгах Н. Винера
[434] и Ю. Розанова [348]. Для наших целей достаточно воспроизвести простой ре-
результат, относящийся к спектральным плотностям Фи(со), которые являются рацио-
рациональными по переменной eiu> (или cos со).
41
Допустим, что Фи(со) > 0 является рациональной функцией от cos со (или е1{л)).
Тогда найдется моническая рациональная функция R (z ) от z, у которой нет полюсов
и нулей вне и на единичном круге и такая, что
Ф„(со)=Х| *(*'")I2.
Доказательство этого результата сводится к непосредственному построению функции
R и может быть найдено в стандартных учебниках по случайным процессам или сто-
стохастическим системам управления (см., например, [21, 348]).
Пример 2.6. ARMА-процессы.
Если стационарный процесс {v{t)} имеет рациональный спектр Ф„(со), то его можно пред-
представить в виде
и(Г) = Л(<7)е(г), B.82)
где {e(t)} ¦¦¦ белый шум с дисперсией \. Здесь R {q) - рациональная функция:
C(q) =l+C^-! +... + cncq "С,
A{q) = 1 +Д1<Г1 + . . . +аПаЯ~П*>
поэтому B.82) можно переписать в виде
v(t) + qlV(t - 1)+ ...+anav(t -na) = e(t) + cxe(t - 1) + • •. + cnce(t -nc). B.83)
Такое представление известно иод названием ARMA-модели*). Если пс - 0, то получается
модель авто регрессии (AR-модель):
v(t) +alV(t - 1) + .. .+anav{t - na)=e{t). B.84)
А если па = 0, то получается модель скользящего среднего (МА-модель)
v(t) = e{t) + cxe(t - 1) + . .. + с„се« - пс). B.85)
Метод спектральной факторизации играет важную роль, поскольку только на
основе информации о спектре позволяет представить возмущения в стандартном
виде v = H(q)e. Понятие спектра обычно используется в инженерно-технических ха-
характеристиках свойств сигналов и фигурирует в отчетах в виде фраз: "Помехи
сконцентрированы в окрестности 50 Гц" или "Имеют место низкочастотные помехи,
оказывающие небольшое влияние в диапазоне частот около 1 рад/с". С помощью ра-
рациональных функций можно приблизить функции самого разного вида. Таким об-
образом, метод спектральной факторизации дает прочную основу для моделирования
возмущений.
Свойства второго порядка. В силу данных определений спектрами описываются
такие характеристики сигналов, которые могут быть названы свойствами второго
порядка (для случайных процессов это статистические характеристики второго
порядка, т.е. первые и вторые моменты). Возвращаясь к разделу 2.1, напомним,
что стохастические процессы могут иметь самые разные на вид реализации, даже если
для каждой реализации функция ковариации одна и та же (см. рис. 2.5 и 2.6)! Стало
быть, спектр определяет только некоторые особенности сигнала. Тем не менее, в
дальнейшем мы убедимся, что по отношению к процессу идентификации многие из
свойств сигналов зависят только от их спектров. Это объясняет наш обстоятельный
интерес к свойствам второго порядка.
*) В отечественной литературе используется также сокращение АРСС-модель (модель авто-
авторегрессии со скользящим средним). - Примеч. пер.
42
2.4. Поведение отдельных реализаций и эргодические результаты
Как уже отмечалось, все результаты предыдущего раздела справедливы и в част-
частном случае данного детерминированного сигнала {s(r)}. Сохраняются определения
спектров, их преобразований (теорема 2.2) и формула связи между спектрами и
периодограммами (лемма 2.1), знак математического ожидания Е можно отбросить
и интерпретировать операцию Ef(t) как вычисление
1 ^
ton — 2 f{t).
7V-* «» TV f = 1
В подобных результатах, которые не используют вероятностных рассуждений,
можно найти некоторую прелесть: ведь как бы то ни было, наблюдается только одна
реализация, почему нужно считать, что это реализация случайного процесса, и опи-
описывать ее средние характеристики, взятые по ансамблю возможных наблюдений.
На этот вопрос есть два ответа. Один из них состоит в том, что этот прием упрощает
вычисления. Другой апеллирует к тому, что это позволяет нам проинтерпретировать
результаты многократного повторения эксперимента.
Тем не менее, позволительно спросить, совпадают ли спектры сигнала (s(f)},
определенные в рамках вероятностных концепций и по единственной фактически
наблюдаемой реализации, рассматриваемой как заданный детерминированный сиг-
сигнал? Эта задача относится к эргодической теории, и мы начнем с того, что сфор-
сформулируем следующий достаточно общий результат.
Теорема 2.3. Пусть {s(t)) - квазистационарный сигнаг и Es(t) =m(t). До-
Допустим также, что
m(t) = v(t)= 2 ht(k)e(t-k) = Ht(q)e(t), B.86)
* о
1
N
1
N
1
N
2
2
r= i
N
2
t = i
ls(Ow(/ -
[s(r)u(r -
¦T)-
r)-
Es(t)m(t
Es(t)v(t-
¦) =
- г
r)]
где {e(t)} - последовательность независимых случайных величин с нулевыми
средними, Ee2{t)-\t и ограниченными четвертыми моментами^ {Ift(q), / =
= 1,2,...}- равномерно устойчивое семейство фильтров. Тогда при N^-°° с
вероятностью I имеют место следующие предельные соотношения:
s(tI B.87a)
-> 0, B.87b)
0. B.87c)
Доказательство приводится в Приложении 2В.
Эта теорема достаточно существенна. Она утверждает, что в условиях, когда
стохастическая компонента сигнала может быть описана как фильтрованный бе-
белый шум (формула B.86)), спектр единственной наблюдаемой реализации {5(г)},
рассчитываемый как спектр детерминированного сигнала, с вероятностью 1 совпа-
совпадает со спектром процесса (s(r)}, который определяется путем вычислений сред-
средних по ансамблю по формуле B.61).
Это утверждение ослабляет различие между детерминированными и случай-
случайными сигналами на уровне, ограниченном рассмотрением их свойств второго по-
порядка. Сигнал {s(t)} со спектром Ф5(со) = Х может рассматриваться как реализа-
реализация белого шума с дисперсией X во всех задачах, связанных с характеристика-
характеристиками второго порядка.
43
Теорема дает также ответ на вопрос, как соотносится "теоретический" спектр,
определяемый на основе физически неосуществимых конструкций Е и lim с фак-
фактически наблюдаемой периодограммой B.43). В соответствии с теоремой 2.3 и лем-
леммой 2.1 "сглаженные" версии I SN(oo) |2 при больших N будут выглядеть как
Ф5(оо). Сравните рис. 2.7 и 2.8. Эта связь между нашими теоретическими конструк-
конструкциями и реальными данными несомненно имеет фундаментальное значение. См.
раздел 6.3.
2.5. Многомерные системы
До сих пор мы работали с системами, имеющими скалярный вход и скаляр-
скалярный выход. В этом разделе мы рассмотрим случай, когда выходной сигнал со-
состоит из р компонент, а входной сигнал-из т компонент. Такие системы на-
называются многомерными. Все дополнительные действия, связанные с использова-
использованием моделей многомерных систем, могут быть разбиты на две части.
1. Простая часты в основном смена обозначений, введение операции транспо-
транспонирования, замены некоторых скаляров матрицами, которые могут оказаться не-
некоммутируемыми.
2. Сложная часть: модели со многими выходами имеют гораздо более слож-
сложную внутреннюю структуру, вследствие чего их параметризация нетривиальна. См.
Приложение 4А (это не характерно для моделей с несколькими входами и одним
выходом).
Объединим р компонент выходного сигнала в р-мерный вектор-столбец y(t)>
аналогично введем га-мерный входной вектор u(t). Пусть возмущение e(t) так-
также представляет собой р-мерный вектор-столбец. В этом случае базовая система
уравнений выглядит так же, как и уравнение B.20):
y(t) = G(q)u(t)+H(q)e(t)9 B.88)
где G(q) - матрица передаточных функций размера pXm, a H(q) - матрица раз-
размера рХр. Иначе говоря, (/, /)-й элемент матрицы G(q)9 обозначаемый как
Gij(q), представляет собой скалярную передаточную функцию от входа под номе-
номером / к выходу под номером i. Последовательность {e(t)} — зто последователь-
последовательность независимых случайных р-мерных векторов с нулевыми средними и кова-
ковариационными матрицами Ee(t)eT(t) = Л.
Теперь при правильной матричной интерпретации работают все результаты
этой главы. Отметим, в частности, следующее:
1. Импульсные реакции g(k) и h(k) становятся (р X га)- и (р X р)-матрицами
соответственно с заменой абсолютного значения в определении устойчивости
на норму
II^^IHCZl^l2I'2. B.89)
2. Определения ковариаций (со ссылкой на B.59)) приобретают вид
T~T) = Rs(r), B.90)
t~r) = Rsw(T). B.91)
Теперь это матрицы, нормы которых определяются по формуле B.89).
3. Определения спектров остаются неизменными, но формула B.80) из след-
следствия теоремы 2.2 теперь должна читаться как
<t>y(u>) = G(ei{*>)<i>u(co)GT(e-iw)+H(eiiAj)AHT(e-i{*>). B.92)
Отметим, что спектры векторных сигналов неявно определяют и взаимные спектры
между компонентами сигнала. См. также задачу 2G.3.
4. Утверждение о спектральной факторизации имеет теперь следующую форму-
формулировку. Допустим, что Ov(oo) есть р X р-матрица, которая для всех оо является по-
положительно определенной, а ее элементы - рациональные функции от cos oo (или
elLJ). Тогда найдется моническая матричная функция H(z) размера р X р9 элементы
которой являются рациональными функциями от z (или z), и такая, что (рацио-
(рациональная) функция det H(z) не имеет полюсов и нулей на и вне единичного круга.
(Доказательство можно найти в теореме 10.1 из работы [348].)
5. Формулировка теоремы 2.3 остается без изменений (доказательство много-
многомерного аналога теоремы 2.3 приводится в Приложении 2В).
2.6. Заключение
В качестве базового описания линейной системы с аддитивными случайными
возмущениями установлено соотношение
y(t)=G(q)u(t) + H(q)e(t). B.93)
Здесь {e(t)} - последовательность независимых случайных величин с нулевыми
средними и дисперсиями X (в многомерном случае — ковариационными матри-
матрицами Л). Кроме того,
~*
= 2 g(k)q
1 + 2
Фильтр G(q) является устойчивым, если
2
Читателю, несомненно, известны и другие широко распространенные на практи-
практике способы описания линейных систем и, в том числе, модели в пространстве состоя-
состояний и разностные уравнения. Впрочем, такие модели можно рассматривать как част-
частные способы задания последовательностей {g(k)} и {Л(?)}, с которыми мы позна-
познакомимся в гл. 4 более подробно.
Проведено обсуждение частотной характеристики G(eiLJ) как способа хранения
информации о том, как преобразуется системой входной синусоидальный сигнал
частоты со. Были также изучены такие частотные конструкции, как частотные запол-
заполнения входного и выходного сигналов. Преобразование Фурье сигнала, заданного
в конечном интервале, определялось как
! 2 n(f)e-'w'. B.94)
)
Сигнал s(r), для которого существует функциональная характеристика вида
был назван квазистационарным. Для такого сигнала s(t) спектр определяется как
Ф,(ы)= 2 Rs(T)e-l"T.
Если у порождается соотношением B.93) при нездзисимых {u(t)} и {e(t)}, то
45
2.7. Комментарии к библиографии
Материал этой главы перекрывается многими книгами по теории систем и сигна-
сигналов. В качестве достаточно простого пособия можно рекомендовать книгу Оппен-
хейма и Уилски [310]. В книге Бриллингера [63] изложение ориентировано в сторо-
сторону представления сигналов временными рядами, включая несколько результатов,
аналогичных нашим теоремам 2.1 и 2.2.
Подробное обсуждение процедур дискретизации реальных непрерьшных систем
и дискретизованного представления B.6) приводится в гл. 4 книги Острема и Вит-
тенмарка [32]. Глава 6 этой книги содержит превосходное введение в теорию помех,
включая методы их математического описания. Идея представления помех как
результатов линейной фильтрации белого шума восходит к Е. Вольду [440].
Идеи использования методов Фурье для исследования и описания сигналов древ-
древни, как Вавилон. См. раздел 4.0 книги Оппенхейма и Уилски [310], в котором при-
приводится краткая историческая справка. Периодограммы были, очевидно, введены
Шустером [353] для изучения периодических явлений без обязательного сопостав-
сопоставления их относительных фаз. Статистические особенности периодограмм впервые
исследованы Слутски [362]. См. также работу Бриллингера [63]. Как показано
Винером [433], Вольдом [440], Колмогоровым [214] и другими авторами, понятие
спектра тесно связано с проблематикой гармонического анализа временных рядов.
Среди полезных пособий по спектральной теории, включая методы оценивания спект-
спектральных характеристик, можно назвать книги Дженкинса и Уоттса [193] и Бриллин-
Бриллингера [63]. Данное в этой книге определение преобразования Фурье B.37), включаю-
включающее суммирование от 1 до We нормирующим множителем l/\//V, будучи вполне при-
пригодным для наших целей, не является стандартным. В разных источниках можно
встретить запись множителя, содержащего величину 2тг, как в формуле прямого,
так и обратного (см. B.65)) преобразования Фурье. Наш выбор обусловлен
желанием сделать константу постоянного спектра белого шума равной дисперсии
этого шума. Схема, которая принята здесь для рассмотрения смесей случайных про-
процессов и детерминированных сигналов, является, по-видимому, достаточно новой,
но тесно связана с классическими конструкциями.
В применении к стационарным случайным процессам результат теоремы 2.2
известен. См., например, работы Джеймса, Николса и Филлипса [191] или Острема
[21]. Обобщение этой теоремы на квазистационарные сигналы представляется новым
результатом.
Метод спектральной факторизации оказьшается ключевым в подходе к решению
задачи прогнозирования временных рядов. Эта задача была сформулирована и
решена в работах Винера [434] и Пэйли и Винера [313]. Многомерный аналог рас-
рассмотрен в работе Юла [443]. Теперь этот подход изложен в учебниках по теории ста-
стационарных процессов (см., например, книгу Ю.А. Розанова [348]).
Вопрос об изучении свойств случайного процесса по поведению его единственной
реализации входит в классическую проблематику теории вероятностей. См., напри-
например, монографии Ибрагимова и Линника [185], Биллингсли [51] или Чанга [78],
в которых изложены общие подходы к решению задачи.
2.8. Задачи
2G.1. Пусть s{t) - р-мерный сигнал. Показать, что
E\s(t)\2= — /
46
2G.2. Пусть Ф5(со) - спектр мощности скалярного сигнала, определенного формулой B.63).
Показать, что:
(i) Ф$(<^) веществен;
(ii) Фх(ь)) > 0 Vcj;
2G.3. Пусть s(t) = | I и пусть его спектр представлен в виде
И и
L «(г) J
L *Mv(w) фи( J
Показать, что Ф,у(и>) -- эрмитова матрица, т.е.
где символом * обозначена транспонированная комплексно сопряженная матрица. Что это озна-
означает применительно к взаимным спектрам Ф^м(ы), Фм^(^) и Фуи(- со)?
2G.4. Пусть система имеет следующее непрерывное по времени представление
y(t) = Gc(p)u(t).
Входной сигнал в интервале дискретизации Т постоянен. Показать, что дискретизованные значе-
значения входного и выходного сигналов связаны соотношением
Где *т
00 ет-1
{ G{)
Указание. Использовать B.5).
2Е.1. Стационарный случайный процесс имеет спектр
1,25 + cos u>
ф (со) = ! .
v 1,64+1,6 cos cj
Описать сигнал {v(t)} как ARMA-процесс.
2E.2. Пусть {tj(O} и{?(г)} - две взаимно независимые последовательности независимых
случайных величин и
Определяется процесс
w{t) = r\{t) + t(t) + yt{t - 1).
Построить такой М А A) -процесс
v(t) = e(t) + ce{t - 1),
где {e(t)} - белый шум с характеристиками
что процессы {w (t)} и {v (r)} будут иметь одинаковые спектры. Иначе говоря, выбрать такие
значения констант с и \е, чтобы Фи(и>) = Фи,(с^)«
2Е.З. (а) Допустим, что в условиях задачи 2Е.2 совместное распределение процессов {r]{t)}
и{?@} гауссово. Показать, что если процесс { е(г)} также является гауссовым, то распределе-
распределение вероятностей процесса {w(t)} (т.е. все совместные распределения вероятностей значений
w(f * )>' w(f ^),..., w(fp) для произвольных наборов моментов времени г,) совпадает с распределе-
распределением вероятностей процесса {v(t)}. На практике такие процессы {w(t)} и {v(t)} являются не-
неразличимыми.
(Ь) Пусть теперь rj(f) &N@, \^), a
/ 1 с вероятностью \^/2;
^@= |-1 с вероятностью \^/2;
I 0 с вероятностью 1 — Л.?.
Показать, что хотя спектры, и и w совпадают, нельзя подобрать такое распределение для e(t),
чтобы совпали и распределения этих процессов. Отсюда следует, что процесс w(t) не может
быть представлен МАA)-процессом, хотя и имеет эквивалентное ему представление второго по-
порядка.
47
2Е.4. Рассмотрим "описание в пространстве состояний"
где х, /, Л, w и и - скалярные переменные. Процессы {w(r)} и {и(О} являются взаимно неза-
независимыми белыми гауссовыми шумами с дисперсиями R1 и R2 соответственно. Показать, что
y{t) может быть записан в виде ARM А-процесса:
y(t)+aty(t - 1) + .. .+any(t- n) = e{t) + cle(t~ 1) + .. .+cne(t-n).
Определить значения и, я/, с/ и дисперсию е(г) через /, Л, R1 и R2. Как связаны между собой
<?@, w(r) и и@?
2Е.5. Рассмотрим систему
y(t)=G(q)u(t) + v(t)
с управлением вида
где {г(г)} - квазистациоиарный эталонный сигнал со спектром Фг(ы). Помеха {и(О} имеет
спектр Фу(и>). Предположим, что {г(г)} и {v(t)} нскоррелированы и соответствующая замк-
замкнутая система устойчива. Определить спектры Ф^(со), Фм(ы) и
2Е.6. Рассмотрим систему
d
—
dt
Допустим, что входной сигнал u(t) кусочно постоянен, т.е. в интервале дискретизации
u(t) = uki kT<t<(k + l)F
(a) Выписать дискретизованные представления м*, у(кТ).
(b) Предположим, что имеет место временная задержка длительности Т так, что в формуле
B.96) u(t) заменяется на u(t - Г). Построить дискретизованное описание системы
в этом случае.
(c) Предположим, что временная задержка равна 1,5Г и и (О заменяется на и (Г - 1,5Г).
Построить выборочное описание.
2Е.7. Рассмотреть систему, описывающуюся уравнением
y(t)+ay(t - l) = bu(t - l)+e(t) + ce(t - 1),
где{м(О} и {e(t)) —независимые белые шумы с дисперсиями д и \ соответственно. Сле-
Следуя процедуре, предложенной в дополнении 2С, умножить уравнение системы иа e(t), e(t - 1),
u{t - 1), y(t) и ;(/ - 1) соответственно и, вычисляя математические ожидания, показать, что
Rye@) = K Rye(l)=(c-a)\;
. Ryu<Q) = 0> Ryu(l) = bn;
\{с-а+а2с-ас2)-аЬ2ц
2T.1. Рассмотрим непрерывную по времени систему B.1):
о
Пусть gj>(l) определяется формулой B.5) и сигнал u(t) не является кусочно постоянным, но
d
1tU{
Пусть ик = и((к + 1/2) Т). Показать, что
где
\rk\<C2T\ •
Определить предельное значение С2.
2T.2. Если фильтры Rt(q) и R2 (q) (строго) устойчивы, то и (доказать это) фильтр
Л, (qT)R2(q) также (строго) устойчив (см. также задачу 3D.1).
48
2Т.З. Пусть G(q) - рациональная передаточная функция, т.е.
q"+alq"-1
Показать, что если система G(q) устойчива, то она также и строго устойчива.
2Т.4. Рассмотрим нестационарную систему
Запишем
Г
y(t) = 2 gt(k)u(t~k)
* = 1
(при к > t полагают gf (к) = 0). Предположим, что
F(t)^-F при г-*«*>,
где все собственные значения F находятся внутри единичного круга. Показать, что семейство
фильтров {gt(k), t ~ 1, 2,... } равномерно устойчиво.
2D.1. Рассмотрим спектр ?//v(cj), определенный формулой B.37). Показать, что
UNBn - to) = UN{b>) = f/^v(cj) и переписать соотношение B.38) в чисто вещественной форме.
2D.2. Вывести формулу B.39).
2D.3. Пусть { и (О } - стационарный случайный процесс с Ru (т) * Ей (Г) u{t - т) и пусть
Фм(и>) - его спектр. Допустим также, что
Спектр Um(lj) определяется формулой B.37). Доказать, что
Е\ Ufl/(b>)\2 -*Фи(ь>) при #->«*>.
Это усиление леммы 2.1 для стационарных процессов.
2D.4. Пусть G(q) - устойчивая система. Доказать, что
1 N
lim — 2 k\g(k)\ = 0.
N-+- М *= I
Указание. Использовать лемму Кронекера: пусть д^, Ь^ - две последовательности такие,
что tffc положительны и убывают. Тогда из ограниченности ряда 2 я*?* < °° вытекает» что
N
lim apj 2 &? = 0
iV-юв ^= 1
(доказательство леммы Кронекера можно найти, например, в [78]).
2D.5. Пусть Ьр/(т) - дважды индексированная последовательность такая, что для
всех т
при N-+°°
(не обязательно равномерно по т). Пусть ат - бесконечная последовательность и пусть
2 \ат !<<=», \Ь(т)\<С Vt.
т=1
Показать, что
N
lim [ 2 ат(Ьм(т) - й(г)) + 2 <*тй(т)] = 0.
Указание. Обратитесь к Приложению 2А.
2S.1. В ряде задач, представленных в этой книге, будет развита методическая основа для
интерактивного пакета программ системной идентификации. Соответствующие задачи поме-
помечены буквой S. В плане разумного ограничения программистских усилий естественно пред-
предположить, что используется язык высокого уровня типа APL или PC-MATLAB с встроенны-
встроенными графическими средствами и подпрограммами матричного анализа.
419
Напишите макропроцедуру BODIiPLOT(G), которая строит диаграмму Бодс передаточной
функции G, рассматриваемой как комплскснозначный вектор С(е^к) (к = 1,. .. , /V). Включить
возможность отображения нескольких кривых на одной диаграмме.
2С.1. Используя идеи дополнения 2С, написать программу вычисления дисперсий произ-
произвольного ARMA-ироцссса, реализующего алгоритмы решения систем линейных уравнений.
Приложение 2А. Доказательство теоремы 2.2
Проведем доказательство для многомерного случая. Пусть w(s) = О для s <0 и
рассмотрим
R?{t) = — 2 Es(t)s{t- r)= — 2 2 2 g(k)Ew(t-k)wT(t~T-l)gT(l):
N t= l N t= l * = o /= о
BA.1)
Условившись, что w(s) = 0 при s $ |0, N], можно записать
Л,"(т)= 2 2 «r(*)— 2 ^w(r~^)wr(/-r-/)^r(Z). BA.2)
* = o / = o N r= l
Если w(s) Ф 0 при s < 0, то к s(f) добавляется пренебрежимо малая величина
s(f)= 2
Пусть
iC(r)=i 2 /
Очевидно, что R^(t + / — Л) и внутренняя сумма в формуле BА.2) отличаются
самое большее тах(/г, \т + /| ) слагаемыми, каждое из которых в соответствии с
B.58) ограничено величиной С. Таким образом,
1 N
\R%(T + l-k) 2 Ev;(t-k)wT(t - т - /)| <
BА.З)
тах(*,|т+/|) С
Определим теперь
Д,(т)= 2 Z «r(*)/iw(T + /-*)^r(O. BA.4)
fc=0 / = 0
Тогда
? 2 \g(k)\\g(l)\\Rw{T + l -*)| +
+ 2 2 |^(*)| \g(l) \\Rw(T + l-k)-R%(T + l-k)\ + BA.5)
С ^v TV с ^ n
+ r 2 *!*(*)!•? |*(/)| + - Z|t+/||*(/)|- 2
N k=o 1=0 N /=o *=o
Первая сумма стремится к 0 при N -> <», поскольку \Rw(t)\ < Си система G
устойчива. Из устойчивости G(q) следует, что
1 *
— 2 k\g(k)\^O при Лг^оо BА.6)
TV * = o
50
(см. задачу 2.4). Следовательно, две последние суммы в BА.5) стремятся к 0 при
дг-*оо. Рассмотрим теперь вторую сумму в формуле BА.5). Для произвольного
е > 0 выбирается такое N = N€, что
где
Это возможно, поскольку система G устойчива. Затем подбирается такое N'€, что
для N>N'€
к/<лг6 С]
Kk</Ve
Это возможно, так как
*#(t)-»*w(t) при ЛГ — BА.8)
(w квазистационарен) и так как учитывается только конечное число членов разло-
разложения Rw(s) (в BА.8) равномерная сходимость не нужна). Теперь для N > N^
вторая сумма в формуле BА.5) оказывается ограниченной величиной
2 2 \g(k)\ \g{l)\ • -J- + 2 2 \g(k)\ \g(I)\ ¦ 2C +
+ 2 2 !*(*)||*(/)|-2C,
k=Q / = /V6 + l
которая в соответствии с неравенством BА.7) меньше, чем 5е. Отсюда следует,
что и вторая сумма в формуле BА.5) стремится к 0 при W-*00, что и доказывает
равенство 0 предела правой части неравенства BА.5), а следовательно, квазистацио-
квазистационарность s(t).
Доказательство существования математического ожидания Es(t)wT(t - т)
проводится по аналогии и проще технически.
Теперь находим, что
ФДсо)= 2 B 2 s(*)*w(t + /-¦ k)gT{l))e-™ =
22 g{k)e-ikw 2
r=—« к=0 1 = 0
=s] = 2
Таким образом, формула B.77) доказана. Доказательство формулы B.78) проще
и устанавливается по аналогии.
51
Приложение 2В. Доказательство теоремы 2.3
В этом дополнении мы докажем теорему 2.3 в более общей формулировке, что
окажется важным при исследовании сходимости в главе 8, Кроме того, рассмотре-
рассмотрение проводится для многомерного варианта.
Теорема 2B.L Пусть {Ge(q)9 в G De) - равномерно устойчивое семей-
семейство фильтров и пусть семейство детерминированных сигналов {w0(f)}, в ^ Dq
(t = 1,2,...) удовлетворяет условию
\*>e{t)\< Cw V0, W. BB.1)
Для каждого в
сигнал se(t) определяется соотношением
BВ.2)
где {v(t)} удовлетворяет условиям теоремы 2.3 (см. B.86) с условием, что
Ee(t)eT(t) = At).Тогда
S_UP I п Д 1*в@*Г@-^в@^г@] ^o
BB.3)
с вероятностью 1 при N •
Замечание. Отметим, что если размерность dims = 1, De = {в*} (мно-
(множество состоит только из одного элемента), Ge*(q) = 1 и w> (f) = m(t), то из
BВ.З) следует формула B.87а). При
s(t)
m(t)
I:
v(t)
we.@
»V@
BВ.4)
всевозможные взаимные произведения в BВ.З) позволяют получить все формулы
B.87).
Прежде чем доказать теорему 2В.1, установим две леммы.
Лемма 2В.1. Пусть {v(t)} удовлетворяет условиям теоремы 2.3 и пусть
Сн= ? sup|*r(*)|, Ce=supE\e(t)\\ Cvv=supjw(Oi.
*=i t t в
Тогда для всех r,N,mun
!N || 2
2 [v(t-m)vT(t -n)-Ev(t- m)vT(t-ri)\ < C-C%-(N-r)9 BB.5)
t=r II
N
E 2 v(t - m) wf(t -n)
t-r
BB.6)
Доказательство. Без потери общности можно положить m = п = 0.
Тогда имеем
S? * V[v{t)v\t)-Eoif)vTiS)\=T. I I ht(k)a(t,kj)h?(l)9 BB.7)
t=r t-r Дс = О / = 0
где
oc(t, К /) = e(f - k)eT(t - /)- At-
BB.8)
52
Квадрат (/,/) -элемента матрицы BВ.7) представляется в виде
(S^(U)J = 2 2 2 2 2 2 y(t,s,kl9k2jlyl2)9
t-r s-r *,=0 7j = 0 *2=0 /2 = 0
где
4(t, s, klf к2,1и 12) = А«(*, )a(f, *lf /О [*<%)] r*<°(*a)a(s, *2. /2) ^
Верхний индекс (/) соответствует /-й вектор-строке. Поскольку {e(t)} - после-
последовательность независимых случайных величин, математическое ожидание 7 равно О
за исключением тех случаев, когда некоторые из индексов времени в oc(t, к1у 1Х)
и аE, к2у 12) совпадают, т.е. когда t — к^ = s — к2 или t - к^ =s -\2 или t -1^ =
= s — к2 или t — /j = s - 12. При заданных t, kl9 k2i /t и 12 такое может иметь
место при максимум четырех значениях s. В этом случае мы также имеем
Ey(t,s,kuk2flul2)< Ce-i
Следовательно,
2 Z \h(h)\ X
/,=0
X 2 |А(/2)|« 2 4Се< 4СеС^(Л^-г).
/2=о г=г
Это доказывает часть BВ.5) леммы. Доказательство BВ.6) аналогично, но проще.
Следствие. Пусть
w(t)= 2 at(k)e{t-k\ v(t)= 2
Л0 Л0
Е 2^@"@ - i?w(r)w@ < С С^ . С^ • (N - г),
Cw= 2 sup|ar(^)|, Cw= 2 sup|jjr(*)|.
Лемма 2В.2. Яис7Ъ
/?r^= sup 2 *в@^@-^в@*Г@ 1. BВ.9)
6^Dq |j Г=г I
Тогда
E(R?J<C(N-r). BB.10)
Доказательство. Сначала заметим, что если
*= 2 *(*)*(*), BВ.11)
где { д(А:)} — такая последовательность детерминированных матриц, что
2 la (it) К Ca,
а { z(fc)} — такая последовательность случайных векторов, что
E\z(k)\2<Cz,
S3
тогда
/fM2= Z Z tr[a(k)Ez(k)zT(l)aT(l)] <
< 2 Z ye(*)l-[/T|z(*)|2]1/2-[?i|z(/)|a]1/2-le(/)ll< BB.12)
*=0 / = 0
< Cz-[ Z l
В этой цепочке первое неравенство — это неравенство Шварца.
Теперь находим
Re(N, г) = Д lse(f)sj(t) - E
N » »
21 ^(*)[|)((-фг((-1)-Ь(Г-фг(Г-!)Й) + BВ.13)
Г=г А=0 /=0
Отсюда следует, что
sup II Ro(N, r) II < 2 2 sup II ge(к) II • II ge(/) II • II 5^(Л, /) II +
BB.14)
+ 2CW- 2 sup l ^
k=O в
где
Поскольку Ge(q) — равномерно устойчивое семейство фильтров, можно утверж-
утверждать, что
sup II ge (к) II < g(k), Z !(*) = CG < «о.
(9 Л = 1
Используя BВ.11) и BВ.12) и результат леммы 2В.1, из неравенства BВ.14) можно
получить, что
?[supll/?0(AUI1]2 < 2 -С% -4Се-С*н -(Л^-г) +
в
+ 2 • C2G • 4 • C?v • С2Н • (Л^ - г) < С(Л^ - г),
что и доказывает лемму 2В.2.
Вернемся теперь к доказательству теоремы 2В.1. Обозначим
г(Г, в) = se(t)sTe(t) -Es$(t)$(t) BB.15)
и пусть
R? = sup II Яо(TV, г) II, BВ.16)
где Re(N,r) определяется формулой BВ.13).
54
В силу леммы 2В.2.
Применяя неравенство Чебышева, получим
Следовательно,
2
2 -^
2
откуда в силу леммы Бореля-Кантелли (см. A.18)) вытекает сходимость с вероят-
вероятностью 1
— R*
К
0 при к
BВ.17)
Пусть для k-kN и в =8N найдено значение
1 .
sup - R\f.
yv2<*<BV+iJ к
Отсюда
sup
1
kN
/V2
2 г
t=\
1
Jtf
=
+
1
1
k^
f=l
BB.18)
- ?
1
Поскольку ^yv ^ N2, то в силу BВ.17) первый член в правой части формулы
BВ.18) стремится к 0 с вероятностью 1. Для второго члена, используя лемму 2В.2,
находим
N
откуда, как и выше, в силу неравенства Чебышева и леммы Бореля—Кантелли сле-
следует, что второй член стремится к 0 с вероятностью 1. Таким образом,
sup -~R%-+0 BB.19)
N2<k<(N+iJ к
с вероятностью 1 при N-+<*>, что и доказывает теорему.
Следствие теоремы 2В.1. Если ослабить условие B.86), заменив его на
E[e(t)\ <?(f-l),...,<?@)]=0, E[e\t)\ e{t - 1),... ,e@)] =X,
4< G
го теорема останется верна {иначе говоря, процесс {e(t)} не обязан быть белым шу-
шумом, достаточно, чтобы он был разностно мартингальным).
Доказательство. Независимость использовалась только в лемме 2B.L
Нетрудно видеть, что эта лемма выполняется и при ослабленных условиях.
55
Приложение 2С. Ковариационные формулы
При ряде расчетов нам понадобятся выражения для дисперсий и ковариаций
ARMA-сигналов. Их вывод опирается на следующие формулы обращения:
Rs(t) = — / Ф^ (w)<?fW7rfwf BС1а)
Rsv (?) ~ — / ®sv (oj)eiLJTdu). BC.lb)
Используя формулы для спектра ARMA-процесса из теоремы 2.2, можно преобразо-
преобразовать BС.1а) к виду
2
2тг
BС.2)
zT~ldz.
Последний интеграл представляет собой интеграл в комплексной плоскости вдоль
единичной окружности, который может быть определен методами теории функций
комплексных переменных. В работе [33] (см. также гл. 5 книги [21]) предложен
эффективный расчетный алгоритм для вычисления интеграла BС.2) при г = 0. Этот
алгоритм записывается в следующей форме:
n +... + *„, C(z) = cozn ч-с^"-1 + ... + си.
Полагая я" = а( и с" = ср можно выписать следующие рекуррентные соотношения:
о ai -aa
п_к = а° Ci ~Cn-k + ian-k + l
С =
/ = 0,1,...,«- к, к = 1, 2,... , п.
Тогда
1 п {Скк?
ЯД0)=— 2 —— • BC.3)
Для ARMA-процесса второго порядка
2) = e(t) + cle(t-l) + c2e(t-2),
. BС.4)
можно записать явную формулу для дисперсии:
BС.5)
Чтобы вручную вычислить Яу(т) и взаимную ковариацию Rye(T)> проще всего
умножить формулу BС-4) на e(t), e(t - 1), e(t - 2), y(t), y(t - 1), y(t - 2)
и усреднить. Это даст шесть уравнений относительно шести неизвестных Rye(T),
Ry(r) (r = 0,1, 2,... ). Заметим, что Rye (г) = 0 для г < 0.
56
Глава 3
МОДЕЛИРОВАНИЕ, ПРОГНОЗИРОВАНИЕ И УПРАВЛЕНИЕ
Описания систем, приведенные в гл. 2, можно использовать при решении самых
разнообразных задач проектирования в реальных системах управления. В этой главе
мы обсудим некоторые из них, преследуя сразу две цели. Во-первых, окажется,
что разработка методов идентификации существенно использует идеологию прогно-
прогнозирования будущих значений сигналов. И, как результат, формулы, приведенные в
п. 3.2, станут инструментальным средством в последующем изложении. Во-вторых,
описывая примеры использования моделей систем, мы получим некоторое пред-
представление о тех требованиях к описаниям, которые обеспечат адекватность моделей
целям их использования. Решая задачи идентификации, мы будем руководство-
руководствоваться тем соображением, что важно согласовать усилия, затрачиваемые на построе-
построение модели системы, с ее предполагаемым применением. В этой главе мы считаем,
что описание системы представляется формулой B.93) :
C.1)
3.1. Моделирование
Чаще всего описание системы используется для того чтобы промоделировать
реакцию системы при различных "входных сценариях", т.е. попросту рассчитать,
используя соотношение C.1), невозмущенный выходной сигнал
y*(t) = G(q)u*(t), /=l,...,tf, C.2)
при подаче на вход системы выбранной пользователем входной последовательности
ы*(Г), t = 1,. .. , N. Результат расчета определяет тот сигнал, который наблюдался
бы на выходе системы, если бы никаких отклонений (возмущений) от описания
C.1) не было. Для оценивания влияния возмущений используется генератор случай-
случайных чисел, реализованный на ЭВМ и воспроизводящий последовательность чисел
e*(t)9 t = 1,. . . , N9 которая может рассматриваться как реализация случайного
процесса, являющегося белым шумом с дисперсией X. Теперь величину возмущения
можно рассчитать как
t). C3)
Соответствующим образом предъявляя пользователю сигналы y*(t) и y*(f),
можно сформировать у него представление о реакции системы на входной сигнал
Этот подход к оценке поведения системы в разных условиях, основанный на
экспериментах с моделью C.1), а не с реальным физическим объектом, нашел ши-
широкие применения во всех технических дисциплинах и несомненно отражает наибо-
наиболее общий путь использования математических описаний. Строго говоря, модели,
используемые, например, в пилотных тренажерах или тренажерах операторов атом-
атомных электростанций, намного сложнее модели C.1), однако и в их основе лежит
та же общая идея (см. также гл. 5) .
3.2. Прогнозирование
Начнем с обсуждения того, как предсказывать будущие значения сигнала v(t),
который описывается уравнением вида
= 2 h(k)e(t~k). . C.4)
fc=O
57
Чтобы эта запись была осмысленной, предполагается, что система Я устойчива, т.е.
2 |Л(*)|< оо. C.5)
Обратимость модели шума. К модели C.4) предъявляется существенное требо-
требование ее обратимости, т.е. возможности расчета сигнала e(t) при заданном v(s),
s < t, по формуле
e(t) = H(q)v(t) = 2 h(k)v(t-k), C.6)
fc=O
где
2 |Л(*)|< -.
Как же определить фильтр Н (q) и Я(^)? Ответ содержится в следующей лемме.
Лемма 3.1. Рассмотрим сигнал {v(г)} , определенный выражением C.4),
и допустим, что фильтр Яустойчив. Пусть
2 * C.7)
ы лусп> функция 1/Я(г) аналитическая в области \z\>\:
= 2 h(k)z~k. C.8)
Определим фильтр H~l(q) соотношением
ЯЫ= 2 А(*)<у-*. C.9)
, определенный фильтр H(q) = H~l(q) удовлетворяет C.6).
Замечание. Существование для \z\ > ] функции C.8) означает также ус-
устойчивость фильтра H~l(q). Краткости ради мы будем говорить, что фильтр И(q)
является устойчивым по обращению.
Доказательство. Из формул C.7) и C.8) следует, что
1=2 ? h(k)h(s)z-(k+s) = [k+s=l] = 2 2 h(k)h(l-k)z-1,
k0 0 / 0 *0
()() []
k~0 5 = 0 / = 0 *=0
отсюда вытекает
' ~ f 1, если / = 0,
2 А(*)А(/-*)« C.10)
fr = o @, если 1Ф0.
Пусть теперь сигнал [v(t)} определен формулой C.4). Тогда в силу C.10)
2 А(*)и(/-*)= 2 А(*) 2 h(s)e(t- k s) =
fr = 0 fc=0 5 = 0
= 2 f A(*)A(s)e(/-*-*)= [A: +s = /] =
Л0
/=o
что и доказывает лемму.
Замечание. Лемма показывает, что существует большая аналогия между
свойствами фильтра H(q) и функции H(z). Тот факт, что выражение для обратного
58
фильтра можно получить посредством вычисления величины, обратной к функции
Я (г), не является тривиальным и формулируется в виде леммы. Однако все основ-
основные соотношения выполняются одновременно для Я(q) и Я (г), и в чисто практи-
практическом плане небесполезно иметь возможность свободно выбирать между фильтром
и соответствующим z-преобразованием. См. также задачу 3D.1.
Лемма показывает, что уравнение обратного фильтра C.6) естественным об-
образом соотносится с уравнением исходного фильтра C.4). В плане определения
этого фильтра можно также записать
H~l(q) = • C.11)
Необходимо только, чтобы функция \jH(z) была аналитической в области \z\ > 1,
т.е. чтобы у нее не было полюсов вне открытого единичного круга. Можно было бы
перефразировать это условие, постулируя отсутствие нулей у функции Я (г) внутри
замкнутого единичного круга. Это вполне согласуется с утверждением о возмож-
возможности спектральной факторизации (см. п. 2.3), в соответствии с которым для любо-
любого рационального, строго положительного спектра всегда можно найти представле-
представление Я (q), обладающее этими свойствами.
Пример 3.1. Процесс скользящего среднего.
Допустим, что
V(t) = e(t) + ce(t- 1), C.12)
т.е.
Я(</)= l+cq'1.
В соответствии с формулой B.85) - это процесс скользящего среднего порядка /, МАA). Тог-
Тогда функция
Z + С
tf(z) = 1 +cz~l =
имеет полюс в точке z = 0 и нуль в точке z - -с, который при \с\ < \ лежит внутри единич-
единичного круга. В этом случае обратный фильтр определяется но формуле
H{z) 1+cz k = 0
а е (t) можно восстановить из формулы C.12), записав
<?(О= 2 (-c)kv(t- k).
Л = о
Одношаговый прогноз процесса v. Предположим теперь, что мы наблюдаем
значения v(s) для s < t - 1 и хотим, используя эти наблюдения, предсказать значе-
значение v (О. Так как функция Я моническая, имеем
2 h{k)e{t -*) = <?(*)+ I ft(*)<?(*-*). C.13)
к=0 к=1
Далее знание значений v(s) (s < t - 1) предопределяет в силу C.6) знание значе-
значений e(s) (s <r - 1). Таким образом, в момент t — 1 известен второй член в пра-
правой части формулы C.13). Обозначим его т[х — 1):
m(f-l)= S h(k)e(t~k).
k = l
Пусть все значения {e(t)} одинаково распределены и общая плотность вероятности
распределения е (t) обозначена fe(x):
Р(х < e(t) < х + Ах) *fe(x)Ax.
59
Это распределение не зависит от других значений e(s), s Ф t> поскольку {e(t)} —
это последовательность независимых случайных величин. Таким образом, в момент
времени t — 1 можно утверждать, что к моменту t процесс v (t) окажется в интер-
интервале между m{t - 1) + х и m(t — 1) +х+ Ах с вероятностью fe (x)Ax. Это можно
перефразировать следующим образом:
(апостериорная) функция плотности вероятности значения v (t) при заданных
наблюдениях до момента t — 1 может быть записана как fv(x) =
Формально это можно представить в виде следующей цепочки преобразований:
fv(x)Ax = Р(х< v(t)< x + Ax\v^x) = P(x<> w(t-l) + e@< * +Дх) =
= P(x~m(t-l)< e(t)< x + Ах - m(t - 1))= fe(x - m(t - \))Ax.
Здесь Р(А\ v^J) обозначает условную вероятность события А при заданном i/.»1-
Это наиболее общее утверждение, которое может быть высказано о значении
процесса v(t) в момент t — 1. Часто ограничиваются заданием только одной вели-
величины, которая характеризует это вероятностное распределение и, таким образом,
служит прогнозом v (t). Она может быть выбрана как точка максимума плотности
fe (х - m(t - 1)), наиболее вероятное значение 1>@> называемое также прогнозом
по максимуму апостериорной вероятности (МАВ). Однако мы будем чаще пользо-
пользоваться средним значением рассматриваемого распределения,условным средним v(t)y
обозначаемым v(t\ t — 1). Поскольку среднее значение величины е (f) равно О,
имеем
v(t\t-l) = m(t-l)= 2 h(k)e(t-k). C.14)
Нетрудно установить, что условное среднее минимизирует также среднеквадрати-
ческое отклонение ошибки предсказания:
minE(v(t)-v(t)J => v(t) « v(t \t - 1),
v(t)
где минимум ищется на множестве всех функций v(t) от t/."^1. См. задачу 3D.3.
Выпишем более удобное выражение для (ЗЛ4). Используя C.6) и C.11), на-
находим
v(t\ t-\)=[ 2 h(k)q-k]e{t) = [H{q) - l]e(t) =
fc = i
H(a) - 1 - ^
= K4J u(O=[l -H~\q)]v{t)= 2 -h{k)v{t-k). C.15)
H(q) k = i
Применяя преобразование Н (q) к обеим сторонам, получим альтернативную запись
H(q)v(t\t-l)=[H(q) - l]v(t)= 2 h(k)v(t-k). C.16)
k = \
Пример 3.2. Процесс скользящего среднего.
Рассмотрим процесс C.12). Формула C.16) показывает, что прогноз можно представить
в виде
v(t\t - 1) + сС(г - 11 г -2) = си(Г- 1). C.17)
Иначе можно определить Я^), следуя примеру 3.1, и, используя формулу C.15), получить
С<г I г — 1> = — 2 (-c)kv(t - k).
60
Пример 3.3. Процесс авторегрессии.
Рассмотрим процесс
u(r)= 2 ake{t -А:), \а\< 1.
А:=0
Тогда
H(z)= 2 e*z-* =
fc=O
откуда следует, что*
H-*(z)= I -«-»
и, в соответствии с C.15), прогноз записывается как
0(/|/_ 1) = ди(Г- 1). C.18)
Одношаговый прогноз процесса у. Рассмотрим описание C.1) и допустим,
что для s < t — 1 известны значения y(s) и u(s). Так как
v{s)=y(s)-G{q)u(s), C.19)
то известны также значения v (t) для s < t — 1. Используя эту информацию, хоте-
хотелось бы спрогнозировать величину
Очевидно, что используя формулы C.15) и C.19), можно записать условное мате-
математическое ожидание при задании указанной информации в виде
- G(q)u(t)].
Приведение подобных членов дает
-H~l(q)]y(t)9 C.20)
или
C.21)
Напомним, что эти выражения представляют собой краткую запись соответствую-
соответствующих разложений. Например, пусть {1(к)} определяется как
~ -,!
(это разложение существует при \z\ > 1, если функция H(z) не имеет нулей, а
G(z) — полюсов в области \z\ > 1). Тогда C.20) означает, что
y(t\t-l)= tl(k)u(t-k)+ 2 -h(k)y{t-k). C.23)
A: = l fc = l
Неизвестные начальные условия. До сих пор использовалось предположение
о том, что доступны полные записи данных от - °° до t - 1. Однако на практике
информация доступна только в интервале [0, t — 1]. Проще всего было бы, заме-
заменив все недостающие данные, например, нулями, получить из C.23)
-1)<* 2 l(h)u(t-k)+ 2 -h(k)y(t-k). C.24)
61
Но следует отдавать себе отчет в том, что теперь получается только аппрокси-
аппроксимация настоящего условного математического ожидания при данных из интервала
[О, t — 1]. В точный прогноз войдут переменные коэффициенты фильтра и его мож-
можно получить с помощью фильтра Калмана (см. D.91)). Однако в практическом
плане формула C.24) будет определять приемлемое решение. Это объясняется
тем, что обычно коэффициенты (/(?)} и (h(k)} экспоненциально убывают с рос-
ростом к (см. задачу 3G.1).
Ошибка предсказания. Из формул C.20) и C.1) мы находим величину ошибки
предсказания y(t) -y{t\ t - 1):
Г y(t)-y(t\t-\)=~H-l(q)G(q)u(t)+H-1(q)y(t) = e(t). C.25) j
Таким образом, переменная e(t) отражает ту часть выходного сигнала y(t)9 кото-
которая не может быть спрогнозирована по данным о прошлом. По этой причине она
называется обновлением в момент (.
А-шаговый прогноз у(*К Рассмотрев несколько подробнее особенности задачи
одношагового предсказания, нетрудно поставить следующую обобщенную задачу:
Допустим, что наблюдались значения v(s) для s < t и нужно спрогнозировать зна-
значения v(t + к). Имеем
к — 1
u(f + A;) = ? h(l)e(t + k-l)= 2 h(l)e(t * к - /) + ? h(l)e(t + к - /). C.26)
7=0 7=0 l=k
Определим теперь
Hk{q) = k;Lh{l)q'\ HAq)= 2 h(l)q~1+k. C.27)
7 = 0 7=A:
Вторая сумма в правой части C.26) в момент времени t известна, тогда как пер-
первая сумма не зависит от происшедшего до момента t и имеет нулевое среднее.
Отсюда условное среднее v(t + к) при заданном vLco записывается как
Это выражение определяет fc-щаговый прогноз v.
Предположим теперь, что имеется наблюдение yL** и известно и^?~г, и на
основе этой информации желательно спрогнозировать y{t + к). Как и выше, имеем
у (t + *) = G(q) u (t + к) + v (t + к),
откуда следует, что
? !!*1 ) = G(q)u(t + *) + 8(f + k\t) =
C.28)
[y(t) - G(q)u(t)\.
Введем
Wk(q)u 1 -q-kHk(q)H-\q)= \H(q) - q-kHk{q)]H-\q) = Hk{q)H~\q). C.29)
Теперь простые преобразования формулы C.28) дают
y(t + k\ t)= Wk(q)G(q)u(t + k) + Hk(q)H-1(q)y(t) C.30)
или, используя первое равенство в C.29),
Г
y(t\t-k)= Wk(q)G(q)u(t) + [1 - Wk(q)]y(t - к). C.31)
62
Это выражение вместе с формулами C.27) и C.29) определяет fc-шаговый про-
прогноз у. Заметим, что этот прогноз можно также рассматривать как одношаговый
прогноз для модели
y(t) = G{q)u(t) + W^(q)e(t). C.32)
Ошибка предсказания может быть найдена из C.30) в виде
C.33)
Здесь во втором и четвертом равенствах использована формула C.29). В соответ-
соответствии с C.27) Hk(q) - многочлен от q~l степени к - 1. Таким образом, ошибка
предсказания представляет собой скользящее среднее величин е {t + к),. .. , е (t + 1).
Многомерный случай. В многомерном варианте модели C.1) (или B.88)) опре-
определяется матричный фильтр H~l(q):
H~l(q) = 2 h(k)q~k.
Здесь h(к) - (/? X р)-матрицы, определяемые разложением матричной функции
[H(z)]~l = 2 h{k)z~k. C.34)
А:=0
Это разложение может быть проинтерпретировано для каждого элемента матрицы
[H(z)]~l (с помощью стандартных процедур обращения матриц). Оно существует
при \z\ > 1 и условии, что detH(z) не имеет нулей при \z\ > 1. С так определен-
определенной H(q) все предыдущие выкладки и формулы переносятся на многомерный
случай.
3.3. Наблюдатели
Во многих задачах теории систем и теории управления полное описание свойств
помехи в уравнении C.1) не используется. Вместо этого работают со свободной
от шумов, или детерминированной, моделью:
y(t) = G(q)u(t). C.35)
Однако в этом случае вероятно следует помнить, что уравнение C.35) не отра-
отражает всех входо-выходных особенностей системы.
Конечно, модель C.35) также можно использовать для "расчета", "выдвижения
гипотез" и "прогнозирования" будущих значений выходного сигнала. Однако в от-
отсутствии модели шума остается свобода в выборе наилучшего способа употребле-
употребления модели C.35). При этом ключевым моментом оказывается введение концеп-
концепции наблюдателей. Обычно эта концепция трактуется в терминах моделей в прост-
пространстве состояний для описания C.35) (см. и. 4.3); см., например, работы Луенбер-
гера [269] и Острема и Виттенмарка [32]. Но по существу также ее можно рас-
рассматривать в рамках входо-выходного описания C.35).
Пример 3.3.
Пусть
G{z) = Ь 2 (a)k~1z-k = -^——. C.36)
к=\ \-az~1
63
Это означает, что входо-выходное соответствие можно представить уравнением
C.37)
У(П
т.е.
y(t)
= Ъ 2 (а)
к= 1
bq'1
1 -tf^
либо уравнением
A ~ aq~l)y(t) ¦¦
т.е.
У(П
-ff^U - 1)
к~\
¦u(t)
= ft<?
__bu
u{t-k),
"'и(О,
(f- 1).
C.38)
Теперь, если заданы описания C.35) и C.36) и данные y(s), u(s) (s < t - 1) и требуется
"высказать предположение" или "рассчитать" возможное значение сигнала y(t), то можно
воспользоваться формулой
y{t\t-\)=b 2 {a)k~1u(t- к), C.39)
fc= l
или формулой
y(t\t-\) = tfj>(f- l) + bu(t - 1). C.40)
Пока данные и описания системы правильны, между соотношениями C.39) и C.40) разни-
разницы нет: каждое из них является "наблюдателем" (в нашем случае более уместно было бы гово-
говорить "предсказателем") системы. Возможность выбора между этими соотношениями может быть
связана с дифференциацией степени их чувствительности к неточностям в данных и самих описа-
описаниях. Так, например, если нет данных о значениях входных и выходных сита лов до момента
s=0, то ошибка уравнения C.39) является величиной, убывающей как а* (влияние неверно
заданных начальных условий), а уравнение C.40) при г > 1 остается точным. С друтй сторо-
стороны, ошибки измерений выходного сигнала, не сказываясь на корректности описания C.39),
непосредственно трансформируются в ошибки прогнозирования при использовании описания
C.40). Из обсуждения в п. 3.2 должно было стать ясно, что как только описание C.35) допол-
дополняется моделью шума типа C.1), выбор предсказателя становится единственным (см. задачу
ЗЕ.З). Это следует из однозначности определения условного среднего значения выходного сигна-
сигнала при данной модели шума.
Семейства предсказателей C.35). Пример C.36) показывает, что выбор пред-
предсказателя можно было бы рассматривать как поиск компромисса между чувстви-
чувствительностью и ошибками измерений выходного сигнала и быстро затухающим влия-
влиянием ошибочных начальных условий. Чтобы ввести конструктивные переменные
этого компромисса, выбирается фильтр W(q) такой, что
W{q) =1+2 wiq-1. C.41)
1= к
Применяя его к обеим сторонам соотношения C.35)
W(q)y(t) = W(q)G(q)u(t),
получим, что
В силу C.41) правая часть этого уравнения зависит только от у (s) (s < t - к)
и от и (s ) (s < г - 1). Опираясь на эту информацию, мы могли бы высказать "пред-
"предположение" или спрогнозировать у (t), а именно:
y(t\t-k)= [I- W(q)]y(t)+W(q)G(q)u(t). C.42)
64
Тогда можно было бы выразить компромиссный выбор W следующими двумя
требованиями.
1. Выбор такого W(q), чтобы минимизировать влияние ошибочных начальных
условий за счет быстрого затухания коэффициентов фильтров W и WC. C.43)
2. Выбор такого W(q), чтобы максимально оттенить неточности измерений
сигнала у (t).
Последнее требование может быть выпукло проиллюстрировано в частотной об-
области. Пусть y{t) - Ум @ + и@, где ум @ = G (q)u{t) - полезный сигнал,
а и (г) - ошибка измерений. Тогда в соответствии с C.42) ошибка прогнозирования
составит
-k) = W(q)v(t). C.44)
В силу теоремы 2.2 спектр этой ошибки имеет вид
Ф iw2 C.45)
где Фу (со) - спектр и. Таким образом, задача заключается в том, чтобы выбрать
фильтр W, удовлетворяющий C.41), и такой, чтобы спектр ошибки C.45) находил-
находился в приемлемом диапазоне и имел подходящую форму.
Сравнение с /^шаговым прогнозом из п. 3.2 показывает, что выражение C.42)
совпадает с C.31) при W(q) ~ Wk (q). Ясно, что полная спецификация шума из
уравнения C.1) дает возможность произвести аналитический расчет фильтра W в
соответствии с требованием 2. Именно это мы и проделали в п. 3.2. Однако в этом
случае требование 1 не учитывалось, поскольку предполагалось, что имелась полная
информация о прошлом. Как мы уже отмечали, этот аспект обычно менее важен.
Фундаментальная роль прогнозирующего фильтра. Оказывается, что в качестве
описания систем чаще всего используются не исходные уравнения C.1) или C.35),
а предсказатели C.20) или C.31) и C.42). Мы используем соотношения C.31)
и C.42) для того, чтобы прогнозировать или формировать гипотезы о будущих вы-
выходных сигналах; мы используем их при проектировании систем управления (как
будет видно в дальнейшем) для регулирования прогнозируемых выходных сигналов
и т.д. Здесь соотношения C.31) и C.42) трактуются просто как линейные фильтры,
на входы которых подаются последовательности {и(г)} и {у (/)} >и воспроизводя-
воспроизводящие на выходе сигнал у (t \ t - к). Способ, которым пользуется проектировщик
при выборе фильтра, не имеет значения, важно предназначение фильтра: фильтр один
и тот же, независимо от того, получилось ли W = Wk в результате решения задачи
о компромиссном выборе C.43) или посредством расчета по И с использованием
У
и
У
Рис. 3.J. Предсказывающий фильтр (пред-
(предсказатель)
формул C.27) и C.29). В этом плане можно рассматривать модель шума Я в урав-
уравнении C.1) не более как оправдание выбору предсказателя. Мы будем придержи-
придерживаться этой точки зрения. Прогнозирующий фильтр представляет собой фундамен-
фундаментальное описание системы (рис. 3.1). Цепочка рассуждений, которая приводит к фор-
формированию фильтра, является вторичной. Отсюда также следует, что различие меж-
между "стохастической системой" C.1) и "детерминированной системой" C.35) не яв-
является фундаментальным. Тем не менее, нам будет удобнее пользоваться описанием
C.1) как основным. Оно находится во взаимно однозначном соответствии с одноша-
говым предсказателем C.20) (см. задачу 3D.2) и непосредственно соотносится
с традиционными описаниями.
3. Л. Льюнг 65
3.4. УправлениеDf)
Задача управления состоит в том, чтобы посредством соответствующего выбора
входной последовательности обеспечить желаемое поведение выходного сигнала
системы. Вполне естественно, что для адекватного проектирования механизма управ-
управления будет выбираться то или иное описание системы.
Классический подход к компенсации ведущего запаздывания. "Классическая"
теория управления, как она в 1940-х годах была развита в работах Боде,Николса,
Найквиста и других ученых, опирается на некоторое графическое представление
частотной характеристики G(eiiA}). Обычный подход состоит в задании закона
управления в цепи обратной связи
u{t) = F(q)[r(t)-y(t)\9 C.46)
где г (г) — желаемое значение выходного сигнала: уставка или эталонный сигнал.
Тогда, пренебрегая помехами, можно записать уравнение замкнутой системы в виде
F(q)G(q)
у@ - . *;' ;V@ C-47)
I +F(q)G(q)
и выбор F осуществляется так, чтобы скомпенсированная частотная характерис-
характеристика
F(elw)G(eiu})
обладала заданными свойствами, которые обычно проверяются на соответствующих
графических представлениях. Для устойчивости системы C.47) особенно важны зна-
значения частотной характеристики в окрестности некоторых частот типа частоты среза,
где
\F(eiu})G(eiui)\ = 1.
Отсюда следует, что для успешного применения этого метода важнейшее значение
имеет достоверность сведений о значениях G(eioj) в соответствующих частотах
(см., например, [221]).
Управление по минимуму дисперсии. Решение задачи управления по минимуму
выходной дисперсии системы C.1) основано на идее такого выбора выходного сиг-
сигнала, который обеспечивает минимальную дисперсию выходного сигнала в окрест-
окрестности нулевого среднего значения. Допустим, что выходной сигнал запаздывает от-
относительно входного сигнала на время fc, т.е.
G(q) = ? g{l)q~\ g(k)*Q. C.48)
7 = к
Отсюда следует, что выбор и (г) будет определять значение у (t + к), но не более
ранние значения. Теперь можно записать (см. C.33))
где ек (г + к) зависит только от е (t + к), . . . , е (t + 1) . Таким образом, этот член
не зависит от и (г). Кроме того, е к (t + к) и у (t + к \ t) независимы, поскольку
{е (Г + к), . . . , е(г + 1)} не зависят от u(s) и у (s) (s < t) (см. также соотноше-
соотношения C.30) -C.33)). Следовательно,
E(y(t+k)J =E(y(t+k\t)f + E(ek(t+k)J.
Ясно, что дисперсия у (г + к) минимальна, когда у (t + A: \ t) = 0. Из C.29) и C.31)
66
видно, что это достигается, если выбрать регулятор в виде
Hk{q)H'l{q)
u(t) = t y(t). C.49)
Wk(q)qkG(q)
Стало быть, уравнение C.49) определяет регулятор по минимуму дисперсии. Заме-
Заметим, что по существу расчет по формуле C.49) совпадает с расчетом А:-шагового
предсказателя.
В частном случае к - 1 последняя формула упрощается:
"(О = - ™' У(г). C.50)
G (Я)
Необходимо также отметить, что эти регуляторы имеют смысл только тогда, когда
система qkG(q) устойчива по обращению (т.е. функция G (z) не имеет нулей на
плоскости с вырезанным открытым единичным кругом).
Формирование спектра шума. Рассмотрим теперь для простоты случай единич-
единичного запаздывания (т.е. к = 1 в C.48)). Допустим, что желаемое поведение выход-
выходного сигнала системы C.1) задается уравнением
y(t) = R(q)e(t), C.51)
где R - мопический фильтр.
Ясно, что при R (q) - 1 мы получили бы управление но минимуму дисперсии.
Другие фильтры R будут определять управление по дисперсионным характеристи-
характеристикам более высоких порядков, допуская при этом хорошую физическую интерпрета-
интерпретацию и обеспечивая выбор более обоснованных компромиссов между затратами на
управление и характеристиками выходного сигнала.
Нетрудно убедиться в том, что регулятор вида
R(q)-H(q)
ЛО C-52)
G(q)R(q)
при подстановке в C.1) приводит к уравнению C.51). Таким образом, это и есть
искомый регулятор (для случая отсутствия нулей у функции G (z) вне открытого
единично го круга).
Синтез заданной замкнутой системы. Рассмотрим снова случай к ~ 1 и допус-
допустим, что целью проектирования системы управления является формирование выход-
выходного сигнала вида
y(t) = R(q)r(t) + e(t), C.53)
где г (г) — эталонный сигнал, a R(q) - некоторая заданная передаточная функция
замкнутой системы. Поскольку у (t) = у (t \t - 1) + е (t), соотношение C.53)
получается, если прогнозируемая величина имеет вид
y(t\t- ]) = R(q)r(t). C.54)
Возьмем регулятор
ы@ = Fx(q)r(r)-F2(q)y{r) C.55а)
и подставим его в C.20). Это дает
y{t\t- \) = H-\q)G(q)Fl{q)r{t)^[\-H-\q)-H-1{q)G{q)F2{q)\y{t).
Мы видим, что выбор
3* 67
H(q) - 1
C55c)
дает искомое поведение C.54). Отметим, что для обеспечения физической возмож-
возможности F}(q) функция R (q) должна включать хотя бы одно звено запаздывания.
Кроме того, этот регулятор является реализуемым только тогда, когда у функции
G (z) нет нулей вне единичного круга.
3.5. Заключение
Отправляясь от соотношения
у(г) = G(q)u(t)+ H(q)e(t),
мы вывели выражение для одношагового прогноза сигнала у (t) (т.е. для наилуч-
наилучшей гипотезы о значении сигнала у (г) при заданных u(s) и у (s), s < / — 1). Это
выражение имеет вид
y(t\t - 1) = H-1(q)G(q)u(t)^ [I ~ H'x{q)\ y{f). C.56)
Мы также вывели формулу для соответствующего к -шагового прогноза C.31).
Мы указали, что к таким предсказателям можно прийти и в рамках чисто детермини-
детерминированных моделей наблюдения в отсутствие модели шума Я. Было подчеркнуто,
что прикладным базисом системных описаний являются формулы для расчета соот-
соответствующих прогнозов; предположение о природе шума - в данном случае не бо-
более чем средство формирования прогнозов. Материалы обсуждений в главах 2 и 3
могут, таким образом, рассматриваться как методология "выдвижения гипотез"
о будущем поведении выходных сигналов системы.
Мы также продемонстрировали некоторые примеры использования системных
описаний и формул прогнозирования в задачах проектирования систем управления.
Следует отметить, что при формировании прогнозов и уравнений регуляторов
расчеты по формулам типа C.56) могут проводиться с гораздо большей вычисли-
вычислительной эффективностью, когда передаточные функции G и Я обладают специаль-
специальной структурой. Это будет продемонстрировано в следующей главе.
3.6. Комментарии к библиографии
Прогнозирование и управление стали сегодня стандартным учебным материа-
материалом. Изложение вопросов fc-шагового предсказания и соответствующих задач управ-
управления можно найти в работах Острема [21] и Острема и Виттенмарка [32]. Подроб-
Подробное рассмотрение вопросов прогнозирования проводится, например, в работах Андер-
Андерсона и Мура [11 ] и Бокса и Дженкинса [62]. Первое упоминание рассмотренных во-
вопросов теории см. в книге Уиттла [431 ].
Теория прогнозирования была разработана в трудах Колмогорова [214], Вине-
Винера [434], Калмана [204] и Калмана и Бьюси [207]. Наиболее трудной частью задач
этой теории является поиск соответствующего представления помехи. Если в резуль-
результате спектральной факторизации получено уравнение C.1) или через уравнение Рикка-
ти его временной аналог (см. D.92) и задачу 4G.3), вывод подходящего уравне-
уравнения прогнозирования, как это здесь показано, уже не представляет труда. Заметим,
однако, как указано в задаче 2Е.З, что в случае негауссовских процессов, как пра-
правило, с помощью уравнения C.1) удается адекватно отобразить только свойства
второго порядка, что безусловно недостаточно для отображения шумов более слож-
сложной структуры. Расчеты, выполненные в п. 3.2, приводятся в книге Острема [21]
68
для случая, когда функции G и Н являются рациональными функциями с одним и
тем же знаменателем. В работе [342] приведены формулы прогнозирования для вхо-
до-выходных моделей такого типа в случае, когда неполноте информации о беско-
бесконечной предыстории дается надлежащая трактовка (т.е. когда не делается попытки
взять некое произвольное решение C.24)). Естественно, в результате получается не-
нестационарный предсказатель.
Расчетные соотношения типа C.48) ~C.55) в многомерном случае могут по-
получиться весьма похожими. Однако в этом случае достаточно нетривиальными оказы-
оказываются структурные аспекты решения. См. трактовки этих задач в работах [218],
[320].
3.7. Задачи
3G.1. Допустим, что передаточная функция G (z) рациональна и все ее полюса находятся
внутри круга | z \ < /i , где /i < 1. Показать, что
где g(k) определяется формулой BЛ6).
3G.2. Пусть A(q) и В (q) - два монических устойчивых и устойчивых но обращению фильт-
фильтра. Показать, что
-^- f\A{e''")\2 •\B(eioJ)\2doj > 1,
iff _тг
где равенство достигается, только если A (q) = \jB(q).
ЗЕ.1. Пусть
H(q) = 1 - lAq'1 +0,3<T2-
Вычислить Я {q) в виде явного разложения в бесконечный ряд.
ЗЕ.2. Вывести формулы для трехшагового прогноза при
e{t)
1 - aq'1
и
y(t) = A +cq'l)e(t)
соответственно. Чему равна дисперсия соответствующих ошибок предсказания?
ЗЕ.З. Показать, что если уравнения C.35) и C.36) дополнены моделью шума H(q) = 1,то
естественным предсказателем является фильтр C.39), а модель шума вида
оо
H(q) = Z akq~k
* = 0
приводит к предсказателю C.40).
ЗЕ.4. Пусть сигнал е (f) имеет распределение
( 1 с вероятностью 1/2,
e(t) - -0,5 с вероятностью 1/4,
[ 0,5 с вероятностью 1/4.
Пусть
) = H(q)e(t)
и v (t 11 - 1) определено в основном тексте главы 3. Каково наиболее вероятное значение (МАВ)
и (О при данной информации и (t I t - I) ? Чему равна вероятность того, что и (t) принимает зна-
значение в интервале между и {t 11 - 1) - 1/4 и и (t 11 - 1) + 1/4?
ЗТ.1. Пусть система A(q) является устойчивой по обращению и моиической. Показать,
что А~* (q) - моническая система.
ЗТ.2. Предположим, что спектр ошибки измерений и из формул C.44) и C.45) имеет вид
69
где R(q) - некоторый монический устойчивый и устойчивый по обращению фильтр. Найти
фильтр W, удовлетворяющий C.41) с к = 1, который минимизирует величину
Указание: использовать задачу 2G.2.
ЗТ.З. Рассмотрим описание системы из задачи 2Е.4:
jc (Г + 1) = fxit) + wit),
y(t) - hx{t) + u(f),
(x - скаляр). Допустим, что {v (t)} - белый гауссовский шум с дисперсией R2 и 4To{w(f)} -
последовательность независимых случайных величин, причем
| I с вероятностью 0,05;
w = 1 с вероятностью 0,05;
I Ос вероятностью 0,9.
Определить такой монический фильтр Wiq), что предсказатель
у it) = A - W{q))yit)
минимизирует величину
E{yit)-yit)J.
Что можно сказать о величине
ЗТ.4. Рассмотрим описание шума
v(t) = e{t) + ceit - 1), |с|>1, AV(f)=\. C*57)
Показать, что е (t) не может быть сконструирована по/ с помощью каузального устойчиво-
устойчивого фильтра. Однако доказать, что расчет е (t) может быть осуществлен на основе данных v t + 1
с помощью антикаузального устойчивого фильтра. Сконструируйте тем самым антикаузальный
устойчивый предсказатель значения процесса и (t) по данным v (s) (s > t + 1) .
Определить шум и (t) с теми же, что и у и (t) характеристиками второго порядка, причем та-
такой, что
(г-1), 1с*|<1, E72{t)=\*. C.58)
Показать, что v (t) может быть предсказано по иг ~~ с использованием устойчивого каузаль-
каузального предсказателя. (Измеряя у шума только характеристики второго порядка, мы теряем спо-
способность различать процессы C.57) и C.58). Однако в этом случае, когда величина е (t) из C.57)
физически определена однозначно (хотя и не измеряется), для нас может представить интерес
вопрос о том, какое из уравнений C.57) или C.58) порождает шум, см. работу [43].)
3D.1. В этой главе мы свободно выполняли операции умножения, сложения, вычитания
и деления на операторы передаточных функций Gifl) и #(<?). Возможность выполнения опера-
операции деления формально обосновывается леммой 3.1 и формулой C.11). Дайте аналогичное
обоснование операций сложения и умножения.
3D.2. Предположим, что одношаговый прогноз определяется формулой
y(t U- l) = Ll{q)uit- l)+L2(q)y(t- 1).
Осуществить расчет модели C.1), использование которой привело к выписанной формуле про-
прогнозирования.
3D.3. Рассмотрим случайный процесс{и(t)} и пусть
Определим
e{t) = v(t)-t{t).
Пусть v (t) - произвольная функция от vf~l. Показать, что
E(v(t)-Z(t)J > Ee2(t).
Указание. Использовать соотношение Ex2 = EzE(x2 \ z).
70
Глава 4
МОДЕЛИ ЛИНЕЙНЫХ СТАЦИОНАРНЫХ СИСТЕМ
Модель системы представляет собой описание (некоторых из) ее свойств, пред-
предназначенное для достижения некоторой цели. Чтобы служить выполнению этой це-
цели, модель вовсе ие должна быть достоверной и точной, равно как и нет необходи-
необходимости в том, чтобы пользователь в это верил.
Предмет системной идентификации как раз и посвящен процедурам построения
или отбора моделей динамических систем, служащих некоторым целям. Как отмече-
отмечено в гл. 1, первый шаг состоит в определении того класса моделей, в котором будет
вестись поиск наиболее подходящей модели. В этой главе мы поговорим о некоторых
классах моделей для описания линейных стационарных систем.
4.1. Линейные модели и множества линейных моделей
Как мы видели в гл. 2, линейная стационарная модель определяется импульсной
реакцией {g (к))Х , спектром Фу(о;) = Л \H(eioJ) |2 аддитивной помехи и, быть
может, функцией плотности вероятности помехи е (t). Таким образом, полное зада-
задание модели сводится к записи
y(t)=G(q)u(t)+H{q)e(r)9 D.1)
fe( •) ~ плотность вероятности е(г),
где
G(q) = 2 g(k)q "*, H(q) =1+1 *(*)<**. D.2)
к = I к = I
Итак, конкретный выбор модели задается тремя функциями G ,# и f e . В боль-
большинстве случаев практически неразумно специфицировать модель посредством
перечисления всех элементов бесконечных последовательностей {g(k)} и {h(к)}
и заданием функции f e (х). Вместо этого используют такие структурные описания,
которые позволяют специфицировать G и Н конечными наборами чисел. Типичны-
Типичными примерами могут служить рациональные передаточные функции и конечномер-
конечномерные описания в пространстве состояний. Кроме того, вместо функции f e часто зада-
задаются некоторые ее численные характеристики, обычно первый и второй моменты:
Ee(t) = fxfe(x)dx = О,
Не2(г) = fx2fe(x)dx = X.
Обычным также является предположение о гауссовости е (г), когда распреде-
распределение польностью определяется характеристиками D.3). Задание системы с по-
помощью конечного набора численных характеристик или коэффициентов наиболее
важно в плане идентификации модели системы. Достаточно часто определить эти
коэффициенты априори из знания физической природы системы не удается. Вместо
этого для определения всех коэффициентов (или некоторой их части) приходится
прибегать к процедурам оценивания. Это означает, что рассматриваемые коэффи-
коэффициенты входят в модель D.1) как определяемые параметры. Обычно мы будем
обозначать эти параметры в и работать с описанием модели вида
1 7@ = ^~в)г^)ТЩ^~е)е\7)\ " "D.4а)""
| fe(x,O) --плотностьвероятностие(г),{е(г)} - белый шум. D.4Ь)
71
Вектор параметров в принадлежит к некоторой области в пространстве R^, где d -
размерность 0:
в GDM С Rd. D.5)
Заметим, что соотношения D.4)-D.5) определяют уже не одну модель, а мно-
множество моделей, и целью процедуры оценивания является выбор такого элемента
этого множества, который кажется наиболее удовлетворяющим поставленной цели.
(Иногда можно услышать выражение "модель D.4)", однако в формальном плане
такое словоупотребление представляет собой бессмысленное смешение понятий.)
Используя формулу C.20), можно вычислить одношаговый прогноз для описаний
D.4). Обозначим его через y(t \ в), подчеркнув тем самым зависимость от 0. Та-
Таким образом,
7)~="irlV,а7с~(з>мо + [1: -я-'о?,ey\yW ""D.6) 1
Этот предсказатель не зависит от плотности f e (х, в). В самом деле, как подчерки-
подчеркивалось в и. 3.3, к формуле D.6) можно было бы прийти и без вероятностных сообра-
соображений. Тогда формула D.4Ь) не применяется. Модели, которые задаются только опе-
операторами G и Н в уравнениях D.4а) или D.6), мы будем называть прогнозирующи-
прогнозирующими моделями. Аналогично, вероятностные модели будут тяготеть к описаниям D.4),
в которых полностью охарактеризованы и вероятностные свойства системы. Пара-
Параметризованное множество моделей типа D.6) будет называться структурой модели
и обозначаться символом JI. Конкретная модель, соответствующая значению пара-
параметра 0, будет обозначаться^ (в). (Формально определения даны в и. 4.5.)
В следующих трех разделах будут рассматриваться различные способы введе-
введения в в описание D.4а) (т.е. различные способы параметризации множества моде-
моделей) . Формальные определения понятий множеств моделей параметризации, структур
моделей и единственности параметризации будут приведены в п. 4.5, вопросы иден-
идентифицируемости будут рассматриваться в и. 4.6.
4.2. Семейство моделей передаточных функций
Быть может, наиболее непосредственным способом параметризации G и Я яв-
является представление их рациональными функциями, когда параметрами становятся
коэффициенты в числителе и знаменателе. В этом разделе мы дадим описания раз-
различных способов выполнения такой параметризации. Такие структуры моделей
известны также под названием моделей черного ящика.
Структура модели ошибки уравнения. Вероятно, наиболее простое входо-выход-
ное соответствие описывается линейным разностным уравнением
У@ + д 1 J>(r - 1) + .. . + лЯв^(г -na) = blu(r- 1) + ... + Ьпъ u(r - nb) + e(t).
D.7)
Поскольку в это уравнение белый шум е(г) входит как его непосредственная ошиб-
ошибка, модель D.7) часто называют моделью (структурой модели) ошибки уравне-
уравнения. В этом случае имеется следующий набор настраиваемых параметров:
в = \ах, а2,. . ., д„в, Ъх, .. . , Ъпь\ т, D.8)
Если ввести
72
то видно, что D.7) совпадает с D.4) при выборе
.. В(я)
Н(я,в) =
A(q)
D.9)
Замечание. Запись переменной q в качестве аргумента A(q), на самом деле
являющегося многочленом от q'19 может выглядеть раздражающей. Однако дело
просто в том, что такая запись согласуется с обычным определением z-преобразо-
z-преобразования; см. B.17).
Мы будем также называть модель D.7) ARX-моделью, где сочетание AR отно-
относится к авторегрессионной части A(q)y(t), а символ X обозначает дополнитель-
дополнительный входной сигнал B(q) u(t) (в эконометрике такой сигнал называют экзогенной
Рис. 4.L Структура ARX-модели
1
А
i
У
не ре мен но й). В том частном случае, когда па = 0, выходной сигнал y(t) описывает-
описывается моделью с конечной памятью (FIR). Такие множества моделей особенно попу-
популярны в приложениях, связанных с обработкой сигналов.
Диаграмма сигнальных потоков может быть представлена схемой рис. 4.1. По
этой схеме мы видим, что с физической точки зрения модель D.7), вероятно, не са-
самая естественная; здесь предполагается, что прежде чем сложиться на выходе сис-
системы, сигнал белого шума динамически преобразуется через знаменатель системы.
Тем не менее у множества моделей ошибки уравнения имеется одна важная особен-
особенность, которая и определяет его первостепенное для многих приложений значение:
предсказатель приводит к линейной регрессии.
Линейная регрессия. Рассчитаем предсказатель для модели D.7). Подстановка
D.9) в D.6) дает
y(t\B) = B(q)u(t)+[\ -A(q)]y(t). D.10)
. Ясно, что эту формулу бьию бы проще вывести непосредственно из D.7). Посмот-
Посмотрим на эту задачу с позиций, обоснованных в п, 3.3: предсказатель D.10) вполне
естествен и вне рамок стохастического подхода, если член е(г) в модели D.7) рас-
рассматривать как "несущественный" или "не поддающийся прогнозированию". Таким
образом, и в случае "детерминированных" моделей вполне естественно пользовать-
пользоваться формулой D.10).
Теперь введем вектор
Ф) = [~y(t-\) -y(t - па), u(t-\) ,u(t ~ nb)] T. D.11)
Тогда D.10) можно переписать в виде
?(П0) = 0ТЖО = VTVH. D.12)
Это соотношение отражает то важное свойство уравнения D.7), которое мы уже де-
демонстрировали. Предсказатель представляет собой скалярное произведение извест-
известного вектора данных ф(т) и вектора параметров в. В статистике такую модель назы-
73
вают линейной регрессией, а вектор </>(г) — регрессионным вектором. Этот класс мо-
моделей важен потому, что для определения вектора параметров в можно использо-
использовать эффективные и простые методы оценивания.
В том случае, когда некоторые из коэффициентов многочленов А и В извест-
известны, мы приходим к линейной регрессии вида
y(t\6) =</(rH + /!(r), D.13)
где член ц(г) известен. См. задачу 4Е.1, а также формулу E.34). Задача оценивания
параметров в линейной регрессии будет рассмотрена в п. 7.3. См. также Прило-
Приложение II.
Структура ARMAX-модели. Основной недостаток простой модели D.7) состоит
в отсутствии достаточной свободы выбора в описании свойств помехи. Степень гиб-
гибкости можно увеличить, если описать ошибку уравнения как скользящее среднее
белого шума. Это приводит к следующей модели:
у @ + агу (г - 1) + . . . + аПау (г -па) =
= М(г - 1) + . .. +bnbu(t -пь) + е@+ сге(Г - 1) + ... +cnce(t -nc). D.14)
Если ввести
то это уравнение можно преобразовать к виду
(t) + C(q)e(t), D.15)
что согласуется с D.4), если положить
C(q)
A (q)
Здесь
в = [аи ... ,^,6, Ьяь,си... ,сПс] т. D.17)
Имея в виду член скользящего среднего (МА) модели C(q)e (г), модель D.15)
будет называться ARM АХ-моделью. ARMAX-модели стали стандартным средством
решения задачи индетификации и проектирования систем в теории управления и
эконометрике. В книге Бокса и Дженкинса [62] можно найти разновидность этой
модели с введением принудительного интегрирования, известную под названием
ARIMA(X)-модели (здесь I обозначает интегрирование, а Х-переменная может на-
наличествовать или отсутствовать) и оказавшуюся полезной при описании систем
с медленно меняющимися помехами. Она получается посредством замены y(t)
в формуле D.15) на Ay(t) =y(t) -y(t - 1) и обсуждается в дальнейшем в п. 14.6.
Псевдолинейная регрессия. Для модели D.15) предсказатель получается по-
посредством подстановки D.16) в D.6). Это дает
или
C{q)y{t\6) = B{q)u{t)+ [C(q)-A(q)]y(t). ' D.18)
Это означает, что формирование прогноза сводится к фильтрации сигналов и wy
через динамическое звено со знаменателем передаточной функции C(q). Инициация
74
процедуры в момент t - 0 требует знания следующих величин:
|0),...,;Р(-ис + 1|0);
),. ..,>>(-"* + 1), и* =
Если эти данные отсутствуют, то их можно принять равными нулю, в результате
чего в прогноз вносится неточность, которая убывает как с[х*, где Ц — максимальный
модуль нулей функции C(z). Можно также начать рекурсию в момент max (и*, пь)
и включить неизвестные начальные условия у(к\О)9к = \,... ,пС9в вектор 0.
С предсказателем D.18) по аналогии с D.1 2) можно провести следующие пре-
преобразования. Добавление к обеим частям D.18) члена [1 - C(q)] y(t |0) дает
?('|0) = Я(*)и(О+[1 -A(q)]y(t)+ [C(q)-l]\y(t)-y(t\0)]. D.19)
Вводится ошибка предсказания
и вектор
<p(t96)=[-y(t-l),...,-y(t-na)9u(t-l)9...
...,u(t -nb\ e(r - 1,0),. .. ,e(t-nc,0)]T. D.20)
Тогда DЛ9) можно записать как
Л D.21)
Отметим сходство с линейной регрессией D.12). Однако уравнение D.21) не являет-
является само по себе линейной регрессией в силу нелинейной зависимости вектора
ip(t9 0) от 0. Чтобы подчеркнуть аналогию с D.12), мы будем называть D.21)
псевдолинейной регрессией.
Другие структуры типа моделей ошибки уравнения. Вместо того чтобы описы-
описывать ошибку уравнения в D.7) как скользящее среднее (см. D.14)), ее, конечно,
можно задать как авторегрессию. Это приводит к следующему множеству моделей
A(g)y(f) = B{q)u(t)+ —e(t)9 D.22)
D{q)
где
которое по аналогии с предыдущим может быть названо ARARX-структурой. Ис-
Использование в более общем случае ARMA-описания ошибки уравнения приводит
к ARARMAX-структуре
? e(t), D.23)
которая конечно включает D.7), D.15) и D.22) как частные случаи. Это позволяет
изобразить на рис. 4.2 семейство связанных между собой множеств моделей ошибки
уравнения. Связь со структурой D.4), а также формулы прогнозирования полу-
получаются непосредственно.
Структура модели выходной ошибки. Все структуры моделей ошибки уравнения
соответствуют тому случаю, когда в знаменателях передаточных функций G и Я
имеется обший множитель в виде многочлена А. См. рис. 4.2. С физической точки
75
I
4-
1
A
. 4.2. Семейство моделей ошибки уравнения: модельная структура D.23)
I
б
В
F
С
В
1
Рис. 4.3. Структура модели выходной ошибки
Рис. 4.4. Структура BJ-модели D.31)
зрения может показаться более естественной независимая параметризация этих
передаточных функций.
Если допустить, что связь между входным и незашумленным выходным сигна-
сигналами может быть представлена в форме линейного разностного уравнения и что
помехи суть белый шум измерений, то можно получить следующее описание:
w(r)+ fiw(t ~ 1) + ... +fnfw(t -nf) = bxu{t - 1) + .. . + bnbu(t -nb), D.24a)
^(O = w(r)+ e(r). D.24b)
Если ввести обозначение
D.25)
Сигнальная блок-схема этой модели показана на рис. 4.3.
Назовем D.25) моделью (структурой модели) выходной ошибки. Вектор
параметров определяется как
e = [bl,b2,...,bnbJiJ2,...Jnf]T. D.26)
Поскольку сигнал w(r) из D.24а) никогда не наблюдается и конструируется по
сигналу и, он должен быть снабжен индексом в, т.е.
w(r,fl)+/,w(r-l,fl)+ ...+/nfw(t-nf,e) = b1u(t~l) + ...+bn bu(t-nb).
D.27)
Сравнивая с D.4), мы находим, что H(q, в) =1, что дает естественную формулу
76
то можно переписать модель в виде
B(q)u(t)+e(t).
прогнозирования (предсказатель):
В(а)
У(г\в)= -Г;и(О = нЧг,0). D.28)
С помощью вектора
*(/,в)= [и(г - 1),.. .,u(t-nb), -w(t -1,0) _w(r -И/,0)]г D.29)
последнее соотношение можно переписать в виде
р г ¦ ' D.30)
которое формально соответствует предсказателю D.21) для ARMAX-модели. От-
мстим, что в D.29) величины w(t — 1,0) ненаблюдаемы, однако могут быть вы-
вычислены с помощью формулы D.28): w(t —k9 0) =y(t —k\0) (fc = l, ...,Wf).
Структура модели Бокса—Дженкинса. Естественным путем развития модели
выходной ошибки D.25) является усложнение модели ошибки на выходе системы.
Если описать ошибку на выходе с помощью ARMA-модели, то окажется, что
В каком-то смысле это наиболее естественная конечномерная параметризация, от-
отправляющаяся от описания D.4): передаточные функции G и Я параметризуются
независимо как рациональные функции. Множество моделей D31) было предложе-
предложено и изучено в книге Бокса и Дженкинса [62]. Эта модель порождает также семейст-
семейство, близкое к моделям выходной ошибки. См. рис. 4.4 и сравните с рис. 4.2. В соот-
соответствии с D.6) предсказатель для D.31) представляется в виде
Общее семейство структур моделей. Структуры, которые были рассмотрены
в этом разделе, фактически могут приводить к 32 различным множествам моделей
в зависимости от того, какие из пяти многочленов A, /?, С, D и F включаются в мо-
модель (здесь было явно продемонстрировано только 6 вариантов). Некоторые из
этих множеств моделей широко используются на практике, поэтому у нас есть осно-
основания привести для них явные алгоритмы и аналитические результаты. Удобства
ради мы будем использовать обобщенную модельную структуру
Л (q)y (t) « |^ if (Г) + ^ е (г). D.33)
F{q) D(q) |
Иногда динамическая связь между и и у включает «^-тактовое запаздывание,
и поэтому некоторые из коэффициентов многочлена Б равна 0, т.е.
Возникает идея ввести явную записи этого запаздывания
> D34)
Однако для упрощения записи мы будем в основном считать, что пк = 1 и пользо-
пользоваться формулой D33). Из формулы D33) мы всегда можем вывести соответст-
соответствующую формулу D34), заменяя u(t) на u(t — пк + 1).
77
Таблица 4.1
Некоторые общие модели типа черного ящика как частные случаи записи D.33)
Многочлены в формуле D.33)
В
АН
ЛВС
АС
Л ВО
Л BCD
BF
BFCD
г~
1
Наименование модельной структуры
FIR (конечная импульсная реакция)
ARX
ARMAX
ARMA
ARARX
ARARMAX
ОЕ (выходная ошибка)
BJ (Бокс- Дженкинс)
Для большинства практических целей структура D.33) является слишком
общей. В приложениях обычно один или несколько из пяти многочленов полагают-
полагаются равными 1. Однако получая алгоритмы и результаты, относяшиеся к D.33),
мы также охватываем и все частные случаи, соответствующие более реальным мно-
множествам моделей.
Из D.6) нам известно, что предсказатель для D.33) имеет вид
v(f 0) = "@ + И -
@ И
C(q)F(q) I C(q)
Наиболее важные частные случаи D.33) сведены в табл. 4.1.
Псевдолинейная форма записи D.35) (•>. формула D.35) может быть также
представлена в виде рекурсии
C(q)F(q)y(t\O) = F(q)[C(q)-D(q)A(q)]y(t)+D(q)B(q)u(t). D.36)
Из D.36) ошибка предсказания
e(tj)=y(t) -y(t\O) . .
записывается как
h! <4з7)
Удобно ввести вспомогательные переменные
В (Я)
@) @ D38а)
и s
v(t, в) = А (q)y (Г) -w(г, 0). D.38Ь)
Тогда D
€(tj)=y(t)-y(t\e)= 7T"!U(r'fl)- D39)
C(q)
Введем также "вектор состояния"
^(Л0)= [~У(Г \\...>-y(t-na),u{t - 1) u(t-nb),
-w(t- 1,0) -w(t -nfy 6\ e(r - 1, 0),.. . , e(r -nc, в), D.40)
-v(t 1,0) -v(t-ndi0)]T.
78
Используя вектор параметров
в = [аг,.. . ,аЯв,Ь,,... ,bnbju. . .,/ягсь...,с^.,^1 dn(J] D.41)
и D.40), мы можем получить удобную формулу для прогнозирования. Чтобы вы-
вывести ее, сначала из D.38) и D.39) находим
м>(Г,в) = Ьги(г -1) + .. .+bnbu(t -nb) -ftw(t - 1,0)- .. .-fnfw(t -nf96)
D.42)
и
€(Г, в) = и(Г, 6)+d1V(t -1,0) + ... + tf^Utf -nd> 0) -
-cMt -1,0)-... -с„се(г -*, 0)- D.43)
Теперь, подставляя
u(f, в) аУ0) +aiy\t - 1) + . .. + anay (t -na)-w (t9 в)
в формулу D.43) и заменяя w(Г, 0) выражением D.42), находим, что
€(t96)=y(t)-0T<p(t,0). D.44)
Следовательно,
9(t\0) = 0Tv(t,0) = vT(t,eH. D.45)
Обе формулы D.36) и D.45) можно использовать для расчета прогнозов. Сле-
Следует отметить, что для тех частных случаев обшей модели D.33), которые были
рассмотрены в этом разделе, соответствующие формулы существенно упрощаются.
Непрерывные по времени модели черного ящика (*). Описание линейной системы
можно было бы параметризовать и через непрерывные передаточные функции B.22) :
Gc(p9e)u(t). D.46)
После этого можно было бы осуществить настройку параметризованных моделей
к наблюдаемым выборочным данным, решая соответствующие дифференциальные
уравнения или применяя точные или приближенные процедуры дискретизации B.24).
Кроме очевидных аналогов уже рассмотренных структур, заслуживают упоминания
два конкретных множества моделей. В промышленных приложениях широко исполь-
используются модели систем первого порядка с временным запаздыванием:
Ke~STc
ST + 1
в (К, тСУ г). D.47)
Кроме того, в литературе довольно давно (см. также независимо работу [39])
рассматривали разложения в ряды по системам ортонормальных функций:
Gc(s90)= I' akfk(s)% 0=(no,...,*d-i). D.48)
fc=0
В качестве одной из таких систем хорошим выбором представляются полиномы
Лагерра:
где а — масштабный временной множитель. Ясно, что в этом случае модель D.46),
как и в формуле B.23), может быть дополнена моделью значений помехи в выбо-
выборочные моменты времени.
Многомерный случай: описание с помощью матричных дробей (*). Рассмотрим
теперь случай, когда входной сигнал u(t) является m-мерным вектором, а выходной
79
\) + ...+Bnbu(t-nb)+ e(t),
где А( — (р X р)-матрицы, a /?f — (рХ т)-матрицы.
По аналогии с D.9) можно ввести многочлены
сигнал у (/) — р-мерным вектором. Для большинства из рассмотренных в этом
разделе идей имеются непосредственные многомерные аналоги. Проще всего обобще-
обобщение множества моделей ошибки уравнения D.7). Получаем
D.49)
b. D.50)
Теперь — это матричные многочлены от переменной q'19 что означает: A (q) — это
матрица, элементы которой представляют собой многочлены от q~l. Отметим, что
система по-прежнему описывается уравнением
y(t) = G(q,6)u(t)+H{q9e)e(t), D.51)
где
H(q,0) =
q). D.52)
Схема расчета и интерпретация обращения A'1 (q) матричного многочлена ничем
не отличаются от обсуждавшихся в связи с формулой C.34). Ясно, что G{q, 0)
будет (рХт)-матрицей, элементы которой суть рациональные функции от q'1
(или q). Факторизацию с использованием двух матричных многочленов называют
также (левым) дробно-матричным представлением. Подробное обсуждение этого
вопроса можно найти в главе 6 книги Кайлата [198].
До сих пор нами не рассмотрена параметризация D.49) (т.е. вопрос о том,
какие из матричных элементов следует включить в вектор параметров в). Это до-
довольно кропотливое дело, которое будет обсуждаться в Приложении 4А. Впрочем,
непосредственный аналог D.8) можно было бы наметить сразу: включить все эле-
элементы матриц из D.49) (общим числом (пар + пьт)р штук) в вектор в. Тогда
можно определить ((пар + пьт)Хр)-матрицу
Впь]
пь]
D.53)
и (пар + nbm)-мерный вектор-столбец
y(t-na)
D.54)
и переписать D.49) в виде
D.55)
в очевидной аналогии с формулой линейной регрессии D.12). Последнюю формулу
можно рассматривать как совокупность р разных линейных регрессий, записанных
одна под другой, с одним и тем же регрессионным вектором.
Когда на параметризацию накладывается дополнительная структура, дальнейшее
использование D.55), как правило, становится невозможным, поскольку в этом
случае разным компонентам выходного сигнала соответствуют разные регрессионные
80
векторы. Тогда нужно образовать такие tf-мерный вектор-столбец в и (р X d)-матри-
d)-матрицу \рт(t), чтобы представить D.49) в виде
T D.56)
По поводу некоторых особенностей формул D.55) и D.56) см. задачи 4С6и 4Е.12.
Различные варианты описания одномерных систем без труда трансформируются
в ряд вариантов описания многомерных систем. Например, векторное разностное
уравнение
y(f)+Axy(t-!) + ...+А^уЦ-п^^ВхиЦ-l) + ...+Bnbu{t-пь) +
+ *(/)+ Cxe(f - 1)+ .. . +C»ce{t -nc) D.57a)
или
G{q%0) = A-l{q)B(q\ //(</, 0) = D'l(q)C(q) D.57b)
являются естественным обобщением ARMAX-модели. А многомерное обобщение
модели Бокса—Дженкинса имеет вид
G{q,0) = F-l{q)B{q)9 H\q, в) = Z) (q) С'(д) D.58)
и т.д. Параметризация этих дробно-матричных представлений рассматривается в
Приложении 4А.
4.3. Модели в пространстве состояний
В пространстве состояний связь между входными сигналами, шумами и выход-
выходными сигналами записывается в виде системы дифференциальных или разностных
уравнений первого порядка посредством введения вспомогательного вектора состоя-
состояния х(г). Этот способ описания линейных динамических систем стал преобладающим
со времени первой работы Калмана [204], посвященной вопросам прогнозирования
и линейно-квадратичного управления. В нашем случае этот способ особенно хорош
тем, что имеющиеся физические представления о механизмах работы системы обычно
гораздо проще учесть в моделях в пространстве состояний, чем в моделях, рассмот-
рассмотренных в п. 4.2.
Непрерывные по времени модели, основанные на физических представлениях.
Дня большинства реальных систем формирования моделей на основе физических
соображений проще осуществлять в непрерывном, а не дискретном времени, по-
поскольку большинство законов природы (законы Ньютона, законы Кирхгоффа
и т.п.) также сформулированы в непрерывном времени. Иначе говоря, обычно мо-
моделирование приводит к записи соотношений типа
х (f) = F(p )x(t)+GF)u (г). D.59)
Здесь F и G — матрицы соответствующей размерности (и X /? и /; X m соответственно
при //-мерном состоянии и яьмерном входном сигнале). Точкой над символом обо-
обозначена операция дифференцирования по времени г. Кроме того, 0 — это вектор
параметров, обычно включающий неизвестные значения физических характеристик,
модулей материалов и т.п. Моделирование ведется, как правило, в терминах тех
переменных состояния х, которые допускают физическую интерпретацию (положе-
(положения, скорости и т.п.), в результате чего наблюдаемые выходные сигналы становятся
известными комбинациями переменных состояния. Пусть т?(г) — измерения, которые
можно было бы получить с помощью идеальных защищенных от помех датчиков:
r?(r)=//x(r). D.60)
Применяя оператор дифференцирования р, можно переписать D.59) в виде
(t) = GF)u(t),
81
откуда следует, что оператор перехода от и к tj в формуле D.60) представляется
в виде
Таким образом, мы получили непрерывную по времени модель передаточной функ-
функции системы, включающую в себя как неточности измерений, так и помехи, дейст-
действующие в системе D.59). Имеется несколько вариантов описания влияния шумов
и помех. Здесь мы сначала остановимся на самом простом способе. Другие варианты
сосредоточены в формулах D.81) и D.93)-D.96), в задаче 4.G.7 и в п. 14.5. Пусть
измерения подвергаются выборочной дискретизации в моменты времени t-kT
(к = 1, 2, ¦.. ) и значения помех в эти моменты времени равны vT(k T). Тогда наблю-
наблюдаемый выходной сигнал представляется в виде
= Нх(кТ)+ vT(kT) = Gc(p,6)u(t)+ vr(kT). D.62)
Дискретизация передаточной функции. Как говорилось в п. 2.1, имеется несколь-
несколько способов перевода описания 6с(р9 в) в явную запись дискретного по времени
представления. Допустим, что входной сигнал, как и в формуле B.3), в интервале
дискретизации Г постоянен:
u(t) = uk=u(kT), kT<t<(k+\)T. D.63)
Тогда можно без труда найти решение дифференциального уравнения D.59) в интер-
интервале между моментами г =kTnt =kT+ T, получив
х(кТ + Т) = Ат{в)х(кТ) + Вт@)и(кТ), D.64)
где
р<°>т D.65а)
D.65b)
о
(см., например, [32]).
Введя оператор q сдвига вперед на Т единиц времени, можно переписать D.64)
в виде
№1-Ат(в)]х(кТ) = Вт(в)и(кТ), D.66)
или
V(kT)=GT(q,6)u(kT)9 D.67)
GT(q,6) = H[qI-ATF)]-lBTF). D.68)
Следовательно, в эквивалентной дискретизованной по выборочным данным форме
уравнение D.62) может быть записано как
y(t)=GT{q,e)u(t)+vT(t)9 t=T,2T,3T9... D.69)
При выполнении предположения D.63) это представление является точным. Однако
заметим, что в силу D.65) функция GT(q, 6) может зависеть от в достаточно слож-
сложным образом.
Пример 4Л.Сервомотор на постоянном токе,
В этом примере будет изучен физический объект, о динамических характеристиках которого
имеется некоторый набор представлений. Рассмотрим электродвигатель на постоянном токе, по-
показанный на рис. 4.5, структурная схема которого изображена на рис- 4.6. В этой системе входным
82
Рис. 4.5. Двигатель постоянного тока
Рис. 4.6. Структурная схема двигателя постоянного тока
сигналом является прилагаемое напряжение м, а результирующий ток i в цепи ротора описы-
описывается хорошо известным соотношением
D.70)
/it
где s (О - обратная электродвижущая сила, обусловленная вращением схемной рамки в магнит-
магнитном поле:
d
v~di
Ток i создает вращающий момент
на оси мотора, на которую также действует момент Т!(t) со стороны нагрузки. Тогда закон
Ньютона даст следующее уравнение:
J -^
D.71)
где J - момент инерции ротора и нагрузки, а / описывает вязкое трение. Предполагая, что ин-
индуктивностью схемной рамки можно пренебречь, ?а»0, можно преобразовать предыдущие
уравнения к форме записи в пространстве состояний
где
+ ka
у = -
"*" кд
Допустим теперь, что момент 7/ тождественно равен 0. Чтобы определить динамику электро-
электродвигателя, приложим теперь кусочно-постоянный входной сигнал и дискретизуем выходной
сигнал с выборочным интервалом Т. Тогда уравнение состояния D.72) может быть записано как
x{t + Т) = Лт(в)х(г) +ВтF)и(г), D.73)
где
83
и, в силу D.65),
Допустим также, что фактическое измерение y(t) величины угаа r\(t) осуществляется с неко-
некоторой ошибкой v(t):
y(t) = ri(t) + v(t). D.75)
Эта ошибка в основном обусловлена ограниченной точностью (например, из-за градуировки
потенциометра) и может быть описана последовательностью независимых случайных величин
с нулевым средним и известной дисперсией R2 (рассчитанной по ошибкам округления в процессе
измерений) при условии, что частота замеров не слишком велика. Таким образом, имеем модель
у (Г) = GT(q, 0) и (Г) + и(Г) ,
где и (г) — белый шум. Естественным предсказателем для такой модели является
v(r|0) = G>(<7,0)w(r)= [I 0| \ql ~Лт(в)Г1Вт(в). D.76)
Этот предсказатель параметризуется введением только двух параметров р и т. Отметим, что
если бы на основе физических соображений мы всего-навсего заключили бы, что наша система
второго порядка, то нам пришлось бы использовать ARX-модель или модель выходной ошибки
второго порядка с четырьмя настраиваемыми параметрами. Как мы увидим, уменьшение числа
параметров оказьюает некоторое положительное воздействие на процедуру оценивания: диспер-
дисперсии оценок параметров начинают убывать. Однако это достигается не бесплатно. Предсказатель
D.76) является гораздо более сложной функцией от двух своих параметров, чем соответствую-
соответствующие ARX-модель или модель выходной ошибки с их четырьмя параметрами.
Уравнения D.64) и D.62) образуют стандартную дискретную по времени модель
в пространстве состояний. Далее мы для простоты примем Г= 1 и опустим соот-
соответствующий индекс. Мы также введем произвольную параметризацию матрицы,
связывающей между собой хиг/://= С (в). В результате получим
х (t + 1) = А (в) х (г) + В(в) и (г), D-77а)
) + u(f), D.77b)
что соответствует
) D.78)
D.79)
Хотя выборочная дискретизация непрерывного по времени описания является вполне
естественным способом построения модели D.77), могут встречаться и такие прило-
приложения, в которых задача сразу ставится в дискретном времени, когда с самого
начала матрицы А, В и С параметризованы введением вектора в, а не опосредованно
через D.65).
Представление шума и стационарный калмановский фильтр. В представлении
D.77) и D.78) мы могли бы продолжить моделирование свойств шума {v(t)}.
Непосредственный, но абсолютно корректный путь сводится к постулированию
модели шума в виде
v(t) = H(qJ)e(t), D.80)
где {e(t)} - белый шум с дисперсией X. ^-параметры в операторе #(</, в) могут
быть в некоторой части теми же, что и в G(q, 0), а могут быть и дополнительными
параметрами самого шума.
Однако при описании в пространстве состояний более привычно производить
расщепление полного сигнала шума v(t) на собственно шум измерений (или наблю-
наблюдений) v(t) и шум объекта w(t), воздействующий на состояния, так что уравнение
D.77) записывается в виде
. D.81)
Здесь {w(t)} и {v(t)} считаются последовательностями независимых случайных
величин с нулевыми средними и ковариациями
?V(Owr(r) = «!(e),
Zfu(r)i;r(f) = /M0)> D.82)
Kw{t)vT(t) = Rl2@).
Помехи w(t) и v{t) часто могут быть сигналами известной физической природы,
В примере 4.1 изменение нагрузки Г/(г) являлось "шумом объекта", а неточность
измерений с помощью углового датчика потенциометра — "шумом измерений".
В подобных случаях предположение о том, что эти сигналы - белые шумы, далеко
не всегда является реалистическим. И тогда для вывода соотношений D.81) и D.82)
потребуется осуществлять дополнительное моделирование и расширение вектора
состояния. См. задачу 4G.2.
Перейдем теперь к задаче прогнозирования сигнала v(f) из формулы D.81).
Именно к этому описанию в пространстве состояний применяется знаменитая кал-
мановская фильтрация (более обстоятельно вопрос изложен в работе [11])- Услов-
Условное математическое ожидание y(t) при заданных v(s), u(s) (s < t — 1) (т.е. от
бесконечности в прошлом до момента t — 1) ив предположении, что процессы v
и w гауссовские, дается формулами:
Здесь К (в) определяется как
К(в)=[А(в)Р(е)Ст(е) + Я12(в)]1С(в)Р@)Ст@) + Я2@)Г19 D.84а)
где Р(в) — положительно полуопределенное решение стационарного уравнения
Риккати:
Р(в) = А (в)Р{в)Лт@) + Д,@) - [А(в)Р(в)Ст(в) +
+ Яхг@))\С@)Р{0)Ст(в)+ Н2(в)Г1[А(в)Р{в)Ст(в)^ Rn@)]T. DМЬ)
Отсюда прогнозирующий фильтр может быть записан в виде
Ht\0)=C@)\q!-A(e)+ КF)С(в)]-1В(в)и@ +
+ C@)\qI-A(e)+ К@)С(в)]-хКF)у(г). D-85)
Матрица Р (в) - это матрица ковариации ошибки в оценке состояния:
Р@) = /П*(О-х(г,в)] [x{t)-x(t,G)]T. D.86)
Представление в виде обновлений. Ошибка предсказания
y{t)-CF)x(t,Q)=CF)[x(t)-x{t,0)] +u(r) D.87)
в формуле D83) относится к той части сигнала y(t), которая не может быть спрог-
спрогнозирована по данным о прошлом: она является "обновлением". Обозначая ее, как
и в формуле C.25), через e(t), мы находим, что формула D.83) может быть
85
перенисана в виде
г, О)+В(в)
). <4'88а> I
Ковариация е(г) может быть определена по формулам D.87) и D.86):
Ke{t) eT(t) = Л = C(fl) P@) CT(Q) + Д2@). D.88b)
Поскольку ошибка e(t) входит явно, это представление известно как представление
в пространстве состояний в форме обновляющего процесса Используя оператор
сдвига q, можно совершить очевидные преобразования
y(t) = G(q,Q) ц(г) + H(q,Q)e(t), D.89a)
G(q,0) = C@)[ql -А@)Г1В@), D 89b)
H(q9 0) = C@)\ql - A @I ~1 /С@) + А
которые выявляют связь с общей моделью D.4) и с непосредственным описанием
сигнала v (t) с помощью соотношения D.80). См. также задачу 4G.3.
Непосредственно параметризованная форма обновлений. В формуле D.88) кал-
мановское усиление К(в) рассчитывается по А @) , С@), Rx @), Rl2 @) и R2 @)
достаточно сложным образом, посредством решения уравнения D.84). Достаточно
привлекательной представляется идея обойти уравнение D.84) и параметризовать
/^-матрицы посредством прямой параметризации К@) через параметры 0. Этот путь
имеет то важное преимущество, что предсказатель D.85) оказывается более прос-
простой функцией от 0. Такую модельную структуру мы назовем непосредственно пара-
параметризованной формой обновлений.
1 1
/^-матрицы, описывающие свойства шума, содержат — п(п + 1) +/!/?+— р(р + 1)
матричных элементов (не считая симметричных), в то время как в калмановский
коэффициент усиления К входит пр элементов (р = dim у, п = dim x). Нел и мы не
располагаем априорной информацией об ^-матрицах и, таким образом, нуждаемся
для их описания во введении большого числа параметров, то лучшей альтернативой
стала бы параметризация К (в), в том числе и в силу желания сохранить dim 0 не-
небольшой. С другой стороны, знание о системе может быть пополнено введением
в D.81) имеющихся физических представлений, например, о том, что шум объекта
сказывается только на одной переменной состояния и не зависит от шума измере-
измерений, дисперсия которого может быть известной. Тогда параметризация К (в) с по-
помощью соотношений D.82) и D.84) может быть осуществлена с использованием
меньшего числа параметров, чем требовалось бы при непосредственной параметри-
параметризации^).
Замечание. Параметризация в терминах D.82) приводит также к парамет-
параметризации р(р +1)/2 элементов матрицы А@) из формулы D.88Ь). Непосредствен-
Непосредственная параметризация D.88) включала бы дополнительные параметры для А, что,
однако, никак не сказывалось бы на прогнозе (сравните также задачи 7Е.4 и 8Е.2).
Непосредственно параметризованные формы обновлений включают в себя и
модели черного ящика, которые находятся в тесной связи с рассмотренными в
и. 4.2.
П р и м е р 4.2. Параметризации совместной формы записи.
Пусть в формуле D.88)
86
А(в) =
В{в)
С@)=[1 О О].
Говорят, что матрицы записаны в совместной форме или в канонической относительно наблю-
наблюдателя форме (см., например, [198]). Нетрудно проверить, что для так записанных матриц
C{d)lqI-A(e)]'1B(e)=-
и
С{0)\Я1-А(в)]-*К(в)= *хЯ '_,
так, что
T- f Z
1 +atq * +a2q
где
д
ci=ai+ki. i=l,2,3.
Используя эти соотношения, мы получили последовательную параметризацию ARMAX-модсли
D.15) и D.16) для яд -пь -пс- 3.
Соответствующая параметризация модели с многими выходами является более
специфической процедурой и описывается в Приложении 4А.
Нестационарные предсказатели***. Предполагается, что для прогнозирующих
фильтров D.83) и D.84) доступны вес данные о прошлом от минус бесконечности.
Если нет данных до момента t - 0, то их можно было бы заменить нулями, тем
самым инициируя рекурсию D.83) при t = 0 со значения х @) = 0 и назначив штраф
за субоптимальность оценок. Именно этой идеей мы руководствовались в п. 32.
Преимущество моделей в пространстве состояний, что они позволяют ценой
некоторого усложнения процедуры прогнозирования дать правильную интерпрета-
интерпретацию неполноте информации о предыстории для t < 0. Если информация о предысто-
предыстории системы до момента t ~ 0 дается через оценку начального состояния хо@) =
= х @, в) и характеристику неопределенности этой оценки
По(в) = t[x@) - xo(fl)] [x@) -
то формулы фильтра Калмана определяют следующие соотношения для одношаго-
вого прогноза (см. [11]):
x(t+ Ud) = AF)x(t,0) + B@) u(t) + K(t,e)[y(t)-C(O)x(t,e)], D.91)
y(t\O) = C(e)x(t,G), x(O,fl) = xo@),
K(t, Q)= [A(O)P(t, 6)CT@) + Я12(в))\С(в)Р(т, в)Ст(в) + RiiO)]-1, D.92)
P(T + l,G) = AF)P(t,Q)AT(G)+Rl(e) - К(т,в)\С(в)РA,0)Ст@) +
+ R2@)\KT(t,0), />(O,0)= По(в).
87
Здесь K(t, 0), определяемое формулой D.92), при достаточно общих предположе-
предположениях быстро сходится к К (в) из формулы D,84) (см., например, [11]). Таким
образом, во многих задачах для упрощения вычислительных процедур разумно
непосредственно использовать предельные значения оценок D.83) при учете D.84).
Вирочем, когда записи данных короткие, решение уравнений D.90)-D.92) обеспе-
обеспечивает нас возможностью корректного исследования переходных свойств оценок,
включая, быть может, параметризацию неизвестных начальных условий *0 (в) и
П о @) . Ясно, что стационарный подход, основанный на соотношениях D.83), D.84) ,
представляет_собой частный случай формул D.91), D.92) при условии, что *0 (в) -
в)
,о()().
Выборочная дискретизация непрерывного шума объектаw- Как и в случае сис-
системной динамики, мы можем получить более глубокое представление о природе
непрерывного по времени шума объекта. Теперь мы можем выписать возмущен-
возмущенную модель в* пространстве состояний
х (г) = F@) x(t) + G(в) u(t) + vv (f). D.93)
Здесь \v (t) - формально введенный белый шум с ковариационной функцией
Е w (О w T(s) = Rt @N (t - 5), D.94)
где 6 — дельта-функция Дирака. Когда входной сигнал, как и в формуле D.63),
кусочно-постоянен, соответствующее дискретное по времени уравнение состоя-
состояния приобретает вид
х(кТ + Г) = Ат(в)х(кТ) + Вт(в) u(kT) + wT(kT), D.95)
где Ат и Вт даются формулой D.65), a wT(kT), к = 1, 2, . . . — последователь-
последовательность независимых случайных векторов с нулевыми средними и матрицей кова-
риации
EwT(kT)wl(kT) = Rl(e) = feF^0^Rl(e)eFT^rdT. D.96)
о
Вывод можно найти в книге Острема [21 ].
Модели в пространстве состояний. Суммируя вышеизложенное, отметим, что
модели в пространстве состояний обеспечили нас широким спектром возможностей
моделирования. Можно использовать физическое моделирование в непрерьюном
времени, дополненное или лишенное соответствующего описания непрерывного
по времени шума, с целью формирования структур с физическими параметрами в.
Можно использовать физическую параметризацию динамики системы в сочетании
с формальной (по методу черного ящика) параметризацией характеристик шума
такой, например, как непосредственная параметризация формы обновлений D,88),
или принимая такую модель шума, которая также является физически параметризо-
параметризованной с помощью соотношений D.93)~ D,96). Наконец, мы можем использовать
структуры черного ящика в пространстве состояний, как скажем, в примере 4.2.
В этом случае описание входо-выходного соответствия моделью черного ящика
имеет преимущество гибкости в выборе такого представления, которое может
обеспечить достижение лучших количественных характеристик процесса парамет-
параметризации (задача 16Е.1).
88
4.4. Модели с распределенными параметрами***
Модели, в которых описание связи между входными и выходным сигналами
явно или неявно включает уравнения в частных производных, обычно называют
моделями с распределенными параметрами. Здесь понятие "распределенности"
относится к вектору состояния, который в общем случае принадлежит функцио-
функциональному пространству, а не евклидову пространству Rn. Для работы с такими
моделями имеется два основных пути. Первый из них сводится к замене производ-
производной по пространственной переменной соответствующей конечной разностью или к
усечению разложения в функциональный ряд, позволяющему приблизить уравне-
уравнение в частных производных обыкновенным дифференциальным уравнением. Тогда
получается "усеченная" конечно-мерная модель того типа, который мы рассмат-
рассматривали в п. 4.3 (в данном случае "усеченность" модели означает вырезание группы
распределенных состояний с объединением их в конечном наборе). Другой подход
заключается в проведении расчетов с исходным уравнением в частных производных
и только на заключительном этапе численных выкладок для упрощения расчетов
осуществляется конечномерная аппроксимация. Следует отметить, что этот второй
подход полностью укладьюается в обобщенную модельную структуру D.4) при
условии, что рассматриваемое уравнение в частных производных линейно и стацио-
стационарно. Это прекрасно иллюстрируется следующим примером.
П р и м с р 4.3. Динамика нагрева.
Рассмотрим физическую систему, схематично изображенную на рис. 4.7, Она представляет
собой хорошо изолированный металлический пруток, который с одного из концов подвергает-
подвергается нагреву. Подогрев в момент времени Г является входным сигналом и (Г), а измеряемая на
Рис. 4,7, Система нагретого прутка
y(t)
u(t)
другом конце температура - это выходной сигнал у (г). Этот выходной сигнал подвергается
выборочной дискретизации в моменты Г =1, 2,...
В идеальных условиях система описывается уравнением теплового переноса. Если через
*(Г, О обозначена температура точки прутка, находящейся на расстоянии ? от изолированно-
изолированного конца прутка в момент времени t, то
dx(t, О э2*(г, О
= к =
bt
где к - коэффициент теплопроводности. Нагрев дальнего конца прутка означает, что
Ъх(г, О
где К - коэффициент теплопередачи. Поскольку ближний конец изолирован, то
= 0.
D.97)
D.98)
D.99)
89
Измерения описываются соотношением
yU) = x{t.Q) + vit), /=1,2,..., D.100)
где {и 0)}определяет шум измерений. Неизвестны параметры
Использование аппроксимации
¦Ъ2х(г. О x{t,S
Ъ? (ALJ ' '
переводит D.97) в модель в пространстве состояний порядка п = AL/L, где переменные сос-
состояния *(r, kAL) суть "вырезанные" представители процесса *(Г, ?)» к AL < ? < (А: + 1)Д?.
Это, как правило, определяет вполне приемлемую аппроксимацию уравнения теплоперсноеа.
Вместо этого мы сохраним уравнение D.97), взяв от него преобразование Лапласа. Пусть
теперь X(st О - преобразование Лапласа от*(г, ?) по переменной t при фиксированном значе-
значении ?. Тогда соотношения D.97)- D.99) преобразуются к виду
X(s, I) = kX"(s, ?),
D.102)
X'(s, 0) = 0.
Одинарным и двойным штрихами обозначено дифференцирование по переменной ?, a U(s) -
преобразование Лапласа от и (г ). Решение уравнений D. ] 02) при фиксированном s дает
X(s, O = A(s)e iVSfK + B{s)i
где постоянные A (s) и B(s) определяются из граничных условий
X' <s, 0) = 0,
X'{s, L)
К U(s)
A(s) = Biz) = —-± —— . DЛ03)
Подстановка последнего результата в формулу D.100) дает
Y(s) = X(s, 0) + V(s) = Gc{s, в) U(s) + V(s\ D.104)
IK
Gc (s, в) = — —^ , D.105)
1
где V(s) - преобразование Лапласа от шума {и (г)} . Таким образом, мы пришли к парамет-
параметризации модели типа D»46). Используя некоторую процедуру выборочной дискретизации и
модель последовательности значений шума измерений, можно привести модель к форме D.4)*
Заметим, что Gc(s, в) является аналитической функцией отs, хотя и не рациональной функцией.
В этом случае могут быть проведены все прежние рассуждения с полюсами, нулями, устойчи-
устойчивостью и др.
Таким образом, в наше исследование методов системной идентификации можно
включить модели с распределенными параметрами. Этому предмету посвящена
обширная литература. См., например, работы [35] и [217]. Совсем неудивительно,
что в этих работах важное значение придается вычислительным аспектам, выбору
базисных функций и т.п.
90
4.5. Множества моделей, структуры моделей и идентифицируемость:
некоторые формальные положения
В этой главе нами рассмотрены модели линейных систем и параметризованные
множества таких моделей. По мерс перехода к изучению методов идентификации
становится ясным, что эти модели и множества моделей должны удовлетворять
определенным требованиям. В этом разделе мы рассмотрим некоторые из таких
формальных требований. Для упрощения обозначений все аналитические соотноше-
соотношения будут выписаны только в случае одномерных моделей.
Некоторые обозначения. Для записи формул, которые будут выведены в этом
разделе, удобно ввести некоторые компактные обозначения. Введя
T(q)=[G{q)H(q)] и Х@= ,' , D.106)
можно переписать формулу DЛ) в виде
y(f)=T(q)X(t). D.107)
Аналогичным образом может быть переписана модельная структура D.4):
y(t) = T(q, в) x(r), T(q, в) = \G{q, в) H{qy в)). D.108)
При данной модели D.107) можно выписать формулу для одношагового прогноза
C.54), которая преобразуется к виду
y{t\t-l)=W(q)z(t)9 D.109)
где
,-["«1.
W(q)=[Wu{q) Wy(q)\,z(t)= I I, D.110)
Wu(q)=H-i(q)G(ql Wy{q)= [1 -H~l{q)]. D.111)
Очевидно, что формула D.111) устанавливает взаимнооднозначное соответствие
между T(q) и W(q):
T(q)<+ W(q). D.112)
Замечание. Отправляясь от D.107), может оказаться предпочтительным
выбор /^-шагового предсказателя C.31). Чтобы сохранить соответствие D.112),
можно рассматривать C.31) как одношаговый предсказатель для модели C.22).
Модели. В связи с моделью D.1) мы уже отмечали, что модель линейной систе-
системы образуют специальным образом определенные передаточные функции G (z) и
H(z) с возможным дополнением в виде дисперсии ошибки предсказания X или
плотностью вероятности fe (x) ошибки предсказания е. В пп. 3.2 и 3.3 мы сдела-
сделали вывод, что конечный результат зависит от того, какие формулы используются
для предсказания будущих значений выходного сигнала. Одношаговый предсказа-
предсказатель для модели D.1) определяется формулой D.109).
Хотя в силу D.112) предсказатель D.109) находится во взаимно однозначном
соответствии с моделью DЛ07), было бы неплохо ослабить связь D.112) и принять
формулу D.109) в качестве основной модели. Среди прочего это позволит непосред-
непосредственно перейти к нелинейным и нестационарным моделям, как будет показано в
п. 5.4. Итак, введем то, что мы понимаем под моделью, формально.
Определение 4.1. Прогнозирующей моделью линейной, стационарной сис-
системы называется устойчивый фильтр W(q)9 определяющий формулу для прогноза
D.109) при условии D.110).
91
Требование устойчивости, определенное соотношениями B.27) (применительно
к обеим компонентам W(q))> необходимо для однозначности определения правой
части формулы D.109). Хотя прогнозирующие модели имеют смысл и при детер-
детерминистском рассмотрении вне стохастических конструкций (это отмечалось уже в
н. 3.3), полезно также рассмотреть модели, которые специфицируют определенные
свойства соответствующих ошибок предсказания (обновлений).
Определение 4.2. Полной вероятностной моделью линейной, стационар-
стационарной системы называется пара (W(q),fe (x)), состоящая из прогнозирующей модели
W(q) и плотности вероятности fe (х) соответствующих ошибок предсказания.
Ясно, что можно также рассматривать модели, в которых распределение вероят-
вероятностей задано лишь частично (например, дисперсией ошибки е).
В этом разделе мы рассмотрим только прогнозирующие модели. Основные кон-
конструкции для вероятностных моделей строятся но аналогии.
Будем говорить, что две модели Wx (q) и W2 (q) равны между собой, если
Wi (e/u;)= W2{eibJ) для почти всех ох D.113)
Модель
будем называться прогнозирующей на к шагов (вперед) моделью, если
Wy(q)= 2 wy(I)q-1 при wy(*)^0, D.114)
y(
/= *
и моделью выходной ошибки (или имитационной моделью), если Wy (q) =0.
Отметим, что в определении на предсказатель наложено требование устойчи-
устойчивости. Это вовсе не означает, что устойчива динамика самой системы.
Пример 4.4. Неустойчивая система.
Допустим, что
\+aq
-, где \а I > 1,
Иначе говоря, модель описывается уравнением
- \) + c(t)
н динамика связи между и и у не является устойчивой. Однако передаточные функции в пред-
предсказателе записываются как
Wy(q) = -aq-1, Wu(q) = bq~l,
т.е.
y(t\t - I) = -ay(t - 1) + buit ¦¦ 1),
что очевидным образом удовлетворяет условию определения 4.1.
Множества моделей. Определение 4.1 описывает одну конкретную модель линей-
линейной системы. Задача идентификации состоит в определении этой модели. Поиск
подходящей модели обычно будет проводиться на множестве моделей-кандидатов.
Вполне естественно определить множество моделей JC* как
Л* = {Wa(q)\ olGA). DЛ15)
Это уже набор моделей, каждая из которых удовлетворяет определению 4.1, поме-
помеченных в нашем случае индексом а, значения которого пробегают множество Л.
92
Типичным множеством моделей может быть
Л* = ?* ={ множество всех линейных моделей},
т.е. всех линейных моделей, удовлетворяющих определению 4.1, или
Л*п = { множество всех моделей таких, что Wy (q) и Wu(q) является многочлена-
многочленами от q~l степени, не превышающей л}, D.116)
или конечное множество моделей , :
JH* -{ Wx(q), W2(q), W$(q)}- D.117)
Говорят, что два множества моделей равны (Л* -Jt*2) если для любой модели W\
из JI* найдется модель W2 изЛ\,что Wx = W2 (см. D.113)) и обратно.
Структуры моделей: параметризация множеств моделей. Чаще всего рассмат-
рассматриваемые множества моделей несчетны. Так как на этих множествах предстоит
вести поиск "наилучших моделей", представляет интерес устанавливаемый способ
перечисления моделей. Основная идея заключается в том, чтобы параметризовать
(проиндексировать) множество "гладким образом" в "хорошем" диапазоне и вести
поиск на множестве параметров (индексов). Допустим, что модели индексированы
d-мерным вектором 0:
W{q.O).
Чтобы формализовать понятие "гладкости", потребуем дифференцируемости функ-
функции W(z/d) по 0 для любого заданного znpn | z\>\:
d
4/(z, 0) = — W{z,B). D.118a)
dd
Здесь
/ d 1
-Wu(z90), — Wy(z,0)\ D.118b)
0 dB J
- (d X 2)-матрица. Таким образом, градиент прогноза >> (r | 0) определяется выраже-
выражением
d A,
фA,в)= —y(t\ в) = ^(q, 0) z{t). D.118c)
dO
Так как расчет и использование фильтров Ф будут осуществляться в процессе поиска,
необходимо потребовать их устойчивости. В результате мы приходим к следующему
определению.
Определение 4.3. Модельная структура М представляет собой дифферен-
дифференцируемое отображение из связного открытого подмножества DeU пространства R^
в множество моделей Л* такое, что градиенты функций предсказателя устойчивы.
Математически это определение записывается в виде цепочки
м D^30"^@)= И/fa, 0)€ЛГ, D.119)
при этом фильтр ч7 из формул D.118) существует и устойчив для 0 G DA1. Таким
образом, символом Л (в) будет обозначаться конкретная модель, соответствующая
значению 0 параметра, с сохранением обозначения Л для самого отображения.
Замечание. Требование открытости множества DM обеспечивает однознач-
однозначность определения производных в формулах D.118). При использовании модельных
структур иногда могут оказаться более предпочтительными неоткрытые множества
DH . Ясно, что если D п содержится в некотором открытом множестве, на котором
определены соотношения D.J18), то проблем не возникнет. Дифференцируемость
93
также можно определить на более сложных, чем открытые подмножествах простран-
пространства R^, на дифференцируемых многообразиях (см., например, [60]). Дополнитель-
Дополнительные замечания можно найти в комментариях к библиографии этой главы.
Пример 4.5.ARX-структура.
Рассмотрим ARX-модель
••btu(t - l) + b2u(t - 2) + e(t).
Предсказатель определяется формулой D.10), которая в даииом случае имеет вид
W(qtd)= \bxq +b2q~2\-aq~l], e = [a,bltb2]T
и
0 -q
q~l 0
.Я'2 0
Параметризованные множества моделей, которые были непосредственно изуче-
изучены нами в этой главе, записаны в виде D.4) и данном случае
y(t) = G{q9O)u(t) + H{qJ)e{t), 0 G Du, D.120)
или, используя D.108),
У (Г) = T(q9B)x{t).
Сразу же проверяется, что в силу D.111)
) 0
где Т'(<7, в)- (dX 2)-матрица
Т'(<7, в) = ^- T{q, в) = \~G(q,6)^-H(q,0)\. D.122)
do L dv do J
Тогда дифференцируемость W следует из дифференцируемости Т.
Следует понимать, что фактически все рассмотренные в этой главе параметриза-
параметризации представляют собой модельные структуры в смысле определения 4.3. В частнос-
частности, справедлива следующая лемма.
Лемма 4.1. Параметризация D.35) с вектором в из формулы D.41), принадле-
принадлежащем области DM = {в | /r(z) C(z) не имеет нулей вне открытого единичного
круга} является модельной структурой.
Доказательство. Необходимо только убедиться в том, что градиенты
по параметру в функций
B(z)D(z)
Wy(z,0) =
C(z)F(z)
D(z)A(z)
C(z)
являются аналитическими функциями для всех | z | > 1 и в G D[и . Но это сразу
следует из того, что (например, для WM(Z,0)) ;
Э B{z)D(z)z k
Wu(z, в)= - У .
dck [C(z)]2F(z)
Лемма 4.2. Рассмотрим параметризацию в пространстве состояний D.88).
Допустим, что матрицы А (в), В (в), К (в) и С (в) поэлементно дифференцируемы
94
по 0. Допустим, что в G йл, где
Dm ~ Ю I все собственные значения матрицы А (в) - К (в) С (в) находятся
внутри единичного круга).
Тогда параметризация соответствующего предсказателя является модельной струк-
структурой.
Доказател ь с т в о. См. задачу 4D.1.
Отметим, что если матрица К (в) найдена как решение уравнения D.84), то в си-
силу обычного свойства фильтра Калмана (см. [11])
DeM = {8\ пара [Л(в), R\@)] стабилизируема, а пара [А(в),СF)] детек-
детектируема}. D.123)
При обращении к другим модельным структурам мы будем пользоваться сле-
следующим определением.
Определение 4.4. Говорят, что модельная структура Л \ содержится в мо-
модельной структуре М2 и пишут
J,CJ2, D.124)
если DMi CD^2 и отображение Л\ получается сужением JC2 на множество 0 G DJjii.
Наитипичнейшей ситуацией выполнения D.124) будет случай, когда Л2 определяет
модели я-го порядка, a Лх - модели m-го порядка {т < п) . Можно считать, что мно-
множество Jl\ получается из множества Л2 посредством фиксации некоторых па-
параметров (как правило, обнуления).
Иногда оказывается полезным следующее характеристическое свойство модель-
модельных структур.
Определение 4.5. Говорят, что модельная структура обладает независимо
параметризованными передаточной функцией и моделью шума, если
D.125)
>), H{q,n)\.
Отметим, что частный случай семейства D.33), когда A (q) = 1, соответствует неза-
независимой параметризации G и Я.
Замечание о "конечных модельных структура х". Иногда
множество моделей-кандидатов является конечным (см. 4.117)). И в этом случае
может быть желательным проиндексировать это множество, используя вектор
параметров 0, принимающий теперь конечное множество значений. Хотя такая конст-
конструкция в соответствии с определением 4.3 не может быть квалифицирована как
"модельная структура ", следует отметить, что процедуры оценивания из пп. 7.1- 7.4
и соответствующие результаты по сходимости из пп. 8.1-8.5 в этом случае также
будут иметь смысл.
Множество моделей как область значений модельной структуры. Множество
значений модельной структуры вполне наглядно определяет множество моделей:
Л* = Л(Л) = Область значений Л={Л(в)\веПн).
"В теории идентификации важной задачей является отыскание модельной структуры,
область значений которой совпадает с данным множеством моделей. Эта задача
иногда является простой, а иногда крайне нетривиальной.
Пример 4.6. Параметризация Л*.
Рассмотрим множество Л^, определенное формулой D.116) ири п = 3. Если положить
в = [ах а2 аъ bx b2 ЬЪ\Т, d= 6,
95
Wy(q, б) = -д,(/Г1 -a2q -a3q'3',
Wu(q,e) = blq-i + b2q'2+b3q'\
то очевидно, что у сконструированной модельной структуры область значений совпадает
Как правило, данное множество моделей может быть представлено областью значений
нескольких разных модельных структур (см. задачи 4Е.6 и 4 Е.9).
Множество моделей как объединение областей значений модельных структур.
В последнем примере для заданного множества моделей удалось подобрать модель-
модельную структуру с соответствующей областью значений. Мы еще встретимся с такими
множествами моделей, для которых это невозможно, по крайней мере среди модель-
модельных структур с желательными свойствами идентифицируемости. В таких задачах
выход из положения состоит в том, чтобы описать множество моделей как объеди-
объединение областей значений нескольких разных модельных структур:
Л* = U «(•*,). D.126)
/= 1
Именно эта идея реализована в частном случае описания линейных систем с несколь-
несколькими выходными сигналами. Подробно эта процедура изложена в Приложении 4А.
Мы же здесь только отметим, что множества моделей, описываемые соотношением
D.126), полезны и при работе с моделями разных порядков и что по крайней мере
неявно такие множества часто используются, когда порядок искомой модели заранее
неизвестен и подлежит определению.
Свойства идентифицируемости. Идентифицируемость является центральным
понятием теории идентификации. Вольно выражаясь, вопрос заключается в том,
позволяет ли процедура идентификации однозначно определить значение параметра в
и/или совпадает ли получающаяся модель с реальной системой. Мы коснемся этого
предмета более детально в отдельной главе (см. пп. 8.2 и 8.3). Сюда, в частности,
относится вопрос о том, достаточно ли информативно множество данных (условия
эксперимента), чтобы существовала возможность различения разных моделей и изу-
изучения свойств самих модельных структур. При этом, если данные достаточно инфор-
информативны для дифференциации разных моделей, то возникает следующий вопрос -
могут ли разным значениям в соответствовать одинаковые модели, В принятой
терминологии последний вопрос относится к обратимости модельной структуры
Л (т.е. инъективности отображения Л). Мы сейчас обсудим некоторые из концеп-
концепций, связанных с подобными свойствами обратимости. Нижеследующее изложение
дополняется материалами пп. 8.2 и 8.3.
Определение 4.6. Модельная структура Л называется глобально иденти-
идентифицируемой в точке 0*,если
Л(в)=Л(в*), 0€D^0 = 0*. D.127)
Напомним, что понятие равенства моделей, определенное формулой D.113), вклю-
включает требование совпадения передаточных функций предсказателей. В силу D.112)
отсюда следует,что совпадают передаточные функции 6иН.
После того, как определена идентифицируемость в точке, можно перейти к
идентифицируемости на множестве.
Определение 4.7. Модельная структура Л называется строго глобально
идентифицируемой, если она глобально идентифицируема в каждой точке 0* множест-
множества Л
Это определение является достаточно ограничивающим. Как мы увидим впослед-
впоследствии, конструировать модельные структуры, обладающие свойством строго гло-
96
бальной идентифицируемости, непросто. В частности, для линейных систем свойство
глобальной идентифицируемости может утрачиваться в точках гиперповерхностей,
соответствующих системам более низкого порядка. Поэтому мы введем более слабое,
но более реалистическое свойство.
Определение 4.8. Модельная структура Л называется глобально иденти-
идентифицируемой, если она глобально идентифицируема в почти всех точках 0* Е DM .
3 а м е ч^а н и е. Иначе говоря, структура Л глобально идентифицируема во всех
точках0*€0,й CDи, где
8DM= {в \
- множество лебеговой меры 0 в R^ (напомним, что DM , а следовательно, и SD^-
подмножества R^ ).
Что касается локальных свойств, то наиболее естественное определение локаль-
локальной идентифицируемости структуры Л в точке 0* должно требовать существования
такого б, что
ЛКв)=Л(в*1 ее®(е*,€)=+ 0=0*, D.128)
где через 53@*, е) обозначена е-окрестность точки 0*. Тогда (строго) локальная
идентифицируемость модельной структуры может быть введена по аналогии с опре-
определениями 4.7 и 4.8. См. также задачу 4GA
Использование понятия идентифицируемости. Понятие идентифицируемости
относится к вопросу о единственности представления данного системного описания
в рамках модельной структуры. Пусть
q)e(t) D.129)
- такое описание. Мы могли бы говорить о том, что такое описание по отношению
к реальной системе является "истинным" или "идеализированным", однако в этом
тексте такой разговор был бы беспредметным. Пусть Л - модельная структура,
основанная на одношаговых предсказателях для следующего уравнения
ЯО = С(<7,в)м(г)+Я(<7.в)<?(г). D.130)
Тогда определяется множество йт{$,Л ) тех значений 0 из DM , для которых
8 ^(
H0(z) = H(z, 0) для почти всех г}. D.131)
При $ ф Л это множество пусто. (В этом случае к некоторой путанице обозначений
Л - это также область значений отображения^.)
Допустим теперь, что § G Л , а следовательно, для некоторого 0О S -Л{во).
Допустим также, что структура Л является глобально идентифицируемой в точке
0О. Тогда
={0о> - D.132)
Одной из особенностей процесса выбора хорошей модельной структуры являет-
является выбор такой Л, чтобы для данного описания § выполнялось соотношение D.132).
Поскольку пользователю описание $ неизвестно, практические процедуры, как
правило, включают тестирование нескольких разных структур Л . Введенные поня-
понятия идентифицируемости становятся полезным указателем при отыскании такой Л,
для которой выполнено D.132).
4. Л. Лыонг 97
4.6. Идентифицируемость некоторых модельных структур
Определение 4.6 вместе с формулой D.113) означает, что для глобальной иден-
идентифицируемости в точке 0* необходимо и достаточно, чтобы
G(z,0) = G(z,d*) и Н(г9в) = Н(г9в*) D.133)
для почти всех z5* 0 = 0*.
В случае локальной идентифицируемости рассматриваются только те значения 0,
которые принадлежат к достаточно малой окрестности 0*. Общий подход к проверке
свойства локальной идентифицируемости дастся критерием, приведенным в зада-
задаче 4G. 4.
В общем случае глобальная идентифицируемость труднее поддается исследова-
исследованию. В этом разделе мы кратко рассмотрим только вопросы идентифицируемости
физических параметров и приведем некоторые результаты для общего случая одно-
одномерной модели черного ящика. Многомерные модели ящика рассматриваются в При-
Приложении 4А.
Параметризация в терминах физических параметров. Процесс моделирования
физических объектов, как правило, приводит к модели в пространстве состояний в
непрерывном времени D.59)-D.60), которая в дискретизованной форме представ-
представляется в виде D.62) и при Т~ 1 записывается как
y{i) = G€{p, в)м(г) + и(О- D.134)
Чтобы можно было корректно проверить идентифицируемость с помощью критерия
D.133), нужно провести выборочную дискретизацию передаточной функции Gc и
подключить модель шума Я. Имеется и более простой критерий:
Gc(?> 0)=Gc(?f в*) дляпочтивсех s=*0 = 0*. D.135)
Этот критерий действительно отличается от критерия D.133), поскольку выбороч-
выборочная дискретизация Gc может приводить к возникновению неоднозначности так, что
две" разные функции Gc могут давать одну и ту же функцию GT (сравните с B.24)).
Таким образом, выполнение D.135) не является достаточным для выполнения
D.133). Впрочем, при правильном выборе интервала дискретизации Г отмеченная
неоднозначность не должна приводить к каким-либо серьезным проблемам. Кроме
того, возникающие при использовании D.135) трудности могут быть преодолены
посредством 0-параметризации модели шума. При этом условие D.135) не является
и необходимым для выполнения D.133). Однако в большинстве приложений харак-
характеристики шума не столь уж существенны, поскольку но сути дела и в них содержат-
содержатся данные о физических параметрах. Все это означает, что соотношение D.135)
является вполне разумным критерием глобальной идентифицируемости соответ-
соответствующей модельной структуры в точке 0*.
В настоящее время задача проверки D.135) представляется достаточно трудной.
За исключением частных случаев единственным общим методом решения вопросов,
возникающих при использовании D.135) является метод "грубой силы" (см. приме-
примеры в задачах 4Е.5 и 4Е.6). Подробное изучение критерия D.135) проведено в рабо-
работе [422], в работе [137] проводится аналогичное исследование для комнартменталь-
ных моделей. Можно также упомянуть работу f 138].
Модельные структуры с одномерной передаточной функцией. Перейдем теперь
к изучению общей модельной структуры одномерного черного ящика D.33), D.41).
Приведем для начала два простых примера.
98
Рассмотрим структуру АRX-модели D.7), D.9):
B(z) 1
G(z, 0)= -7- ti@)
0 =
A(z) ' A(z)9
r ' D.136)
Равенство относительно Я в условии D.133) означает, что совпадают многочлены Л,
откуда в силу равенства для G следует, что и многочлены В совпадают. Таким обра-
образом, сразу подтверждается вывод о том, что для всех значений параметров 0* модель-
модельной структуры D.136) условия D.133) выполнены. Следовательно, эта структура
является строго глобально идентифицируемой.
Перейдем теперь к структуре модели выходной ошибки D.25) с порядками
пъ и /if. При 0 = 6* имеем
1* -1 ¦ .1* ~ пЬ
_ B*(z) _ btz +... + bnbz
bU"b~l + --.+ b;,. n, _ z"bB\z)
Вместо F*(z)z являющегося многочленом постепенямг, мы будем использовать
многочлены F*(z) = z"fF*(z) по степеням z, поскольку независимо от величины
коэффициента /* степень многочлена z"fF*(z) равна iif. Пусть 5*(z) = znbB*(z)
к 0 произвольное значение параметра. Тогда можно записать условие D.133)
F(z) F(z)
в виде
^'(z) В*(z) - F*(z)B(z) = 0. D.138)
Поскольку F*(z) - многочлен степени п^ он имеет rif нулей:
Допустим, что Й*(а/)^0 (/= 1, ... . tif), т.е. что многочлены B*(z) hF*(z) являются
взаимно простыми (не имеют общих множителей). Тогда из D.138) следует, что
Fipn) = 0, i = 1,. . . , nf,
(ecJiH a, - нуль кратности nh то чтобы прийти к заключению, что а,- - нуль многочле-
многочлена F(z) той же кратности, нужно продифференцировать D.138) (и,- - 1) раз). Таким
образом, имеем F(z) = F*(z), откуда в свою очередь^следует равенство B(z) = B*(z)
и 6 = 6*. С другой стороны если многочлены F* и /?* содержат общий множитель,
т.е.
F \z) = 7(z) F? (z), i*(^) = 7@*1»,
тогда для всех 6 таких, что (при произвольном^))
будет выполняться равенство D.138). Таким образом, модельная структура не яв-
является ни глобально, ни локально идентифицируемой в точке 0* (многочлен /3(z)
может быть выбран в достаточно близкой окрестности от многочлена y{z)). В ре-
результате получено, что необходимым и достаточным условием глобальной и локаль-
4* 99
ной идентифицируемости в точке в* структуры модели выходной ошибки D.25)
является взаимная простота многочленов znfF*(z) и znbB*{z) в числителе и знаме-
знаменателе соответственно.
Теперь можно непосредственно обобщить одномерную структуру модели черно-
черного ящика D.33).
Теорема 4.1. Рассмотрим модельную структуру Л , соответствующую
уравнению
A(q)y(t) = ~{ и(г) + -^- e(t) D.139)
НЯ) D(q)
с вектором параметров в, задаваемым соотношением D.41) через коэффициенты
многочленов» Степени многочленов суть па, пь и т.д. Модельная структура является
локально и глобально идентифицируемой в точке 0* тогда и только тогда, когда вы-
выполнены условия (i)-(iv):
(\)у многочленов z"aA*(z), z"bB*(z) и z"cС*(г)нет общих множителей',
(и) у многочленов z" bB * (z) и znfF* (z) нет общих множителей;
(\п) у многочленов z"cС*(z) и zn<iD*(z) нет общих множителей:
(iv) если па > 1, то, кроме того, не должно быть общих множителей и у много-
многочленов znfF*(z)uzndD*{z).
Многочлены со звездочкой соответствуют значению в*.
Отметим, что в некоторых достаточно общих, но частных случаях записи уравне-
уравнения D.139), некоторые из условий (i)-(iv) будут выполнены автоматически. Так,
например, если С= f1 = 1 (случай D.22)), модельная структура является глобально
идентифицируемой при всех 0*. Отметим также, что некоторые из условий (i)-(iv)
могут не выполняться только при "специальным образом" выбранных 0*, принад-
принадлежащим к гиперповерхностям в пространстве Rd. Таким образом, справедливо
следующее следствие.
Следствие. Модельная структура, определяемая уравнением D.139),
является глобально идентифицируемой. Если многочлены С и F являются многочле-
многочленами нулевого порядка, то соответствующая модельная структура является строго
глобально идентифицируемой.
Поиск "истинной" системы на множестве идентифицируемых структур. Проде-
Продемонстрируем полезность георемы 4.1, применив ее для решения задачи отыскания
такой модельной структуры Му для которой при заданном описании $ выполне-
выполнено соотношение D.132). Предположим, что описание S задается соотношениями
8: <?.(,)- _^L_ , Яо(<7) = _С^_. D.140)
A0(q)F0(q) A0(q)D0(q)
Степени соответствующих многочленов после сокращения всех общих множителей
обозначаются «2» п<ь и Т-Д- ^та система (описание) принадлежит к модельной струк-
структуре D.139), если степени всех многочленов модельной структуры по меньшей
мере не уступают степеням соответствующих многочленов в описании истинной си-
системы
"„>'& nb>n°h и т.д. D.141)
Пусть выполнено условие D.141) и пусть 0О — то значение вектора иарметров в,
которому соответствует описание D.140):
8 =Л(в0). D.142)
Очевидно, что структура JI будет глобально идентифицируемой в точке 0О и
будет выполнено соотношение D.132), если все условия D.141) будут реализованы
100
в форме равенств. Однако обычно истинные значения степеней п% w°, . . . неизвест-
неизвестны и процедура проверки всех комбинаций порядков модели, при которых D.14J)
реализуются в форме равенств, была бы обременительной. Результат теоремы 4.1
позволяет утверждать, что такой поиск на множестве порядков не является обяза-
обязательным — структура JC глобально идентифицируема в точке 0О при более слабых
условиях.
Справедлива следующая переформулировка теоремы 4.1.
Теорема 4.2. Рассмотрим описание $, заданное соотношениями D.140)
с истинными степенями п%, w? и т.д. Рассмотрим также модельную структуру Л из
теоремы АЛ. Тогда 8 € Ж и соответствует случаю глобальной идентифицируемости
в точке в в том и только том случае, когда'.
@ min(wtf - w?, nb - wg, nc - w°) = 0;
(ii) min(wb - w°, nf-nf)= 0;
(iii) min(nc - nQc, nd - nd) = 0;
(iv) если na > 0, то, кроме того, min {nf - w°, nd - nQd) = 0.
С использованием теоремы 4.2 процедура поиска истинной системы на множестве
идентифицируемых структур упрощается. Если, например, система $ может быть
задана в виде ARMАХ-модели с конечными порядками r%, rfib иис°, то можно поло-
положить па'пь-пс=п {nf-nd = 0) в М, что определяет некоторую модельную струк-
структуру Jln. Последовательно увеличивая значение п на 1, мы рано или поздно обнару-
обнаружим структуру, для которой выполнено условие (i) и, таким образом, установим
возможность отыскания единственного описания реальной системы 8. I
Одномерные модели в пространстве состояний. Рассмотрим теперь структуру
модели в пространстве состояний D.88). Вполне очевидно, что матрицы А(в), В(В\
С@)нКF)не могут быть заполнены параметрами, поскольку соответствующее
входо-выходное описание определяется только Ъп параметрами (п = dimx). Чтобы
получить идентифицируемые структуры, вполне естественно искать такие парамет-
параметризации матриц, которые содержат Ъп параметров, включая коэффициенты двух
многочленов степени (и - 1) из числителя и коэффициенты общею монического
многочлена н-й степени или некоторого преобразования от этих коэффициентов.
Одной из таких параметризаций является каноническая форма записи наблюдателя
из примера 4.2, которую можно представить в следующей символической форме:
x(t + 1,0) =
X
, 0) + B{0)u(t) + KF)e(t),
X
X
D.143a)
Гх
X
D.143b)
o.,.o
C@)=[1 0...0].
Здесь /„_! - единичная (n— 1)X (w - 1)-матрица, а косым крестиком отмечены
настраиваемые параметры. Это представление является наблюдаемым в силу самого
построения.
В примере 4.2 показано, что эта структура находится во взаимно однозначном
соответствии с ARMAX-структурой при па-пь-пс=п. Из теоремы 4.1 известно,
101
что она является идентифицируемой в точке 0* при условии отсутствия у всех рас-
рассматриваемых многочленов общего множителя, что означало Ьъ\ возможность пред-
представления модели порядком, равным наименьшей из степеней и. Хорошо известно,
что для моделей в пространстве состояний это может иметь место только в том слу-
случае, когда модель неуправляема и/или ненаблюдаема. Поскольку структура D.143)
наблюдаема по построению, то мы приходим к выводу, что необходимым и достаточ-
достаточным уоговием ее глобальной и локальной идентифицируемости в точке в* является
управляемость двухвходовой системы I Л @ *), [В{0 *), К@ * I}. Заметим, что этот
результат приложим только к структуре в пространстве состояний специального
вида D.143).
4.7. Заключение
В этой главе нами изучены множества предсказателей вида
ht\0)=Wu(q,0)u(t)+Wy(q,Q)y(t)y в€ЕЦ*С R*. D.144)
Они находятся во взаимно однозначном соответствии с модельными описаниями
, 0)u(f)+#(<?, 0)ф), 0€Ц,„ , D.145)
где {e(t)} - белый шум, причем это соответствие устанавливается с помощью сле-
следующих соотношений:
Обычно при выборе модели гораздо удобнее оказывается формула D.145), даже
если в качестве рабочей модели используется D.144).
Мы обозначили параметризованные множества моделей, или модельные структу-
структуры, символом Л, а конкретную модель, соответствующую значению парамет-
параметра 0, — символом М@). Такая параметризация является инструментальным сред-
средством процедур поиска "наилучшей модели". При осуществлении выбора на пара-
параметризованных множествах моделей можно руководствоваться двумя разными
идеями.
1. Структуры моделей черного ящика. В этом случае принципиальная идея заклю-
заключается в том, чтобы гибко сформировать множества моделей, которыми можно
аппроксимировать широкое разнообразие систем, не вникая в их внутреннее устрой-
устройство. К этому тину моделей относятся входо-выходные модели разд. 4.2 и кано-
канонически параметризованные модели в пространстве состояний (см. пример 4.2) .
2. Модельные структуры с физическими параметрами. Здесь идея состоит в том,
чтобы учесть в множестве моделей физические особенности описываемой системы,
описав набором настраиваемых параметров только то, чго действительно неизвестно
о системе. Типичным примером таких структур могут служить модели в простран-
пространстве состояний с непрерывным временем.
В этой главе также выписаны формальные условия на прогнозирующие фильтры
[, 0) и Wy(q, 0) (определение 4.3) и рассмотрены представления о параметричес-
параметрической идентифицируемости (т.е. о возможности использования прогнозирующих
фильтров для однозначного восстановления значения параметра 0). Для наиболее
типичных модельных структур черного ящика эти свойства систем были исследова-
исследованы в разд. 4.6 и Приложении 4А. Окончательный вывод из полученных результатов
102 .
состоит в том, что при надлежащем выборе некоторых порядков характеристик
можно обеспечить и идентифицируемость системы. Число таких порядковых характе-
характеристик обычно равняется числу выходов системы.
4.8. Комментарии к библиографии
Как уже отмечено, выбор параметрического множества моделей оказывает ре-
решающее воздействие на решение задачи идентификации. Именно в этом проявляется
связь между предметом идентификации систем и методами параметрического оце-
оценивания. Поэтому большинство статей и книг по идентификации систем включает
материалы но модельным структурам, хотя, быть может, и не так явно, как в нашей
книге.
Простейшая модель ошибки уравнения D.7) изучена всесторонне. См., напри-
например, в связи с задачами идентификации работы Острема [19], Хзиа [183], Менде-
Менделя [287] и Унбехауна, Геринга и Байера [412]. Линейные модели типа D.12) пред-
представляют собой основной объект статистических исследований, см., например, Рао
[335] и Дрейпер и Смит [101]. ARMAX-модель была введена в идентификации
систем Остремом и Бохлином [27] и с тех пор является основной моделью. Модель-
Модельная структура ARARX была введена в литературу по управлению Кларком [82],
но несомненно, что впервые была упомянута в работе Кочрейна и Оркатта [83] но
математической статистике. Введение термина "исевдолинейная регрессия" примени-
применительно к уравнению D.21) принадлежит Соло [380j. Модели выходной ошибки
рассматривались, в частности, Дугардом и Ландау [ЮЗ] и Кабайла [195]. Общее
семейство D.33) впервые было рассмотрено в работе Льюнга [248] и использова-
использовалось Льюнгом и Седерстремом в работе [262]. Многомерные дробно-матричные
представления обсуждаются в работах Кайлата [198] иДиккинсона, Кайлата и Мор-
Морфа [100]. Соответствующие правые дробно-матричные представления для уравнения
D.56), когда все обратные матрицы находятся в правой части, рассмотрены Нехо-
раи и Морфом [304]. При отсутствии входных сигналов соответствующие модели
сводятся к AR-, МА- и ARMA-представлениям. Они исследуются в ряде учебников
по временным рядам (например, Бокс и Дженкинс [62], Хэннан [163] и Бриллин-
гер [631).
Непрерывные модели передаточных функций типа черного ящика D.47) изуче-
изучены применительно к многим задачам управления (см., например, Уэбб и Седерстрем
[423]). Зиглер и Николе [455] определяют параметры таких моделей по реакциям
на единичный скачок или автоколебательным режимам (см., раздел 6.1). В работе
Янга [4471 можно найти обзор но непрерывным во времени моделям и их оцени-
оцениванию.
Модели в пространстве состояний, заданные в форме обновлений или в общем
виде, описаны в типовых учебниках по теории управления (например, Острем и
Виттенмарк [32]). Вопросы использования непрерывных представлений в процессе
оценивания но дискретным данным рассмотрены, в частности, в работах Мера и Тай-
лера [286] и Острема и Чэллстрема [29]. Введение непрерывной по времени модель-
модельной структуры обычно характерно для первого этапа моделирования. Описание об-
общих методов моделирования и примеры можно найти, например, в работах Уэллсте-
да [426] иНиколса [307].
Исследованию моделей с распределенными параметрами и методами их оценива-
оценивания посвящены, в частности, работы Бэнкса, Краули и Куниша [35], Кубрусли
[217], Креши, Нг и Гудвина [330] и Полиса и Гудсона [324]. Экспериментальное
исследование примера 4.3 описывается в работе [231].
Прогностические возможности моделей отмечены в работах Льюнга [239],
[245]. Вопросы идентифицируемости изучаются с самых разных позиций, см. обзор
103
Игуена и Вуда [306]. Идентифицируемость часто связывают со сходимостью оценок
параметров. Соответствующие определения можно найти у Острема и Бохлина [27],
Стейли и Ю [385] и Це и Антона [408]. Только в работе Беллмана и Острема [40]
понятие идентифицируемости было введено в связи с понятием струк гурьт модели и
названо "структурной идентифицируемостью". Определение идентифицируемости
в связи с множеством моделей Dr(S,M) (определено в D.131)) было дано
Густавссоном, Льюнгом и Седерстремом [154]. Частные определения понятий мо-
модельной структуры и идентифицируемости, данные в разделе 4.5, приводятся
впервые.
Более общей по сравнению с определением 4.3 концепцией модельной структу-
структуры явилось бы переосмысливание введенных конструкций при допущении, что DvH
является дифференцируемым многообразием (см., например, Бирнес [69]). Однако
в нашем случае эта возможность учитывается введением предположения о том, что
множество моделей представляется в виде объединения (перекрывающихся) об-
областей модельных структур типа D.126). Для линейных систем соответствующая
структура впервые была рассмотрена Калманом [205], Хазвинкелем и Калманом
[175] и Кларком [81]. См. также работу Бирнеса и Хёрта [70].
Анализ идентифицируемости одномерной модели из раздела 4.6 заимствован в
основном из работы Острема и Бохлина [27].
Вопросы идентифицируемости многомерных модельных структур изложены
в множестве статей. См., например, работы Кайлата [198], Луенбергера [268], Гла-
вера и Виллемса [135], Риссанена [337], Льюнга и Риссанена [261], Гвидорци [151],
Геверса и Уёртса [134], ван Овербэка и Льюнга [3121 и Корреа и Главера [86].
4.9. Задачи
4G.1. Рассмотрим предсказатель D.18). Показать, что влияние неточности в задании началь-
начальных условий y(s\B) (s < 0) ограничено величиной c/uf, где м - максимальная величина модуля
нулей функции C(z).
4G.2. Цветной шум наблюдений: пусть задано представление в пространстве состояний
вида
х (Г + 1) = А, {в)х(П + Вх (d)u(t) + Wl (Г),
D.146)
где {Wj (Г)} - белый шум с дисперсией Rl @), однако шум наблюдений {vt (Г)} не является бе-
белым. При этом модель шума vt (t) может быть представлена в виде
D.147)
где {и(Г)} - белый шум с дисперсией R2(d) и функция H(q, 0) моническая. Вводится модель
в пространстве состояний для D.147) :
D.148)
«1 (О = Са <*)*(/)+ и(О-
Объединить D.146) и D.147) в единое представление, которое согласуется со структурой
D.81) - D.82). Определить /?, @), /?12@) и /?2@). Отмстим, что при w, (Г) = 0 соответствующее
представление окажется заданным непосредственно в форме обновлений D.88).
4G.3. Верификация стационарного фильтра Калмана: Модель в пространстве состояний
D.81) может быть записана в виде (опуская аргумент в и полагая dimy = 1):
где
Пусть Rl2 =0. Тогда спектр {и, (Г) } на основе теоремы 2.2 представляется в виде
Фх{ь>) = С{е1" -1 - AY* Rx{e-(" I -АТ У* СТ + R2.
104
Модель в форме обновлений D.88) запишется как
v2 (Г) = II(q)e(t), II(q) = C{ql - AY1 К + 1.
Отсюда спектр { v2 (О } равен
где X - дисперсия e(t).
(a) Непосредственным расчетом показать, что
Ф^ы)- <I>2(cj) = 0,
используя формулы D.84) и D.88b). Отсюда вытекает, что оба представления имеют одинако-
одинаковые свойства второго порядка, а если шумы гауссовы, то эти представления практически нераз-
неразличимы (см. задачу 2Е.З).
(b) Непосредственным расчетом показать, что
1 - Н1 (q) = 1 ~ [1 + C(ql AY1 К] ~l = C(ql -А+ KCY1 К
и
irl(q)G(q)= [ 1 +C(qI-AY1K]'1 C(ql - АУг В = C(ql - А + КС)''В.
(c) Отмстим, что предсказатель D.83) может быть представлен в форме D.85):
y(t I в) = C(ql - А + КС)-1 Bu(t) + C(ql - А + КС]~1 Ky{t),
и, таким образом, (а) и (Ь) вместе с формулой C.20) составляют описание стационарного
фильтра Калмана.
4G.4. Рассмотрим модельную структуру JC с функциональным градиентом предсказателя
#(z, в), определенным формулами D.118). Определим (d X d)-матрицу:
(a) Показать, что Ж локально идентифицируема в точке в, если матрица г1 @) невы-
невырождена.
(b) Пусть T'(z, 0) определена формулой D.122) и пусть
Используя D.121), показать, что матрица Г2@) невырождена тогда и только тогда, когда не вы-
вырождена матрица }\ (в). (Заметим, что по предположению II{q) не имеет нулей на единичном кру-
круге.) Таким образом, матрицу Г2@) можно использовать для проверки локальной идентифици-
идентифицируемости,
4G.5. Рассмотрим структуру модели выходной ошибки с несколькими входами:
Bm(q)
um(t)+e{t).
м,@ ,
Fiq) F(q)
Показать, что необходимым и достаточным условием идентифицируемости этой структуры в
точке в* является отсутствие общего множителя у всех m + 1 многочленов вида:
где ttf - степень F*(z), nb - максимальная степень B*(z) (/= 1, .. . ,го). Звездочка в в* соот-
соответствует многочленам со звездочкой.
4G.6. Кронеккерово произведение (го X т) -матрицы А = (аф и (р X г)-матрицы В ~ {Ъф
определяется как (см. [36]):
altB al2B axnB
а21В а22В...а2„В
ат\В атг& • • amns _
105
Результат является (тр X пг) -матрицей. Определим оператор col как перезапись матрицы в еди-
единый столбец:
со1#:
В1'
В2
{(rp X 1)-вектор) ,
Вг
где & - /-Й столбец матрицы В.
Рассмотрим формулы D.53) - D.56). Показать, что D.55) можно переписать в форме
D.56), если положить
В = cold T,
гае 1р единичная {р X р) -матрица. Существуют ли другие варианты задания 0и^?
4G.7. Рассмотрим модель в пространстве состояний с непрерывным временем D.93) D.94).
Допустим, что наблюдения искажаются широкополосной помехой с большой дисперсией, модель
которой представляется в виде
где и (О - формально введенный непрерывный белый шум с функцией ковариации
Ev(t)vT(s) = R2{eNV - s).
Пусть п(/) не зависит отй'(г), а выходной сигнал определяется соотношением
/
т t=kT
Показать, что дискретизоваиная система может быть представлена в виде D.95)-D.96), но
y(kT) = CjiO)x{kT) + D7i0)u{kT- T) +vT{kT),
1
С7<0)=—//Ф7'(в>»
т
? = Ri2(e)= — f еГ'{0)тЙ1{0)Ф^ T{0)HTdr,
- R2F) + -— f НФГ-г@)Я1{е)ф'^._т{0)НТAт9
Т Т2 о
{ Г
= -— fli<t>T(O)c/T.
о Т»
Вывод приводится в работе [415].
4G.8, Рассмотрим ARX-модель D.7). Введем 6-оисратор
6 = 1 -</м
и перепараметризуем модели через коэффициенты при степенях 6. Провести подробное изучение
примера системы второго порядка. Преимущество данной параметризации заключается в сниже-
снижении чувствительности к численным ошибкам при малом выборочном интервале [ 139].
4F.1. Рассмотрим модельную структуру тина ARX:
1)+ .. . + аПауц - na) = bxit(t- 1) + . . . + bnt)u{t - nb) + e(t)<
где Ь, = 0,5. Выписать соответствующий предсказатель в форме линейной регрессии D.13).
4Е.2. Рассмотрим непрерывную по времени модель D.72) сервомотора постоянного тока
при Г/(О = 0. Применяя эйлерово приближение B-25), построить аппроксимирующую дискрет-
дискретную по времени передаточную функцию, которая является более простой функцией от 0.
4Е.З. Рассмотрим небольшую сеть емкостей, показанную на рис. 4.8. Каждая емкость вме-
вмещает 10 единиц жидкости. Интенсивности потоков в трубопроводах, измеренные в единицах
106
А
С
1
II
в
в
1
III
Е
У
Рис. 4.8. Сеть емкостей
R ± С y(t)
Рис. 4.9. Простая электрическая цепь
о-
объема, отнесенных к секунде, равны: для А и Г - 1, для В - а, для Г и D - 1 - су. Концентрация
некоторого вещества в трубопроводе А равна и (входной сигнал), а в трубопроводе F. равна v
(выходной сигнал). Выписать для этой системы структурную модель в пространстве состояний.
Считать перемешивание в каждой емкости идеальным (т.е. концентрация вещества во всем
объеме каждой емкости постоянна). Такие модели известны под названием компартментальных
и широко используются в химико- и биотехиологических приложениях, см. Годфри 11371).
4Е.4. Рассмотрим RLC-пеиъ на рис. 4.9 с идеальным источником напряжения uv(t) и идеаль-
идеальным источником тока и,-(О. Эту цепь можно считать линейной стационарной системой с двумя
входными сигналами
"(О
и одним выходным сигналом - напряжением v(г). R, L и С - неизвестные константы. Обсудить
возможные параметризации множеств моделей этой системы и провести сравнительный анализ
их достоинств и недостатков.
Указание. Основные уравнения этой цепи имеют вид
v@=- / Hr)dr.
С о
4К.5. Модель в пространстве состояний рулевой динамики корабля может быть представлена
в виде
d \ «col
— r{t)
dt V hit) I
О
1
0
0
0 1
v(t)
r{t)
I Ht)
м@.
где u(t) - угол поворота рулей, v(t) скорость качки, r(t) - скорость разворота корабля, h(t) -
курсовой угол.
(a) Допустим, что измеряются только u{t) и y(t) = h(t). Показать, что шесть параметров
aij* ^ij нсидентифицируемы.
(b) Попробуйте также показать, что если измеряются u(t) и.)'(О " \v(t)h(t)\ , то все шесть
параметров являются глобально идентифицируемыми при тех значениях параметров, для кото-
107
рых модель является управляемой. Если вам не удастся закончить выкладки, наметьте путь к
решению задачи (литература: [138]).
4Е.6. Рассмотрим модельную структуру D.88), в которой
¦I- '1.
l-a2 Oj
В@) =
С(в)=[1 0],
Г*-1
UJ
[Ч
0 = [axaiblbikxk2]\ 0 G D, CR«,
и еще одну структуру, для которой
X, О
О Х2 J [ м2
72Ь
1KLK2J >
Определить Dx и ?>2 так, чтобы обе эти структуры определяли одно и то же множество моделей.
Что можно сказать о свойстве идентифицируемости?
4Е.7. Рассмотрим нагретый металлический пруток нз примера 4.3. Ввести усеченную аппро-
аппроксимацию с пятью состояниями и выпнсать явно модель в пространстве состояний.
4Е.8. Рассмотреть структуру модели выходной ошнбкн мрипь = 2, t\f- 1 и Ъх = 1:
Определить Г2@) из задачи 4G.4 явно. Когда эта матрица является вырожденной?
4Е.9. Рассмотрим модельные структуры
- l)+bu(t- 1),
fl|<l, b>0}
- 1),
Показать, что ШМХ) = fi(«^). Обсудить возможные достоинства и недостатки обеих структур.
4Е.10. Рассмотрим модель D.72) двигателя постоянного тока. Допустим, что момент Г/
можно рассматривать как процесс белого шума с нулевым средним и дисперсией а2 (т.е. измене-
изменения 7/ случайны и резки по сравнению с динамикой самого двигателя). Использовать соотноше-
соотношения D.94)-D.96) для определения характеристик Rt@) и /?, 2@) дискретизованной выбороч-
выборочной модели D.81)- D.82) двигателя, полагая, что А(в) и В@) определены в соответствии с
D.74),а
В качестве альтернативы можно было бы использовать непосредственно параметризованное об-
обновляющее представление D.88), где А(в) и В(в) по-прежнему определяются D.74), но
Г*»1 Т
К(в) = и в = [т в к. к А .
UJ
Обсудить достоинства и недостатки этих двух параметризаций.
toe
4Е.11. Рассмотрим описание системы вида
x(t + 1) = ax(t) + bu(t) + ?@,
где e(t) ~ белый гауссов шум, a %{f) имеет следующее распределение
( Ос вероятностью 1 — X,
?@= 1 с вероятностью X/2,
[ — 1 с вероятностью Х/2.
Коэффициенты а, Ъ и X суть настраиваемые параметры. Можно ли представить это описание
в виде D.4) ? А если можно, то какой ценой?
4ЕЛ2. Рассмотрим множество многомерных ARX-моделей
y(t)+Aiy(t- 1)+A2y(t- 2) = ^w(r- l) + e@,
где dim у = р = 2, dim и = т = 1, а матрицы параметризованы соотношениями
[х х
а X
]¦ ч: :]•
(здесь а и 0 — известные числа, а знаком X помечены оцениваемые параметры). Выписать уравне-
уравнение предсказателя в форме
где м@ - известный член, и привести явные формулы для ^ и 0. Можно ли этот предсказатель
представить в форме D.55) ?
4Т.1. Определить ^-шаговый предсказатель для ARMAX-модели D.15).
4Т.2. Привести формулу, задающую ^-шаговый предсказатель для уравнений D.88).
4Т.З. Допустим, что Wu(q) и Wy(q) - заданные функции, которые по построению опреде-
определяют ^-шаговый прогноз для системы с описанием
Можно ли единственным образом определить G(eiO}) и Н(егО}) по функциям WM(eICJ) и ^
Что будет, когда известно, что G и Я соответствуют ARMAX-структуре:
B{q) C{q)
G{q) = , H(q) = ,
A(q) A(q)
где Л, В и С имеют известные (подходящие) порядки?
4D.1. Доказать лемму 4.2.
4S.1. Во многих задачах типа S, решение которых рассчитано на создание прикладного прог-
программного обеспечения, мы будем иметь дело с семейством входо-выходных соответствий обще-
общего вида D.34). В этих задачах вам предлагается взять все семейство нли выбрать наиболее пред-
предпочтительные для вас подмножества этого семейства (см. табл. 4.1), а затем фиксировать матрич-
матричную структуру
ТН,
чтобы включить в нее порядки многочленов, па, nb, nc, nd и nf и запаздывание пк и значения
параметров д,% &,• и т.д., а также дисперсию X обновлений. Таким образом, задание переменной
ТН однозначно определяет выбор конкретной модели. Зарезериируйте место для последующего
включения в ТН ковариационной матрицы размера d Xd. Напишите макропроцедуру
PRESENT (ТН)
для отображения модели на экране в удобном для пользователя формате. Напишите также
макропроцедуру
[G,PHIV] =TRF(TH),
которая осуществит расчет передаточной функции
С('")В(е'Ш) , ы~ы ы
109
и спектр помехи
PHIV(w)=\
J)
и представит их в векторной форме с целью использования вместе с макропроцедурой BODEPLOT.
4S.2. Напишите макропроцедуру
>; = SIMU(m, e, ТН),
которая формулирует D.34), и макропроцедуру
е = ?Е(у,и,ТН),
которая рассчитывает ошибки предсказания D.37). Здесь и далее ы, е и у суть векторы и*, ех и
у*. (В плане последующих применений было бы неплохо, чтобы РЕ возвращала также последо-
последовательности (векторы) значений w и v из формулы D.38).)
Приложение 4А. Идентификация многомерных модельных структур
типа черного ящика
Раздел многомерных модельных структур и канонических форм представления
многомерных систем часто считают трудным для восприятия и ему посвящен ряд
разнообразных источников. Здесь мы приведем лишь самые необходимые сведения,
предложив тем читателям, кому понадобится более углубленное и широкое знаком-
знакомство с предметом, обратиться к литературным источникам. См. список литера-
литературы.
По-прежнему, вопрос заключается в том, выполняется ли условие D.133) в дан-
данной точке 0 . Изложение следует плану раздела 4.6. Сначала рассматриваются полино-
полиномиальные параметризации или дробно-матричные представления типа D.5 2) -D.58),
а только затем модели в пространстве состояний. Всюду в этом разделе р обозначает
число выходных сигналов, aw — число входных сигналов.
Дробно-матричные представления (ДМП). Рассмотрим сначала простую много-
многомерную ARX-структуру D.49)— D.53). В этом случае используется функция
G(zt Q) = A~1(z)B(z)y H(z, 0) = A~1(z), DA.1)
где 0 соответствует всем коэффициентам матричных многочленов (относительно
1/z) A (z) и B(z). Их порядки могут быть произвольными. Как и в случае одномер-
одномерных моделей D.136) , можно сразу убедиться в том, что D.133) выполнено для всех
О*. Следовательно, модельная структура, задаваемая ДМП DА.1), является строго
глобально идентифицируемой.
Перейдем теперь к структуре модели выходной ошибки
G(z, 0) = F~1(z)B(z), H(zf0) = l. DA.2)
Следует отметить, что изучение DА.2) включает, как частные случаи, исследование
многомерных ARMAX-структур и многомерных моделей Бокса-Дженкинса. См.
ниже следствие из теоремы 4АЛ.
Здесь матричный многочлен F(z) является (р Хр)-матрицей
>и00 Fl2(z)...Flp{z)
Fn(z) F22(z)...F2p(z) _m_m_ , . „Г1Л__У DА.З)
.. • Fpp(z)\
элементы которой суть многочлены otz:
DA.4)
110
Итак, степень многочлена Ftj обозначается как vtj, a v- max v^. Аналогично,
это матричный многочлен размера р X /и. Порядки его элементов будут обозначать-
обозначаться как jU/y.
Структура по существу определяется выбором порядков vtj и щ} (т.е. заданием
/?(/? + т) целых чисел). Это приводит к тому, что число возможных модельных
структур оказывается умопомрачительным. В литературе исследуются некоторые
частные случаи:
1. ^/=и; щ/ = г. DА.5)
2. *ty = 0, /*=/, *>// = "/; iti// = г,. DА.6)
3. viJ = ni V/; iilf = rf V/. DA.7)
Во всех этих случаях первая из матриц является единичной:
F<°> = /, т.е. /^)=617. DА.8)
Форма записи DА.5) названа в работе Седерстрема и Стойка [374] "полной полино-
полиномиальной формой". Ясно, что это частный случай варианта DА.7), рассмотренный и
использовавшийся в работах [162], [167], [210], [190] и других.
Форма записи DА.6) определяет диагональную F-матрицу и применена, в част-
частности, в работах [209], [361 ], [129].
Структура DА.7), в которой разным столбцам соответствуют разные порядки,
рассматривается, например, в работах [150], [129], [134].
Замечание. В литературе, особенно в тех источниках, в которых рассматри-
рассматриваются канонические формы записи, а не приложения идентификации, часто вместо
многочленов F(z) (как мы и делали в одномерном случае) рассматриваются мно-
многочлены
F(z) = zpF(z) = F<°>zt'+F<I>zt'-1 + ...+F<"> DA.9)
относительно переменной z. Канонические формы записи F(z) (например, эрмито-
эрмитовы формы, см. [100], [164] или [198]) в этом случае, как правило, будут содержать
вырожденные матрицы F *°*. Такие представления для наших целей не годятся,
поскольку не удается явно выразить y(t) через собранные в прошлом значения
данных.
Свойство идентифицируемости в диагональном представлении DА.6) можно
изучать по аналогии с подходом к исследованию одномерных систем. Для осталь-
остальных представлений нам понадобятся дополнительные сведения о матричных много-
многочленах.
Некоторые понятия из теории матричных многочленов. В гл. 6 книги Кайлата
[198] содержится подробная сводка терминологии и содержательных результатов
из теории матричных многочленов. Нам понадобятся только некоторые из них.
Матричный многочлен Р(х) размера р X р называется унимодулярным, если
det P(x) постоянен. В этом случае Р'1 (х) также матричный многочлен. Два много-
многочлена Р(х) и Q(x) с одинаковым числом строк имеют общий левый делитель, если
найдется такой матричный полином L (х), что
P(x) = L(x)P(x),
Q(x)= L(x)Q(x)
для некоторых матричных многочленов Р(х) и Q(x).
Говорят, что Р(х) н Q(x) - левые взаимно простые многочлены, если все их
общие левые делители унимодулярны. Это непосредственное обобщение аналогично-
аналогичного понятия для скалярных многочленов. Основная теорема утверждает, что если
многочлены Р(х) и Q(x) — левые взаимно простые, то существуют такие матричные
111
многочлены А (х) нВ (х) , что
P(x)A(x) + Q(x)B(x) = I DA.10)
(матрица тождественного преобразования).
Утрата идентифицируемости в многомерных ДМП-структурах. Теперь можно
сформулировать основной результат в области исследования идентифицируемости.
Теорема 4А.1. Рассмотрим }ЩТ1-модель выходной ошибки DА.2), в кото-
которой степени многочленов выбраны по варианту DА.7). Пусть в в сведены все коэф-
коэффициенты получающихся матричных многочленов и пусть F+(z) и B*(z) - много-
многочлены относительно 1/z, соответствующие значению в* .Пусть
- диагональные матрицы с щ и rif определенными в DА.7).Определим F*(z) =
= t\ (z) Dp(z), B* (z) = Bm (z) Dm (z) как многочлены от z. Теперь можно утверждать,
что рассматриваемая модельная структура глобально и локально идентифицируема
в точке 0 * тогда и только тогда, когда
многочлены F^(z)u B*(z)— левые взаимно простые. DА.11)
Доказательство. Пусть в соответствует многочленам F (z) и B(z) и
пусть
Это соотношение можно переписать в виде
Dp(г)F-1 (z)B(z) ?>-' (z) = Dp(z)F;1 (z)#.(z)Dj(z),
где F к В определяются аналогично Ft и Bt. Это даст
S.(z) = Ft(z)F-l{z)B{z). ' DА.12)
Если Bt hF, — левые взаимно простые, то в силу DА.10) найдутся такие матричные
многочлены^(z) и У(г),что
Подстановка в это соотношение DА.12) дает
F, (z) F (z) [F(z) X(z) + B(z) Y(z)] = /,
или
F(z)X(z) + B(z) Y{z) = F(z)F;\z)± U{z).
Поскольку левая часть представляет собой матричный многочлен от z, то и U(z)
является таким многочленом. При этом
F(z)=U(z)F.(z). DA.13)
Заметим, что в силу DА.8)
/= lim F{z)= lim F(z)?)-I(z)= lim F,(z)?>-l(z).
Умножение DА.13) на Dj,l(z) дает
/= lim U(z\
а поскольку U(z) — многочлен от z, то U(z) = / и, следовательно, F(z) = F^(z),
что в свою очередь означает выполнение равенства B(z) = B*(z). Достаточность
112
доказана. Если соотношение DА.11) не выполнено, то из многочленов /? (z) h#%(z)
можно выделить общий, неунимодулярный, левый множитель t/*(z) и заменить его
на произвольную матрицу того же размера, что и U*(z) (при выполнении условия
DА.8)) . Это доказывает необходимость.
Теорема может быть непосредственно применена к модельной структуре вида
G(z, 0) = F-1(z)B(z), H(z, 0) = D-l(z)C(z), DA.14)
где F и D обладают степенями, удовлетворяющими DА.7). Ее можно также
распространить на многомерную ARMAX-сгруктуру
G(z, 6) = A-l(z)B(z), H{z, 0) = A-l{z)C(z). DA.15)
Следствие 4АЛ. Рассмотрим ARM АХ-структуру DА.15) со степенями
A (z), удовлетворяющими DА.7). Пусть A4(z) и j3#(z) = [#*(z), C*(z)] (матрич-
(матричный многочлен размера р X (ш + р)) суть многочлены, как сказано в теореме, соот-
соответствующие точке в *. Тогда структура является идентифицируемой в точке в* в
том и только том случае, когда A „(z) и 0»(z) - левые взаимно простые.
Полезность этих результатов но идентифицируемости обусловлена тем обсто-
обстоятельством, что хотя в рассмотрение вводится рт (или даже р(т + р) для
ARMAX-случая) разных передаточных функций, для отыскания идентифицируемой
структуры нужно выбрать только/? порядков (степеней столбцов).
Структура моделей в пространстве состояний. Для многомерной модели в прост-
пространстве состояний D.143а) вводится параметрическая структура, аналогичная
D.143Ь),
о
о
X
о
X
о
о
о
Lx
X
X
X
X
X
X
1
о
X
о
X
о
о
о
X
X
X
X
о
1
X
о
X
о
о
о
X
X "
X
X
о
о
X
о
X
о
о
о
X
о
о
X
1
X
о
о
о
X
о
о
X
о
X
о
о
о
X
о
о
X
о
X
1
о
о
X
о
о
X
о
X
о
1
о
X
о'
0
X
0
X
0
0
1
X.
уВ(в) =
~х
X
X
X
X
X
X
X
X
X "
X
X
X
X
X
X
X
X
DА.16)
X X
X X
X
X
X
XX
XX
X
X
X
X
10
С@)=|О 0
.00
0
0
0
1
00
0
0
0
Число строк, заполненных знаками X в матрице А (в) равно числу выходных сигна-
сигналов. Стало быть, в рассматриваемом примере п = 9,р = 3, т = 2, Иначе говоря, струк-
структура общего вида определяется следующим образом:
113
пусть А @) - матрица, которая первоначально заполнена нулями, кроме над-
диагонали, содержащей единицы. Пусть теперь г г, г2,. . ., гр, где rp = n - номера
строк, заполненных значениями параметров. Положим г0 = 0 и пусть матрица
С@) заполнена нулями, кроме позиций, соответствующих в строке / столбцу
ri~\ + 1 соответственно. Пусть матрицы В (в) и К@) заполнены параметра-
параметрами. DА.17)
Параметризация однозначно задается р числами г^, которые выбираются пользо-
пользователем. Мы также будем пользоваться величинами
называя вектор
мультииндексом, описанным в соответствии с DА.17). Ясно, что
р
i = I
DА.18)
DА.19)
Таким образом, под мультииндексом vn понимается набор из р чисел vt > 1, удов-
удовлетворяющих DA.I9) . Для данных пир найдется ( )различных мультииндексов.
_ \р/
Отметим, что независимо от значения ~vn структура DА.17) содержит 2пр + пт па-
параметров.
Центральной особенностью "канонической" параметризации типа DА.16) являет-
является возможность интерпретации соответствующего вектора состояния х (/\ 0) на язы-
языке входо-выходных соответствий. Действительно, фиксируем момент времени /
и предположим, что u(s) = e(s) = 0 при s> t. Обозначим выходные сигналы модели
при s > t через ув (s | t - 1) . Эти сигналы можно воспринимать как проекцию выход-
выходных сигналов системы на будущие времена s, рассчитанную в момент / -•• 1. Урав-
Уравнения в пространстве состояний выписываются непосредственно:
DА.20)
\t - \) = C@)An-l@)x(t,0).
Если ввести обозначения
'С(в)
С@)Л{0)
С@)А"-1(в)
((пр X и)-матрица наблюдаемости) и
DА.21)
114
то можно переписать DА.20) в виде
Н@= On@)x(t,0). DA.22)
Непосредственно проверяется, что DА.17) обладает одним фундаментальным свой-
свойством: (пр X п)-матрица наблюдаемости Оп(в) включает п строк, образующих
независимо от 0, единичную матрицу. Читателю предлагается самостоятельно убе-
убедиться в том, что строка кр + / матрицы Оп имеет вид
[О 0 ... О 1 0 ... 0],
где 1 находится на (//_, + к + 1)-м месте. Это справедливо для 1 </</?, 0<k<v.
Таким образом, DА.22) означает, что структуре DА.17) соответствуют следую-
следующие переменные состояния:
«\ rt. DA.23)
Здесь верхним индексом i обозначена i-я компонента у. Такая интерпретация пере-
переменных состояния как предсказателей подробно рассматривалась в работах Акаике
[6] и Риссанена [337]. В соответствии с формулой DА.23)из и/?-вектора in(t)
(формула DА.22)) извлекается п строк. Индексы этих строк однозначно опреде-
определяются мул ьтиин дек сом ?п. Обозначили их как
/-={(*-!)/? + /; 1 <?<*>,; 1</<р>. DА.24)
Ключевым является соотношение DА.23). Из этого соотношения следует, что пере-
переменные состояния определяются только входо-выходными характеристиками соот-
соответствующей модели.
Рассмотрим теперь два значения 0* и 0, которым соответствует одна и та же
входо-выходная характеристика в DА.17). Тогдаув (г + к\ г - 1) =ye*(t + k\ t - 1) ,
так как эти оценки рассчитываются с использованием только входо-выходной инфор-
информации. Отсюда х (г, 0) = х (г, 0*) . Теперь, если 0 * соответствует минимальной реали-
реализации, то ей же соответствует и 0, и по теореме, доказанной Кайлатом ([198],
теорема 6.2.4) найдется такая обратимая матрица Т, что
Л@*)= ТА(в)Т'\ ВF*)=ТВ@),
/ DА.25)
К@*)=ТКF), С@*)=С@)Г,
т.е. происходит замена базиса:
x(t,Om)=Tx(t9e). DA.26)
Однако DА.26) в сочетании с ранее подмеченным равенством дг(Г, 0*) = x(t,0) по-
показывает, что Г = 1п и, следовательно, 0 * = 0.
Доказана важная часть следующей теоремы.
Теорема 4А.2. Рассмотрим структуру модели в пространстве состояний
DА.17) . Эта структура глобально и локально идентифицируема в точке в* в том
и только том случаеу когда система { А @*), [В(в *), К @ *) ]} управляема.
Доказательство. Достаточность уже доказана. Чтобы доказать необ-
необходимость, заметим, что если выбор значения 0 * не приводит к управляемости систе-
системы, то ее входо-выходное поведение может быть описано моделью более низкой раз-
размерности с дополнительной произвольной неуправляемой моделью. Но такое опи-
описание возможно при бесконечно большом числе значений в. Что и требовалось до-
доказать.
Из этой теоремы следует, что параметризация DА.17) глобально идентифици-
идентифицируема и поэтому может считаться неплохим вариантом описания систем порядка
п. Однако все еще неясно, любые ли линейные системы п-ro порядка могут быть
115
представлены в форме DА.17) при произвольном выборе мультииндекса vn. К
поиску ответа на этот вопрос мы и перейдем.
Представление в форме матриц Ганкеля. Рассмотрим следующее описание
многомерной системы
y(t) = G0(q)u(t) + H0(q) e{t) = T0(q) x@»
где
Ги@1
To(q)=[Go(q)Xo(q)], x@= I ( I •
Допустим, что матрица То (q) имеет полный строчный ранг (т.е. LT0(q) не равен
тождественно нулю для любого отличного от нуля A X р)-вектора L) . Пусть
= [0
к = 1
Hkq
-к
DА.28)
- импульсная реакция системы. Здесь матрицы Нк имеют размер р X (р + т) . Опре-
Определим матрицу
Н2НЪ .. . //^
DА.29)
Матрицы такого вида, у которых вдоль антидиагоналей стоят одинаковые элементы,
известны под названием блочных матриц Ганкеля. Рассмотрим полубесконечную
матрицу Жг = Жг оо. Относительно этой матрицы имеют место два следующих фунда-
фундаментальных результата.
Лемма 4А.1. Допустим, что п строк I- {см. формулу DА.29)) матрицы
Кп стягивают все строки матрицы "Кп+х* Тогда систему DА.27) можно представить
модельной структурой в пространстве состояний DА.17), соответствующей мульти-
индексу vn.
Доказательство сводится к проведению прямых выкладок и приводится в кон-
конце этого приложения.
Лемма 4А.2.Допустим, что
гапкЗСл+1<и. . DА.30)
Тогда найдется такой мультииндекс т>п, что п строк I- стягивают Жп + х.
Доказательство этой леммы также вынесено в конец приложения.
Из этих двух лемм следует, что условие DА.30) является достаточным для того,
чтобы соотношение DА.27) описывало «-мерную линейную систему (т.е. допускала
описание в пространстве состояний размерности п). Однако хорошо известно, что
это условие является и необходимым. (Матрица ТС получается в результате пере-
перемножения матриц наблюдаемости и управляемости.) Отсюда следует вывод:
любая линейная система, которая может быть представлена в виде модели в
пространстве состояний порядка п, может быть также представлена в частном
виде DА.17) при некотором значении мультииндекса ~vn. DA.31)
Таким образом, при выполнении DА.30) найдутся пр строк матрицы 30,, на кото-
торые натянуто я-мерное (или меньшей размерности) пространство. Характерно то,
116
это же пространство может быть натянуто на любое подмножество из п строк
матрицы ЗСЛ. (Под этим мы понимаем, что если осуществляется случайная равно-
равновероятная выборка из генеральной совокупности лр-вектор-строк, на которые натя-
натянуто «-мерное пространство, то с вероятностью 1 то же пространство будет натянуто
на любое подмножество из п векторов.) Отсюда находим:
представление в пространстве состояний вида DА.17) для конкретного мульти-
индекса Тп может быть описанием почти всех л-мериых линейных систем. DА.32)
Перекрывающиеся параметризации. Пусть М- обозначает модельную структуру
DА.17), соответствующую значению Dn. Тогда результат DА.31) означает, что
множество моделей
М - У «(Л- ) DА.ЗЗ)
(объединение по всем значениям мультииндекса Un) покрывает все линейные л-мер-
ные системы. Таким образом, мы можем описать множество всех линейных л-мер-
ных систем как объединение областей идентифицируемых структур (сравните с
D.126)) . Из DА.32) следует, что области значений JC- существенно перекрывают-
перекрываются
ся. Это не рождает помех для идентификации, напротив, становится возможным, не
теряя информации переходить от одной структуры к другой. Практические приложе-
приложения этих перекрывающихся параметризаций рассматриваются в [312]. В работе [94]
топологическими методами найдены оценки необходимого в DА.ЗЗ) числа пере-
перекрывающихся структур, см. также [171].
Связь между матричными дробями и описаниями в пространстве состояний.
В одномерном случае связь между моделью в пространстве состояний для иссле-
исследования наблюдаемости и соответствующей ARMAX-моделью тривиальная (см.,
пример 4.2). К сожалению, в многомерном случае ситуация значительно усложняет-
усложняется; см. [38, 134, 151].
Впрочем, сразу можно отметить тесную связь между значениями индексов 17{ из
формулы DА.17) и степенями столбцов щ в формуле DА.7). Обе эти величины
определяют такую явную характеристику модели, как число временных сдвигов
/-и компоненты у. Разница, однако, в том, что в пространстве состояний этн сдвиги
прямые (во времени), а для дробно-матричных представлений — обратные. Взаимо-
Взаимосвязь между Vt и индексами наблюдаемости разнообразно продемонстрирована в
доказательстве леммы 4А.2.
Практически различие между двумя способами представления заключается в
том, что в пространстве состояний вектор состояния x(t) (п переменных) есте-
естественным образом используется как вектор ячеек памяти, предназначенной для
моделирования и других целей. При непосредственном моделировании системы
DА.2) запоминаются взятые с различными сдвигами компоненты векторов у и м,
общим числом пр + mS>/ переменных. Это безусловно не обязательный прием, од-
однако обеспечение эффективности расчетов почти неизбежно приводит к тому, что
запоминание организуется в варианте модели пространства состояний. Стало быть,
для многомерных систем методология представления моделями в пространстве
состояний имеет несколько достоинств.
Доказательства лемм 4АЛ и 4А.2. Осталось доказать леммы 4А.1 и 4А.2.
Доказательство леммы 4А.1. Пусть
117
Пусть также (сравните с DА.20)— DА.22))
j>o('+*U-l) = Д Я/Х(г-/) DА.34)
'ht\t-\)
г-1 и-1
Тогда из DА.28) и DА.29) следует, что
DА.35)
Введем следующую нумерацию ir строк в /- в формуле DА.24):
DА.36)
Напомним, что
к
гк = 2 „,.
Теперь конструируется л-вектор x(t)> у которого г-я компонента совпадает с /г-й
л
компонентой YN(t).
Обратим теперь особое внимание на компоненты i\ +р,/2 + V, • - •, 'л +Р вектора
в DА.35), образовав из этих компонент вектор % (г + 1) . Все они соответствуют стро-
строкам матрицы ЗСЛ + 1. Однако по предположению леммы эта матрица натянута на век-
вектор х(г). Следовательно,
*(г+1) = Лс@ DА.37)
для некоторой матрицы F. Теперь, как видно из DА.36), некоторые из компонент
вектора ? (Г + 1) входят и в вектор х (t). Соответствующие строки матрицы F будут
состоять из единицы в первой позиции и нулей — в остальных. Короткое раздумье
но поводу формул DА.36) показывает, что матрица F имеет в точности ту структу-
структуру, которая задается условиями DА.17). Кроме того, для Я, удовлетворяющего
условию DА.17),
y(t) = Hx(t) + e(t). DA.39)
Следовательно,
xr(t + 1) = y$/\t + к | г) = yf/\t — 1 + (к + 1) j t — 1) + [Нк х@] •
А
Но первый член в правой части равен (/r + p)-Pi компоненте Yjy(t), т.е. ?r(f + 1).
Следовательно,
x(r+l)=$(r+l)+Afx(r) ¦ DА.40)
для некоторой матрицы А/. Теперь уравнения DА.37), DА.38) и DА.40) образуют
описание в пространстве состояний системы DА.27) в рамках структуры DА.17),
и лемма доказана.
118
Доказательство леммы 4Л.2. Характеристической особенностью мат-
матрицы Ганкеля Ж^ как частного случая DА.25) является, то что при устранении пер-
первого блочного столбца (и последней блочной строки) или устранении первой блоч-
блочной строки получается одна и та же матрица. Это означает, что если строка i блочной
строки к (т.е. строка (к - ])р + /) принадлежит к линейной оболочке всех располо-
расположенных над ней строк, то тем же свойством обладает строка i в блоке к + 1.
Допустим теперь, что
rank ЗСл+1 = п
и попробуем, двигаясь сверху вниз, выделить в этой матрице множество линейно
независимых строк. Таким образом, строки, не зависящие линейно от расположен-
расположенных под ними, включаются в базис, остальные строки отбрасываются. По оконча-
окончании процедуры мы имеем п строк матрицы Кп + Х. Сделанное выше замечание при-
приводит нас к выводу о том, что если в базис включена строка с номером kp + i {к > 1),
то в него входит и строка с номером (к - 1) р + /. Следовательно, структура индек-
индексов отобранных строк будет такой:
1, р+ 1,2р+ 1,.. .,@! - 1)/?+ 1;
2, р + 2, 2/? + 2, ...,(а2
Р> Р+Р. 2р+р,..., (ор - 1) + р,
для некоторых чисел {а,} , известных под именем индексов наблюдаемости систе-
системы. Поскольку полное число отобранных строк равно п, то
р
1
Таким образом, номера отобранных строк соответствуют, как и в формуле
DА.24), мультииндексу а„, и лемма доказана. Заметим, что несколько других зна-
значений мультииндексов могут образовывать строчный остов, вовсе не обязательно
искать какой-то конкретный набор линейно независимых строк.
Глава 5
МОДЕЛИ НЕСТАЦИОНАРНЫХ И НЕЛИНЕЙНЫХ СИСТЕМ
Наиболее распространенным языком для описания динамических систем несом-
несомненно являются линейные стационарные модели, однако во многих случаях могут
оказаться не только полезными, но и необходимыми и другие способы описания.
В этой главе будут рассмотрены линейные нестационарные модели и несколько не-
нелинейных моделей. Будут также приведены некоторые формальные соображения
о том, что понимается под моделью в общем случае. Это дополнит рассуждения по
поводу общих линейных моделей из раздела 4.5.
5.1. Линейные нестационарные модели
Весовая функция. В гл. 2 система была названа линейной, если линейная ком-
комбинация входных сигналов порождает ту же линейную комбинацию выходных сиг-
сигналов. Тогда в общем случае линейная система может быть задана соотношением
y(t) = ? ь(*)и(г-») + »(г). E.1)
к = 1
119
Если положить
= g(t,t- к),
то окажется, что
y(t)= *2 ftr.s) и (») + »('), E-2)
s - — °°
где g(t, s) (t = 5, s + 1,. ..) - это реакция (отклик) в момент времени t на единич-
единичный входной импульс в момент s. Функция g(t, s) известна также под именем ве-
весовой функции, поскольку она задает веса, с которыми входной сигнал в момент s
представлен в выходном сигнале в момент t.
Описание E.1) в принципе аналогично описанию B.8) для случая стационарной
модели за исключением того обстоятельства, что последовательность gt (к) имеет
индекс времени t. В общем случае можно было бы ввести нестационарную переда-
передаточную функцию
G,fo)= f gt(k)q-k
к = I
и повторить большинство рассуждений из раздела 4.2 для нестационарных переда-
передаточных функций. Однако практически нестационарность проще исследовать в прост-
пространстве состояний.
Нестационарные модели в пространстве состояний. В моделях в пространстве
состояний D.88) нестационарность ввести просто, достаточно допустить, что все мат-
матрицы являются функциями времени:
E4)
Тогда предсказатель, соответствующий D.83) , принимает вид
х(г + 1.0)=[Л,(в)- ЛСг@)Сг@)]5(г,0) + Яг@)и(г) + Мв)>'(О,
P(r|0)=C,@)Jc(r,0). E'5)
Заметим, что последнее соотношение можно переписать в виде
р(П0)= ? w?(*f0)n(r~ *)+ ? wyt(k, 0)y(r- к), E.6)
к = 1 к = 1
где
"?(*.в) = с,@) _'п [Af@)-Kf@)q@)] Bt_k@)9
w?(*f fl) = C,(fl) П [А,(в)-К,(в)С,(в)] К,_к(в).
Аналогично, можно было бы рассматривать нестационарные аналоги моделей D.81)
и D.82) , допуская, что матрицы Ау i?,C, fli,fli2Hfl2 являются функциями от t.
В результате соответствующий предсказатель будет задаваться соотношениями
D 01) -D.92).
По сути дела нестационарное описание может возникнуть и как модель стацио-
стационарной системы в двух общих случаях: A) когда выборочные интервалы дискрети-
дискретизации не равны между собой, и B) проводится линеаризация. Если состояние систе-
системы D.59)- D.60) наблюдается в моменты времени г = г*, А = 1, 2,.. . ,*то, по-преж:
120
нему, можно при переходе от tk к r* + i применять формулы D.63) —D.65) со зна-
значением Тк = tk+1 — tfr. Если интервал дискретизации времени непостоянен, то урав-
уравнение D.64) соответствует нестационарной системе. Близкая ситуация возникает,
когда разные переменные измеряются с разной частотой. Тогда в формуле E.4)
матрица Ct@) оказывается зависящей от времени, чтобы можно было различать
состояния, которые наблюдаются в момент г.
Линеаризация нелинейных систем. Линеаризация поведения нелинейной системы
в окрестности некоторой траектории является, быть может, главной причиной ис-
использования модели нестационарной линейной системы. Пусть нелинейная система
описывается уравнениями вида
= f(x(r)9 u(t)) + r(x(t), u(t))w(t),
Допустим также, что все составляющие помехи: {и>(г)} и (и(г)},являются белыми
шумами малой интенсивности, а номинальное (без помех w(t) = О, v(t) = 0) по-
поведение системы соответствует входной последовательности и* (г) и траекто-
траектории x*(t). Пренебрегая нелинейными членами, можно записать, что разности
Ax(t) = х(г) - *•(*),
&У(г)= y(t) - h(x*(t)),
Аи(г) = и(г) - u*(t)
удовлетворяют уравнениям
Дх(г+1) = F(r)Ax(t) + С (г) Дм (г) + vv(r),
Ay(t) = H(t)Ax(t) + v(r),
где
F(r) =——f(x9u)
Ъх
G(t) = -?-
x*(t),u*(t)
x*(t),u*(t)
X* (Г)
Здесь мы пренебрегли перекрестными членами,включающими помехи (типа Ах- и),
в связи с предположением о малости шумов. В формулах E.9) w(r) и v(r) - белые
шумы со следующими ковариационными характеристиками
Ri(r) = Ew(t)wT(t) = r(x*(t)y u*(r))Ew(t)wT(r)rT(x*(t), w*(r)),
R2(t)= Ev(r)vT(r) = m(x*(r), u*(t))l:v(r)vT(t)mT(x*(t), "*(O), E.10)
), u*(t))Ew(r)vT(t)mT(x*(t), u*(r)).
Эта модель представляет собой линейную нестационарную аппроксимацию модели
E.8) в окрестности номинальной траектории.
5.2. Нелинейные модели как линейные регрессии
Очевидно, что введение нелинейностей связей между входной и выходной после-
последовательностями типа E.8) заметно расширяет возможности описания системы.
В то же время, оценка ситуации достаточно неоднозначна, чтобы по конечной выбор-
выборке данных можно было бы сделать вполне определенные выводы. Действительно,
даже если модель E.8) имеет первый порядок (dim* = 1) и помехи отсутствуют,
то искомые компоненты модели будут представлять собой элементы общего беско-
121
нечномерного функционального пространства (функции /(•,•) и А(-)), а соот-
соответствующая линейная модель задается всего двумя вещественными числами. Имеет-
Имеется ряд способов параметризации функций / и А (например, полиномиальное раз-
разложение) , однако в большинстве случаев создание разумной модельной структуры
требует некоторого постижения сути рассматриваемых нелинейностей. В этом разде-
разделе мы опишем, как можно создавать такие простые структуры, если в нашем распо-
распоряжении имеется некоторая содержательная информация об идентифицируемом
объекте.
Линейно-регрессионная структура. Формулой D.12) мы определили линейную
регрессию как модельную структуру с линейным по параметрам прогнозом:
y(t\0) = *T(tH. E.11)
Чтобы выписать линейное разностное уравнение, компоненты вектора <р(г) (регрес-
соры) были выбраны как задержанные во времени значения входных и выходных
сигналов, см. D.11). Впрочем, при использовании E.11) играет роль не способ
формирования <р(г), а то, что эта величина в момент времени г уже известна. Та-
Таким образом, можно считать, что <р(г) представляет собой произвольную совокуп-
совокупность преобразований, осуществляемых над данными наблюдений. Пусть, как обыч-
обычно, у* и их обозначают входную и выходную последовательности от момента s = 1
до момента s = t. Тогда можно было бы записать
У(г\0) = 0l<Pl(ut,yt-l) + ... + 0dvd(»t>yt-1) = 4>T(f)Q E.12)
с произвольными функциями iff от прошлых данных. Структуру E.12) можно бы-
было бы воспринимать как конечномерную параметризацию общего неизвестного не-
нелинейного предсказателя. Ключевым местом является выбор функций <р,- (мг, yx"),
именно здесь требуется содержательное осмысление физических особенностей объек-
объекта. Это хорошо видно на следующем примере.
Пример 5.1. Дом с солнечным подогревом.
Рассмотрим задачу идентификации динамики дома с солнечным подслревом, описанную
в примере Ы. Нужно построить модель влияния, оказываемого скоростью нагнетания воздуха
и интенсивностью солнечной радиации на температуру аккумулятора тепла. Можно было бы
выписать формальную линейную модель типа D.7)
y(t)+axy(t- i)+a2yit -2) = btu(t - ]) + b2u(t - 2) + c1/(f- l) + c2/(f- 2). E.13)
В этой записи физические особенности процесса нагрева пока не учтены, E.13) представляет со-
собой конкретизацию модели черного ящика для данного специальное случая. Простые рассуж-
рассуждения показывают, что линейная модель не является достаточно реалистичной. Очевидно, что
эффекты, связанные с изменениями потока солнечной энергии и скорости подачи воздуха, не яв-
являются аддитивными. Если вентилятор выключен, то солнце не влияет на температуру аккуму-
аккумулятора.
Посмотрим, что происходит в нагревательной системе. Введем величину х (t), которой
описывается температура коллектора солнечной панели в момент времени t. После некоторых
упрощений физику процесса можно описать следующей дискретной моделью: нафев воздуха
в коллекторе, равный x(t + 1) - x(t), определяется потоком солнечной радиации d7l <t) за вы-
вычетом потерь от нагрева не те плопере дающих элементов (среды) d3x(f) и тепла, транспорти-
транспортируемого в аккумулятор d0 x (f) и (г), т.е.
x(t+ I) -x(t) = d2l(t) -d3x(t) -dox(t)u(t). E.14)
Точно так же, увеличение температуры аккумулятора у (t + 1) -у (t) равно объему доставлен-
доставленной в аккумулятор тепловой энергии dox(t)u(t) за вычетом потерь в окружающую сре-
ДУ d^yif), т.е.
y(t+ 1) -y(t) = dox(t)u(t)-dly(t). E.15)
В уравнениях E.14) и E.15) коэффициенты d^ - неизвестные постоянные, численные зна-
значения которых предстоит определить. А так как температура x(t) не измеряется, то прежде
122
всего нужно исключить х (/) из уравнений E.14) и E.15). Это дает
— + (<*з - D(
+ d0d2u(t - l)I(t-2)-dou(t -\)y(t - l)+do(l+.
Связь между замерами величин у, и и I и параметрами
параметризацию, ее можно упростить, а именно:
дЧг-О;
y(t- l)u(t -1)
u U - 2)
-2). E.16)
усложнилась. Вводя новую
u(t-
E.17)
в6
Теперь EЛ6) можно переписать в виде настоящей линейной регрессии
У it) = ht\B) = *T
E.18)
причем в этом соотношении новые параметры в и искусственно сконструированные наблюде-
наблюдения (замеры) <р@ связаны между собой линейно (заметим, что \р от в не зависит). За это при-
приходится платить ценой той информации о взаимосвязи между разными в f , которая содержит-
содержится в системе алгебраических уравнений E.17).
Модель Гаммерштейна. Иногда нелинейность в системе представлена статичес-
статическим нелинейным преобразованием входного сигнала, а, как показано на рис. 5.1,
сама динамика системы остается линейной. Если нелинейная характеристика / из-
известна, то можно было бы переопределить входной сигнал, введя u(t) =
Рис. 5.1. Система со статической
нелинейностью со стороны входа
u(t)
Статическая
нелинейность
Линейная
система
y(t)
а в остальном рассматривать систему как линейную. Если функция / неизвестна,
можно было бы приблизить ее многочленом
/(м) = aiu + a2u2 + ... + amum, E.19)
а вслед за этим исследовать прохождение различных степеней и через динамичес-
динамические звенья с разными числителями:
A(q)y(t) = Bx(q)u(t) + B2(q)u2(r) + . .. +Вт (q)um(t)t E.20)
где A(q) и Bt (q) - многочлены относительно оператора запаздывания q~l. Вводя
0 - [ax,... ,аПа, bx ,...,on , bx ,...,?„ ,...,0! ,...,on j,
можно переписать E.20) в виде
E.21)
123
что является частным случаем записи EЛ2). Модель E.20) известна как модель
Гаммерштейна. В контексте решения задач идентификации эта модель была впервые
рассмотрена, скорее всего, Нарендрой и Гэллманом в работе [303].
5.3. Нелинейные модели в пространстве состояний
Общее множество моделей. Наиболее общей формой описания конечномериых
систем является задание уравнений вида
1) = /(г, х(г), и@, w(f); 0),
= h(tyx(r), u(t)9 u(r); 0). ( ' >
Здесь w(r) и v(t) — последовательности взаимно независимых случайных величин,
а 0 - вектор неизвестных параметров. Серьезная проблема заключается в том, чтобы
построить предсказатель, основанный на уравнениях E.22) и формальной вероятност-
вероятностной аксиоматике. Фактически известно, что за исключением отдельных частных слу-
случаев нелинейная задача предсказания не имеет конечномерных решений.
Тем не менее для специальных случаев или посредством некоторой аппроксима-
аппроксимации нереализуемых оптимальных решений предсказатели для уравнений E.22),
конечно, можно сконструировать. Что касается метода аппроксимации, то по нему
имеется обширная литература, см., например, Язвински [192] и Андерсон
и Мур [11 ]. Во всех случаях получающийся предсказатель имеет вид
0) = s(r, Z'-1; 0). E.23)
Здесь для упрощения нотации входо-выходные измерения в момент г обозначе-
обозначены как
В этой записи модель удобно использовать при решении вопросов идентификации.
Таким образом, E.23) можно рассматривать как основную модель, не обращая
внимания на способ перехода к форме E.23) от исходного описания (типа E.22)).
Это согласуется с представлением о моделях как способах прогнозирования, приня-
принятым нами в главе 4; разница только в том, что здесь модели E.23) не являются
уже линейной функцией от прошлых значений данных. Как и в гл. 4, модель E.23)
может быть дополнена предположениями относительно свойств соответствующей
ошибки предсказания
Sfr.Z'-1; в), E.24)
например, ее матрицы ковариации Л(г; 0) или плотности распределения вероятнос-
вероятностей fe(x, t\ 0).
Нелинейная имитационная модель. Проще всего получить предсказатель для
уравнений E.22),если пренебречь шумом объекта w(t) и положить
х(г + 1, 0) = /(г, x(r,0), u(t), 0; 0),
$(t\0) = h(r9x(t90)9 u(t\ 0; 0).
Такой предсказатель называют имитационной моделью, поскольку у (т | 0) форми-
формируется на основе модели E.22) в отсутствие шума, но с настоящим входным сигна-
сигналом. Ясно, что и при использовании непрерывных но времени представлений имита-
124
ционное моделирование также просто:
— x(t, 0) = f(T, x(t, 0), u(t), O;0),
A (ад
y(t\0) = h(t,x(t,0),u{t),0;0).
Пример 5.2. Делигнификация.
Рассмотрим проблему снижения содержания лигнина при химической обработке в раство-
растворе древесной щепы. Но существу, это составляет содержание процесса варки целлюлозы для по-
получения пульпы при изютовлении бумаги.
Введем следующие обозначения:
x(t) - содержание лишина в момент t;
их (Г) - абсолютная температура в момент t;
и2 (t) - содержание водородного сульфита HSO3~;
ыэ (О - содержание водорода Н*.
Тогда из основных химических законов вытекает, что
j [МО]в[м,(О|*. E.27)
Здесь Е^ - постоянная Аррениуса, а &,, т, а и 0 • другие постоянные реакции. Моделирова-
Моделирование E.27) с измеренными значениями {w,(f), i =1,2,3} для заданных значений вт-
= (Е ^ , кх, к 2, т, а, /3) определяет последовательность значений содержания лш-нина {x(t, в)}.
В этом случае выходным сигналом системы является также содержание л и шин а, так что
у (f | в ) - jc(f, 0). Эти предсказанные или смоделированные значения могут впоследствии срав-
сравниваться с фактически зарегистрированными значениями для того, чтобы можно было оценить
величину ошибки, сопутствующей конкретному выбору 0. Подобное применение подробно
описано в работе [158].
5.4. Формальная характеризация моделей ^
В этом разделе мы повторим рассуждения, проведенные в разделе 4.5, но для об-
общего случая нелинейных моделей с возможной нестационарностью. Предполагается,
что выходной сигнал системы является р-вектором, а входной сигнал — т-векто-
ром. Как и раньше, Z* обозначает входо-выходные данные до момента г включи-
включительно.
Моделн. Моделью т динамической системы называется последовательность
функций gm (t,Zf-x) (г = 1,2,...), действующих из RXR^'" !> XRm^)B
Rp и отображающих способ угадывания или предсказания выходного сигнала у (г)
по прошлым данным:
- \) = gm(r,Z'-1). E.28)
Модель, которая определяет только функцию предсказания, называется мо-
моделью предсказания. Если E.28) дополнить условной (при заданном Z* ~ 1) плот-
плотностью вероятности (УПВ) соответствующих ошибок предсказания
fe(x, r, Z*~ 1): УПВ y(t)-y(t |r- 1) при данном Z', E.29)
то модель называют полной вероятностной моделью. При моделировании обычным
является предположение о взаимной независимости ошибок предсказания. Тогда
fe не зависит от Zx ~ l:
fe(xy t) : ПВ y(t) - .y(f|f- 1): ошибки взаимно независимы. E.30)
Иногда может оказаться предпочтительным не определять полную модель в виде
плотности вероятности, а ограничиться только вторым моментом (матрицей
125
ковариации):
Лт(г): матрица ковариации y(t)~ у (г | г~ 1)
ошибки взаимно независимы.
Модель E.28) вместе с E.31) называется частичной вероятностной моделью.
Далее модели можно классифицировать, используя следующие их свойства.
1. Линейность. Модель m называется линейной, если gm (г, Z* ~ 1) - линей-
линейная функция от ух ~ 1 и их ~ 1:
gm(r4 Z') = Wty(q)y(t) + Wty(q)u(t). E.32)
2. Стационарность. Модель пг называется стационарной, если функция
gm (г, Zf ~ 1) не меняется при сдвигах абсолютного времени. Если при этом опреде-
определены Лт или fe , то нужно, чтобы они не зависели от г.
3. к-шаговость. Модель m называется к-шаговым предсказателем (вперед),
если gm (г, Z* " 1) является функцией только от ух ~к, их " 1.
4. Имитационность. Модель m называется имитационной моделью или моделью
выходной ошибки, если #m (t, Z1 ~ 1) является функцией только от их ~~ *.
По аналогии с линейным случаем можно было бы определить устойчивость
предсказателя и равенство между собой разных моделей (см. D.113)). Однако мы
здесь от подобного исследования воздержимся.
Множества моделей и модельные структуры. Множества моделей М*, как и
модельные структуры Л, представляют собой дифференцируемые отображения:
Л\ 0 ^g(t, Zf" !; 0) € Л*\ OGDjh С Rd E.33)
(и Л(Г; 0) или fe (х, г; 0), если нужно) из подмножеств пространства RJ в мно-
множестве моделей и могут быть определены с использованием формулировок, анало-
аналогичных приведенным в определении 4.3. Бели определено равенство между моделя-
моделями, то, как и в разделе 4.5, можно развить методологию исследования идентифи-
идентифицируемости.
Будем говорить, что модельная структура Л является линейной регрессией,
если Dj,t - Rd и функция предсказания — линейная (или аффинная) функция от 0:
g(t,Zx-1- 0) = *r(r,Zr-1H+ iL(t,Zf-1). E.34)
Другая точка зрения на модели ^** . Толкование моделей как предсказателей
отражает прагматический подход к интерпретации понятия модели. Можно занять
и более абстрактную позицию.
В качестве пользователей мы взаимодействуем с системой только через после-
последовательности входо-выходных данных Z* = (yf, uf). Следовательно, любое пред-
предположение о свойствах системы будет предположением о Z*. Итак, мы могли бы
сказать, что:
Модель системы - это гипотетическая связь между Zx, г = 1,2,... E.35)
Нередко эксперименты с системой не могут быть воспроизведены стопроцентно
точно. Для данной входной последовательности и из-за присутствия различных
помех мы можем получить в разных экспериментах разные выходные последова-
последовательности yN. В этом случае естественно считать ух случайной величиной, различ-
различные реализации которой мы наблюдаем. Тогда моделью системы станет описание
вероятностных свойств Z* (или, быть может, у* при заданномих).Эту модель m
можно было бы выразить через вероятностную меру Рm или плотность вероятности
126
величины Zr:
Tm(tyZl). E.36)
To есть
Pm(ZrGB)= f /m(r, xf)d*f. E.37)
хт е в
Иногда удобно считать входной сигнал и* детерминирован1юй последовательностью,
фокусируя внимание на условной плотности вероятности уг при заданном иг:
Гт(Г,Ут\иг). E.38)
Обычно модели типа E.36) или E.38) достаточно громоздки как в работе,
так и в построении,и более предпочтительными оказываются другие более косвенные
приемы формирования f т. В самом деле, стохастические модели из разделов 4.2
и 4.3 представляют собой неявное описание функций плотности вероятности для на-
наблюдаемых сигналов. Введение ненаблюдаемых случайных помех {w(f)}, (е(?)}
и т.д. не только является удобным приемом для описания вероятностных свойств
наблюдаемого сигнала, но часто соответствует интуитивному представлению о спосо-
способе генерации выходного сигнала. Однако стоит подчеркнуть, что смысл введения та-
таких ненаблюдаемых помех только в г ом, чтобы определить нлотнос1ь вероятности
наблюдаемых сигналов. _
Гипотетическая плотность вероятности f m из E.36) в некотором смысле явля-
является наиболее общей моделью наблюдаемых записей данных у*, и*. Детерминиро-
Детерминированные модели входят в нее как частный случай. Она также соответствует общему
случаю статистической постановки задачи об описании свойств наблюдаемого векто-
вектора данных. Однако для наших целей эта модель lie является достаточно структури-
зоваппой. В записи E.36) отсутствует указание о естественном направлении хода
времени в реализации данных и о причинно-следственных связях.
При заданной fm(T% Z*) из E.36) можно, по крайней мере принципиально,
произвести расчет условного среднего у (т) при заданных уг ~ ], и* ~~ 1, т.е.
v(Mf- 1) = Em [ v(OI vr" \uf~l\ = gmU4Z'-l)% E.39)
и распределения вероятностей у (t) - g m(r, Z1 ~ ]), назовем его f€ {x, r, Zf ~ x),
llo E.36) можно рассчитать модель E.28) и условную плотность fe из E.29).
Обратно, по заданной функции предсказания gm{t,Zt~ ]) и предполагаемой плот-
плотности вероятности fe (x, т) соответствующих ошибок предсказания можно рас-
рассчитать совместную плотность вероятности для данных у\ иг (типа E.36)). Это
вытекает из утверждения следующей леммы.
Лемма 5.1. Пусть и* - заданная детерминированная последовательность
и пусть у* порождается следующей моделью
y(t) = j?m(f, Zf 'I) + 6m(D, E.40)
где условная плотность em (г) (при заданных ух ~ 1, их ~~1) - это fe (x, т). Тог-
Тогда совместная плотность вероятности уг приданном иг запишется как
Г»,(гуут\иг) = fl fe(y(k)-gm(k,Zk-ll к). E.41)
к =¦ 1
Удобства ради здесь значение хк переменной у (к) обозначено просто как у (к).
127
Доказательство. Выходной сигнал у (г) порождается соотношением
E.40). Следовательно, условная плотность вероятности у (г) при заданном Zt ~l
имеет вид
р(х<\г<-1) - fe(xt-gm(tyZt-x)i r). E.42)
Используя формулу Байеса A.10), можно представить совместную условную плот-
плотность вероятности у (г) и у (г — 1) при заданном Zf ~ 2 в виде
xt-i \Z'~2) = P(xt\y{t~\) = Xr-bZ'-2 '2
где >> (r - 1) в выражении для gm (T9Zf~]) следует заменить на xt _ х. Здесь приня-
принято допущение, что мг — заданная детерминированная последовательность. Повторное
итерирование последнего соотношения до г = 1 даст условную плотность вероятнос-
вероятности величин у (г), у (т - 1) ,. .. , у A) при заданном г/, т.е. функцию f m (г, >>' | иг)
из E.41). Это завершает доказательство.
Из приведенных рассуждений следует важный вывод о том, что модель предска-
предсказателя E.28), дополненная гипотетической плотностью распределения вероятнос-
вероятностей соответствующих ошибок предсказания, является ни чем иным, как общей не-
неструктурированной вероятностной моделью, задаваемой плотностью вероят-
вероятности E.36).
Замечание. Отметим некоторое расхождение с общей моделью условной
плотности вероятности. Общая модель E.36) в общем случае может приводить к та-
такой условной плотности вероятности, которая на самом деле зависит от Zf ~ l
типа /е (х, г, Zf ~ 1) из E.29). Это означает, что ошибки предсказания не обязатель-
обязательно считать взаимно независимыми, причем, как бы то ни было, они образуют мар-
мартингал ьно-разностную последовательность:
*[*« (О I em (t - 1),... ,еж A)] = 0. E.43)
В прогностической формулировке E.40) мы предполагаем, что условная плотность
fe (x, г) не зависит от Zt ~l, т.е. подразумеваем независимость ошибки ет (г) от
предыдущих данных. Однако ясно, что к полученному выше результату (с очевид-
очевидными изменениями в E.41)) можно было бы прийти и в отказе от предположе-
предположения независимости.
5.5. Заключение
Развитие теории моделей нелинейных систем оказалось достаточно близким к
теории линейных систем. В формальном плане главное различие состоит в том, что
для нелинейных систем функция предсказания нелинейно зависит от прошлых наблю-
наблюдений, В практическом отношении важной особенностью является то, что потенциаль-
потенциальная широта класса нелинейных систем во многих случаях приводит к не реализуемос-
реализуемости неструктурированных моделей типа "черного ящика". Вместо этого необходимо,
используя априорное знание характера нелинейности, встраивать нелинейность в
имеющиеся модели. Получающаяся структура может быть задана не в аналитичес-
аналитической форме. Так, можно задавать нелинейности таблично, причем параметры модели
окажутся элементами таких таблиц.
В этом кратком изложении формальных особенностей моделей динамических
систем мы подчеркнули, что модель - это прежде всего способ предсказания, спо-
способ прогнозирования будущих значений выходного сигнала по данным наблюдений.
Функция предсказания может быть, по-видимому, расширена введением гипотез
о виде модели или каких-то параметрах соответствующей ошибки предсказания,
например, о величине дисперсии или плотности вероятности.
128
5.6. Комментарии к библиографии
Модели для идентификации нелинейных систем рассматриваются в обзорах Ха-
бера и Кевицки [157], Мера [283] и Биллингса [48]. В работе Леонтаритиса и Бил-
Биллингса [233] содержится подробное исследование различных параметрических мо-
моделей, и, в частности, NARMAX-модели (нелинейная ARM АХ); см. задачу 5G.1. Мо-
Модель Гаммерштейна, очевидно, впервые рассмотрена в работе Нарендры и Гэллма-
на [303]. Нелинейные имитационные модели типа E.25)-E.26) часто используются
в прикладных задачах с большим объемом априорной информации. Примером та-
такой задачи может служить идентификация динамики самолета, по этому поводу
см. [149].
Описание применений различных методов параметрического оценивания к иден-
идентификации нелинейных параметрических структур можно найти, в частности, в рабо-
работах Биллингса и Вуна [50], Габра и Субба Рао [127] и Стойка и Седерстрема [392].
Рекуррентные методы исследовались в работе Фнайеша и Льюнга [118].
Общее введение в теорию моделей приводится в книге Виллемса [437].
5.7. Задачи
5G.1. Рассмотрим следующую нелинейную структуру:
x(t)= f(x(t - 1) x{t -n)y u(t - 1) u(t-n); 0), E.44а)
y(t)= jc(f) + u(f), E.44b)
v(t) = H(q,e)e(t). E.44c)
Здесь уравнение E.44а) описывает нелинейную динамическую часть без помех с параметром 0;
уравнение E.44Ь) описывает искаженные шумом {v(t)} наблюдения выходного сигнала (шум
описывается общим уравнением B.19)). Показать, что естественным предсказателем цля систе-
системы E.44) будет
y(t\O) = |1 - H~l(q,0)\ y(t)+H~l(q,0)x(t,0)i
где х (t, 0) определяется соотношением
x(t,d) = f(x(t - 1,0),. .. ,x(t- л,0), u(t - 1),... ,u(t-n)\ 0).
5E.1. Рассмотрим билинейную модельную структуру вида
x(t) + a1x(t - \)+a2x(t - 2) = Ь^ u(t - I) + b2 u(t - 2) + cy x(t - \)u(t - 1),
у (t) = x (t) + v(t).
где
e=[ala2blb7c\T.
(a) В предположении, 4io (u(f)} - белый шум, произвести расчет предсказателя у (t | 0)
и вьшисатьего выражение в форме псевдолинейной регрессии
y(t I 0) = fT(t, 0H
с соответствующим образом выбранным вектором *р (г, 0).
(b) Пусть {и (f)} не белый шум, но может быть представлен ARMА-ироцсссом первого по-
порядка. Для этой системы предложить подходящий нрецеказатель.
5Е.2. Рассмотреть систему, показанную на рис. 5.1, считая, что нелинейность имеет вид
звена усиления с насыщением (при неизвестных значениях параметров):
01 02, если u(t) > 02,
u(t) = Oxu{t), если \u{t) I < 02,
-0,02, earn w(r) < -02.
Пусть линейная система может быть описана ARX-модепью второго порядка. Выписать явную
формулу для предсказателя этой модели, параметризованного по 0,, 02 и ARX-параметрам
5. Л. Льюнг J29
5ТЛ. Непрерывные во времени билинейные модели нашли широкое применение (см., напри-
например, [2931). Такая модель может быть представлена в виде
x(t) = A@)x(t) + B@)u(t)+ G@)x(t)u(t) + w(t). E.45a)
где x(t) - вектор состояния, w(t) - белый гауссов шум с матрицей ковариации /?,, a u(t)
скалярный входной сигнал. Выходной сигнал системы подвергается выборочному измерению:
у it) = C@)x(t)+e(t), t=kT, E.45b)
где e (Г) - белый гауссов шум наблюдений с дисперсией R 2. Входной сигнал является кусочно-
носюянпой функцией:
ик, кТ < t < (к + 1) Т.
Вывести формулу для предсказателя сигнала у ((к + 1) Т) при заданных иг и у (г Т) (г < к),
отправляясь от модели E.45).
5Т.2. Рассмотрим структуру модели роста Mono:
2
X. — Of | X
0. jc
=
7 +x2)
X. - ос, {Х2 -а7)
T
где наблюдается у - \хххг\ , а а, и а2 известные постоянные. Идентифицируемы ли пара-
параметры в х, 0 2 и 0 з •
Замечание. Хотя мы не дали формальною определения идентифицируемости нелиней-
нелинейных модельных структур, эти определения весьма близки к введенным в разделах 4.5 и 4.6.
Таким образом, нужно проверить могут ли два различных набора параметров приводить к одно-
одному и тому же в хо до-выход п ом у поведению. (См. работу [180].) Здесь .vx концентрация расту-
шей биомассы, х^ —концентрациярастущего окружающего субстрата,0t - максимальная скорость
роста, 02 -- постоянная Ментена, а 0Э ~ коэффициент размножения.
Часть 11
МЕТОДЫ
Глава 6
НЕПАРАМЕТРИЧЕСКИЕ ВРЕМЕННЫЕ И ЧАСТОТНЫЕ МЕТОДЫ
В гл. 4 отмечалось, что линейная стационарная модель может быть описана
своими передаточными функциями и соответствующими импульсными реакциями.
Здесь мы обсудим прямые методы определения этих функций без первоначального
выделения ограниченною множества возможных моделей. Такие методы часто также
называют непараметрически ми, поскольку они не используют (явно) конечномерно-
конечномерного вектора параметров при поиске наилучшего описания. Будут обсуждены способы
определения передаточной функции G (q) от входа к выходу. Раздел 6.1 посвящен
методам во временной области, а разделы 6.2--6.4 содержат описание частотных мето-
методов с различной степенью сложности. Определение Н (q) или спектра возмущения
обсуждается в разделе 6.5.
Следует отметить, что в данной главе система предполагается разомкнутой
(т.е. {и(г)} и {v(r)} независимы) .Типичные проблемы применения непараметричес-
непараметрических методов к замкнутым конфигурациям в общих чертах описаны в некоторых за-
задачах. Более детально эти вопросы обсуждаются в гл. 14.
6.1. Анализ переходных процессов и корреляционный анализ
Анализ импульсной реакции. Если к системе, описываемой соотношением B.8)
У(П = G0(q)u(r) + y(r), F.1)
приложить импульсное воздействие
то выходная переменная но определению Go и импульсной переходной функции
{#о(О> будет равна
У(т) = <*go{t) + v(t). F.3)
При низком уровне шума можно, таким образом, определить коэффициенты им-
импульсной реакции {go(t)} из эксперимента с импульсным входным воздействием.
Оценки будут равны
F.4)
а
а ошибки v(t)la. Эта простая идея и составляет суть анализа импульсной реакции.
5* 131
Ее основной недостаток заключается в том, что многие физические процессы не до-
допускают импульсных входов такой амплитуды, при которой ошибка v(t)jot пре-
пренебрежимо мала по сравнению с коэффициентами импульсной реакции. Более того,
при таком входе система может проявить нелинейные эффекты, нарушающие линеа-
линеаризованное поведение, положенное в основу модели.
Реакция на ступенчатое воздействие. Аналогично, ступенчатое входное воздей-
воздействие
(a, t > 0
"«"la .<<>•
приложенное к системе F.1), приводит к значению выходной переменной
y(t) = а X go(k) + v(t). F.5)
к = \
Отсюда можно получить оценки величин g0 (к) виДа
y(t)-y(t-\)
g(t) = F.6)
а
с ошибкой [v(t) — v(t - l)]/a. Если определение коэффициентов импульсной реак-
реакции действительно является целью, использование F.6) может сопровождаться
значительными ошибками в большинстве практических приложений. Однако, если
цель заключается в нахождении значений некоторых относящихся к управлению
характеристик, таких как временная задержка, статический коэффициент усиле-
усиления и доминирующие постоянные времени (в модели D.47)), реакции на ступен-
ступенчатое воздействие F.5) могут предоставить достаточную для обеспечения удовлет-
удовлетворительной степени точности информацию. Фактически, хорошо известные пра-
правила настройки простых регуляторов тина правила Зиглера-Никольса [455] осно-
основаны на обработке информации, содержащейся в реакциях на ступенчатые воздей-
воздействия.
На основе графического представления реакций на ступенчатое воздействие
можно вычислить некоторые характеристические числа, которые в свою очередь
могут быть использованы для определения параметров модели заданного поряд-
порядка. Обсуждение таких характеристик содержится в работе Раке [334].
Корреляционный анализ. Рассмотрим описание модели F.1):
оо
y(t) = 2 go(k)u(t-k) + v(t). F.7)
к = 1
Если входное воздействие является квазистационарной последовательностью
(см. B.59)) с
~Eu(t)u(t-T) = Ru(t)
Eu(t)v(t- т) = 0 (цепьразомкнута),
то согласно теореме 2.2 (сформулированной во временной области)
оо
Ey(t)u(t~T) = Ryu(r) = 2 go(k)Ru(k-T). F.8)
к = I
В частности, если входное воздействие представляет собой белый шум с
Ru(t) = a$r0,
132
то
Таким образом, оценка импульсной переходной функции может быть получена из
оценки Ryu(г), например, вида
К" (r)= l- ? y(t)u(t-r). F.9)
у N t = т
В обшем случае, когда входное воздействие не является белым шумом, мож-
можно использовать оценку
Ru(r) = --2 u(t)u(t-r) F.10)
/V г = т
и решить уравнение
К* (г) = 2 |(*)^(*-r) F-11)
у к = I
относительно ?(/:). Нсли есть свобода в выборе входного воздействия, желательно,
конечно же, выбрать его так, чтобы упростить решение уравнений F.10) и F.11).
Оборудование для генерации таких сигналов и определения g(k) коммерчески до-
доступно. Более детальное описание содержится в [136].
6.2. Частотный анализ
Синусоидальное воздействие. Основная физическая интерпретация передаточ-
передаточной функции G(z) заключается в том, что комплексное число G(eluJ) несет инфор-
информацию о преобразовании синусоидального входного воздействия (см. B.32) -
B.34)).Таким образом, для системы F.1) с
u{t) = aeoscof, / = 0, 1, 2,... F.12)
имеем
y(t) = а| G0(eiu>) \ cos (со/ +ip) + v(t) + переходный процесс, F.13)
где
Это свойство дает также ключ к простому правилу определения G0(elu)):
Г
Для входного воздействия F.12) определите амплитуду и сдвиг фазы,
полученного на выходе косинусоидального сигнала, и вычислите оценку
GN{eiu>) на основе этой информации. Повторите процедуру для набора
частот в представляющем интерес частотном диапазоне.
Этот способ известен как частотный анализ и представляет собой простой ме-
метод получения детальной информации о линейной системе.
Частотный анализ корреляционным методом. В связи с присутствием в F.13)
шумовой составляющей v(t) точное определение | Go(eiu>) \ и <р графическими ме-
методами может быть затруднительным. Поскольку интересующая нас составляющая
выходной переменной y(t) является косинусоидальной функцией известной часто-
частоты, возможен следующий корреляционный способ устранения шума. Образуем
133
суммы
1 TV 1 /V
/С(ЛО = - 2 ^(Ocosc^r, /V(/V) = - 2 j>0)sincof. F-15)
/V r = i ' /V r = l
Подставляя F.13) в F.15) и пренебрегая переходным процессом, получаем
1 л' 1 /v
1с(Ю = ~~ 2 а| G0(^ia;)|cos(cjr+^)coscj/ + — 2 y(r)cos ojf =
/V / = t /V г = i
1 /v 1 yv
= a| G0(e'^)|— 2 [cosv? + cosBco/+v?)] + - 2 u(f)cosojf = F.16)
2W r = i jV r = l
a IN IN
=--I G0(e/w)|cosv? + a| Go(eiw)|— 2 cos Bcot + </>) + - 2
2 2/V r = i /V r = l
Второе слагаемое в последнем выражении стремится к нулю при /V -> °°, и также
стремится к нулю третье слагаемое, если v(t) не содержит чисто периодической
составляющей частоты со. Если {v(t)j - стационарный случайный процесс, для
которого
оо
2г|/?„(г)| < «о,
о
то дисперсия третьего слагаемого в F.16) убывает как 1/ЛГ (задача 6Т.2). Ана-
Аналогично,
а 1 N
/,(Л0 = —IGo(e/w)lsin^ + a|Co(elw)|— 2 sin Bcof+v>) +
2 2N г =¦ i
1 N
+ - 2 y(r)sincdf. F.17)
Л^ r = l
Эти два выражения приводят к следующим оценкам величин I Go {eiu>) I и ^:
&ШШ, F,8а)
а/2
) = arctg ^^-. F.18b)
/(ло
Более детальное описание этого метода содержится в работах Раке [334] и Остре-
ма [23]. Повторяя процедуру для нескольких частот, можно получить хорошую
картину изменения G0(eIOJ) в интересующей области частот. Оборудование, позво-
позволяющее провести такой частотный анализ корреляционным методом, коммерче-
коммерчески доступно.
Преимущество этого метода состоит в простоте получения диаграммы Б оде
системы, а также в возможности концентрации усилий в интересующем диапазо-
диапазоне частот. Остновным недостатком является то, что многие промышленные процес-
процессы не позволяют использовать синусоидальное входное воздействие в режиме нор-
нормальной работы. Кроме того, необходимость повторения процедуры для набора
частот приводит к увеличению времени эксперимента.
Связь с гармоническим анализом Фурье. Сравнение F.15) с определением B.37)
L 2 у«)е-'»' F.19)
y/Jf '=
134
показывает, что
. F.20)
\/N
Как установлено в B.46) для F.12)
\f~Na. 2ттг t, _1Ч
если ? = ^ = Д™ некоторого целого г. F.21)
2
Это сразу приводит F.18) к выражению
F-22)
/Vor/2
которое с учетом F.21) означает, что
F23)
Здесь о; является частотой входного сигнала. Сравнение с B.53) также приводит
к F.23) как к наиболее разумной оценке (особенно потому, что R/v (со) в B.53)
равно нулю для периодических входных воздействий, что вытекает из следствия
к теореме 2.1).
63. Гармонический анализ Фурье
Эмпирическая оценка передаточной функции. Выше была установлена связь
выражения F.23) с частотным анализом, при котором на вход подается чистое гар-
гармоническое воздействие частоты со. В линейной системе различные частоты про-
проходят через нее независимо друг от друга. Следовательно, совершенно естествен-
естественно распространить оценку частотного анализа на случай многочастотных входных
воздействий. Другими словами, введем следующую оценку передаточной функции
также и для случая, когда входное воздействие не является чисто гармоническим:
F-24)
где K/v и ?/д' определены соотношениями F.19) и B.37) соответственно. Эта
оценка также совершенно естественна ввиду теоремы 2.1.
А
Будем называть GN(eluJ) эмпирической оценкой передаточной функции. Об-
Обсудим кратко причины такого названия. В F.24) конечно же предполагается, что
Ujsj (со) Ф 0. Бхли для каких-то частот это не так, считаем для них эмпирическую
оценку передаточной функции неопределенной. Название этой оценки эмпириче-
эмпирической связано с тем, что никакие предположения, кроме линейности системы, не де-
делались. В случае многочастотных входных воздействий эмпирическая оценка пере-
передаточной функции состоит из IV/2 существенных точек. (Напомним, что оценки
на промежуточных частотах между точками со = 2ттк/!\1 (к = 0, 1, . . . , /V - 1) по-
получаются тригонометрической интерполяцией в B.37).) Поэтому величины .у ни
действительные и, кроме того.
*Н») F.25)
(сравните B.40) и B.41)).
135
Исходная последовательность данных, состоящая из 2 /V чисел у (Г), u(t) (t =
= 1, 2,. .., ЛО, преобразуется в N чисел
Re С„(е2*"Ч»), lmGN{e2"ik'N), к = 0, 1,..., - - 1.
Это очень скромное сокращение данных показывает, что большая часть информа-
информации, содержащейся в исходных данных у, и, является "сырой".
Кроме расширения частотного анализа, эмпирическую оценку передаточной
функции можно интерпретировать как способ (приближенного) решения относи-
относительного (&) (^=1,2,..., ДО системы уравнений в конволюциях
y(t)= X -go(k)u(t~k)y t= 1,2,..., /V F.26)
к = I
с использованием преобразования Фурье.
Свойства эмпирической оценки передаточной функции. Предположим, что сис-
система описывается уравнением F.1). Обозначая
1 н
2 1Ы< F.27)
из теоремы 2.1 получим
^^ F.28)
где член Rn(u>) удовлетворяет неравенству B.54) и убывает как l/>/v.
Исследуем теперь влияние члена VN (со) на GN(elu>). Поскольку v(t) no пред-
предположению имеет нулевое среднее,
= 0 Vco,
то
. Ял/(со)
Здесь математическое ожидание вычисляется по распределению { v (t)} при условии,
что {u(t)} - фиксированная последовательность чисел.
Пусть ковариационная функция Rv(r) и спектр Ф„ (со) процесса {v (t)} опре-
определяются соотношениями B.14) и B.63). Тогда
1 ;v n
2 ?: Ev{r)e-Iu>rv(s)e**s =
N r«
1 /v лг
= — 2 2 et(^s' wr^Rv(r- s) = [r-s = r] =
/Vr=l j=l
1 /V r_- I
" Л^ Г= I € 7
Здесь
7 = Г— N Т - — «9 Т~Г
136
'«) (•¦ если
( * kl7T
Nr=\ { 0, если ($-cj)= , fc = ±1,..., ±(tf-1).
Рассмотрим
r-/v-i
N r=
1 N r-N-\
-SS
/V r = I r= -°
RV(T) |
1 i G
< [меняем порядок суммирования] < — 2 I r I • | Rv(r) I < —
N r= -°° TV
при условии, что
oo
x i г- /г„(т)| < «>. F30)
Аналогично,
1
т = г
Объединяя эти выражения, получаем
( Фи(со) + Р2(Л0> если
- 2 т.|/г„(т)| <^.
N т= i N
^2я F.31)
I Рг(Л0, если | g — со | = , к=\ /V-1,
причем ^
2С
—.
N
Эти вычисления могут быть подытожены в виде следующего результата.
Лемма 6.1. Рассмотрим строго устойчивую систему
УЬ) = G0(q)u{t) + v(t), F.32)
где возмущение {v(t)} представляет собой стационарный случайный процесс со
спектром Ф„ (и>) и ковариационной функцией Rv(t), удовлетворяющей условию
F.30). Пусть {u(t)} не зависит от {v (t)} , a \ u(t) \ < С для всех t. Тогда для
А
Л
(*n (е*ы) > определяемой соотношением F.24), имеем
EGN(eiu>) = О0(е1ш) + ^~- , F.33а)
UN(co)
где
|р,(Л01 < F.33b)
N
—, если % = со, F.34а)
2пк
, если 11-<*>| = , к = 1, 2, ...,N- 1,
137
где
I РгСЛО! < — • <6-34Ь)
N
Здесь U/ч определяется выражением B.37) и рассматриваются те частоты, для ко-
торых G/v определена. В соответствии с теоремой 2.1 и условием F.30) констан-
константы равны •
оо
С, =B 2 1*л(*I)тах|и(г)|, F.35а)
к - I
ОО
С2 = С,2 + 2 кЛ^г)!. F.35Ь)
/С = -оо
Если {«(/)} имеет период /V, то Сх = 0.
Замечание. Отметим, что входная последовательность предполагается фик-
фиксированной. Такие вероятностные характеристики, как ?, "смещенние" и "дис-
"дисперсия" относятся к вероятностному пространству процесса {и (/)} . Это, конечно,
не исключает случая, когда входное воздействие генерируется в виде реализации
случайного процесса, не зависящего от iv(t)} .
Свойства эмпирической оценки передаточной функции близки к свойствам
оценок периодограммы спектра. С учетом B.43) и B.72) получаем следующий
результат.
Лемма 6.2. Пусть v (/) задается уравнением
v(t) = H(q)e(t),
где (e(t)} - белошумная последовательность с дисперсией X и четвертым мо-
моментом ii1, a H - строго устойчивый фильтр. Пусть V^(co) определяется выраже-
выражением F.27), а Фу (со) - спектр v(t). Тогда
2 F.36)
\2 - Ф„«)) =
( [Ф«М]2 +Р4(Л0, если ^ = cj, соФО, я,
= I F.37)
2тгА:
|f-co|= , ifc = 1 iV— 1,
i
где
1р3(Л01 <-, 1р4(Л01 < -.
Доказательство. Уравнение F.36) следует из F.31). Простое доказа-
доказательство F.37) выделено в виде задачи 6D.2 при несколько более ограничительных
условиях. Полное доказательство может быть дано прямым вычислением F.37).
См. для этого, например, теорему 5.2.4 в монографии Бриллингера [63]. По пово-
поводу улучшения смещения за счет повторного использования данных см. задачу 6G.5.
Эти леммы вместе с результатами раздела 2.3 говорят следующее.
Случай 1. Периодическое входное воздействие. Если входное воздействие пе-
периодическое и N кратно периоду, то, как известно из примера 2.2, величина
I Un(cj) |2 возрастает как const • ./V для некоторых со и равна нулю в других точ-
точках (см. B.49)). Число частот со = 2ттк/М, для которых | UN (со) |2 отлично от нуля,
138
а следовательно, для которых эмпирическая оценка передаточной функции опре-
определена, фиксировано и не превышает периода сигнала. Таким образом,
— эмпирическая оценка передаточной функции G:yv(^'w) определена только
для фиксированного числа частот;
— на этих частотах эмпирическая оценка передаточной функции не смещена,
а ее дисперсия убывает как 1/N.
Заметим, что результат F.17) но частотному анализу корреляционным мето-
методом получен как частный случай.
Случай 2. Входное воздействие является реализацией случайного процесса. Лем-
Лемма 6.2 показывает, что периодограмма | UN(co) \2 представляет собой беспорядоч-
беспорядочную функцию от со, флуктуирующую вокруг спектра Фи (со), который предпола-
предполагается ограниченным. Лемма 6.1 говорит, таким образом, что
— эмпирическая оценка передаточной функции является асимптотически не-
несмещенной для частот, число которых возрастает (с ростом ЛО;
— дисперсия эмпирической оценки передаточной функции не убывает при воз-
возрастании ./V, что приводит к определенному отношению "сигнал/шум" на рассмат-
рассматриваемой частоте;
— оценки на различных частотах не коррелируют.
Из этого следует, что в случае периодического входного сигнала качество эм-
эмпирической оценки передаточной функции будет улучшаться на частотах, присут-
присутствующих во входном воздействии. Однако если входной сигнал не периодичен,
дисперсия оценки не убывает с ростом N, а становится равной отношению "сиг-
"сигнал/шум'* на соответствующей частоте. Это последнее свойство делает эмпириче-
эмпирическую оценку очень грубой во многих практических случаях.
Легко понять, почему дисперсия не убывает с ростом N. Оценивание произво-
производится независимо для всех точек, для которых имеются данные. Другими слова-
словами, характерные особенности данных или какое-либо сжатие информации не ис-
используются. Это в свою очередь является следствием того, что мы предположили
лишь линейность реальной системы. Таким образом, свойства системы на раз-
различных частотах могут быть совершенно не связанными друг с другом. Из этого
также следует, что единственная возможность увеличить информацию об оцени-
оцениваемом параметре состоит в предположении, что поведение системы на одной час-
частоте связано с ее поведением на других частотах. В следующем разделе обсужда-
обсуждается один такой подход.
6.4. Спектральный анализ
Спектральный анализ, предназначенный для определения передаточных функ-
функций линейных систем, возник при использовании статистических методов в спект-
спектральном оценивании. Этот метод хорошо изложен в книгах Дженкинса и Уоттса
[193, гл. 10] и Бриллингера [63, гл. 6]; кроме того, метод широко обсуждается
во многих других учебниках по анализу временных рядов. В данном разделе при-
применяется несколько необычный подход, состоящий в получении стандартных
процедур посредством сглаживания эмпирической оценки передаточной функции.
Сглаживание эмпирической оценки передаточной функции. В конце предыду-
предыдущего раздела отмечалось, что единственным способом улучшения свойств диспер-
дисперсии эмпирической оценки передаточной функции является допущение, что значе-
значения истинной передаточной функции на различных частотах взаимосвязаны. Вве-
Введем довольно естественное предположение, что
истинная передаточная функция G0(elui) является гладкой функцией ох
F.38)
13?
Далее, если частотный интервал 2-njN мал в смысле незначительного измене-
изменения на нем Go (eIU>), то
GN(e27Tik/N), к -целое, 2-nk/N * со F.39)
являются некоррелированными и несмещенными оценками примерно одной и той
же константы Go (е1 ы), дисперсии которых равны по лемме 6.1
|С/л,BтгА:/Л012
Здесь мьГпренебрегли членами, стремящимися к нулю при N -* °°.
Если предположить, что Go (/со) постоянна на интервале
2пк2
= со0 — Асо < со < со0 + Асо = , F.40)
о0 со < со < со0 Дсо
N N
то, как хорошо известно, наилучшей (в смысле минимума дисперсии) оценкой
этой константы является средне-взвешенное "измерений" F.39) для частот F.40),
причем каждое измерение взвешивается в соответствии с обратной величиной ее
дисперсии (ср. с задачей 6Е.З и леммой П.2, A1.58) Приложения II):
л . к = к.
GN(etu>») = —t , F.41а)
X ак
к = Л,
\UNBnk/N)\>
а = . F.41о)
Для больших Л^ можно с хорошей степенью аппроксимации использовать ин-
интегралы, которые соответствуют суммам (по Риману) в F.41а):
/
?=а>0-Ды
, F.42a)
ы0 + Аи
^ = ы0 - Аи
. F.42Ь)
Если передаточная функция Со не постоянна на интервале F.40), разумно ис-
использовать дополнительное взвешивание, которое выделяет близкие к со0 частоты:
_ M
GN(eiu>>) = — . F.43)
Здесь Wy(?) - сосредоточенная вокруг ? = 0 функция, а 7 - "параметр формы",
кратко обсуждаемый ниже.
Очевидно, F.42) соответствует функции
1, т<
0, |^|
140
Далее, если спектр шума Ф1)(со) известен, оценка F.43) может быть реализована.
Если же спектр Фи(си) но известен, можно принять следующее допущение: предполо-
предположим, что спектр щума не претерпевает значительных изменений на частотных интер-
интервалах, соответствующих "ширине" функции взвешивания Wy (?):
11
d\ "мало". F.45)
Тогда а{?) в F.42Ь) можно заменить на а(?) = | UN(%)\ 2/Фи(си0), что приводит
к сокращению константы Ф^с^о) в F.43). При выполнении условия F.45) оценка
_•-.
GN(e ")= F.46)
1 ... .. _ ._ _.
является, таким образом, хорошим приближением оценки F.43), F.42Ь).
Следует заметить, что при невыполнении F.45) может быть лучше добавить
процедуру оценивания Ф1)(со) и использовать эту оценку в F.43).
Связь с процедурой Блэкмена-Тьюки ***. Рассмотрим знаменатель в F.46).
Он представляет собой средне-взвешенное периодограммы \UN(%)\2. Используя
результат B.72), получаем при jV-*°°
I Wy{$-a>0)\UN (?)i2tf?-> / Wy (?-сио)Фм (?)</?. F.47)
-7Г -7Г
где Фи(со) - спектр {u(t)) , определенный соотношениями B.61)-B.63). Более
того, если
и весовая функция Wy (^) сконцентрирована вокруг ? = 0 с шириной окна, на кото-
которой Фи(со) не претерпевает значительных изменений, то правая часть F.47) близка
к Фм(со0). Таким образом, левую часть можно рассматривать как оценку этой ве-
величины:
' Ф^(с^о)= / W7 tt-«0)i UN tt)l2rff. F.48) I
! _Z! __ _ _ _, I
Аналогично, поскольку
I UN {Z)\2GN(e*) = i UN (|)|2 — = YN $)UN ($), F.49)
Un(S)
числитель в F.46)
л я _
Ф^м(^о)= / Wy {%-cjo)Yn (?)UN(?)d% F.50)
является оценкой взаимного сиектра между входной и выходной переменными.
141
Таким образом, опенка передаточной функции F.46) представляет собой отно-
отношение двух спектральных оценок
что имеет определенный смысл в свете B.78). Спектральные оценки F.48) и F.50)
являются стандартными, известными в литературе оценками спектра и взаимного
спектра как сглаженных периодограмм; см. работы Блэкмеиа и Тьюки [53], Джен-
кинса и Уоттса [193] или Бриллингера [63].
Существует общий способ выражения этих оценок. Коэффициенты ряда Фурье
для периодограммы | VN (со) \ 2 равны
№(т)= ~- / I UN (cu)| Vr"Jto = \ I u(t)u(t - г). F.52)
2я N \
/ I N (cu)| VJto \ I
2я -я N t-\
(Для справедливости этого выражения величины u(s) вне интервала 1 < s < TV
должны интерпретироваться посредством периодического продолжения, т.е. u(s) =
= мE - N) при s >N\ см. задачу 6D.1.)
Аналогичным образом, пусть коэффициенты ряда Фурье функции Wy (?) равны
w7(r)= fWy(S)e*TdS. F.53)
Поскольку интеграл F.48) представляет собой свертку, его коэффициенты ряда
Фурье равны произведению F.52) и F.53) , поэтому разложение в ряд Фурье функ-
функции F.48) имеет вид
ФМ"М= 2 H-7(r)^(r)e-/TW. • F.54)
г = - °°
Идея теперь состоит в том, что хорошая, гладкая функция Wy (?) выбирается таким
образом, чтобы ее коэффициенты ряда Фурье были пренебрежимо малыми для
\т\ > 67, где обычно 67 < N. Следовательно, достаточно сформировать F.52)
(используя крайнее справа выражение) дня | т\ < б7, а затем положить
^ 2 ^'TW F.55)
Возможно, это один изанаиболее удобных способов формирования спектральной
оценки. Выражения для Ф^и(со) являются, конечно же,аналогичными.
Весовая функция Wy(%): частотное окно. Обсудим теперь весовую функцию
W7(?). В спектральном анализе ее часто называют частотным окном (аналогично,
wy(T) называют временным окном.) Если это окно "широкое", то будет взвеши-
взвешиваться большое количество различных частот в интервале F.40). Это должно при-
привести к малой дисперсии оценки GN(eltJ°). В то же время широкое окно будет
включать оценки для частот, существенно далеких от а>0, со средними значениями,
которые могут значительно отличаться от С0(е ()). Это вызовет большое смеще-
смещение. Таким образом, ширина окна позволит управлять компромиссом между сме-
смещением и дисперсией. Чтобы сделать это управление компромиссом несколько
более формальным, используем для описания ширины скаляр у, причем большая
величина у соответствует узкому окну.
142
Таблица 6,1
Некоторые частотные окна для спектрального анализа
0< Irl < 7
Бартлетт
Парзеи
Хэмминг
1 /an 7^/2 У
7 V sin ы/2 /
4B + coscj)
\ sintj/2
где
sinG+ 1/2) uj
sin w/2
1/ Яг\
2V1+COSTJ
Будем характеризовать окно следующими числами:
f
= 0,
— я
;
1 '
; щ aw - —
F.56a)
F.56b)
При возрастании у (и сужении частотного окна) значение М(у) уменьшается, a W(y)
растет.
Некоторые типичные окна представлены в таблице 6.1. (Другие примеры можно
найти в [63, табл. 3.3.1].) Заметим, что в F.55) масштабирующий параметр у был
выбран так, что 67 = у. Частотные окна показаны на рис. 6.1. Для этих окон имеем
17.45
Бартлет: М(у)«
3
Парзен: МG)«
W(y)*> 21.357,
Хэмминг:
7
'26.327,
24я 75.40
7
29.607.
31.01
F.57)
Рис. 6.1. Некоторые простые частотные ок-
окна. Сплошная линии -окно Парнеза,штри-
Парнеза,штриховая линия - окно Хэмминга. точечная
линия - окно Бартлетта; ч = 5
V
3
2
1
0
¦
к
IV
/
1;
1!
Ч/
\
Л*
V
V
\
i
1
1
i
\
1
-Л/2
I,рад/с
143
Приведенные выражения являются асимптотическими для больших у, но представ-
представляют собой хорошие приближения для у ^5. Для дальнейшего обсуждения вопроса
масштабирования окон см. также задачу 6Т.1.
Асимптотические свойства сглаженной оценки. Оценка F.46) изучалась в раз-
различных работах но спектральному анализу. См., например, книги Дженкинса и Уоттса
[193, гл. 10] и Бриллингера [63, гл. 60]. Результаты, являющиеся асимптотическими
как по N, так и по у, могут быть получены следующим образом (см. Приложе-
Приложение 6А). Рассмотрим оценку F.64) и предположим, что истинная система удовлет-
удовлетворяет условиям леммы 6.1. Тогда имеем смещение
GOVW) + G'0(e'w) ^^-
Ф„ (w)
+ 0(С3G)) + O{l/y/N), F.58)
штрих и двойной штрих обозначают дифференцирование один раз и дважды соответ-
соответственно, дисперсия
? i Й> (У)^~ + <>(W(y)/N). F.59)
Напомним, что здесь математическое ожидание берется относительно последователь-
последовательности шумов {и(f)} и что входное воздействие представляет собой детерминиро-
детерминированный квазистационарный сигнал.
Будем использовать асимптотические выражения для того, чтобы оценить сред-
среднеквадратичную ошибку (СКО):
+ i Й> (у)^~~^~' F.60)
N Ф()
Здесь
1 № 1^^ F,61)
2 Фм (со)
Можно показать также справедливость следующих дополнительных результатов
(см. [63, гл. 6] и задачи 6D.3 и 6D.4).
л л
1. Оценки КеGдг(е*ы) и lmGN(eiuJ) асимптотически некоррелированы и
каждая имеет дисперсию, равную половине величины F.59). F.62)
2. Оценки G^{elU}) на разных частотах асимптотически некоррелирова-
некоррелированы. F.63)
3. Оценки ReGN(el"k) и \mGN(el"k) (к = 1, 2,... ,М) для произволь-
произвольного набора частот имеют асимптотически нормальное совместное распределение
со средними и дисперсиями, определяемыми F.58) — F.63) F.64)
А Л .
4. По поводу свойств \GN(elJJ)\ и zxgGN(el'-'}) см. задачу 9G.1.
Из F.60) видно, что желаемое свойство окна состоит в малости как Л/, так и W.
Можно также вычислить значение параметра ширины окна 7, минимизирующее СКО.
Предположим, что как 7, так и N неограниченно возрастают, а отношение 7/W стре-
стремится к нулю и, таким образом, можно использовать асимптотические выражения.
Допустим также, что имеет место F.57), т.е. М(у) = М/у2 и W(y) = yW. Тогда из
F.60) следует
144
+ 1
о
О 30 60 90 t 0f01
Рис. 6,2. Смоделированные данные системы F.67)
Рис. 6.3. График амплитуды эмпиряческой оценки передаточной функции, осиоваииой иа данных,
представленных на рис. 6.2. Ровная линия - истинный график амплитуды для системы F.67)
Конечно, это выражение не может быть реализовано пользователем, поскольку оно
содержит несколько неизвестных величин. Заметим, однако, что, во всяком случае,
значение 7opt F.65) возрастает как Nlls и должно, в принципе, зависеть от часто-
частоты. Следовательно, частотное окно следует брать более узким при наличии большего
числа данных, что представляется совершенно естественным.
Оптимальный выбор у приводит к среднеквадратичной ошибке, убывающей как
СКО-С -ЛГ~4/5. F.66)
При практическом использовании результаты F.65) и F.66) формально не могут
быть достигнуты. Вместо этого типичная процедура должна состоять в выборе на-
начального значения у = N/20 (см. табл. 6.1) и последующем вычислении и нанесении
на график соответствующих оценок GN(eluJ) для различных значений 7- При воз-
возрастании у появляется все больше и больше характерных деталей оценки. Это про-
происходит благодаря уменьшению смещения (более ясное проявление истинных резо-
резонансных пиков и т.п.), а также в связи с возрастанием дисперсии (ложные, случай-
случайные пики). Процедура должна быть остановлена, когда пользователь почувствует
появление преобладающих ложных деталей.
Пример 6.1. Моделировалась система.
y(t) - l.5y(t - 1) + 0.7>>(г -2)*u(r- l) + 0.5u(f-2) + e(f), F.67)
где {e(r)} - белый шум с дисперсией 1, а в качестве входного воздействия использовалось
более 1000 реализаций псевдослучайного двоичного сигнала (см. раздел 14.3). Часть записанных
в результате данных показана иа рис. 6.2. Соответствующие эмпирические оценки передаточной
функции изображены на рис. 6.3. Оценка Gjv(e i<jJ) формировалась в соответствии с F.46) для
окна Парзеиа Wy(%) с различными значениями -у. На рис. 6.4 представлены результаты для
7 = Ю, 50 н 200. Здесь разумным выбором ширины окна оказывается у = 50.
Другой способ сглаживания эмпирической оценки передаточной функции***.
8 основу оценки F.46) была положена идея, состоящая в том, что эмпирические
оценки передаточной функции на соседних частотах асимптотически некоррелирова-
ны и, следовательно, дисперсия может быть уменьшена за счет их усреднения. Эмпи-
145
Л 2.
л . Рис. 6Л Оценка G^/(e ) для
arg&N (bio>> у = 10 (а), 50 (Ъ) и 200 (с).
Сплошные линии графики ам-
амплитуды, штриховые линии -
графики фазы, жирные линии -
истинная система, тонкие ли-
линии - оценка
--90
- -180"
С рад/с)
1 <х>
{рад/О
1 со
<рад/с)
рические оценки передаточной функции, полученные для различных наборов данных,
также будут давать некоррелированные оценки, и другой подход состоит в усредне-
усреднении этих оценок. Таким образом, расщепляем множество данных ZN на М групп,
содержащих R данных каждая (N = RM). Затем формируем эмпирическую оценку
передаточной функции, соответствующую к-и группе:
C^*>(e'w), *= 1,2 А#. F.68)
Затем оценка может быть образована как среднее арифметическое
«) F.69)
или как средне-взвешенное в соответствии с обратными величинами дисперсий:
GN(e'")= -^ F.70)
^ ^12, F.71)
представляющей собой периодограмму k-и подгруппы. Обратная величина диспер-
дисперсии оценки G^(elU}) равна 0^л*(оУ)/Фу(си), но Фу(си) сокращается при образова-
образовании F.70).
Преимущество оценки F.70) состоит в возможности эффективного использо-
использования быстрого преобразования Фурье (БПФ), когда ZN можно разбить так, чтобы
число R являлось степенью двойки. Сравните с задачей 6G.4.
6.5. Оценивание спектра
До сих пор рассматривались вопросы оценивания Go в соотношении F.1):
y(t) = G0(q)u(t) + v(t). F.72)
Перейдем теперь к проблеме оценивания спектра Фу (ей) процесса {v(t)}. Если бы
шум v(t) был доступен для прямого измерения, можно было бы использовать
F.48):
/
= / Wy « - «) | VN @1'rf*. F.73)
— 7Г
Здесь Wy (•) - частотное окно того же типа, как и ранее.
Свойства оценки F.73) можно установить с помощью такого же анализа, ка-
какой был проведен в предыдущем разделе. Имеем:
смещение
ЕФ% М - Ф, («) = - М G) Фу («) + O(d G)) + 0A /y/N ), F.74)
дисперсия
W(y)
си^О,±тг. F.75)
Более того, оценки для различных частот асимптотически некоррелированы.
147
Спектр невязки. Далее снова считаем, что шум v(t) в F.72) не доступен пря-
прямому измерению. Однако, имея оценку GN передаточной функции, можно заме-
заменить v в предыдущем выражении на
v(t)=y(O- (TN\Q)u(t), F.76)
что приводит к оценке
F.77)
Если Cw(e'*) сформирована по F.46) с тем же окном Н/7(-), это выражение мо-
может быть преобразовано следующим образом (используя F.48)-F.51)):
- я
я
-2Re / Wy
— IT
* / Wy(t-u>)\YN{?)\2dZ + \GN{elw)\2f W7(?-<
— Я ~7Г
-2ReGA,reiw) / W^,(t-oj)
Л
Здесь приближенное равенство следует из замены гладкой функции GN(e1*) в
окрестности точки ? = со ее значением при ? = ей. Следовательно, имеем
F.78)
Асимптотически, при Л^ -> «> и 7 ^°°» когда в соответствии с F.60) (
-»" 6(), получаем, что оценка F.77) стремится к F.73). Асимптотические свой-
свойства F.74) и F.75) будут теми же и для F.77) и F.78). Кроме перечисленных
А «г
уже свойств можно отметить, что оценки Фу (со) асимптотически некоррелированы
А А «# ^ /til
с Gjsf(elU}). Более того, совместное распределение Фу (сол), GN(e k) (к -
= 1, 2,..., г) является асимптотически нормальным со средним и дисперсиями,
определяемыми соотношениями F.58) — F.64) и F.74), F.75). Подробное изло-
изложение асимптотической теории представлено в монографии Бриллингера [63, гл. 6].
Когерентность спектров. Обозначим
1
/
= V
;F-79)
Ф^(со)Ф^(си)
Тогда
Ф^(ы) = Ф^(со) [1 - («;Н)г]. F.80)
Функцию куи(ы) можно называть когерентностью спектров и рассматривать как
(зависящий от частоты) коэффициент корреляции между входной и выходной
148
последовательностями. Если на некоторой частоте этот коэффициент равен 1, то
на этой частоте имеет место полная корреляция между входной и выходной вели-
величинами. Следовательно, на этой частоте шума нет, что подтверждается соотноше-
соотношением F.80).
6.6. Заключение
В этой главе было показано, как простые способы анализа переходных процес-
процессов и реакции на гармоническое воздействие могут существенно прояснить свой-
свойства линейных систем. Была введена эмпирическая оценка передаточной функции
GN(el")= -fy^ F.81)
основанная на данных из интервала 1 < t < N. Здесь
Ум («) - — 2 y(t)e-u->, UN (to) = — 2
Эмпирическая оценка передаточной функции является асимптотически несмещен-
несмещенной, но имеет конечную дисперсию величиной Ф„(оз)l\UN(o3)\2 (см. лемму 6.1).
Было показано, как сглаживание эмпирической оценки передаточной функции
приводит к оценке, получаемой в спектральном анализе:
6„(е1ы) ^ F.82)
Соответствующая оценка спектра шума равна
YN ($) - GN(e'*)UN {%)\2d%. F.83)
Свойства этих оценок кратко подытожены соотношениями F.58)-F.64) и F.74),
F.75).
Эти свойства зависят от параметра у, который описывает ширину выбранного
частотного окна Wy. Узкое окно (большое 7) приводит к маленькому смещению,
но большой дисперсии оценки, в то время как для широких окон имеет место обрат-
обратная ситуация.
6.7. Комментарии к библиографии
Раздел 6.1. Общий обзор непараметрических методов идентификации систем
был сделан Уэстедом [427]. Обзор методов, основанных на анализе переходных про-
процессов, дан Раке [334]. Различные способы определения численных характеристик
по реакции на ступенчатое входное воздействие обсуждаются в работе Шварце [355].
Обзор корреляционных методов сделал Годфри [136].
Раздел 6.2. Частотный анализ, являясь классическим методом идентификации,
описан во многих учебниках по управлению. Более детальное описание содержится
в работах Раке [334] и Острема [23], где также изложен ряд интересных примеров.
Раздел 6.3. Общие методы гармонического анализа Фурье также обсуждаются
в [334]. Термин "эмпирическая оценка передаточной функции" для G введен в дан-
данной главе, однако подобная оценка хорошо известна.
149
Разделы 6.4 и 6.5. Спектральный анализ является стандартным предметом в учеб-
учебниках по временным рядам. См., например, книги Гренандера и Розенблатта [147,
гл. 4—6], Андерсона [14, гл. 9] и Хэннана [163, гл. 5]. В них рассматриваются
прежде всего вопросы оценивания спектров. Среди специальных работ по методам
в частотной области, включающих оценивание передаточных функций, отметим
всестороннее аналитическое исследование в монографии Бриллингера [63], хорошо
продуманное обсуждение как статистических свойств, так и прикладных аспектов
в книге Дженкинса и Уоттса [193], а также ориентированный на приложения подход
в книге Бендата и Пирсола [41]. Другое обширное изложение содержится в моно-
монографии Пристли [329]. Обзоры различных методов в частотной области даны в
книге Бриллингера и Кришнайя [65], а ориентированный на управление обзор
сделан Годфри [136] ¦ Приведенное здесь изложение основано на работе Льюнга [251 ].
Первое использование идеи сглаживания периодограмм с целью получения лучшей
спектральной оценки, по-видимому, сделано в работе Дэниела [91]. Критическое
обсуждение окон для спектрального анализа проведено Геклини и Явузом [130]
и Папулисом [317].
Оценивание передаточных функций методами спектрального анализа широко
использовалось, например, в эконометрике Грэнгером [144], в геофизике Робинсо-
Робинсоном [344], в промышленных приложениях Густавссоном [153] и во многих других
областях. В литературе имеется огромное количество примеров.
Кроме прямых методов в частотной области для оценивания спектров, многие
эффективные методы основаны на параметризации: некоторые из них обсуждаются
в следующей главе. Так называемые методы максимума энтропии нашли широкое
применение в приложениях по обработке сигналов. Впервые идея изложена Бургом
[68], а Кэй и Марпл [211] дали сравнительный обзор различных подходов.
6.8. Задачи
6G.1. Рассмотрим систему
У (О* G0(q)u(t) + u(r),
управляемую регулятором
u(t)=-F(q)y(t) + r(t),
где г (г) - внешний эталонный сигнал. Процессы г и и независимы и имеют спектры Фг(и>) и
Фу(и;) соответственно. Обычная оценка передаточной функции Go на основе спектрального ана-
анализа задается формулой F.51), а также F.46). Покажите, что при стремлении Nh 7 к бесконеч-
бесконечности оценка GN(eiu>) будет сходиться к
Что произойдет в двух частных случаях Фг = 0 и F э о соответственно?
Указание: сравните с задачей 2Е.5.
6G.2. Предварительная фильтрация. Входная и выходная величины предварительного
фильтра
ир(О = ?м(?)"('), УF{t) = Ly(g)y(t).
Если имеет место F.32), то профильтрованные переменные подчиняются уравнению
= of(g)uF(t) + vF(t),
LyW
Go(?), vF(t) = Ly(g) v(t).
Примените спектральный анализ к upf ypi образуя, таким образом, оценку G^(eiu}). Тогда
150
оценка исходной передаточной функции будет равна
GNie '
Определите асимптотические свойства Gp/(e ) и обсудите, как следует выбирать Lu и Ly
для получения наименьшей среднеквадратичной ошибки (ср. с [25\ ] )*
6G.3. На рис. 6.3 амплитуда эмпирической оценки передаточной функции, по-видимому,
систематически превышает истинную амплитуду, несмотря на несмещенность оценки в соответ-
соответствии с леммой 6.1. Однако несмещенность оценки G передаточной функции Go не означает,
что \6\ будет несмещенной оценкой \G0\ . Докажите, что фактически в предположениях лем-
леммы 6.1
асимптотически при ЛГ-*<».
6G.4. Спектральная оценка Кули-Тьюки определяется как
1 М
Фу(ы)- - 2 jF^MI2,
где I vff'icj)]2 - периодограмма к-й подгруппы данных:
См. работы Кули и Тьюки [85] или Хэннана [163, гл. 5]. Оценка взаимного спектра определя-
определяется аналогичным образом. Эта оценка имеет преимущество эффективного применения бы-
быстрого преобразования Фурье, если R является степенью двойки. Покажите, что оценка F.70)
равна отношению двух соответствующих спектральных оценок Кули-Тьюки.
6G.5. "Повторения" или "замирания**. Величина смещения p3(JV) в F.36) может быть
уменьшена за счет повторения, или зацикливания данных. Пусть FJL^(cj) определяется как
где iht}^ - последовательность чисел ht (функция повторения), для которой
N
2 А?=1.
Пусть
N
= 2 V'".
Покажите, что в условиях леммы 6.2
—7Г
Покажите, что наша стандартная оценка периодограммы, использующая ht s J/V ЛГ, приво-
приводит к равенству
1 [ ыпЛМ2 I2
Л^ [ sincj/2 J
Другие коэффициенты повторения (или "замирания", или "факторы сходимости") могут при-
привести к функциям l#jv(w)l2, которые более похожи на б-функцию, чем в предыдущем урав-
уравнении (см., например, табл. 6.1). Периодограмма повторения, конечно же, может также ис-
использоваться для получения сглаженных спектров. Они обычно приводят к уменьшению сме-
смещения и (небольшому) возрастанию дисперсии [63, теорема 5.2.3 и раздел 5.8].
6Е.1. Определите оценку G0(eiLJ), основанную на оценках импульсной реакции F.4).
Покажите, что эта оценка совпадает с эмпирической оценкой передаточной функции F.24).
151
6Е.2. Рассмотрим систему
замкнутую пропорциональной обратной связью по выходу
Л 1ОЛ
Пусть эмпирическая оценка передаточной функции Gp/(e ) вычисляется непосредственно по
формуле F.24). Какой будет эта оценка? Проведите сравнение с леммой 6.1.
6Е.З. Пусть Wk (к - 1, 2,... ,М) - независимые случайные величины со средними зна-
значениями 1 и дисперсиями E(wk — IJ = \к. Рассмотрим
М
w= S akwk.
Определите ак (к = 1,... ,М) так, чтобы
(a) Ew= 1.
(b)E(w - IJ было минимальным.
, 6Т.1. Общий подход к трактовке соотношения между скалярным параметром у н времен-
временным окном Wy(r) и частотным окном Wy(u) (см. F.53)) может быть следующим. Возьмем
гладкую функцию w(x) такую, что w(Q) = 1 и w(x) = 0 (|х | > 1), имеющую преобразование
Фурье
W(k)= f w(x)e~ixXdx.
Пусть
М= f
Определим тогда временное окно
Wy(T) = W(T/y).
Оно приводит к частотному окну
Покажите, что для больших у
(a) Fl>7(w)
(с)
и W(y) определены в F.56). Более того, вычислите и сравните Wy(tj) nyW(yu) для
w(x) = I - \х\ (\х \ < I) (окно Бартлетта). (Сравнитес F.57). См. также монографию Хэннана
[163, раздел V.4].)
6Т.2. Пусть {и(О} - стационарный случайный процесс с нулевым средним и ковариацион-
ковариационной функцией Rv{r), причем
_2j TRV(T) I < оо.
Пусть
1 N
Sn = -TT 2 octv(t)9 \at\<Cl.
Wf= 1
Покажите, что для некоторой константы С2
6D.1. Докажите F.52) при соответствующей интерпретации величин вне интервала 1 <
<t<N.
6D.2. Докажите более слабую версию леммы 6.2 с | Pk(JV)\ <C/\/N путем непосредственного
применения теоремы 2.1 и использования свойств периодограмм белого шума.
152
6D.3. Докажите F.63), используя выражения, аналогичные FА.З) и FА.4).
6D.4. Докажите F.62), используя F.63) и
6S.1. Напишите макропроцедуру
[GH,PHIVH] = SPA(>>, и. GAMMA),
которая использует F.46) и F.77). Из табл. 6.1 выберите конкретное число у ~ GAMMA.
Простейший способ - использовать F.9) и F.10) для | т \ < у, затем F.55) (и такие же соот-
л N aJV
ношения для Фу (со), Фуи(ь>)) и, наконец, F.51) и F.78). В результате GH и PHIVH должны
вычисляться на заранее заданных частотах как векторы.
Приложение 6А. Вывод асимптотических свойств оценки спектрального анализа.
Рассмотрим оценку передаточной функции F.46). Выведем в этом приложении
асимптотические свойства F.58) и F.59). Чтобы избежать слишком технического
изложения, некоторые элементы вьюода будем давать на эвристическом уровне.
Напомним, что здесь {u(t)} подразумевается детерминированной квазистационар-
квазистационарной последовательностью и, следовательно, справедливо F.47).
Тогда, используя сначала лемму 6Л, а затем соотношение F.47), и пренебрегая
исчезающим членом р t (N), получим
я
¦Г!-— • FА.1)
— 7Г
Разлагая теперь в ряд Тейлора (штрих обозначает дифференцирование по и>)
1
и замечая, что в соответствии с F.56а)
7Г
— 7Г
7Г
/«-«оJ2 ^«-
— 7Г
находим, что числитель в FА.1) приблизительно равен
а знаменатель -
153
здесь мы пренебрегли эффектами порядка С3(у) (порядок, более малый по вели-
величине, чем М(у) при у -><»; см. F.56Ь)). Таким образом, уравнение FА.1) прини-
принимает вид
L 2 Фм(^о) J
что представляет собой F.58).
Для того чтобы получить выражение для дисперсии, сначала на основе F.28)
запишем равенство
FA.2)
/
Изучим числитель этого выражения. Запишем его приближенно как сумму Римана
(см. соотношение F.41а) ; можно было бы все время сохранять дискретную форму):
* - А 2тг JV/2 /2тгк \
f Wy(?-o>o)UN(S)VN(?)dS*>AN±— 2 И/т(— о;0)х
-тг N к= 1 —/V/2 \ N /
Суммируя от I - N/2 до Л//2, используя F.31) и пренебрегая членом р2(Ю> по-
получаем
4тг2
еа"а" ¦ ж
/ 2пк \ Bя/ \ - / 2ък \
4я2 Г /2rofc \1 /2пк\\ /2пк\
Таким образом, возвращаясь к интегральной форме и используя F.47), F.56)
и тот факт, что для больших у функция W7(?) сконцентрирована около ? = О,
получаем
EANAN*^~ f W2y(^co0)Фu(i)Фv^)d^—Щy)Фu(co0)Фv(coo).
По тем же причинам знаменатель FА.2) приблизительно равен Фм(аH). Итак,
находим
и справедливость F.59) установлена.
154
Глава 7
МЕТОДЫ ПАРАМЕТРИЧЕСКОГО ОЦЕНИВАНИЯ
Предположим, что выбрано параметрическое множество возможных моделей
с вектором параметров 0, задающее структуру модели (см. раздел 4.5). Тогда поиск
наилучшей модели в этом множестве представляет собой задачу определения, или
оценивания 0. Существует много возможных способов организации такого поиска
и также много различных взглядов на то, что необходимо искать. В настоящей главе
внимание концентрируется на последнем аспекте: как следует понимать слова "хо-
"хорошая модель"? Вычислительным вопросам (т.е. как организовать текущий поиск)
будут посвящены гл. 10 и П. Оценка свойств моделей при различных условиях и
использовании различных методов производится в гл. 8 и 9. В гл. 15 снова рассмат-
рассматриваются методы оценивания и производятся выводы по рекомендуемым процеду-
процедурам, ориентированные в основном на пользователя.
7.1. Основные принципы формирования
методов параметрического оценивания
Методы параметрического оценивания. Рассмотрим теперь ситуацию, когда
выбрана определенная структура модели JC с конкретными моделями JC{0), оп-
определяемыми вектором параметров 0 G DM CRd. Следовательно, так определенное
множество моделей записывается в виде
JC* ={JC(Q)\QeDu}. G.1)
Напомним, что каждая модель представляет собой способ предсказания будущих
значений выходной переменной. Как отмечалось в гл. 4 предсказатель может быть
линейным фильтром
М(Ву y{t\Q)=Wy{q.Q)y{t)+Wu(ci,Q)u(t). G.2)
Он соответствует предсказанию на один шаг вперед при описании исходной системы
в виде
y(t) = G(qf Q)u(t)+H(q, Q)e(t), G.3)
когда
Wy(q,0)=\l -""'ft-*)l' Wu{q,Q) = H-l(q,Q)G(cl,e\ G.4)
но к нему также можно прийти другими рассуждениями.
Предсказатель может также представлять собой нелинейный фильтр, как обсуж-
обсуждалось в гл. 5, и в этом случае он записывается в виде общей функции прошлых
даных Z*~ !:
JC@): j>('I *) = *(', Z'; в). G.5)
Модель *М@) может также учитывать (модельные) предположения о характере
соответствующих ошибок предсказания, как, например, их дисперсии (А@)) или
их распределение вероятностей /е(х, 0),
Рассматриваемая ситуация состоит также в том, что мы имеем или будем иметь
группу данных системы
Необходимо теперь ответить на вопрос, как использовать содержащуюся в ZN
информацию, чтобы выбрать соответствующее значение 0N вектора параметров и,
следовательно, соответствующий элемент M@n} множества Л?*. Говоря формаль-
155
но, необходимо определить отображение множества данных ZN на множество D
M
Такое отображение является методом параметрического оценивания.
Оценивание возможных моделей. Рассмотрим задачу определения критерия, с
помощью которого можно было бы оценивать возможность различных моделей
"описывать" данные наблюдений. Выше подчеркивалось, что сущность модели
заключается в ее способности предсказания, и судить о ее характеристиках следует
также в этом отношении. Так, пусть ошибка предсказания для определенной
модели Л (в*) задается равенством
Если набор данных ZN известен, эти ошибки можно вычислить для t = 1, 2,. .., N.
Будем называть ''хорошей*' ту модель, которая хорошо предсказывает, т.е. по-
порождает малые ошибки предсказания для имеющихся данных наблюдений. Заметим,
что имеется значительная свобода в выборе различных функций предсказания, а это
обусловливает соответствующую гибкость в определении "хороших" моделей в тер-
терминах качества предсказания. Таким образом, основной принцип параметрического
оценивания следующий:
На основе Zf можно вычислить ошибку предсказания е(г, 0), используя G.8).
А А
В момент времени t = N выбираем 0N так, чтобы ошибки предсказания e(r, 0N)
(/¦ = 1,2 Л^) были по возможности малыми. G.9)
Вопрос заключается в том, как определить, что означает "малость" ошибки
предсказания. В этой главе будут описаны два таких подхода. Один состоит в форми-
формировании скалярно-значной нормы, или критерия, оценивающего размер е. Этот под-
подход развивается в разделах 7.2—7.4. Другой подход заключается в требовании некор-
А
релированности e(f, 0N) с имеющейся последовательностью данных. Он соответ-
соответствует требованию того, чтобы определенные "проекции" ошибок e(r, dN ) были
нулевыми, и далее обсуждается в разделах 7.5 и 7.6.
7.2. Минимизация ошибок предсказания
Последовательность ошибок предсказания G.8) может рассматриваться как
вектор в R^. "Размер" вектора может оцениваться какой-либо нормой в R^, квад-
квадратичной или неквадратичной. Это предоставляет существенную свободу выбора.
Мы отчасти ограничим ее рассмотрением только следующего способа оценивания
того, "как велика" последовательность ошибок предсказания. Пусть последователь-
последовательность ошибок предсказания преобразуется линейным устойчивым фильтром L (q):
eF(t,0) = L(q)e(t,Q), \<t<N. G.10)
Тогда используем норму
VN(Q,ZN) = ^~ 2 /(eF(/,0)), G.11)
где /( • ) - скалярно-значная (обычно положительная) функция.
Функция VN@,ZN) для данного ZN является корректно определенной скаляр-
нозначной функцией вектора параметров 0. Она представляет собой естественную
меру правильности модели JC@). Тогда оценка QN определяется минимиза-
минимизацией G.11):
0N = BN{ZN) = ngmm VN{Q,ZN). G.12)
156
Здесь arg min означает "аргумент, минимизирующий функцию". Если минимум не
единственный, arg min обозначает множество минимизирующих аргументов. Таким
образом, отображение G.7) определяется посредством G.12) неявно.
Этот способ оценивания в содержит много хорошо известных и часто исполь-
используемых процедур. Для семейства подходов, соответствующих G.12), будем исполь-
использовать общий термин методы идентификации по ошибке предсказания. Конкретные
методы со своими специальными "именами" получаются из G.12) как частные слу-
случаи в зависимости от выбора/( • ), предварительного фильтра L{ • ), структуры мо-
модели и, в некоторых случаях, от выбора метода минимизации. В следующих двух
разделах будет уделено внимание двум особенно хорошо известным представите-
представителям семейства G.12). Сначала, однако, обсудим некоторые вопросы выбора
L(q) и /( • ) в G.10) и G.11). См. также раздел 15.2.
Выбор!. Действие фильтра L состоит в придании дополнительной возмож-
возможности учета свойств ошибок предсказания, относящихся к разным моментам вре-
времени. Ясно, что в случае линейного стационарного фильтра и скалярных у и и
результат фильтрации е будет таким же, если сначала подвергнуть фильтрации дан-
данные входных и выходных величин, а затем применить предсказатель.
Действие L легче всего понять интерпретацией G.12) в частотной области;
полное обсуждение этого будет отложено до гл. 13. Ясно, однако, что за счет ис-
использования L могут быть устранены несущественные при моделировании эффек-
эффекты высокочастотных возмущений или медленного дрейфа и т.п. Также представ-
представляется разумным, что с помощью соответствующего выбора L некоторые свой-
свойства моделей могут быть усилены или подавлены. Фильтр L действует, таким об-
образом, как частотное взвешивание.
Важно отметить следующий аспект фильтрации G.10). При использовании мо-
модели G.3) пропущенная через фильтр ошибка вр(г, в) имеет вид
cF(t, 0) = L(Q)e(t, 0) = \L~l (q)H{q, в)]-1 [y(t) - G(q. d)u(t)\. G.13)
Таким образом, эффект предварительной фильтрации идентичен изменению моде-
модели шума с H(q, 0)на
HL(q9B)^L'\q)H(fi9e). G.14)
При описании и анализе методов, которые используют общую модель шума
в линейных системах, будем, как правило, ограничиваться /,(</)= 1, поскольку
свобода выбора предварительного фильтра учитывается при выборе H(q, в). Об-
Обсуждение практического использования и действия L(q) будет дано в гл. 13.
Выбор /. Первым кандидатом при выборе /( •) должна быть квадратичная
норма, т.е.
/(е)=уе2, G.15)
и это, действительно, стандартный выбор, который удобен как для вычислений,
так и для анализа. Вопросы робастности относительно плохих данных могут, од-
однако, служить оправданием использования других норм, некоторые детали кото-
которого будут обсуждаться в разделе 15.2. Можно также представить себе ситуации,
когда "наилучшая" норма не известна заранее, поэтому разумно параметризовать
саму норму:
1(€,в). G.16)
157
Часто параметризация нормы не зависит от параметризации модели:
Исключение из этого случая сформулировано в задаче 7Е.4.
Нестационарные нормы. Может оказаться, что измерения, рассматриваемые в
различные моменты времени, обладают различной достоверностью. Причина может
быть в том, что степень искажения шумом изменяется или что некоторые измерения
являются менее представительными в отношении свойств системы. В таких случаях
есть основания рассматривать норму /, зависящую от времени:
N) = ~ 2
N г= 1
Таким способом можно менее достоверным измерениям придать меньший вес в
критерии.
Мы будем часто работать с критерием, в котором взвешивание производится
полностью за счет весовой функции 0GV, t):
VNF,ZN)=X WU)/(e(r,0),0). G.19)
г = i
Для фиксированного N зависимость 0(W, t) от N является, конечно же, несуществен-
несущественной. Однако когда производится сравнение оценок 0N для различных N, как, напри-
например, в рекуррентной идентификации (см. гл. 11), представляет интерес обсуждение
того, как 0(N9 t) изменяется с ростом N. Этот вопрос будет рассматриваться в разде-
разделе 11.2.
Частотная интерпретация квадратичного критерия ошибки предсказания для ли-
линейных стационарных моделей. Рассмотрим квадратичный критерий ошибки G.12)
и G.15) для стандартной линейной модели G.3)
VN{BtZN)=-\- 2 \e\t,Q\ G.20)
N t~\ 2
e(r, 0) = Я fo, в) [y(t) - G(q, 0)u(t)].
Пусть E^B7rk/N, 0) (к = 0, 1,... ,N - 1) - дискретное преобразование Фурье ошиб-
ошибки e(t,O) (f=l,2,...,JV):
1 N
ENB7rk/N,Q)= 2 e(tf0)e'2iTkit/N.
>Jff t=\
Тогда по равенству Парсеваля B.44)
1 N-i
VN(Q,ZN)= 2 \t;NBnk/N,0)\2. G.21)
IN *=o
Пусть теперь
Тогда дискретное преобразование Фурье от w(t9 0) в соответствии с теоремой 2.1
равно
где
y/N
158
Отсюда дискретное преобразование Фурье от s(t, 0) =y(t) ~ w(ty 0) равно
SN(cj90)= YN(co)~ G(eiu>90)UN(cj)- RN{o>).
Наконец,
имеет дискретное преобразование Фурье в соответствии с той же теоремой 2.1
где |Яд,(а;)|< .
y/N
Подставляя эти соотношения в G.21), получаем
ii\{e90)\-2 I YNBTTk/N)~
N k = o 2
» G(e27TikfN,e)UNBTTk/lV)\2 + ~RNi
где | RN | ^ C/yjNy или, используя определение эмпирической оценки передаточной
/ч
функции GN F.24),
— NlX \—
N Л=0 I 2
G.22)
где
Заметим сначала, что, кроме остаточного члена RN, выражение G.22) совпадает с
критерием взвешенных наименьших квадратов для модели
G
G.24)
Сравните с A1.96) и A1.97). По лемме 6.1 дисперсия v(k) асимптотически равна
ФуB7гЛ:/Л0/1 U^B7rk/N)\2, откуда весовой коэффициент Qn(o), 0) является
обратной величиной дисперсии, т.е. в соответствии с A1.65) оптимален для линей-
линейных регрессий. В G.23) неизвестный спектр шума Фу(со) заменен спектром шума
модели |#(е'ы, 0)|2. Следовательно, методы ошибки предсказания могут рассмат-
рассматриваться как методы подгонки эмпирической оценки передаточной функции к пе-
передаточной функции модели по взвешенной норме, соответствующей модельному
отношению сигнал/шум на рассматриваемой частоте. Для удобства обозначений
поучительно переписать G.22) приближенно через интеграл:
Сдвиг интервала интегрирования с @, 2тг) к (— тг, тг) возможен в силу периодич-
периодичности подынтегральной функции.
Эта интерпретация описывает оценку в терминах ошибки предсказания как аль-
альтернативный способ сглаживания эмпирической оценки передаточной функции,
159
показывающий тесную концептуальную связь с методами спектрального анализа
из раздела 6.4. См. задачу 7G.2 о прямой связи этих методов.
Если ограничиться случаем временных рядов (нет входа и G(q9 0) = 0), крите-
критерий G.25) принимает вид
N - 1 П
2тг -тг
YN(co)
2
dco. G.26)
Такие параметрические оценки спектров известны как "оцениватели Уиттла" [430].
Многомерные системы I*'. Для систем с многомерным входом квадратичный
критерий принимает вид
/(е)= jeVe G.27)
для некоторой симметрической положительно полуопределенной р X р-матрицы Л,
которая устанавливает веса относительной важности компонент е.
Можно было бы обсудить, какой выбор нормирующей матрицы Л является
наилучшим. В некоторых деталях это будет сделано в разделе 15.2. Здесь же заметим
только, что, как в G.16), вектор параметров в можно расширить, включив в него
компоненты матрицы А, и функция / тогда будет соответствующей функцией от 0.
Как вариант критерия G.11), где скаляр /(е) формируется для каждого и можно
прежде всего образовать матрицу
N)= — X e(t,e)eT(t,O) G.28)
N j
N r= j
и ввести критерий скалярно-значной функции этой матрицы:
VN(e,ZN) = h(QN@,ZN)). G.29)
Тогда критерий G.27) получается при
(A1 G.30)
7.3. Линейные регрессии и метод наименьших квадратов
Линейные регрессии. В разделах 4.2 и 5.2 было установлено, что структуры
линейных регрессионных моделей очень полезны при описании основных линей-
линейных и нелинейных систем. Линейная регрессия использует предсказатель E.34)
y(t\O) = *T(t)B + л(г), G.31)
который линеен по 0. Здесь \р - вектор регрессоров, или регрессионный вектор.
Напомним, что для ARX-структуры D.7) имеем
- 1) -y(t - 2)... -y(t - na)u(t - 1)... u(f - nb)]T, G.32)
В G.31) n(t) — известный зависящий от данных вектор. Далее в этом разделе
для простоты обозначений полагаем д(г) = 0, что совершенно допустимо. См. за-
задачу 7D.1.
Линейная регрессия является стандартным направлением исследований в ста-
статистике. Основные свойства читатель может найти в Приложении II. Однако на-
настоящий раздел может быть прочитан независимо от Приложения II.
160
Критерий наименьших квадратов. С учетом G31) ошибка предсказания при-
принимает вид
е(Л в) = y{t)-vT(tH,
и критериальная функция из G.10), G.11) при L (q) = 1 и /(е) = е2/2 равна
к^(в, zJV) = l s 7^W-^>el2- G33)
N t= \ 2
Это - критерий наименьших квадратов для линейной регрессии G.31). Уникаль-
Уникальным свойством этого критерия является его квадратичность по 0, получающаяся
в результате линейной параметризации и квадратичности критерия. Следователь-
Следовательно, минимум может быть найден аналитически при условии, что существует ука-
указанная обратная матрица:
0^S = ugminVNFfZN) = f^- S ^(r)/(r)l 4г * *('M0 G34)
IN t= \ J N t= \
- оценка метода наименьших квадратов (МНК) (см. задачу 7D.2).
Введем d X ^-матрицу
Л(Л0 = 4г 2 *(')</(') G.35)
и d-мерный вектор-столбец
/(Л0 = 7Г 2 ^@^@- G36)
В случае G.32) if(t) содержит задержанные входные и выходные переменные, а
компоненты величин G.35) и G.36) будут иметь вид
[Д(Л0] а = — 2 .v(r - /Mr - Л. 1 < U < па
N t= 1
и аналогичные суммы произведений u{t — r)u{t — s) или u(t — **)>'(* — s) для
других элементов R(N). Другими словами, эта матрица и вектор-столбец будут
состоять из оценок ковариационных функций {y(t)} и {u(t)} . Таким образом,
оценка МНК может быть вычислена только с использованием этих оценок и, сле-
следовательно, имеет отношение к корреляционному анализу, описанному в разде-
разделе 6.1.
Свойства оценок МНК. Метод наименьших квадратов представляет собой ча-
частный случай метода идентификации по ошибке предсказания G.12). Анализ его
свойств, таким образом, охватывается общим рассмотрением в гл. 8 и 9. Однако,
полезно провести здесь эвристическое исследование оценки МНК.
Предположим, что наблюдаемые данные генерируются в соответствии с урав-
уравнением
G.37)
для некоторой последовательности {vo(t)) . Можно мыслить 0О как "истинное
значение" вектора параметров. Подставляя G.37) в G.34), получаем
в" s [Л(ЛОГ1 тг 2 *(t)hpT(t)o0 + vo(t)) =
N t = i
1 N
= ^0 + [Д(ЛОГ1— 2 ^@«ь@. G-38)
6. Л. Льюнг ' 161
Желаемые свойства 0N должны быть следующими:
1. Оценка близка к 0о.
2. Оценка стремится в пределе к в0 при N -*• °°.
Заметим прежде всего, что если vo(t) в G.37) малы по сравнению с ^(/), то
ошибочный член
l^(TV)]-1— 2 *(/)ц>@
N r= 1
А
будет мал, и, таким образом, 6N будет близка к 0О. Чтобы исследовать, что про-
происходит в пределе при Л^-^«>, удобно предположить, что lvo(t)} является реали-
реализацией стационарного случайного процесса, и ограничиться случаем G.32). Пред-
Предположим, что входная последовательность квазистационарна, т.е. сходятся сум-
суммы типа
А 1 N
Ru(r) = — 2 u(t)u(r - г) -> Ru(t) = hu(t - r)u(t)
N t= l
при N -^°°. Тогда матрица R(N) (которая состоит из таких сумм) будет сходиться
(с вероятностью 1):
R(N) -* R\ (=?>(')</@) ПРИ N -+ °°-
Аналогично при слабых предположениях с вероятностью 1
1 лг
2 () Л%
tV r -- i
(Ср. с теоремой 2.3.) Таким образом
On -+ So + (R*)~lh* при TV ^ оо G.39)
при условии, что R* не вырождена. Следовательно, для того чтобы оценка МНК
была состоятельна, т.е. чтобы 0N сходилась к 0О, мы должны потребовать:
(i) R* невырождена. Это будет иметь место, например, если {u(t)} и
{ ^о(О) независимы, a m X m-матрица, имеющая в качестве /,/-элемен-
/,/-элемента Ru(i - /), невырождена. В этом случае входную последовательность
называют постоянно возбуждающей порядка пъ (подробное обсужде-
обсуждение этого понятия дается в разделе 14.2).
(ii) h* =0. Это будет выполняться, если либо
(iia){uo(r)} является последовательностью независимых случайных вели-
величин с нулевыми средними значениями (белый шум). Тогда и0 (О не
зависит от того, что происходило до момента времени t — 1 включитель-
включительно, и, следовательно, Е*р (Оуо (О = 0*>
либо
(iib) входная последовательность (м(г)} не зависит от последовательности
шумов {v0 (t)} , имеющих нулевые средние значения, и па = 0 в G.32).
Тогда кр{г) содержит только члены сии, следовательно, E\p(t)v0 (t) = 0.
Если па > 0, так что </?(/) содержит у(к), t - па <: к *^ t - \, d { v0 (f)} не явля-
является белым шумом, то (обычно) Evo(t)if{t) Ф 0. Это обусловлено тем, что </?(г)
содержит y(t - 1), a y(t - 1) содержит член v0 (Г - 1), т.е. коррелирует с v0 (г).
Следовательно, состоятельность можно ожидать только в случаях (На) и (iib).
В случаях (i) и (iia) можно показать (см. гл. 9), что последовательность слу-
случайных величин
- в0)
162
сходится по распределению к нормально распределенной случайной величине с
нулевым средним и матрицей ковариаций XoU?*], где Хо - дисперсия vo(t).
В связи с этим вопросы планирования эксперимента (т.е. выбор свойств {u(t)} )
сводятся к задаче обеспечения "большого" значения R* с учетом заданных огра-
ограничений. Эти вопросы обсуждаются в гл. 14.
Взвешенные наименьшие квадраты. Так же, как и в G.18) и G.19), в крите-
критерии наименьших квадратов различным измерениям могут быть назначены различ-
различные веса:
VN{99 ZN) = ^~ 2 «r[y(O - />H]2 G.40)
N t= i
или
N
VN{0, ZN) = 2 P(Nf Г)ИО - *Т{!)в\\ G.41)
Выражение получающейся при этом оценки полностью аналогично G.34):
^S = [ S HN.t)*{t)vT(t)Yl 2 WUM'MO- G.42)
/i=i t - i
Многомерный случай ***. Если выходная переменная >>(/) является р-мерным
вектором и используется норма G.27), критерий наименьших квадратов прини-
принимает вид
VN{0, ZN) = \- 2 Н^@ - ^(OOfA^bCO - ЛHЬ G.43)
iV r=i 2
Он порождает оценку
в" = | ^ 2 <^(r)A'Vr(O 77 2
L Л^ г = 1 J УУ г = 1
G.44)
В случае, когда мы используем конкретную параметризацию D.53) с матричным
г X р параметром 9,
yU\6) = 9T<p(t), G.45)
критерий наименьших квадратов принимает вид
VN(9, ZN) = — 2 II у (t) - 0T*{t) II2, G.46)
N *•= l
а оценка
als Г I
0N = — 2 ^@/W — 2 ^(r)^r(r) G.47)
Г 1 N I 1 N
— 2 ^@/W — 2
L^ r= i J л^ t= i
(см. задачу 7D.2). Выражение G.47) выявляет преимущества структуры G.45):
чтобы определить оценку 0N г X р-матрицы, достаточно обратить г X г-матрицу.
В G.44) в -рг-мсрный вектор, а обращению подлежит рг X рг-матрица.
Цветной шум(*). Метод наименьших квадратов имеет много преимуществ,
наиболее важным из которых является возможность эффективного и однознач-
однозначного нахождения глобального минимума критерия G.33) (других локальных
минимумов, кроме глобального, не существует). Его основной недостаток отно-
относится к асимптотическим свойствам, отмеченным ранее: если в разностном
<>* 163
уравнении
y(t) + axy(t - 1) + ... + anay(t - na) =
= MC - 1) + ... + ftnftn(f - nb) + u@
ошибка u(r) не является белым шумом, то оценка МНК не сойдется к истинным
значениям щ и bj. При рассмотрении этой проблемы можно ввести дополнительное
уравнение, моделирующее ошибку v(t), как обсуждалось в разделе 4.2; пусть,
скажем,
v(t)= K(q)e{t)9 G.49)
где е — белый шум, а к — линейный фильтр. Использование моделей G.49) обыч-
обычно приводит к методам, отличным от МНК, за исключением двух случаев, кото-
которые мы сейчас и рассмотрим.
Известные свойства шума. Если в G.48) и G.49) я,- и ft,- неизвестны, но фильтр
к известен (не очень реальная ситуация), имеем
A(q)y(t) = B(q)u(t) + K(q)e(t). G.50)
Применяя фильтр к (q) к обеим частям равенства G.50), получаем
A(q)yF(t) = B(q)uF(t) + e(f), G.51)
где
uF(t) = K-\q)u(t). G.52)
Поскольку е — белый шум, можно применить МНК к G.51) без каких-либо ослож-
осложнений. Заметим, что это эквивалентно применению фильтра L (q) = к (q) в G.10).
Модели высокого порядка. Допустим, что шум v можно хорошо описать
уравнением G.49) с к (q) = l/D(q)y где/)(?) - полином степени г. (То есть и (г)
предполагается авторегрессионным (AR) процессом порядка г.) Тогда
A{q)y(t) = B(q)u(t) + -~re(t)9 G.53)
D(q)
или
A(q)D(q)y(t) = B(q)D(q)u(t) + *(/). G.54)
Применение МНК к G.54) с порядками пА = па + г и п^ - п^ + г дает состоя-
состоятельные оценки AD и BD, поскольку е - белый шум. Следовательно, передаточ-
передаточная функция от и к у
В(д)Р(д) _ В(д)
A(q)D(q) A(q)
оценивается правильно. В [28] этот подход был назван МНК с повторением. См.
также [367] и [387].
7.4. Статистическая трактовка параметрического оценивания
и метод максимального правдоподобия
До сих пор мы не использовали какую-либо статистическую аргументацию
для оценивания. Действительно, принцип подгонки моделей к данным имеет
смысл безотносительно к статистической трактовке данных. Однако полезно и
поучительно в данном случае кратко описать основные аспекты статистического
параметрического оценивания и соотнести их с вышеизложенным.
Оценивание и принцип максимального правдоподобия. Область теории статис-
статистических выводов также, как идентификация систем и параметрическое оценива-
164
ние, представляет собой проблему извлечения информации из наблюдений, кото-
которые сами могут быть не достоверными. При этом наблюдения рассматриваются
как реализации случайных величин. Допустим, что наблюдения представляют
собой случайный вектор yN = 0A), j>B),... , y(N)), принимающий значения
в ^.Предполагаем, что существует функция плотности распределения вероят-
вероятностей, равная
т.е.
/(в; *i, х2,..., xN) = fy@\ x"), G.55)
P{yN е А) = / fyF; xN)dxN. G.56)
В G.55) в — ^-мерный вектор параметров, описывающий свойства наблюдаемых
величин. Он предполагается неизвестным, а цель наблюдений фактически состоит
в оценивании вектора в по yN. Эта цель реализуется оценкой
О(У"), G.57)
которая является функцией, отображающей R^ в R^. Если наблюдаемое значение
yN является вектором ^^,то, следовательно, получающаяся оценка равна 0Ф =
Можно использовать много таких функций оценивания. Оценка, максимизи-
максимизирующая вероятность наблюдаемого события, была введена Фишером в [117] и
получила название оценки максимального правдоподобия. Она может быть оп-
определена следующим образом. Функция плотности совместного распределения
вероятностей наблюдаемого случайного вектора задается G.55). Таким образом,
вероятность того, что реализация (= наблюдение) действительно должна принять
значение у^, пропорциональна
Это детерминированная функция 0, поскольку вместо yN подставлены числен-
численные значения у^. Она называется функцией правдоподобия и отражает "правдо-
"правдоподобие" того, что наблюдаемое событие имеет место на самом деле. Разумной
оценкой вектора в тогда может быть выбрана такая величина, при которой наб-
наблюдаемое событие "наиболее правдоподобно". Таким образом, ищем
0ml (У?) = arg max fy@; у?), G.58)
в
где максимизация производится при фиксированном у^. Эта функция известна
как оценка максимального правдоподобия (оценка ММП).
Пример. Пусть y(i), i = ]у.. . у N, ~ независимые нормально распределенные случай-
случайные величины с (неизвестными) средними 0О (не зависящими от /) и (известными) диспер-
дисперсиями Л.*:
;ЛЧ0о,Ь/). G.59)
Обычной оценкой 0О является текущее среднее
/v 1 N
eSM<J> ) = — 2 у if). G.60)
N ;= i
Чтобы вычислить оценку ММП определим сначала функцию плотности совместного распре-
распределения G.55) для наблюдений. Поскольку для y(i) она равна
165
a y(i) независимы, имеем
Таким образом, функция правдоподобия равна fy@; yN). Максимизация функции правдо-
правдоподобия эквивалентна максимизации се логарифма. Таким образом,
¦К
в
N \ \ N
= argmax{-— 1п2я - S -ЬХ/ - - .2 -^-^ — } , G.62)
2 /-12 2 i — 1 A.j
откуда находим
Связь с оценкой максимума апостериорной вероятности. Байесовский подход
дает близкую, но концептуально отличную трактовку задачи параметрического
оценивания. В байесовском подходе сам параметр рассматривается как случайная
величина. Основываясь на наблюдении других случайных величин, коррелирую-
коррелирующих с параметром, можно извлечь информацию о его значении. Допустим, свой-
свойства наблюдений могут быть описаны в терминах вектора параметров в. С пози-
позиций байесовского подхода вектор в рассматривается, таким образом, как случай-
случайный вектор с некоторым априорным распределением ("априорный" означает
заданный до наблюдений). Очевидно, наблюдения yN коррелируют с в. После
того, как наблюдения получены, можно сформировать апостериорную функцию
плотности распределения вероятностей для в. Используя ее, можно определить
различные оценки 0, например, величину, для которой плотность распределения
вероятностей достигает своего максимума ("наиболее вероятное значение"). Эта
оценка известна как оценка максимума апостериорной вероятности.
Предположим, что условная плотность распределения вероятностей для yN
при заданном в имеет вид
а априорная плотность распределения для в имеет вид
gQ(z) = РF = z).
(Здесь Р(А\В) - условная вероятность события А при заданном В. Мы допус-
допускаем несколько нестандартное обозначение.) Используя правило Байеса A.10),
при некоторой неточности обозначений находим, таким образом, апостериорную
плотность распределения для О, т.е. условную плотность распределения вероят-
вероятностей для в при заданных наблюдениях:
~M^~> *.(»)¦ G.64)
Таким образом, апостериорная плотность распределения вероятностей как функ-
функция в пропорциональна функции правдоподобия, умноженной на априорную плот-
плотность распределения. Часто влияние априорной плотности распределения незначи-
незначительно. Тогда оценка максимума апостериорной вероятности
«марОЛ = argmax{fy{6;yN) ¦ Л(в)> G.65)
в
близка к оценке ММП G.58).
166
Неравенство Крамера-Рао. Качество оценки можно определить ее матрицей
среднеквадратичной ошибки:
P=E[6(jyN) - eo][6(yN) ~ 0О]r • G.66)
Здесь 0О обозначает "истинное значение" 0, а G.66) вычисляется в предположе-
предположении, что плотность распределения yN равна fyF0; yN).
Представляет интерес выбор такой оценки, для которой Р мала. Причем ин-
интересно, что существует нижний предел значений Р для любых несмещенных
оценок. Это — так называемое неравенство Крамера-Рао:
Пусть 6(yN) — оценка 0, для которой Ев (yN) = 0О, где Е означает среднее,
вычисляемое но плотности распределения fyF0; у ) (равенство должно вы-
выполняться для всех значений 0О), и предположим, что у14 принимает значения в
подмножестве R^, граница которого не зависит от 0. Тогда
K[6(yN) - 0o]\0(yN) - 0О]Г > Л/, G.67)
где
G.68)
Поскольку 0 является d-мерным вектором, (dldd)\x\fy{6\ yN) - d-мерный век-
вектор-столбец, а гессиан (d2 Id62)\nfyF; yN) — d X cf-матрица. Матрица М называ-
называется информационной матрицей Фишера. Заметим, что для вычисления матрицы М
обычно требуется знать 0О, поэтому точное значение М может быть недоступно
пользователю.
Доказательство неравенства Крамера—Рао приводится в Приложении 7А.
Асимптотические свойства оценки максимального правдоподобия. Обычно
установить свойства оценки, например вычислить G.66), трудно. Поэтому опре-
определяют асимптотические свойства, когда размер выборки (в рассматриваемом
случае число Н) стремится к бесконечности. Классические результаты подобного
рода для оценки максимального правдоподобия в случае независимых наблюде-
наблюдений были получены Вальдом [418] и Крамером [87]:
Предположим, что случайные величины {y(i)} независимы и одинаково рас-
распределены, так что
N
Jy(y> Х\, . . . , Xjy) — II /у(/)@> Xf).
i= I
Допустим также, что распределение yN определяется плотностью /У@О; xN)
для некоторого значения 0О. Тогда случайная величина 6ML(yN) стремится
к 0О с вероятностью 1 при N -> °о? а случайная величина
сходится по распределению к нормальной с нулевым средним и матрицей ко-
вариации, равной нижней границе неравенства Крамера—Рао (Л/ в G.67)
и G.68)).
В гл. 8 и 9 эти результаты будут установлены для оценок ММП, используемых
при идентификации динамических систем. В этом смысле оценка ММП является
наилучшей возможной оценкой. Однако следует сказать, что оценка ММП иногда
167
подвергается критике за недостаточно хорошие свойства при малых выборках,
и что существуют, кроме G.66), другие способы задания критерия качества оценки.
Вероятностные модели динамических систем. Предположим, что рассмотрен-
рассмотренные в разделе 7.1 модели содержат как функцию предсказания, так и предпола-
предполагаемую функцию плотности распределения вероятностей для соответствующих
ошибок предсказания, как описано в разделе 5.4:
М(в): д>(Нв) = g(t, Z<- J; 0), G.69)
e(f, 0) = y(t) — y(t\6) независимы и распределены в соответствии
cfe(xt t; в).
Напомним, что модель типа G.69), содержащая плотность распределения
для е, называется (полной) вероятностной моделью.
Функция правдоподобия для вероятностных моделей динамических систем.
Заметим, что в соответствии с моделью G.69) выходная величина равна
y(t) = g{ttZf- ¦; в) + e(t, в), G.70)
где е(г, в) имеет плотность распределения fe(x, t\ 0). Тогда совместная плот-
плотность распределения наблюдений yN (для заданной детерминированной входной
последовательности uN) определяется леммой 5.1. Заменяя фиктивные пере-
переменные xg соответствующими наблюдениями, получим функцию правдоподобия:
fy{6-9yN)= П fe{y{t) -g(t, Zf~ !; 0), г; 0) = ПЛ(е(иМ;«).
t = 1 t = !
Максимизация этой функции эквивалентна максимизации ^ ' *
4; ЬГУ(Р; yN) = ^~ Z 1пЛ(е(г, в). Г; в). G.72)
Если определить
/(е, в, Г) = -ln/e(ef r; в), G.73)
то можно записать
1 "
^mlCv^) = argmin — 2 /(e(f, в), в, г). G.74)
0 N t= \
Таким образом, метод максимального правдоподобия может рассматриваться
как частный случай критерия ошибки предсказания G.12).
Следует подчеркнуть, что G.33) и G.74) реализуют точный метод максималь-
максимального правдоподобия дня сформулированной задачи. Иногда отмечают чрезвычай-
чрезвычайную сложность функции правдоподобия в задачах анализа временных рядов, из-за
чего часто приходится прибегать к ее аппроксимации (см., например, [5,108, 210]).
В определенных случаях это так. Причина состоит в трудности представления,
скажем, ARMA-модели в форме предсказателя G.69) (обычно это требует исполь-
использования нестационарных калмановских предсказателей). Проблема, таким обра-
образом, относится не к самому ММП как таковому, а к нахождению точного предска-
предсказателя. Если используются стационарные предсказатели, то предполагают извест-
известными все предыдущие наблюдения (см. C.24)) и обычно заменяют соответствую-
соответствующие начальные величины нулями. Тогда это соответствует функции правдоподо-
правдоподобия как условной по отношению к этим величинам, а метод называют условным
ММП (см., например, [210]).
Гауссовский случай. В случае, когда ошибки предсказания предполагаются
гауссовскими с нулевыми средними значениями и (не зависящими от t) диспер-
168
сиями X, имеем
1 1 е2
/(е, в, Г) = 1п/е(е, Г; в) = const + - In X + . G.75)
2 2 X
Если X известна, то функция G.75) эквивалентна квадратичному критерию G.15).
При неизвестной дисперсии X G.75) представляет собой пример критерия пара-
параметризованной нормы G.16). В зависимости от положенной в основу структуры
модели, X может быть или не быть параметризована независимо от параметров пред-
предсказателя. Для иллюстрации этого см. задачу 7Е.4. Сравните также с задачей 7Е.7.
Информационная матрица Фишера и граница Крамера — Рао для динамичес-
динамических систем. Зная выражение логарифма функции правдоподобия G.72) для рас-
рассматриваемой структуры модели, можно вычислить информационную матрицу
G.68), Для простоты далее предполагаем, что плотность распределения fe - из-
известная (не зависящая от в) и не зависящая от / функция. Пусть /0 (е) = -1п/е (е).
Следовательно,
— 1п/у(в; yN) = 2 /0(e(f, в)) • *(г, 0),
ад t = 1
где, как и в D.118с),
ад аи
- cf-мерный вектор-столбец, /0 — производная /0 (е) по е. Чтобы найти информа-
информационную матрицу Фишера, вычисляем математическое ожидание случайной матрицы
при в = 0О в предположении, что истинная плотность распределения для yN на са-
самом деле равна /у(в0\ yN). Последнее предположение означает, что е(г, 0О) =
= е0 (t) будет рассматриваться как последовательность независимых случайных
величин с плотностью распределения fe (x). Обозначим это математическое ожи-
ожидание MN. Таким образом,
МN = Е 2 2 lL<e*(t))lL<eo(s))t(t9 60)фт(в, в0) =
t- 1 s= !
= 2 t:[lUeo(O)]2 ' E*(t9 во)фт($, во)9
t - i
поскольку е0 (О и е0 (s) независимы при s Ф t. Кроме того, имеем /о (х) =
G.76)
fl(x)
Если е0 (f) — гауссовская величина с дисперсией Хо, то, как легко проверить, к0 =
= Хо. Следовательно,
MN = 2 ?У(Г. ^0)^Га в0). G.77)
к0 г= 1
А
Неравенство Крамера — Рао утверждает, что для любой несмещенной оценки 6N
А
параметра в (т.е. такой оценки, что E0N = 0О при произвольном истинном значе-
169
НИИ 0О)
Cov 0N > Мп1. G.78)
Заметим, что эта граница, применима при любом N и для всех методов оценивания
параметров. Таким образом, имеем
N
jv > ко[ ^ ЕфЦ, 60)фт(Г, во)]-\ G.79)
г = 1
ко = ^о ДДя гауссовских обновлений.
Многомерный гауссовский случай^*\ В случае, когда ошибки предсказания
являются р-мерными векторами и имеют гауссовское совместное распределение
с нулевым средним и матрицей ковариаций Л, подучаем из выражения для мно-
многомерного гауссовского распределения
/(е, t\ 0) = const + - In det Л + - егЛе. G.80)
Тогда логарифм правдоподобия, взятый с минусом, принимает вид
N 1 N
VNF, Л, ZN) = const + —In det Л + - 2 eT(tf 0)Ле(г, в). G.81)
2 2 г = i
Если матрица ковариаций Л полностью неизвестна и не зависит от параметра О,
можно аналитически минимизировать G.81) по Л для любого фиксированного 0:
А 1 N
argmin VN(B9 Л, ZN) = ANF) - — 2 e(t, O)eT(t, в). G.82)
л yy г = l
Тогда
ДГ Г1 A 1 1
= arg min K^y @, Ajy @), Z*) = arg min - In det AN @) + -p G.83)
о о L 2 2 J
(см. задачу 7D.3), где р = dime. Следовательно, в этом частном случае можно
использовать критерий
dN = arg min det — 2 e(r, 0)er(r, в) . G.84)
в IN r=l J
Действительно, к этому выражению приводит критерий типа G.29), G.30) с
h(A) = det Л.
Меры информации и энтропии^. В E.36) и E.37) была дана общая форму-
формулировка модели как предполагаемой функции плотности распределения вероят-
вероятностей для наблюдений Z*:
7m(t9Zf). G.85)
Пусть /0 (г, Z*) обозначает истинную плотность распределения для наблюдений.
Соответствие между двумя распределениями может измеряться в терминах инфор-
информационного расстояния Кульбака-Лейблера [220]:
/Go;7m)e / /о (*,*') In {.о(Лх) .dxf. G.86)
/«(^ ^)
170
Здесь х* используется в качестве переменной интегрирования для Zr. Это расстояние
равно также энтропии /о по отношению к /т, взятой со знаком минус:
77 77m)> G.87)
или негэнтропии.
Естественной формулировкой задачи идентификации является отыскание моде-
модели, максимизирующей энтропию по отношению к истинной системе или, иначе,
минимизирующей информационное расстояние до истинной системы. Этой форму-
формулировкой в различных интересных ее комбинациях занимался Акаике [4], [6], [8].
Таким образом, при параметризованном множестве моделей /м(в) (Л Zr) =
= / @; г, Zr), и необходимо определить
dN); f @;N,ZN)). G.88)
Ng
в
Мера информации может быть переписана в виде
= — E0\nf(P\N, ZN) + независящие от в члены,
где Ео означает математическое ожидание но отношению к истинной системе.
Задача G.88) эквивалентна, следовательно, задаче
dN = arg min [-Eolnf@;N, ZN)]. G.89)
в
Конечно же, проблема здесь состоит в том, что математическое ожидание невоз-
невозможно вычислить, поскольку истинная плотность распределения неизвестна. Наибо-
Наиболее простая оценка математического ожидания состоит в замене его наблюдением
N>ZN). G.90)
Это приводит к логарифмической функции правдоподобия, и тогда G.89) совпадает
с оценкой ММП. Следовательно, подход к идентификации, основанный на макси-
максимизации функции правдоподобия, может также интерпретироваться как стратегия
максимизации энтропии или метод минимизации информационного расстояния.
Расстояние между получаемой в результате моделью и истинной системой равно,
таким образом,
I(fo(N,ZN)- f(dN'9N,ZN)). G.91)
Л
Это — случайная величина, поскольку 6^ зависит от Z . В качестве основного крите-
критерия подгонки Акаике [8] предложил использовать среднее информационное рас-
расстояние, или среднюю энтропию
%„ I GoC/V. ZN); 7 (fiN; N, ZN)). G.92)
Этот критерий должен быть минимизирован как но множеству моделей, так и по
А
6N. Акаике предложил следующую несмещенную оценку величины G.92):
7 N, ZN) - dim в. G.93)
Вычисления, приводящие к этой оценке, будут даны в разделе 16.4.
Выражение G.93), используемое в G.89) с учетом G.72) и G.73), приводит
к оценке
л, ( 1 N dime )
0aic(Zn) = arg min — 2 / (e (r. 0), t, в) + —— . G.94)
в [ N t = \ N }
171
Это - теоретический информационный критерий Акаике. Если он используется
для фиксированной структуры модели, получаемая оценка совпадает с оценкой
ММП той же структуры. Однако преимущество G.94) состоит в том, что мини-
минимизация может быть проведена по отношению к различным структурам модели,
учитывая, таким образом, общую теорию идентификации. Дальнейшее обсуждение
этого аспекта см. в разделе 16.4.
Подход, развитый Риссаненом и названный принципом описания минимальной
длины, концептуально связан с информационными мерами. В соответствии с этим
подходом следует искать такую модель, которая допускает наиболее короткий
код или описание наблюдаемых данных; см. [338] и [341]. При заданной струк-
структуре модели результат вновь совпадает с оценкой ММП. См. также раздел 16.4.
Прагматическая точка зрения. Безусловно, хорошо известно, что общие и ос-
основные принципы, такие как максимизация правдоподобия, максимизация энтропии
и минимизация информационного расстояния, приводят к критериям типа G.11).
Однако в конечном счете мы располагаем последовательностью чисел, которую
следует сравнить с "отгадками" модели. Кроме того, всегда существует вопрос,
применимы ли вероятностный подход и абстрактные принципы, поскольку мы
наблюдаем только конкретную последовательность данных, а подход основан на
предположении, что эксперимент, порождающий этот набор данных, может быть
повторен бесконечно много раз при "одинаковых'' условиях. Важно, таким обра-
образом, что минимизация G.11) имеет смысл даже безотносительно к вероятностному
подходу и без "алиби", обеспечиваемым абстрактными принципами.
7.5. Корреляция ошибок предсказания с прошлыми данными
В идеале ошибка предсказания е(г, 0) для "хорошей" модели не должна зави-
зависеть от прошлых данных. Прежде всего это условие является неотъемлемой частью
вероятностной модели типа G.69). Другой, более прагматический способ понять
это условие состоит в том, что если е(г, 0) коррелирует с Z*~l ,то в Z*~l содер-
содержится больше доступной информации о y{t), чем представлено величиной y(t\0).
Предсказатель, таким образом, не является идеальным. Это приводит к определению
хорошей модели, которая порождает ошибки предсказания, не зависящие от прош-
прошлых наблюдений.
Проверка, является ли е(г, 0) независимой от всего (причем возрастающего)
набора данных Zr-1, равносильна проверке того, является ли произвольное нели-
нелинейное преобразование ошибки е(г, 0) некоррелирующей с любой возможной функ-
функцией от Z*~l. Конечно же, практически это не осуществимо.
Вместо этого можно образовать из Z*~l конкретную последовательность ко-
конечномерных векторов { f(f)} и потребовать ее некоррелированности с некоторой
преобразованной величиной ошибки {е(г, 0)}, что привело бы к уравнению
— 2 Г(О«(е(г.в)) = О, G.95)
N r=i
л
а удовлетворяющее ему значение в могло бы считаться наилучшей оценкой 0#,
основанной на имеющихся наблюдениях. Здесь а(е) - выбранное преобразование
е, и обычно берут а(е) = е.
Эту идею можно было бы в значительной степени обобщить. Во-первых, можно
было бы заменить ошибку предсказания преобразованной с помощью линейного
фильтра величиной G.10). Во-вторых, имеется, очевидно, значительная свобода
выбора последовательности ?(г). Представляется вполне возможным, что наилуч-
172
ший выбор ? (f ) должен зависеть от свойств системы. В таком случае следует до-
допустить зависимость f (t) от 0, и мы приходим к следующему методу.
Выбираем линейный фильтр L (q) и полагаем
eF (Г, 0) = L (q) € (Г, 0). G.96а)
Выбираем последовательность корреляционных векторов
f </» 0) = ? (г, Z r~l ,в), G.96Ь)
образованных по прошлым данным и, возможно, зависящих от д. Задаемся
функцией а(е). Затем вычисляем
6N = sol [/^/ @, Z^) = 0], G.96с)
fN @, ZN) = — Д Г (t в)a (eF ft 0)). G.96d)
Здесь использовано определение sol[/(x)=0] - решение (решения) уравнения
/(*)=0.
Обычно, размерность f следует выбирать так, чтобы /дг был бы d-мерным век-
вектором (это означает, что f — dXp-матрица, если выходная величина — р-мерный
вектор). Тогда G.96Ь) содержит столько же уравнений, сколько и неизвестных,
В некоторых случаях полезно рассмотреть расширенную корреляционную после-
последовательность f большей чем d размерности, когда G.96 Ь) представляет собой
переопределенную систему уравнений, обычно не имеющую решения. Тогда в ка-
качестве оценки выбирается значение, минимизирующее некоторую квадратичную
норму fN:
^ = arg min \fN(9ZN)\ G'97)
Эти корреляционные подходы, очевидно, формально связаны с минимизационным
подходом раздела 7.2 (см. также задачу 7D.6).
Процедура G.96) представляет собой концептуальный метод, принимающий
различные формы в зависимости от того, для каких структур моделей он приме-
применяется, или от конкретного выбора ?. В следующем разделе мы обсудим возможно
наилучший известный метод из семейства G.96) — метод инструментальных пере-
переменных. Сначала обсудим псевдолинейные регрессионные модели.
Псевдолинейные регрессии. В гл. 4 отмечалось, что различные общие модели
могут быть записаны в виде
? Г G,98)
(см. D.21) и D.45)). Если вектор данных у? (г, в) не зависит от в, это соотношение
представляет собой линейную регрессию. Отсюда происходит название псевдоли-
псевдолинейная регрессия для G.98) [380]. Для модели G.98) "псевдорегрессионный век-
вектор" ??(г, в) содержит соответствующие прошлые данные, частично перестраиваемые
с использованием текущей модели. Таким образом, разумно потребовать от модели,
чтобы получающиеся в результате ошибки предсказания не коррелировали с у? (г, в).
Другими словами, выбираем в G.96) ? (Г, в) - у? (г, в) и а(е) = е и приходим к
оценке
0?LR = sol J1- Д ip(t, в) [y(t)~ <рт (г, в) в] = о) , G.99)
которую называем оценкой псевдолинейной регрессии.
173
Для моделей, нодчинающихся G.98), применимы также различные варианты
G.99), соответствующие в основном замене ${t, в) на векторы, у которых пере-
перестраиваемые (зависящие от 0) элементы определяются несколько иначе. См. раз-
раздел 10.4.
7.6. Методы инструментальных переменных
Инструментальные переменные. Рассмотрим снова линейную регрессионную
модель G.31):
У«\в) = <рт(Ов. G.100)
Напомним, что эта модель включает в себя несколько типичных моделей ли-
линейных и нелинейных систем. Оценка 0 методом наименьших квадратов задается
соотношением G.34) и может также быть выражена в виде
G.101)
Следовательно, альтернативная интерпретация оценки МНК состоит в том, что она
соответствует G.96) с L (q) = 1 и f (Г, 0) = \р (г).
Предположим теперь, что данные действительно описываются соотноше-
соотношением G.37):
T G.102)
А
В разделе 7.3 было обнаружено, что в типичных случаях оценка МНК 6N не будет
стремиться к 0О из-за корреляции между v0 (r) и v?(r). Попробуем тогда применить
общий корреляционный вектор f (г) в G.101). Следуя общепринятой терминологии
в области идентификации систем, будем называть такое применение G.96) к линей-
линейной регрессии методом инструментальных переменных. Компоненты вектора f
называют при этом инструментами или инструментальными переменными. Отсюда
или
-J- 2 Г(О[.у(О-*Г(Ов]=о), ' G.103)
[j N 1-1 у N
72?»/@ — 2 Г @у (Г) G.104)
А
при условии, что указанные обратные матрицы существуют. Дня того, чтобы 0дгсхо-
N
дилась к в0 при Л^^©°, как видно из G.103), достаточно, чтобы A//V) 2 f(r)u0 (О
t = \
стремилась к нулю. Для успешного применения метода G.103) к системе G.102)
нужно, таким образом, потребовать выполнения следующих свойств инструмен-
инструментальной переменной f(r) (заменяя выборочные средние математическими ожи-
ожиданиями) :
Е f (г) ч>т(г) - невырожденная матрица, G.105)
о. G106)
Другими словами, инструментальные переменные должны коррелировать с регрес-
регрессионными переменными, но не должны коррелировать с шумом. Обсудим теперь
возможные варианты выбора инструментальных переменных, которые могли бы
удовлетворить G.105) и G.106).
174
Выбор инструментальных переменных. Предположим, что G.100) является
ARX-моделью:
у (Г) + ах у (Г - 1) + . . . + аПа у (Г - па) = b1u(t-l) + .. .+ЪПьи (t - nb) +v(t).
G.107)
Допустим также, что истинное описание G.102) соответствует G.107) с "нулевы-
"нулевыми" индексами у коэффициентов. Естественная идея состоит в генерации инстру-
инструментальных переменных аналогично G.107) так, чтобы обеспечить G.105), но в
то же время не позволить им быть зависимыми с { v0 (г)}. Это приводит к
Г @ = К (д) [-х(г - 1) -x(t - 2) . .. -x(r - па)и (г - 1) ... и (г - пь)] г,G.108)
где К - линейный фильтр, a x(t) порождается входной последовательностью, про-
пропущенной через линейную систему:
N(q)x(t) = M(q)u(t). G.109)
Здесь
I+ + я«- "
Большинство используемых на практике инструментальных переменных форми-
формируются таким способом. Очевидно, f (г) получается из прошлых входных величин
посредством линейной фильтрации и, в принципе, может быть записана как
Г(г) = Г(г.иг-'). G.111)
Если входная последовательность генерируется в разомкнутой цепи так, что она
не зависит от шума vo(t), присутствующего в системе, то, очевидно, G.106) вы-
выполняется. Поскольку векторы <р, f формируются из одной и той же последователь-
последовательности (<р зависит, кроме того, от у0), можно ожидать, что условие G.105) тоже,
"вообще говоря", должно выполняться. Мы вернемся к этому вопросу в разделе 8.6.
Простой напрашивающийся выбор инструментальных неременных состоит в
первоначальном применении МНК к G.107) с последующим использованием оце-
оцененной модели для N и М в G.109). Тогда инструментальные переменные выби-
выбираются в соответствии с G.108) при К(д) = 1. Для систем с замкнутой обратной
связью и для автономных систем требуются другие идеи. Некоторые намеки со-
содержатся в задаче 7G.3.
В задачу 7D.5 вынесено утверждение о том, что использование инструменталь-
инструментального вектора G.108)- G.110) эквивалентно применению вектора
V{t)=^^[u(t-\)u(t-2)...u{t-na-nb)\T. G.112)
Таким образом, оценка метода инструментальных переменных 6$ G.104) является
для f * такой же, как и для ? G.108) и не зависит, например, от фильтра М G.110).
Инструментальные переменные, зависящие от модели^. Качество оценки
0лг зависит от выбора ?(г), В разделе 9.5 будет приведен вывод общих выражений
асимптотической матрицы ковариаций 6$, а дальнейшее их исследование будет
проведено в разделе 15.3. Оказывается, может быть желательным выбор фильтра
G.109), равного фильтру истинной системы:N(q) =Ao(q), M(q) =B0(q). Понятно,
что эти полиномы не известны, но можно допустить зависимость инструментальных
переменных от параметров следующим образом:
Г (Г, e) = K(q)[-x(t-\ye)...-x(t-naie)u{t-\)...u(t-nb)]T, G.113)
175
Вообще, можно записать закон генерации f (t, в) в виде
Ut.e)"Ku{q.e)u{t), G.114)
где Ки (q, 0) — d-мерный вектор-столбец линейных фильтров.
Таким образом, учитывая предварительный фильтр G.96а) и "формирующую"
функцию а( • ) ошибок предсказания, метод инструментальных переменных может
быть подытожен в следующем виде:
где
/и*.
Ut.e
sol
zNy
[ fN (в.
1 N
-- — s
N t=i
ZN) = 0],
f(r.e)e(eF(r.
в)).
G
G
G
G
.115a)
.115b)
.115c)
115d)
Расширенные методы инструментальных переменных***. До сих пор в этом
разделе размерность f была равна dim0. Можно также работать с расширенными
векторами инструментальных переменных размерности dimf > d. Получающийся
в результате метод, соответствующий G.96) и G.97), будем называть расширенным
методом инструментальных переменных; он дает оценку
— 2 r(r.e)a(eF(rfe»| . G.116)
N \
AElV
dN =argmin
N
Нижний индекс Q обозначает соответствующую норму:
\x\2Q=xTQx. G.117)
В случае, когда f не зависит от в и а(е) = е, может быть найдено точное решение
G.116). См. задачу 7D.7.
Частотная интерпретация***. Критерий G.115Ь), полностью аналогичный соот-
соотношениям G.20)-G.25) для случая ошибки предсказания, может быть выражен
в частотной области с помощью равенства Нарсеваля. Предположим, что исполь-
используется линейная генерация инструментальных переменных G.114), и а(е) = е. Тогда
fN (в, ZN) * — / [GN (elw) - G (e/w, в)] \ UN (со) |2 X
2тг —tt
Здесь A (q, в) — полином А, соответствующий в в модели G.107).
Многомерный случай(*К Предположим теперь, что выходная переменная р-
мерная. Тогда инструментальная переменная f(r) - d X р-матрица. Линейную гене-
генерацию f(r, д) по-прежнему можно записать в виде G.114), интерпретируя i-й стол-
столбец f (Г, д) как
W.0)ii(r), G.119)
где К^ (у, в) - dXm-матричный фильтр. (Ku(q, в) в G.114) представляет собой,
таким образом, тензор, "трехиндексное образование".) Если а(е) - функция из
Rp в Rp, а L (q) - p Хр-матричный фильтр, то метод инструментальных переменных
по-прежнему задается соотношениями G.115).
176
7.7. Заключение
Существуют различные способы подгонки моделей из заданного множества
под наблюдаемые данные. В этой главе было уделено внимание двум основным
процедурам. Обе они формируют ошибки предсказания {е(Г, 0)}, вычисляемые
в соответствии с используемыми моделями и с учетом наблюдений, а целью обеих
процедур является стремление сделать эти последовательности "малыми".
Подход к идентификации, основанный на ошибке предсказания, или метод
ошибки предсказания, определяется соотношениями G.10) —G.12):
влг-arg n&nVN@.ZN)9
^dm • G.120)
1 N
VN(d,ZN)= — 2 /(e(r,0),M).
TV r=i
Он охватывает такие хорошо известные процедуры, как метод наименьших квад-
квадратов (МНК) и метод максимального правдоподобия (ММП) и, в то же время,
близок к байесовскому методу максимума апостериорной вероятности и к под-
подходу, основанному на информационном критерии Акаике.
Корреляционный подход определяется соотношениями G.96):
0N= sol [fN(d,ZN) = O]9 G.121)
fN(d,ZN)= -^ 2 r(rJ)a(eF(r,»)).
Он включает в себя метод инструментальных переменных, а также различные мето-
методы, ориентированные на модели с рациональными передаточными функциями.
Идентификация систем часто описывалась как область казалось бы несвязанных
друг с другом эвристических методов и приемов. Без сомнения, список названий
известных и предлагаемых методов очень велик. Наша цель - показать в этой главе,
а также в главах 8—11, что основополагающих идей в действительности очень мало
и что можно без труда ориентироваться в вопросах идентификации систем, опи-
опираясь на эти основные идеи как на отправные точки.
7.8. Комментарии к библиографии
Все методы параметрического оценивания, описанные в этой главе, восходят
к основным методам статистики. По темам общего характера отсылаем читателя
к монографиям Крамера [87],Рао [335] иЛиндгрена [237].
Раздел 7.2. Термин "метод ошибки предсказания" возможно впервые употреб-
употреблялся Льюнгом [239], но давно было понято, что общие методы идентификации
систем нацелены на то, чтобы сделать ошибку предсказания малой. С вычислитель-
вычислительной точки зрения критерий G.120) может рассматриваться как метод нелинейной
регрессии; см., например, [194] и [165]. Обсуждались различные нормы (см. раз-
раздел 15.2). В работах Миланезе и Темпо [291] (ср. также с задачей 7G.7) и Фогеля
и Хуанга [119] обсуждалась /«-норма (относящаяся к "неизвестным, но ограни-
ограниченным" возмущениям); кроме того, см. [356]. Выражения критерия ошибки
предсказания в частотной области восходит к работе Уиттла [430], в которой рас-
рассматривался случай автономной системы. Среди многих ссылок можно упомянуть
[163, гл. VI] для детального изучения (также случая систем без входа). Соответ-
Соответствующие формулы представлены и в работах Соло [380], Льюнга и Главера [259],
Вальберга и Льюнга [417].
177
Раздел 7.3. Статистические истоки метода наименьших квадратов рассматри-
рассматриваются в Приложении II. Применение к временным рядам впервые было изложено
Юлом [452] и Уолкером [421], а первый асимптотический анализ был проведен
в статье Мэнна и Вальда [276]. Приложение к динамическим системам со входом
было осуществлено независимо несколькими авторами, первое всестороннее описа-
описание и анализ изложены Остремом [19], а несколько более подробное исследова-
исследование - Остремом и Эйкхоффом [28]. Хороший обзор различных вариантов МНК
представлен в монографии Хсиа [183].
Раздел 7.4. Впервые методы максимального правдоподобия для AR и ARMA-
моделей с использованием частотных терминов применил Уиттл [430]. Затем прин-
принцип максимального правдоподобия применялся для динамических систем Остремом
и Бохлином [27] (структуры ARMAX-моделей) и Боксом и Дженкинсом [62]
(структура модели D.31)). Затем этот подход изучался во многих статьях. Их
обзор представлен в статье Острема [24].
Частотные и аппроксимационные варианты представления функции правдо-
правдоподобия широко использовались Уиттлом [430], Хэннаном [163] и др. Байесовский
подход максимума апостериорной вероятности разносторонне изложен в работах
Петерки [321], [322]. Вычисления, приводящие к G.84), впервые были представ-
представлены Итоном [109] и Акаике [5]. Энтропийный и информационный критерии ши-
широко обсуждались Акаике и Риссаненом; можно рекомендовать работы [6], [8]
и [340], [431]. Основной ссылкой по вопросам энтропии и статистики является
монография Кульбака [219]. Использование взаимной энтропии для оценивания
обсуждается в [359] и всесторонне рассматривается в [302].
Разделы 7.5-7.6. Здесь представлен новый способ описания "корреляционного
подхода", хотя различные методы хорошо известны. Метод инструментальных пере-
переменных был введен в статистике и эконометрике Рейерсьюлом [336] и применялся
для решения большого числа задач параметрического оценивания (см., например,
книгу Кендалла и Стюарта [212]). Применение в области управления динамическими
системами впервые было осуществлено в работах Вонга и Полака [441], Янга [444]
и Мейна [279]. По вопросам применения к ARMA-моделям см. [398]. Предыстория
вопроса изложена в статье Янга [446]. Среди последних обобщающих работ см.
книги Седерстрема и Стойки [374] и Янга [448].
7.9. Задачи
7G.1. Методы входной и выходной ошибки. Рассмотрим структуру модели
y(t)=G(qt6)u(t)
без определенной модели шума. В обзоре Острема и Эйкхоффа [28J приведены методы иден-
идентификации, минимизирующие "выходную ошибку"
N
eN = arg min 2 [ у (t) - G (q, 0) и (t)\2
t=\
и "входную ошибку"
N
S^=argminX [и (t) - G~l{qt B)y (t)]2.
t=l
Покажите, что эти методы представляют собой методы ошибки предсказания, соответствующие
определенному выбору модели шума H(q4B).
7E.2. Спектральный анализ как метод ошибки предсказания. Рассмотрим структуру модели
i % T
178
и пусть Я(е , г?) — произвольно параметризованная модель системы. Пусть вдг - оценка по
ошибке предсказания, полученная минимизацией G.23) и G.25):
? I GN (eioj) - G (eioj, в) I3 I UN («) I*
0jV=arg min J j- dw.
e.-n -* |Я(в ,tj)|2
a) Рассмотрим частный случай Я (elu\ т?) = 1 и
I, lwl<ir/Bn),
0, ,ci>./B,),
(*- 1)я
* п
Покажите, что в этом случае G (е ,0дг) определяется соотношением F.46).
b) Предположим, в общем случае, что
Я (e/w, г?) И/7 (w - ojk) * Я (e'Wfc, т?) И/7 (w - WA:),
G (e/w, в) И/7 (w -u>k)*G (e"k, в) Wy (w - iok).
Покажите, что при этом F.46) выполняется приближенно.
7G.3. Инструментальные переменные для замкнутых систем. Рассмотрим систему
A0(q)y (t) = B0(q)u (t)+vo(t),
замкнутую обратной связью по выходу
u(t)^Fl{q)r(t)-F2(q)y(t).
а) Пусть х (t) и ? (t) задаются соотношениями
К (q) [- х {t - 1)... - х {t - na)r (t - 1).. .r (t - nb)}T.
Покажите, что для этих инструментальных переменных выполняется G.106), и убедитесь в
справедливости G.105) для простого случая системы первого порядка.
Ъ) Допустим, известно, что v0 (t) - МА-процесс порядка s. Введем инструментальные пе-
переменные
? (О = [- У (* - 1 - s) ... - у (t - па - s) и {t - 1 - s) ... и (t - пъ - s)] Т.
Покажите для этого случая справедливость результатов части а). См. также [378].
7С4. Допустим, что Удг - [ У A),.. -. у (N) ]т - гауссовский Л^-мерный случайный вектор
с нулевым средним и матрицей ковариаций Rjy(p). Пусть
RN (в) = LNF) AN (в) L$ F)%
где Ltf(e) - нижняя треугольная матрица с единицами на диагонали, a Aj\f(B) - диагональная
матрица с \$ (t) в качестве ?, Г-элемента. Положим
EN (в) = Lx (в) YN, EN (в)= [е A, в) 6 {N, в)\ Т.
Покажите, что если требуется оценить параметр в по наблюдениям Удг, то логарифмическая
функция правдоподобия со знаком минус равна
~1п2п+ у
Покажите также, что она может быть записана в виде
?1 2 * 4^
r=i
где e(t, в) — независимые нормально распределенные величины с дисперсиями \q (t). Как это
соотносится с вычислениями G.69)- G.75)?
7С5. Пусть два случайных вектора X и Y являются совместно гауссовскими с
Е (X - тх) (X - тху = Рх> E(Y-mY)(Y-i
179
Е(Х- mx) (Y -mY)T=PXY.
Покажите, что условное распределение X при заданном Y определяется следующим соотно-
соотношением:
Y (Y " тУ> РХ ~ PxyPy P
7G.6. Рассмотрим структуру модели
G.122)
где W и Е — два независимых гаусс о век их вектора с нулевыми средними значениями и единич-
единичными матрицами к о вар наций. Заметим, что модели без входа, представленные в пространстве
состояний подобно D.81), могут быть записаны в этой форме при X - [хТA)хТB) ... xT(N) ]
и УТ=1уA)уB) ... y(N)]. Пусть
R @) = / + Н @)F@)FT @) НТ@).
Покажите следующее.
а) При наблюдении Y значение логарифмической функции правдоподобия со знаком минус
(без учета слагаемых, не зависящих от параметра 0) равно
К@) = - lnp(Y \в)= -YTR'lF) Y+ -In det/? (в),
а оценка ММП
^ in V (в)
в
(ср. с задачей 7G.4).
Ь) Пусть математическое ожидание X при заданных Y ив равно Xs @). Покажите, что
I Yt e) = i^@)= [F{B)FT (B)HT'{$)] R-'ieyY G.123)
и что
~inp(X\YtB)^ ~{X-XS (d))TS-1 (в) (X - Xs ($))+ ^In detS@),
2 2 G.124)
S F) = F @) FT(в) - F (в) FT (в) НТ (в) Rl (в) И (в) F (в) FT (в)
(ср. с задачей 7G.5) (X @) определяет сглаженную оценку состояния, положенной в основу
модели в пространстве состояний; см. [11]).
с) Допустим, что априорное распределение 0 - равномерное (р@) * не зависит от 0).
Покажите тогда, что совместная оцеика максимума апостериорной вероятности G.65) величин
0 и Л' при данном У, т.е.
arg max p @, X | Y)
равна
argmin [- lnp (Y, X \ 0)],
Х,в
где
-1пр(К,;П0)= -\ Y-H(B)X\2+ -\F-l{B)X |2 + In det ^@). G.125)
d) Покажите, что значение X, минимизирующее G.125) при фиксированных Y ив, равно
Г*@) G.123). Следовательно,
arg min | -j-1 Y - И (в) Xs @) |3 + ~ | F'1 @) Xs @) I2 + In detF @)
0 I 2 2
L
J
e) Установите равенство
- lnp (Y\e)=-lnp(Y,X\e)+lnp(X\ 0, Y). G.126)
f) Докажите, что
-lnp(Y\e)= i[| Y-H(e)Xs(e)\2+ \F-l(e)Xs(e)\2 + \ndetR(e)]. G.127)
180
(Указание: используйте матричное тождество (ср. с G.124))
[F~T @)F-1(B)+ HT (О)Н(О)] -1
и тождество для детерминантов
det {Ir + ЛВ) = dct {ls + ВЛ ),
где А и В - г X s- и s X r-матрицы, а /,. -^ единичная г X г-матрица.)
g) Покажите, что в общем случае 0ML * ^МАР-
Замечание. Задача иллюстрирует соотношение различных вьфажений функции правдо-
правдоподобия, задачи сглаживания и оценок максимума апостериорной вероятности. "Логарифми-
"Логарифмические функции правдоподобия" типа G.125) обсуждались, например, в [350] и [356, раз-
раздел 14.3.2J.
7G.7. Рассмотрим структуру линейной регрессии
В работах [2911 и [292] на основе теории оптимальных алгоритмов апнроксимации операторов
(см. [4071) была предложена следующая оценка. Для заданных S9yN и {<р (Г)} 1 определим мно-
множество
Аь={в\\у{0- yf>T{t)O\<h для всех r=l,...,/V}.
Считая Ль ограниченным и непустым, определим его "центр" 0с(А&) как вектор, /-я компонента
которого имеет вид
@=T[ suP °U)+ inf (°
2 eA eA
(верхний индекс (/) обозначает /-ю компоненту). За оценку $N берем Ос(Аь).
а) Допустим, что dimO = 1. Докажите, что Bjy не зависит от б при непустом и ограниченном
А
Ь) Если dim^ > 1, 0дг может, вообще говоря, зависеть от 6. Предположим, что при убыва-
убывании 6 до значения б* множество А ? стягивается в точку
а6
Тогда ясно, что 0дг = 0 +. Покажите, что
Аб* Т
в кг = arg min max I v (r) - \p (tH I.
0 t
Таким образом, эта "оптимальная оценка" соответствует оценке метода ошибки предсказания
G.12) с нормой 1^:
t
Это в свою очередь можно рассматривать как нредел нрир -*<» критериальных функций
/(е) = |е|р
в G.11).
7Е.1. Оценивание АR-части ARMA-модели. Рассмотрим ARMA-модель
с порядками полиномов па и пс соответственно. Метод оценивания AR-части определяется сле-
следующим образом. Положим
Ry (т)=— 2 yU)y(t-r).
N t = T
Затем решаем относительно д/ = в,- систему уравнений
. Ауу аУУ а^/
У * У "п У а
181
Покажите, что это (но существу) есть применение метода инструментальных переменных. Каких?
(См. [71 | и [4021.)
7Е.2. Гармонический сигнал с шумом. Рассмотрим смесь гармонического сигнала с белым
гауссовеким шумом:
Для простоты используется алгебра комплексных чисел. Константа а является, таким образом,
комплексной. Амплитуда, фаза и частота неизвестны: 0 = (а, со). Предсказатель, следовательно,
имеет вид
Если е@ имеет дисперсию 1 (действительная и мнимая части независимы), то функция правдо-
правдоподобии порождает критерий ошибки предсказания
VNie.ZN)=-- Z \у(О~у(П0)\2.
1 t=\
Покажите, что оценка ММП
= argmin VN{0.ZN)
подчиняется соотношению
CoN = arg max I Yn(oj)\2 ,
со
где Yn(oj) - преобразование Фурье y(t) B.37).
7E.3. Модель с шумами в наблюдениях. Эконометрические модели часто включают в себя
помехи в наблюдениях как входных, так и выходных величин (сравните с комментарием к
Рис. 1.1. Модель с шумами в наблюдениях
рис. 2.2 раздела 2.1). Рассмотрим модель, представленную на рис. 7.1. Истинные входные и вы-
выходные црсменные равны, таким образом, s и х, в то время как измерениями являются и и у.
В случае системы первого порядка имеем
- I),
Предположим, что w и е — независимые белые шумы с неизвестными дисперсиями. Обсудите,
как по наблюдениям учи можно оценивать параметры а и b и дисперсии шумов.
Замечание. В предположении известной цветности шумов задача относительно проста.
Без этого предположения ("предубеждения") задача еще не решена. См. [9, 206, 370].
7Е.4. Рассмотрим вероятностную модель, явно заданную в пространстве состояний:
G.122а)
где (w(f)} и {e(t)} предполагаются независимыми белыми гауссовскими шумами с дисперсиями
1 G.122Ь)
Ее2 (t) = I (предполагается известной) .
182
Положим вектор параметров
G.122с)
Предположим, что начальные условия х@) (среднее и дисперсия) таковы, что предсказание
у {t | 0) является стационарным процессом для каждого в (т.е. можно использовать устойчивый
фильтр Калмана). Определите логарифмическую функцию правдоподобия для этой задачи.
Сравните с логарифмической функцией правдоподобия для явно параметризованной модели
обновлений D.88).
7Е.5. Рассмотрим нелинейную структуру модели из задачи 5F.1. Обсудите, как можно при-
применить для этой структуры МНК, ММП, метод ипегрументальных переменных и оценку псевдо-
линейной регрессии. (Ссылка: [118|.)
7Е.6. Рассмотрим структуру модели
где регресс ионный вектор \р (г) может быть измерен только с шумом:
Шумы {w(t)} и {и@}, вообще говоря, не белые и взаимно коррелируют. Предположим, извест-
известно, что вектор f (г) не коррелирует с {и(г)} и (w(r)} , но коррелирует с \р (г). Предложите способ
оценивания 0 по у (г), т?@ и f (Г) (г = I, . . . , /V).
7К.7. Предположим, что в соотношениях G.74),G.75) \ не зависит от 0. Определите \N.
7Е.8. Рассмотрим структуру модели
у(t |0) = -ay{t- \)
и допустим, что истинная система описывается уравнением
у it) - 0.9^ (/- 1 ) = w</ l) + ^0(/),
где {е0 (/) } - белый шум единичной дисперсии. Определив траницу Крамера - Рао для оценок
параметров а и /?. Какова ее зависимость от свойств и?
7ТЛ. Предположим, что истинное описание некоторой системы задано уравнением
yin+a«yit 1) + ...+ а°„ау (/ - па) = Ь° и (Г - 1) + ... + Л^м (/ -nb) + u0 (Г),
содержащим стационарный процесс {v0 (/) }, не зависящий от входной последовательности. Пусть
yp{t) определяется, как обычно, равенством G.32), а 5@ - равенством
?@=1-.)'<>(' \)...~уои- na)u{t- \)...u{t-nb)\T,
где
Докажите, что для любого вектора инструментальных переменных общего вида G.108) имеем
7D.I. Рассмотрим ARX-структуру D.7), причем известно, что один параметр, скажем />,,
имеет определенное значение Ь*. Покажите, что соответствующий предсказатель может быть
записан как
с соответствующими определениями в, \р и ц (^ и ц должны быть известными функциями вре-
времени). Получите оценку МНК и оценку метода инструментальных переменных для этой модели.
7D.2. Пусть А - заданная симметрическая положительно-определенная матрица, л В и С -
заданные матрицы. Установите, что
0ТА. ~0ТВ- ВТО + С= [в -А1В]ТА\в -А1В]+С- ВТА1В>С -ВГА'1В,
и используйте этот результат для обоснования всех выражений раздела 7.3, относящихся к оцен-
оценке М11К (т.е. G.34), G.42) и G.44), G.47)). Матричное неравенство ?>> В понимается в том
смысле, что "D-B является положительно полуопределенной матрицей".
Указание: для установления G.47) перепишите G.46) в виде
VN@.ZN) = \i— 2 \\>(П - e\u)\ly(t) - eTsp(t)\T.
N f=1 183
7D.3. Пусть ? - невырожденная квадратная р X р-матрица с элементами а~. Докажите фор-
формулу дифференцирования
dct S=
где м .. обозначает /, /-элемент матрицы L "'. (Указание: используйте разложение det (/ + еА) =
= 1 + etiA + члены более высокого порядка.) Пользуясь этим результатом, докажите G.82)
и G.83).
7D.4. Покажите, что два вектора инструментальных переменных размерности d% ^ (/) и
f2 (О, где р, (/) = Тр2 (О, а Т - невырожденная квадратная матрица, порождают одну и ту же
оценку 0дг в G.104).
7D.5. Покажите, что если две переменные х и и связаны уравнением G.109), G.110), то
можно записать
-x(t-l)
-xit-nn)
u(t-l)
u{t-nm)
где (nn + nm) X (nn + nm) -матрица
N{q)
U{t-\)
"(f- 2)
u(t-nn-nm)
0
-mn
~mnm-\
0
1
0
0
п
1
0
0
- матрица Сильвестра (см. [198)), являющаяся невырожденной тогда и только тогда, когда
полиномы G.110) не имеют общего множителя. Используя этот результат, докажите, что ин-
инструментальные переменные G.112) дают ту же оценку метода инструментальных переменных,
что и инструментальные неременные G.108). Ссылка: [374].
7D.6. Покажите, что оценка метода ошибки предсказания, получаемая из G.11), G.12),
может также рассматриваться как корреляционная оценка G.96) при определенном выборе
* a KIV
7D.7. Дайте явное выражение оценки 0уу G.116) в случае, когда $* не зависит от 0, а
7D.8. Рассмотрим симметрическую матрицу
г Л В
// =
I ВТ С
Покажите, что если Я > 0, то
Л- ВС 1ВТ>0.
т
Указание: рассмотрите х Нх для
х = \х, -ххВС1}
при произвольном хх.
184
7S.1. Напишите макропроцедуру
вычисляющую оценку МНК G.34) для ARX-модели D.7)
У it) + axy(t - 1) + • • . + anay{t - па) =
= bnku(t-nk)+ ... + bnk + nb-iu{t-nk + l -nb) + e(t).
Результат ТН согласуйте по формату с задачей 4S.1, при этом значение X в ТН должно быть равно
2N
7S.2. Нанишитс макропроцедуру
ТН - IVО, и, па, nb, пк,N,М),
предназначенную для вычисления оценки метода инструментальных переменных G.104), G.108),
G.109) (K(q) = i) для той же модели, что и в задаче 7S.1.
7С.1. Смоделируйте систему
и'1 +0,5
в течение N тактов для случая, когда {и (О) - случайный двоичный сигнал, а{ е0 @ } - белый
гауссовский шум с дисперсией 1. Используйте полученные данные (Z = О ,м )) для иденти-
идентификации системы следующими способами:
a) определите спектральную оценку, используя различные значения у (задача 6S. 1),
b) получите оценку МНК для моделей различных порядков и сравните соответствующие
диаграммы Боде со спектральной оценкой (и истинной диаграммой Боде). Почему аппрокси-
аппроксимация модели становится точнее с ростом порядка модели?
c) определите оценки метода инструментальных переменных для различных инструментов,
порождаемых в соответствии с G.108) - G.110) при па = пь = 2 и
cl: *(<7)=1, ЛЧ<7)=1, M(q) = q\
с2: K(q) = 1, N и М - оценки МНК полиномов Л и В,
с3: *(>
ql +0,5 <7.
Попробуйте также взять па=пь = 3. Что происходит?
Попробуйте варианты JV = 100 и N = 400 для нескольких различных реализаций, чтобы по-
почувствовать изменяемость результатов.
7С.2. Смоделируйте систему
- J) = u(t - ]•) + 0,5м(/ - 2) + eo(t)
при тех же и и е0, что и в задаче 7C.I. Положите N = 100. Рассмотрите две структуры модели
l) = u
~l +bq'2
Для каждой из них примените подход квадратичной ошибки предсказания и получите петле-
петлеобразные графики критериальных функций от (а, Ь) и (/, Ь) соответственно.
Приложение 7А. Доказательство неравенства Крамера —Рао. Предположение
Л д.
) - 0о можно записать в виде
По определению также имеем
1= fNfy(po,xN)dxN. GA.2)
185
Дифференцирование этих двух выражений по 0О дает
/= f 6(xN)\— fJOa,x")\ dxN =
uXN)\ fv@o,xN)dxN= GА.З)
L
v Г d
") —-
1п/у(в0,у")\
J
(/ — единичная d X «/-матрица) и
RN[dd° У У GА.4)
Математическое ожидание в этих двух выражениях вычисляется, следовательно, по
распределению у N.
Умножим теперь GА.4) на в0 и вычтем из GА.З). Получим
E[0(yN)-0o]\-?-)nfy@o,yN)] =/• GА.5)
Обозначим ^/-мерные вектор-столбцы
dN \f0O9yN)9 GA.6)
откуда
Еар=1. GА.7)
Таким образом,
где положительная определенность следует но построению. Применяя результат за-
задачи 7D.8, получаем неравенство
которое совпадает с G.67). Остается только доказать равенство G.68). Дифферен-
Дифференцирование транспонированного выражения GА.4) даст
0= f [-^ln/Иво.*")\fy{0o,xN)dxN
dOQ y J L d0o
откуда слелует G.68).
186
9xN)\ fy{Bo,xN)dxN,
J y
Глава 8
СХОДИМОСТЬ И СОСТОЯТЕЛЬНОСТЬ
8.1. Введение
В гл. 7 был описан ряд методов определения моделей по данным. Чтобы исполь-
использовать эти методы на практике, необходимо изучить их свойства: насколько хорошо
идентифицированная модель описывает реальную систему? Являются ли какие-либо
методы идентификации лучше других? Как следует выбирать переменные, связан-
связанные с определенным методом?
С формальной точки зрения такие вопросы относятся к отображению G.7) мно-
множества данныхZN на множество оценок параметров д^:
zN^eNeD^ (8.1)
Ответы на вопросы относительно свойств этого отображения в основном могут быть
получены двумя способами:
1. Генерируем данные ZN с известными характеристиками. Применяем отобра-
отображение (8.1) (соответствующее конкретному методу идентификации) и оцениваем
свойства 6N. Этот способ известен как моделирование\
2. Предполагаем определенные свойства данных ZN и пытаемся установить,
А
какие свойства унаследует оценка 6N. Этот способ известен как анализ.
В этой главе мы проанализируем свойства сходимости vN ири7У-><». Поскольку
невозможно наблюдать бесконечно много данных, такой анализ имеет характер
"мысленного эксперимента", при этом следует сделать некоторые предположения о
соответствующей бесконечной последовательности данных Z °°. Существу ют различ-
различные возможности таких предположений (см. задачу 8Т.1) . Здесь, как и в гл. 2, будут
рассматриваться наблюдения стохастической природы. Таким образом, данные будут
считаться реализациями случайного процесса с детерминированными компонентами.
Было бы интересно понять, в чем в действительности состоит анализ при таких пред-
предположениях. Вероятностный подход имеет отношение к следующим вопросам. Что
должно происходить при повторении эксперимента? Следует ли ожидать совершенно
другой результат? Будет ли предел 6N зависеть от определенной реализации случай-
случайных величин? Даже если эксперимент никогда не повторится, очевидно, что такие
вопросы уместны для уверенности, необходимой при получении оценки, а это при-
придает смысл анализу. Другое дело, что предположение вероятностной структуры,
которое делается для ответа на эти вопросы, может существовать только в вообра-
воображении анализирующего и не может быть жестко связано с реальным экспериментом.
Следует заметить, что условленное стохастическое описание возмущений не
свободно от проблем. Например, предположим, что измеряется расстояние с по-
помощью грубой измерительной линейки, а ошибка измерения описывается как слу-
случайная величина с нулевым средним, которая не зависит от ошибки, получаемой при
повторении эксперимента. Это предположение означает, что но закону больших чисел
расстояние может быть определено с произвольной точностью, если только измере-
измерения повторяются достаточно много раз. Ясно, что такой вывод может быть подверг-
подвергнут критике с практической точки зрения. Таким образом, интерпретация результа-
результатов теоретического анализа при его применении к практической ситуации должна
быть осторожной.
Очевидно, вопрос о поведении вN при возрастании АГимеет отношение к вопросу о
том, как ведут себя существующие критериальные функции VN@,ZN) nfN@,ZN) .
При стохастической трактовке они представляют собой суммы случайных величин,
187
а их свойства сходимости будут следовать из закона больших чисел. Нашим основ-
основным техническим средством в этой главе будет, таким образом, теорема 2В.1. Для
того чтобы основные идеи не утонули в технических трудностях, мы рассмотрим
полные доказательства только для линейных стационарных моделей (тех же, что и в
главе 4) и при квадратичном критерии. Способы доказательства и результаты пере-
переносятся, однако, на более общие случаи.
Организация главы следующая. Предположения о Z°° бесконечной последова-
последовательности данных содержатся в разделе 8.2. Сходимость оценок метода ошибки
предсказания изучается в разделе 8.3. Вопросы состоятельности (т.е., удается ли
определить в пределе истинную систему) обсуждаются в разделе 8.4. Частотная
характеризация предельной оценки дается в разделе 8.5. Наконец, в разделе 8.6
представлены соответствующие результаты для корреляционного подхода.
Предварительное замечание. В данной главе выводится общий и естественный
А
результат: оценка 0/v> полученная но методу ошибки предсказания G.120), будет;
сходиться к величине, минимизирующей средний критерий El(e(t9 0), в). Здесь Е
может эвристически рассматриваться как усреднение по времени или по ансамблю
(возможных реализаций), или и то и другое. В главе представлены формальные
условия для установления этого "очевидного" результата, а также дается различная
характеризация предельного значения 0дг. Критически настроенному но отношению
к теории читателю следует сконцентрировать свое внимание на понимании основного
результата - уравнения (8.29) - и на частотной характеризации предельной модели
в разделе 8.5.
8.2. Условия на последовательность данных
Набор данных
ZN={u{\),y(l),...fu(N),y(N))
— основная отправная точка. Выше отмечалось, что анализ сводится к предположе-
предположению определенных свойств данных и определению получающихся в результате
А А
свойств 0yv- Поскольку анализ вм будет проводиться для N ->°°, естественно, что
условия, накладываемые на данные, относятся к бесконечной последовательности
Z°°. В этом разделе будут введены такие условия, а также будут даны некоторые
определения.
Техническое условие Dl^**. Будем предполагать, что реальные данные генери-
генерируются по схеме, изображенной на рис. 8.1. Входная переменная и может формиро-
формироваться (частично) как выход цепи обратной связи или в разомкнутой цени (и = w).
Сигнал е0 представляет собой возмущения, действующие на процесс. (Нижний ин-
индекс 0 отличает этот "истинный" шум е0 от "подставного" шума е, который исполь-
используется в модельном описании G.3).) Главной целью введения условия D1 является
описание замкнутой системы, представленной на рис. 8.1, как устойчивой, в силу
чего различие между далеко отстоящими друг от друга данными исчезает. Наиболее
ограничительное условие состоит в предположении линейности (8.2). Можно про-
провести анализ при более общих предположениях ценой его усложнения; см. [245],
условие S3. В нашем случае будем использовать следующие технические предполо-
предположения.
D1. Последовательность данных Z°° такова, что для некоторых фильтров
Л
t\)(k)+ X d?\k)eo(t-k)9
*:¦ *r м
: „, r „,
2 tffC}(*)w(/-fc)+ 2 d)\k)eQ{t-k),
188
где
l){w(r)} - ограниченная детерминированная последовательность внешних
воздействий; (8.3)
2) {^о@) - последовательность независимых случайных величин с нулевыми
средними и ограниченными моментами порядка 4 + 5 при некотором 5 > 0;
(о - (84)
3) семейство фильтров { dt (к)} к = j, ir = 1—4; г = 1, 2,... равномерно устой-
устойчиво; (8.5)
4) сигналы {у (г)}, {и (г)} совместно квазистационарны. (8.6)
Напомним определения устойчивости B.29) и квазистационарности B.58) —
B.65). (В задаче 2Т.4 показано, что равномерная устойчивость имеет место, даже
если замкнутая система проходит "кратковременную неустойчивость".)
Рис. 8.1. Схема генерации данных
I
Система
Обратная
связь
У
Замечание. Говоря, что { w(f) } — "детерминированная" последователь-
последовательность, просто подразумеваем, что она рассматривается как заданная последователь-
последовательность, которая (в противоположность е0) может быть воспроизведена при повто-
повторении эксперимента. Стохастические операторы и квалификаторы такие, как Еу
с вероятностью 1 и AsN будут, таким образом, относиться к распределению {ео(т)} при
фиксированной последовательности {w(r)}. Конечно, это не исключает того, что
конкретная последовательность в действительности является реализацией случай-
случайного процесса, независящего от возмущений системы. В этом случае иногда удобно
полагать математическое ожидание оператором усреднения также и по вероятностным
свойствам {w(t)}. Ниже (см. уравнение (8.27)) будет дан комментарий того, как это
делается.
Истинная система. Иногда будем использовать следующее более определенное
предположение об "истинной системе":
S1. Последовательность данньгх Z°° генерируется в соответствии с
(8.7)
где {eo(t)} — последовательность независимых случайных величин с нулевыми сред-
средними значениями, дисперсиями Хо и ограниченными моментами порядка 4 + 5 при
некотором 5 > 0, a H0(q) — обратимо устойчивый монический фильтр.
Итак, обозначаем истинную систему буквой S. Если задана структура модели
D.4)
Л: {С(я,в),Н(Я,в)\в(=Ом} , (8.8)
то естественно проверить, принадлежит ли истинная система (8.7) множеству, опре-
определяемому (8.8). Введем, таким образом,
DT($,M\ = {в GDM\ G{e^,6) = G0(e1");
(8.9)
189
Это множество не пусто именно тогда, когда структура модели допускает точное
описание истинной системы. Это можно также записать в виде
8еМ. (8.10)
Хотя такое предположение в практических приложениях, безусловно, не реально,
оно раскрывает во многих отношениях полезные свойства оцениваемых моделей.
При выполнении предположения S1 можно дать более точный вариант усло-
условий D1.
Лемма 8.1. Допустим, имеет место S1, а входная переменная выбирается
по правилу
причем фильтры
[\+Go(q)F(q)\-lGo(q)9 I1 + G0(q)F(q)]-lH0(q)
и
F(q)[\^Go(q)F(q)]-1Go(q\ F(c!)[\+G0(q)F(q)]-lH0(q)
устойчивы, a {w(r)} - квазистационарная последовательность. Тогда условие D]
выполняется.
Доказательство. Для замкнутой системы имеем
У(П = 11 + Go(q)F(q)]'lGo(q)w(t) + [I + G0(q)F(q)]-lH0(q)e0(f). (8.11)
Условия устойчивости означают, что фильтры в (8.11) устойчивы. Таким образом,
(8.6) следует из теоремы 2.2. Кроме того, (8.2) и (8.5) непосредственно вытекают
из (8.11) и предположений устойчивости.
Информация, содержащаяся в данных. Набор данных ZN представляет собой ис-
источник информации об истинной системе. К нему должна подгоняться выбранная
структура модели JC. (Читатель, если необходимо, мог бы в этом месте вновь прос-
просмотреть раздел 4.5.) Структура Л описывает множество моделей JC*, содержащее
отыскиваемые наилучшие модели. Идентифицируемость структур моделей касает-
касается вопроса, могут ли различные векторы параметров описывать одну и ту же модель
в множестве Л1*\ см. определения 4.6—4.8. Связанный с этим вопрос заключается
в том, позволяет ли последовательность данных Z°° различить две разные модели
в множестве. Напомним, что, следуя определению 4.1 (линейная стационарная)
модель задается фильтром W(q). Будем называть набор данных информативным,
если существует возможность различить разные модели. Таким образом, введем
следующее понятие.
Определение 8.1. Квазистационарная последовательность данных Z°° яв-
является вполне информативной по отношению к множеству моделей Л*, если для
любых двух моделей W\ (q) и W2 (q) из этого множества равенство
L:[(Wl(q)~W2(q))z(t)\2=O (8.12а)
выполняется только в случае W', (eiu>) = W2 (etoJ) при почти всех со.
С учетом того, что
Wi(q)- W2(q)= [AWu(q) AWy(q)],
(8.12a) можно переписать в виде
)\2=0. (8.12b)
Заметим, что предел в (8.12) существует в силу (8.6) и теоремы 2.2. Напомним
также D.109) и определение равенства моделей D.113).
190
Определение 8.2. Квази стационарная последовательность данных Z00
является информативной, если она вполне информативна но отношению к мно-
множеству моделей, состоящему из всех линейных стационарных моделей.
Понятие информативных последовательностей данных очень тесно связано
с понятиями "постоянно возбуждающая", "достаточно общая" входная после-
последовательность и т.д. Оно будет детально обсуждаться в гл. 14 в связи с планирова-
планированием эксперимента. Здесь приведем непосредственное следствие определения 8.2.
Теорема 8.1. Квазистационарная последовательность данных Z°° является
информативной, если спектральная матрица для z (г) = [и (t) у (г) ] т строго положи-
положительно определенная для всех со.
Доказательст в^). Рассмотрим (8.12) для произвольных линейных моде-
моделей Wx и W2. Обозначим W(q) = Wx (q) - W2 (q). Тогда, применяя теорему 2.2 к
(8.12), получаем
0= /
— 7
где
Ф2(сл)= у \. (8.13)
Поскольку Ф2 (со) является строго положительно определенной, отсюда следует,
что W (eiu>) = 0 почти всюду, что доказывает теорему.
Некоторые дополнительные понятия и обозначения ***. В определении 4.3 струк-
структура модели была определена как дифференцируемое отображение, для которого
предсказатели и их градиенты устойчивы для каждого 0 ? Ол . Чтобы облегчить
анализ, усилим это условие.
Определение 8.3. Будем говорить, что структура модели Ж равномерно
устойчива, если семейство фильтров { W(qt 0), ty(q, 0) и (d/dO)ylf(qt 0); О ЕDM} яв-
является равномерно устойчивым.
При выполнении S 1 определим аналогично D.106)
Г "@ 1
Хо(О= , • («.На)
(8.14b)
Система (8.7) может, таким образом, быть записана в виде
Разность будем обозначать
T(q,0)=To(q)- T(q, 0)= [G((/, 0) H{qt0)}. (8.15)
8.3. Подход ошибки предсказания
Основной результат. Оценка но ошибке предсказания определяется соотноше-
соотношением G.12)
0N = arg min VNFt ZN). (8.16)
M
A
Определение предела, к которому сходится 0N при стремлении N к бесконечности,
очевидно, связано с предельными свойствами функции VN@,ZN). Для квадратич-
191
ного критерия и линейной равномерно устойчивой структуры модели JI имеем
N)- jj- J^e2(r,0) (8.17)
и, используя G.2),
е(Г, 0) = [1 - Wy(g, 0)] y(t)-Wu(q, 0)u(t). (8.18)
При выполнении предположения D1 можно заменить y(t) и u(t) в предыдущем вы-
выражении на (8.2), что дает
e(r,0) = f d<5)(*;fl)w(r-*) + 2 d<6)(*, 0)eo(t - к). (8.19)
к = 1 Г Л = О г
Далее, фильтры в (8.18) равномерно (по 0) устойчивы, так как Л равномерно
устойчива. В предположении (8.5) фильтры в (8.2) равномерно (по f) устойчивы.
Следовательно, образующиеся в (8.19) фильтры { d^ (к; 0) } (/ = 5, 6) также
равномерно (как по 0 , так и по f) устойчивы (см. задачу 8D.2). Другими словами
|df°(*,e)|<At Vr, V0GZ) , /=5,6, 2|3Л<оо. (8.20)
Наконец, при выполнении предположения (8.6) теорема 2.2 обеспечивает квазиста-
квазистационарность {e(t, в)}.
Таким образом, все условия теоремы 2В.1 выполняются, и ее применение к
(8.17), (8.19) приводит к еле дующему результату.
Лемма 8.2. Рассмотрим равномерно устойчивую линейную структуру модели
JI (см. определения 4.3 и 8.3) . Допустим, последовательность данных Z°° удовлет-
удовлетворяет условию D1. Тогдадля функции Vы (О ,ZN) , определяемой (8.17),
sup \VN@,ZN) - ~У(в)\-> 0 при N-+™, (8.21)
где
К@)= Е- е2(Г,ву (8.22)
Итак, критериальная функция VNF, Z^) сходится равномерно по в G Z)^ к
предельной функции V(в) . Это обеспечивает также сходимость точки минимума 6N
функции VN@,ZN) к точке в* минимума V. Заметим, что для этого действитель-
действительно нужна сходимость, равномерная по 0, и это существенно (см. задачу 8D. 1) .Может
случиться, что V@) имеет не единственный глобальный минимум. В этом случае
определяем множество минимизирующих значений, т.е.
Dc= arg min У(в)= {0|(9GZ)^, K@)= min F@')}. (8.23)
Таким образом, сформулируем следствие из леммы 8.2 как наш основной результат
по сходимости.
Теорема 8.2.Пусть 6N задается соотношениями (8.16) и (8.17),где e(f,0)
определяется в силу равномерно устойчивой структуры модели Л. Допустим, что
последовательность данных Z °° удовлетворяет условию D1. Тогда
6N-+DC п.н. npuN-+<*>, (8.24)
гдеDc задается соотношениями (8.22) и (8.23).
192
Замечание. Сходимость в множество типа (8.24) должна пониматься в
смысле
inf |0^-0"|^О при N-+<*>. (8.25)
ogdc
Функция Т^@) будет зависеть, вообще говоря, как от истинной системы, так и
от свойств входных сигналов. При квадратичном критерии и линейной структуре
модели, как следует из теоремы 2.2, она зависит от данных только через спектраль-
спектральную матрицу Ф2 (со) (8.13), (Подробные выражения будут даны в (8.61)- (8.65) .)
Это имеет важное следствие, состоящее в том, что сходимость оценок обеспечивается
только свойствами данных второго порядка.
Средние по времени и по ансамблю. Исходными сигналами для е (f, 0) являются
w и е0, как следует из (8.19). Напомним, что w = и в случае работы в режиме
разомкнутой цепи. Символ Ё обозначает, как определено вB.60), усреднение по
ансамблю реализаций ("статистическое математическое ожидание") случайного про-
процесса { е0 (t) } и усреднение по времени детерминированного сигнала {w(t)} .
Функция К@) представляет собой, таким образом, "среднее значение" от б2 (г, 0) в
этих двух отношениях.
Причиной временного усреднения по {w(f) }, как несколько раз отмечалось,
является то, что не всегда может оказаться удобным описание этого сигнала как
случайного процесса. Однако когда {w(r) } в действительности выбирается как реа-
реализация стационарного случайного процесса (не зависящего от е0), теорема 2.3 по-
показывает, что при слабых ограничениях временное усреднение по {w(r)> будет с
вероятностью 1 совпадать с усреднением по ансамблю:
lim — ? w@ w(t — т) — Ew w(f) w(f — г) п.н. (8.26)
N -+ oo JSf t = I
Здесь Ew обозначает статистическое математическое ожидание по отношению к про-
процессу w.
Это означает, что усреднение по ео-ансамблю и w-временное усреднение посред-
посредством /Г будет с вероятностью 1 эквивалентно взятию статистического математичес-
математического ожидания как по е0, так и по w:
"E = EWE€ с вероятностью 1 ", (8.27а)
т.е.
К@) = Ее2(Г, 0) = EwE6o е2 (Г, 0) с вероятностью 1. (8.27Ь)
Для "ручного вычисления" зачастую легче применять это полное математи-
математическое ожидание: см. примеры 8.1,8.2. f
(Наоборот, можно было бы заменить усреднение по ео-ансамблю временным
усреднением, чтобы полностью исключить вероятностное описание: см. задачу 8Т.1.)
Оощий случай. Результаты леммы 8.2 и теоремы 8.2 ценой несколько больших
технических усилий могут также быть установлены для общих норм /(е,0) G.16);
в этом случае предел определяется как
К@)=?г/(е(Г, 0),0). (8.28)
Результат может быть также распространен на нелинейные нестационарные модели
и на менее ограничительные предположения о последовательности данных, чем D1.
Таким образом, окончательно имеем
0N-* argmin Е1(е(г,в)9в) п.н. при N-+<*>. (8.29)
d
7. Л. Лыонг
Этот результат о сходимости является совершенно общим и интуитивно привлека-
привлекательным. Он утверждает, что оценка будет сходиться к наилучшему возможному
приближению системы, существующему в множестве моделей. Качество аппрокси-
аппроксимации измеряется при этом величиной критерия V(в) (8.28). В следующих двух
разделах мы подробно остановимся на вопросе о том, что в действительности озна-
означает "наилучшее возможное приближение'^ более практических терминах. Сначала
рассмотрим два примера.
Пример 8.1.
Предположим, что система задана уравнением
ЯО + *оЯ' 1) = МС- U + M') + coeo(f-l), (8.30)
где {«(О) и {ео(О) ~ независимые белые шумы с единичными дисперсиями. Пусть струк-
структура модели определяется уравнением
Г
y{t\O) + ay{t-\) = bu{t - \), 0= . (8.31)
Ы
Среднеквадратичная ошибка предсказания равна
E \)-bu{t - I)]2 =ro(l + a2 -2aaQ) + b2 - 2bbQ + 2ac0, (8.32)
где
b
l
(см. задачу 2H.7) . Легко убедиться, что значения а и Ь> минимизирующие (8.32), т.е. О* =
= [д*6*| т, равны
п° г* (8.33)
Эти значения дают среднеквадратичную ошибку предсказания
К(О= 1+cJ - — , (8.34)
'о
которая меньше, чем для "истинных значений" 00 = [д0> ?>0 ] в (8.32):
У(в0) = 1+cJ. (8.35)
При применении метода ошибки предсказания к (8.30) и (8.31) , оценки ащ и ?>jy будут в соот-
соответствии с теоремой 8.2 сходиться к значениям, задаваемым (8.33) . Тот факт, что а*Ф а0 , обыч-
обычно выражается как "смещение" оценки. Однако из (8.34) и (8.35) ясно, что смещение полезно
для качества предсказания моделью (8.31) . При а = а* предсказатель строго лучше, чем для а -
Пример 8.1 подчеркивает, что алгоритм действительно дает наилучший возмож-
возможный предсказатель, который реализуется при соответствующих значенияхпараметров.
Однако важно помнить, что наилучшее аппроксимационное описание системы само,
вообще говоря, зависит от используемой входной последовательности. Проиллю-
Проиллюстрируем это следующим простым примером.
Пример 8.2.
Рассмотрим систему
y{t)- bou(t - 1) + е0 (г), (8.36)
где
u(t)~ dQu(t - \) + w(t)t (8.37)
а (eo(f)} и {w(O) ~ независимые бслошумные последовательности с единичными диспер-
дисперсиями. Пусть структура модели задается уравнением
y(t | в) = bu(t - 2), в = Ь. (8.38)
194
Срсднекнадратичпая ошибка предсказания, соответствующая (8.38) , раина
E[y(t)-bu(t ¦ 2)\2 =E\bou(t- \)-bu(t -2)|2 + ?ej(f) =
1=
Следовательно,
bjv->bQd0 п.и. при ./V-*»,
поскольку это приводит к наилучшей среднеквадратичной ошибке предсказания. Далее, пред-
предсказатель
y{t if- i) = MoM(' 2) (8.39)
достаточно разумный для системы (8.36) при входной последовательности (8.37). Он дает
среднеквадратичную ошибку предсказания I + bl по сравнению с оптимальной величиной 1 для
правильной модели, и дисперсию выходной переменной
1 +
Ъ\
о
1 -dl
Заметим, однако, что идентифицированная модель сильно зависит от входного сигнала, ис-
использованного в процессе идентификации. Для белошумпого входного сигнала (u(t)} , (dQ =
= 0) модель (8.39) бесполезна: она даст среднеквадратичную ошибку предсказания I + bj + bjrfj,
превышающую дисперсию выхода I + bl.
8.4. Состоятельность и идентифицируемость
Допустим теперь, что выполняется предположение S1, т.е. имеем истинную систе-
систему 8 . Обсудим, при каких условиях существует возможность восстановления этой
системы с помощью идентификации но ошибке предсказания.
Ясно, что прежде всего следует предположить, что S €jft; другими словами,
множество DT(§, JC) (8.9) непусто.
Квадратичный критерий при $ G JC . Основной результат по состоятельности
почти очевиден.
Теорема 8.3. Допустим, последовательность данных Z °° удовлетворяет пред-
предположениям D1 и S1. Пусть Л - линейная равномерно устойчивая структура модели,
причем 8 ? Л. Предположим также, что Z°° вполне информативна по отношению к
JC . Тогда
где Dc определяется соотношениями (8.22), (8.23) , д DT(8,Jl) - соотношениями
(8.9). Если, кроме того, структура модели глобально идентифицируема при в0 ?
, го
De = {0o} . (8.41)
Следовательно, теоремы 8.2 и 8.3 утверждают, что для оцениваемых передаточ-
передаточных функций выполняется
bV", 0N)->Go{etu>); tf(e'w, 6N)^H0(eiLO) п.н. при N ->«>. (g.42)
Доказательство теоремы 8.3. Пусть в 0 ? DT\ рассмотрим для
произвольного в G Du
V@) V{0o) = E\e(t,0)-e(t.0o)] е(/.во)+- АГ[е(Г.в)- e(f, воI 2. (8.43)
7* 195
Поскольку 0OG DTi то в соответствии с S1
Более того, разность
e(t,6)-e(tfe0)= y(t\eo)-y(t\6)
зависит только от входо-выходных данных до момента времени t — 1 включитель-
включительно и, следовательно, не зависит от е0 (t) (ср. с (8.2)) . Первый член в (8.43) равен,
таким образом, нулю. Второй член, равный
?"[?(', 0о)-¦-?('. в)]2
строго положителен, если 0 и 0О соответствуют разным моделям, так как последо-
последовательность даиных достаточно информативна; см. (8.12). Результат (8.41) следует
из юго, что глобальная идентифицируемость JI в 0О обеспечивает равенство DT =
= {0О> (см. D.132)).
Квадратичный критерий при Go Е $ . Часто более важно иметь хорошую оценку
передаточной функции G, чем формирующего фильтра шума//. Изучим теперь ситуа-
ситуацию, в которой множество передаточных функций модели
достаточно большое и содержит истинную передаточную функцию
C0G#, (8.44)
но истинное описание шума Ио точно не соответствует ни одной из возможных
моделей. Таким образом, $ф JC . Тогда справедлив следующий результат.
Теорема 8.4. Допустим, что последовательность данных Z00 удовлетво-
удовлетворяет предположениям D1 и S1. Пусть JC - линейная равномерно устойчивая струк-
структура модели такая, что G и Н параметризованы независимо:
)= G^ Р). Н<Я> в) = Н<Я. П\ (8.45)
и такая, что множество
(8.46)
не пусто. Предположим, что Z00 вполне информативна относительно JC , а систе-
система разомкнута, т.е.
{u(.t)} и {eo(t)} независимы. (8.47)
Пусть оценка
А
PN
получена методом ошибки предсказания (8.16) и (8.17). Тогда
Pn -*Dg(S,JV) пл. при N-+<*>. ,(8,48)
Результат (8.48) может быть условно записан в виде
G(e'w, On) "* G0(e'w) пл. при JV-+«>. (8.49)
Доказательство. Рассмотрим функцию V (8.22) . Из S1 имеем
= Я-1(^, т?) [(G0(q)~G(q, p))u(t)+ H0(q)e0(t)] =
л т?)
с очевидным обозначением.
196
Так как и и е0 независимы, получаем
У@)= V(p9 т?)= - \Eu2F{t, n,p)
Прир Е DG($, Jl) первый член точно равен нулю, а второй член не зависит от Я.
Следовательно,
argmin V (р,т?) = DG(8,Jt)
р
безотносительно к Я, что в силу теоремы 8.2 и завершает доказательство.
Можно добавить, что как предположение (8.45), так и (8.47) существенны для
справедливости результата. См. пример 8.1 и задачу 8Е.З.
Случай независимой параметризации (8.45) охватывает модель с ошибкой на
выходе D.25) и варианты модели с фиксированной ошибкой
y(t)=G{q4e)u{t) + H.{q)e{t) (8.50)
(которая иначе может рассматриваться как модель с ошибкой на выходе, исполь-
использующей предварительный фильтр L (q) = !///*(</); см. G.13) и G.14)). Он также
охватывает структуру модели Бокса - Дженкинса D.31) . Эти модели имеют, таким
образом, то важное преимущество, что передаточная функция G может быть состоя-
состоятельно оценена, даже если множество моделей шума слишком простое, чтобы допус-
допустить совершенно точное описание системы.
Пример 8.3.
Рассмотрим систему (8.30) из примера 8.1, и пусть структура модели соответствует мо-
модели первого порядка с ошибкой на выходе:
y{t 10) = Ч u{t).
y{t 1) ,
1
В этом случае из теоремы 8.1 следует, что оценки aN и fyy будут сходиться к истинным значениям
Общая норма /(е) при S G JC **\ Для общей нормы / (б), не зависящей от в, в
соответствии с (8.29) оценка сходится в множество Dc:
On~+E>c = arg min ?/(e(r, В)), (8.51)
Вообще говоря, множество Dc будет зависеть от /. Однако при $ G J?желательно,
чтобы Dc = DT($, JC) для всех разумно выбранных /. Ясно, что на / надо наложить
некоторые условия, и задача 8D.3 показывает, что не достаточно требовать воз-
возрастания / (б) по | б |. Приходится требовать выпуклость /(е) , чтобы иметь возмож-
возможность доказать результат, справедливый доя всех распределений обновления eo(t).
Таким образом, имеем следующее расширение теоремы 8.3.
Теорема 8.5. Пусть I (х) - дважды дифференцируемая функция такая, что
«'(*о@) = 0, (8.52)
/"(х)>5>0 V*. (8.53)
Здесь eQ(j) - обновления в предположении S1. Тогда в предположениях теоремы 8.3
гдеDc определено в (8.28) и (8.23).
Доказательство. Пусть 0 0 G DT\ обозначим, как обычно,
197
Тогда для всякого в ф DT
y(tf0)t
где E[y(t9 в)]2 > 0, так как последовательность данных достаточно информативна.
Следовательно, из разложения Тейлора получаем
Лв'О)
где ?(г) — величина, заключенная между е0 (t) и б (tj)). Поскольку е0 (г) иу(г,6)
независимы, это выражение с учетом (8.52), (8.53) иЕ[у(г,0)]2 > 0 дает
Й(е(Л 0))=Hl(eo(t)) + 0 + - E
Доказательство завершено.
Очевидно, можно дать аналогичное расширение теоремы 8.4.
В методе максимального правдоподобия норма / выбирается как логарифм
плотности распределения обновлений со знаком минус G.73):
/(*)=-1п/е(*). (8.54)
Можно показать, что для этой нормы соотношение (8.52) выполняется автомати-
автоматический теорема 8.5 имеет место без условия (8.53) . См. задачу 8G.3.
Общая норма / (б, а) при § G JC^*\ Рассмотрим теперь случай, когда норма па-
параметризована посредством а независимо от параметризации предсказателя, как в
G.17). Имеем, таким образом, следующие предельные значения в и а:
(О*, а*)= argmiii K@,a)=arg min Ёl(e(t, 0\ а). (8.55)
О , а 0, а
Если 8 €Jt и для всех а выполняются условия теоремы 8.5, то ясно, что в* Е
GDT ($,J?) безотносительно к а.Это означает, что
а* = arg min Kl(eo(t), а). (8.56)
а
Исследуем выражение предельного значения а* (8.56). Прежде всего имеем сле-
следующий результат.
Лемма 8.3. Рассмотрим норму G.17), нормализованную так, что
f с~1{х>а)Aх= 1 Va. (8.57)
Пусть функция плотности распределения вероятностей eo(t) есть f€ (x) и предпо-
предположим, что для некоторого а0
l(xta0)=-\nfe(x). (8.58)
Тогда в (8.56) а* = а0.
Доказательство. Положим
198
Отсюда
?/(ео(О. °0 - El(eo(t\ <х0) = - /7In
> - In А = - In / /е
fe(eo(O) lfe(x) J
Здесь использовано неравенство Иенсена (см. [78]) (поскольку In х является вы-
выпуклой функцией), а равенство имеет место тогда и только тогда, когда fa(x) =
= const fe(x). Это и доказывает лемму.
Таким образом, эвристически можно сказать, что
L
минимизация по а в (8.55) - попытка сделать норму /(е,а) похожей на ло-
логарифм с обратным знаком от функции плотности распределения вероятнос-
вероятностей истинных обновлений. (8.59)
Пример 8.4
Пусть /(е,а) задается выражением G.75):
/(е, а) = - — + In a .
2 I a J
Находим, что минимум функции
достигается при a = \0. Оценка о/у будет, таким образом, сходиться к дисперсии обновлений при
N-+<*>. См. задачу 7Е.7.
Если предсказатель и норма 1(е,0) имеют общие параметры, то утверждение, что
в* = argmin?/(e(f, 0)90)
будет давать компромиссное решение между стремлением сделать ошибки предска-
предсказания {б (t, в)} равными истинным обновлениям {co(t)} и (8.59), т.е. стремле-
стремлением сделать норму похожей на — 1п/е (х). В случае, когда эти две цели не могут быть
достигнуты одновременно, состоятельность может быть утрачена при непустом
От ( S,JC). См. задачу 8Е.2.
Многомерный случай ^*\ Результаты по сходимости и состоятельности для
многомерных систем полностью аналогичны скалярному случаю. Результат (8.29)
справедлив при тех же обозначениях и в многомерном случае. Контрпримеры к теоре-
теоремам 8.3 и 8.4 с квадратичным критерием
?/(е(/,0))=- EeT(tfd)A'l€(tf в) (8.60)
имеют место при той же формулировке, только с очевидными изменениями обозна-
обозначений в доказательствах. Условие (8.53) теоремы 8.5 принимает вид положительной
определенности р X р-матрицы /" (е) .
199
8.5. Линейные стационарные модели:
частотное описание предельной модели
Теорема 8.2 описывает предельные точки оценки в*, в* €DC как величины, ми-
минимизирующие среднеквадратичную ошибку предсказания среди всех моделей струк-
структуры JI. В случае S Е Ji это означает, что в* = 0О - истинное описание системы (см.
теорему 8.3), а в противном случае модель будет отличаться от истинной системы.
В этом разделе остановимся на некоторых выражениях, характеризующих это рас-
расхождение между предельной моделью и истинной системой для случая линейных ста-
стационарных моделей. См. также задачу 8G.4.
Функция У(в) для разомкнутой системы. Используя фундаментальное выраже-
выражение B.65) можно записать
У(в) = Е — е2A,в)= — J Фе(ы,е)*о, (8.61)
2 4я -я
где Фе(и>, в) - спектр ошибок предсказания {е(г, 0)}. При выполнении предполо-
предположения S1 имеем
v0(t), (8.62)
где аддитивный шум { vo(t) } имеет спектр
Фи(со) = \0\Н0(е'ш)\2. (8.63)
Тогда для линейной структуры модели получаем ошибки предсказания
e(t, 0) = #-'(?. 0) [y(t) - Од, 6)u{t)] =H~\q, в) [(G0(q)-G(q, d))u(t) + vo(t)].
(8.64)
Применяя теорему 2.2 к (8.64), приходим к выражению для Фе(со, в):
Фе(со,0) = —^ 1^—Л^ ^_ (8.65)
при условии, что v0 и и независимы. Здесь G — разность в (8.15). Следовательно,
1 1 я
— L 2 л г
2 ' 4я -я
X
Отсюда получаем характеризацию
iin VF) (8.67)
в
в частотной области.
Модель с фиксированным шумом. Для модели с фиксированным шумом
H(q,6) = H*(q) V0, соотношения (8.66), (8.67) можьо переписать в виде
Dc = arg min / | G0(e/w) - G(eiiO, (9)|2Q*(co)dco, (8.68a)
в -я
где члены, независящие от в, отсутствуют. Пусть в* Е Dc. В этом случае предельная
модель
200
является наилучшей среднеквадратичной аппроксимацией G0(eioj) с частотным взве-
взвешиванием Q*, зависящим от модели шума Я* и от спектра входного сигнала Фм,
которая может интерпретироваться как модель отношения сигнал/шум.
Независимая параметризация модели шума'*'. Рассмотрим теперь модель с не-
независимой параметризацией модели шума (8.45), D.125). Пусть 0* еД». Тогда мож-
можно записать
p*=argmin
Ф»(С0)
, т?)|
argmin
(8.69 а)
(8.69b)
(8.70а)
где
со) (8.70Ь)
- спектр ошибки, т.е. спектр ошибки на выходе y(t) — Gfa, р)и(О- В этом случае
видно, что производится подгонка G*(eiiAj) под <70(е/ш) в B(со, т?*)-норме, кото-
которая априори неизвестна, но косвенно определена соотношением (8.70) через модель
шума #(е/ш,7?*).
Чтобы лучше понять задачу минимизации (8.70), факторизуем спектр ошибки
¦er(w,P*)-X* \Ще*",р*)\2 (8.71)
для монической устойчивой и обращаемо устойчивой N(q, p* ). Заметим, что если
G(q,p*) = Go(q),ro N(q, р") равняетсяH0(q); см. (8.70Ь) и (8.63). Тогда
1 +
Ще1Ы,р')-Н(е1ы,г))
где
(8.72)
(8.73)
(R зависит от т? и р*, но мы опускаем эти аргументы). Так как Л^и Н монические и
так как Н(е1и>, т?) обращаемо устойчива, можно записать
~ik";
/?(<?'")= Б r(k)e
важно отметить, что член суммы, соответствующий к = 0, равен нулю. Таким об-
образом,
f R(e'")da> = 0.
— IT
Заметим также, что
iu>\ —
R(elu)~-
1
H(el
В итоге (8.70) можно переписать в виде
* I l
г?* » arg min f \ :
(8.74)
(8.75)
201
который показывает, что обратная модель шума \/Н аппроксимирует обратное зна-
значение спектрального множителя спектра ошибки \/N (определенного в (8.71)) в
смысле квадратичной нормы, определяемой спектром ошибки. Менее формально,
П* таково, что спектр модели шума | #(e/0J, т?*)|2 наиболее близок к спектру
ошибки Фкк (oj, p*) в выбранном множестве спектров модели шума. (8.76)
Общий случай. В общем случае (8.66), когда модель шума имеет общие парамет-
параметры с передаточной функцией, невозможно дать четкую формальную характеризацию
получаемых в результате оценок. Полезно, однако, и интуитивно привлекательно
посмотреть на предельную оценку 0* как на компромисс между подгонкой
G(elLO,0) к G0(e'w) п0 квадратичной норме в частотной области,
Q(co. О*) = j±-2 г (8.77)
и подгонкой агектра модели i H(eloJ ,0)|2 к спектру ошибки,
ФуЛ<(^0*) = \Со<<е1")-С(е'",0*)\2Фи(а1) + Ф1)(со), (8.78)
как это описано соотношением (8.75). Эта интерпретация, хотя и приблизительная,
полностью проясняет суть дела.
Пример 8.5.
Рассмотрим систему
y(t) = G0(q)u(t)
с
O.OOlq-'OO + T.^r1 +0.924?-2 +0.1764q-3)
G0(Q) х _ 2А4д-* + \.55Zq-2 - 0.4387? + 0.042? " (
На систему не действуют возмущения. Входной сигнал является псевдослучайной двоичной по-
последовательностью (см. гл. 14) с основным периодом порядка длины выборки, откуда <Dw(a>) «
* i для всех cj.
Эта система идентифицировалась методом ошибки предсказания с квадратичным критерием
и без предварительной фильтрации (L (q) ^ 1) ошибки на выходе модели, имеющей структуру
у(пв)= 1+/,-+)?«-'"<*>• (8-80)
Диаграммы Боде истинной системы и получающейся в результате модели, представлены на
рис. 8.2. Видно, что модель дает хорошее описание низкочастотных свойств, но она плоха на вы-
высоких частотах. В соответствии с (8.68) предельная модель характеризуется параметром
0*=argmin / \G0{eiu*) ~ Gieio*,e)\2dbj, (8.81)
О -it
поскольку H*{q) = I и Фм(и>) ^ I. Так как амплитуда для истинной системы падает в 100 —
1000 раз для cj > 1, ясно, что ошибки на более высоких частотах дают крайне малый вклад
в критерий (8.81); как следствие хорошее низкочастотное приближение.
Рассмотрим теперь вместо (8.80) ARX-структуру
(8-82)
соответствующую предсказателю линейной регрессии
y(t \0) = - aty(t - 1) -a2y(t - 2) + hxu(t - l) + b2u(t - 2).
При применении тех же данных эта структура дает описание модели, представленное на
рис. 8.3, имеющее лучшее низкочастотное приближение. В соответствии с обсуждением, про-
проведенным в этом разделе, эта предельная модель представляет собой компромисс между
подгонкой I/I I +fl,e/CJ +a2e ICJ|2 к спектру ошибки и минимизацией (а* и а% - компонен-
компоненты предельного вектора оценок в*)
it
I I G0(eloJ)~ G(<?lu;,0)|2 • 1 I +a*eloJ +a*e2toJ\2dbj. (8.83)
— n
202
/
0,1
,»,
-
\
\\\N
\\\
\
1
_
0,01
0,1
- о
Рис. 8.2
--300
со, рад/с
0,01
Рис. 8.2. Диаграммы Боде истинной системы
и идентифицированной модели (8.80) .Сплош-
.Сплошные линии - графики амплитуд, штриховые
линии - графики фазы, жирные линии ис-
истинная система, тонкие линии - оценка
Рис. 8.3. Диаграммы Боде истинной системы
и идентифицированной модели (8.82). Обоз-
Обозначение кривых аналогично рис. 8.2
Рис. 8.4. Функция веса ) A*(etLO)\2 в (8.83)
10
1
0,1
0,01
0,001
/
/
/
—-^/
0,01
0,1 1
Рис. 8.4
о/, рад/с
Функция М*(е/и>I2 =11+ a*eiLJ + a*e2lLJ\2 изображена на рис. 8.4. Она придает высоким час-
частотам в I04 раз больший вес, чем низким. Следовательно, по сравнению с (8.81) критерий (8.83)
штрафует высокочастотные отклонения гораздо больше. Это объясняет различные свойства пре-
предельных моделей, полученных для структур моделей (8.80) и (8.82).
8.6. Корреляционный подход
В разделе 7.5 корреляционный подход к идентификации был определен специаль-
специально для методов псевдолинейной регрессии и инструментальных переменных. Анализ
сходимости для этих методов совершенно аналогичен анализу для методов иденти-
идентификации по ошибке предсказания, проведенному в нескольких предыдущих
разделах.
Основные результаты по сходимости. Рассмотрим функцию
N t=i
(8.84)
где eF задается уравнением
eF(tt0) = L(q)€(t,d), ' (8.85)
а вектор корреляции f (/, 0) формируется посредством линейной фильтрации посту-
поступивших данных:
Ut,O) = Ky(q,O)y(t) + Ku(ci,O)u(t) (8.86)
А
(оба фильтра содержат одну задержку). Определяя оценку 6N как корень уравне-
уравнения /дг (О, ZN ) = 0, получаем корреляционный подход G.96). При этом имеем здесь
общие инструментальные переменные G.96Ь) для линейного ел у чая (8.86).
203
Анализ сходимости для (8.84) полностью аналогичен идентификации но ошибке
предсказания. Таким образом, из теоремы 2В.1 имеем:
Лемма 8.4. Пусть последовательность данных Z°° удовлетворяет D1, и пусть
ошибки предсказания вычисляются посредством равномерно устойчивой линейной
структуры модели. Предположим, что семейство фильтров
равномерно устойчиво. Тогда
sup \fN@,ZN) -/@)|-*0 п.н. при yV^oo, (8.87)
где _ _
f@) = ?$(t,0)eF{tte). (8.88)
л
Таким образом, для оценки ОN имеем следующий результат.
А
Теорема 8.6. Пусть 0N определяется как
0N= sol [fN@,ZN) = O].
0ZD
Тогда в предположениях леммы 8.4
0N^Dcfn.u. при #-*«>, (8.89)
где _
Dcf = {в | 0 еDM , /@) = 0}. (8.90)
Здесь теорема представлена для частного случая (x(eF) = €F в G.96d). Она не-
непосредственно распространяется на общий вид а( • ).
Этот результат по сходимости наиболее общий и, кроме того, совершенно естест-
естественный. Предельная оценка 0* 6 DCf характеризуется тем свойством, что пропущен-
пропущенная через фильтр ошибка предсказания {eF(t, 0* )} уже не коррелирует с инструмен-
инструментальными неременными { f (Г, 0 *)} . Это служило также основной идеей при выборе
оценки 0/у . Теперь охарактеризуем DCf более практическими терминами для неко-
некоторых специальных случаев.
Состоятельность при $ ? JH ^*'. Предположение, что 8 ? JI должно приво-
приводить к существованию величины 0о 6 DM такой, что {е(/, 0О) = ?о(О) - белый шум.
При L(q) = 1 находим, что/@О) = 0, поскольку е0(О не зависит от прошлых данных
и, в частности, от f (г, 0О). Следовательно, как и ожидалось,
0о ?ЯС/. (8.91)
В общем случае не так просто проанализировать, содержит ли это множество другие
элементы, когда данные информативны, а структура модели глобально идентифици-
идентифицируема при 0 =0О.
Методы инструментальных переменных при Go G &. Рассмотрим инструмен-
инструментальные переменные
(8.92)
Лежащая в основе модель
для которой предсказателем является
определяется так же, как в D.11) и D.12).
204
В предположении SI истинная система задается уравнением (8.7). Если сущест-
существует 0О» соответствующее (A0(q),B0(q)) такое, что
В0(п)
Goto) = —ут- . [^о^; ср. с (8.44) ],
то (8.7) можно записать в виде
или
y(t) = *T(tHo+wo(t), • (8.94)
где
™o{t) = Ao{q)Ho(q)eQ{t). (8.95)
Предположим теперь, что система разомкнута, поэтому {wo(t)} и {и(Г)} неза-
независимы. Тогда
E W во -в), (8.96)
Второе равенство в (8.96) справедливо в силу того, что f(f, 0) полностью форми-
формируется но прошлым u(t)y a L (q)wo(t) не зависит от [u(t)} . В рамках сформулиро-
сформулированных предположений имеем, таким образом, 0О €= Dcf-> и ответ на вопрос, содержит
ли это множество другие значения 0, зависит от того, является ли матрица
^Т(Л 0)Фр(*) вырожденной.
Допустим теперь, что инструментальные переменные f не зависят от 0 и генери-
генерируются в соответствии с G.108) G.110). Тогда матрица
Д=*Г(О*?(О (8.98)
является постоянной, зависящей только от фильтров /,(</), K(q)* N(q) и Л/(#),от
истинной системы и от свойств {u(t)} . Полное обсуждение невырожденности матри-
матрицы R проведено в [374]. Отметим сначала следующие факты. Пусть Лд ,«J? - поряд-
порядки истинного описания (8.93), и пусть па ,пь - соответствующие порядки модели.
Положим порядки инструментальных фильтров G.108)-- G.110) равными л„, пт.
Тогда
1) если \х\\п(па - «?, пь - /i?)>0, то R вырождена; (8.99а)
2) если т\п(па - пп, пь - пт)>0у то R вырождена. (8.99Ь)
Чтобы это понять, положим
(8.100)
iie) u(t - \)...u(t~nb)]T.
Пусть yF(t) - L (q)y(t). Если па >йа°и л6 >л^, то из (8.100) следует существова-
существование (па + /ij>)-мерного вектора S такого, что tpT(t)S = 0. Тогда и $? (t)S = 0. Те-
Теперь, поскольку {и>о(t)} и (u(t)} независимы,имеем
откуда следует, что ЯЯ = 0 и R вырождена. Аналогично, (8.99Ь) приводит к сущест-
существованию такого вектора 5, что ST^(t) = 0.
Когда не выполняется ни одно из условий (8.99), матрица R "как правило"
невырождена. Чтобы показать это, рассуждаем следующим образом: для заданной
205
истинной системы и заданного входного сигнала обозначим коэффициенты фильт-
фильтров L, К, М и N через р. Матрица R является, таким образом, функцией р: R(p).
Теперь рассмотрим скалярнозначную функцию detfl(p). Это аналитическая функ-
функция р (см. [116]). Если такая функция равна нулю на множестве положительной
меры Лебега, она должна быть тождественно равна нулю. Таким образом, если
существует такое р*, что det R(p*) Ф 0, то можно утверждать, что det R(p) Ф О
для почти всех р (на множестве аналитичности det/?(p)). Такое р* можно найти,
если спектр входного сигнала Фм(со) > 0 для всех со, а порядки фильтров N и М
выбраны по крайней мере такими же большими, как соответствующие порядки
модели па и пъ (см. задачу 8Т.2). Имеем, таким образом, следующий результат.
Допустим, система задается уравнением (8.93), Фм(со) > 0, и что и и е0 не-
независимы. Пусть инструментальные переменные f(f) определяются соот-
соотношениями G.108) — G.110). Предположим, что ни одно из условий (8.99)
не выполняется. Тогда (8.98) невырождена для почти всех таких N, М,
LuK. (8.102)
Частотная характеризация Dcf для метода инструментальных переменных ^* ^.
Ошибки предсказания в предположении S1 можно, используя (8.93), записать в виде
B(q) 1
u(t) .
J
Для инструментальных переменных (8.92) аналогично (8.61)-(8.66) имеем
)cF{t,0) = — f [Go(e/w)--G(e/
111 -7Г
X А(е*")Це1")Ки(е-^,0)с!а1, (8.103)
где
Здесь Ku(e lLO,0)- (/-мерный вектор-столбец.
Предельные оценки ^Jv ^ DCf охарактеризованы, таким образом, тем, что оп-
определенные скалярные произведения в частотной области с ошибкой G0(eibJ) ~
- G{eiu> ,0iv) равны нулю.
8.7. Заключение
В этой главе выяснялся вопрос, что произойдет, если наблюдается все больше и
больше данных. Ответ естественный: для идентификации по ошибке предсказания
G.120)
^->argminE/(e(f, 0),0)п.н. при тУ->°°, (8.104)
а для корреляционного подхода G.121)
sol №(t.0)<*(€F(t,e)) = O] и.н. при TV^oo. (8.105)
Эти результаты сформулированы в теоремах 8.2 и 8.6 соответственно.
Таким образом, предельные модели такие же, какие получились бы при вычисле-
вычислении наилучших аппроксимаций системы в случае, когда известны по крайней мере
ее вероятностные свойства.
206
В случае, если истинное описание системы охватывается множеством моделей,
модель будет сходиться к этому описанию при выполнении естественных условий
на / и при вполне информативной последовательности данных. Это демонстрируется
теоремами 8.3—8.5.
Если точное описание не может быть получено, модель будет приближена к систе-
системе таким способом, который можно охарактеризовать в частотной области следую-
следующим образом (см. (8.68) -(8.76)):
предельная оценка передаточной функции G*(e/oJ) частично или полностью
определяется как функция, наиболее близкая к истинной передаточной
функции по квадратичной норме в частотной области с функцией взвешива-
взвешивания Фи(со)/| #(efU\ 0*)|2, в то время как получающаяся в результате мо-
модель шума \H(elLJ, 0*)\2 наиболее близка к спектру ошибки Фнк (со).
(8.106)
8.8. Комментарии к библиографии
Анализ сходимости и состоятельности оценок имеет, конечно, большую исто-
историю в литературе но статистике. Представленный здесь анализ имеет некоторые
корни в анализе метода максимального правдоподобия, начиная с [418] для случая
независимой выборки и [27] в приложениях к динамическим системам. Анализ ме-
метода максимального правдоподобия в применении к временным рядам является,
по существу, эквивалентным. Эта проблема описана в [14, 163, 343, 420] и во
многих других работах. Другое исследование, относящееся к нашему предмету, -
анализ нелинейных наименьших квадратов [194]. Асимптотический анализ, не ис-
использующий стохастических предположений, проведен в [308] и [255].
Анализ методов идентификации по ошибке предсказания, когда распределение
возмущений не обязательно гауссовское, был дан в работах [72, 166, 239, 242].
Ситуация, изученная в данной главе, когда истинное описание не обязательно при-
присутствует в множестве моделей, была, возможно, впервые проанализирована в [240]
и [245]. Подобные результаты представлены также в [12, 74, 196].
Характеризация предельной модели в частотной области обсуждается также
в [417].
Сходимость и состоятельность оценок метода инструментальных переменных
подробно излагается в [374]. Впервые вариант "общих" результатов состоятель-
состоятельности оценок метода инструментальных переменных (8.102) был дан в [116]. В при-
применении к динамическим системам первый анализ состоятельности метода инстру-
инструментальных переменных был, по-видимому, сделан в [441].
Можно отметить, что если метод ошибки предсказания применяется для линей-
линейной регрессии так, что в результате получается метоц наименьших квадратов, анализ
значительно упрощается. Первый анализ этой ситуации был сделан в [276]. Недавние
работы по состоятельности МНК - [16, 225, 241, 346].
8.9. Задачи
8G.1. Локальные минимумы. Рассмотрим матрицу Г2@), определенную в задаче 4G.4, и
напомним, что условие
\\@)>0 (8.107а)
обеспечивает локальную идентифицируемость структуры модели в точке в. Покажите, что это
условие вместе с условием
ФХо(ы)>0 Vuj (8.107b)
207
(ФХо(ы) спектр х0@, определенный в (8.14а)) обеспечивает выполнение неравенства
E\l;(t,O)$T(t, 0) > О,
где ^(Г, 0), как обычно, равно (dfdB)y{t\ 0). Покажите также, что еслие(Г, 0О) = eQ(t) - белый
шум и если
Й'(МО) = 0, ?7>0@)>0,
то из условия (8.107) (при 0 = 0О) вытекает, что К@) « ?7(е(Г, $)) имеет строгий локальный
минимум в точке 0 = 0О.
8G.2. Допустим, множество передаточных функций модели{ G(q, в)} состоит из передаточ-
передаточных функций линейных систем «-го порядка:
И допустим, что входной сигнал равен сумме п гармонических сигналов разных частот и>( (i =
= 1,... ,л), 0 < и»/ < я.
a) Предположим, что модель шума является независимо параметризованной. Покажите,
что предельная модель G*(etLJ) точно повторяет истинную систему G0(eiLJ) на рассматривае-
рассматриваемых частотах.
b) Предположим, что модель шума имеет параметры, общие с G(q, 0), но в системе шума
нет: Фу(и») s 0. Покажите, что результат случая а) по-прежнему справедлив.
8G.3. Состоятельность метода максимального правдоподобия. Допустим, что выполняются
условия георемы 8.5, включая (8.52) и (8.53). Пусть
/(х)=-1п/е(х),
где fe(x) - функция плотности распределения вероятностей eo(t). Покажите, что (8.52) и ут-
утверждение теоремы выполняются, даже если (8.53) не удовлетворяется.
8G.4. Рассмотрим выражение критериальной функции (8.61) в частотной области. Покажите,
что альтернативное выражение Фе(и», 0), справедливое также при генерации входного сигнала
в цени обратной связи, имеет вид
?<*'", *)ФХ0(^)ТТ(е'^9в)
Фе(и>, 0) = Ло + т—
|Я(')|*
при обозначениях (8.15), где ФХо(со) - спектр хо(О в (8.14).
8Е.1. Примените теорему 8.2 к критерию наименьших квадратов G.33) и проверьте эвристи-
эвристически полученный результат G.39).
8Е.2. Рассмотрим задачу 7Е.4. Здесь критериальная функция /(е(г, в), 0) имеет параметри-
параметризацию, зависящую от параметризации предсказателя. Допустим, что истинная система определя-
определяется уравнениями
где{ и>0(Г)} и {vo(t)} - независимые белые гауссовские шумы с дисперсиями Ew\{t) =0.1 и
Ev\{t) = 10 соответственно.
a) Покажите, что при параметризации G.122) существует в*, для которого
е(Г, в*) -eo(t) = истинным обновлениям.
b) Покажите, что оценка максимального правдоподобия $'N не сходится к в* при N-+<*>.
c) Объясните этот парадокс.
8Е.З. Рассмотрим структуру модели с ошибкой на выходе
•
'[']•
Предположим, истинная система та же, что и в примере 8.1:
y(t)+a9y{t'-l)*bou(t- D+eo(t) + coe0(t- 1)
и что входная последовательность формируется по закону
где { г (Г)} - белый шум, а
208
Получите ныражение характеризующее предел BN. Будет ли он равен [а0, Ьо ]Г? В каком месте
нарушаются предположения теоремы 8.4?
8Е.4. Рассмотрим структуру модели
y(t)+ay(t- \)
Допустим, истинная система и входная последовательность определяются так же, как в зада-
задаче 8Е.З. Пусть 0/у — оценка метода инструментальных переменных для параметра 0 с инструмен-
инструментальными переменными
Сходится ли BN к 0о = {aobo\ ?
8Е.5. Рассмотрим выражение для Ф6 задачи 8G.4. Допустим, что обратная связь может быть
описана как
Покажите, что тогда спектр ошибки можно записать в виде
5/ iiu>)+H(eib>,e) |2Л0
8ТЛ. Рассмотрим квазистационарную последовательность (ы(/)} и равномерно устойчивое
семейство фильтров { G{q, 0), бе/)ц}. Положим
z(f, 0) = G{qt O)u(t).
Докажите, что имеет место следующее усиление теоремы 2.2: для всякого в е D^t последова-
последовательность {z (/, 0)} - квазистационарная и
sup
Здесь
I /v
— 2 z2(r, б)-Л0@)
1 V ,
• 0 при N -* «>.
Используя этот результат, получите невероятностный дубликат теоремы 8.2: для любых
квазистационарных детерминированных последовательностей {y(t)} и (м(Г)}
S^-^argmin Ee2(t, в),
где
1 N
Ec2(t,d)= lim —2 €2{ty0).
N^oo N t=y
Соответствующую дискуссию см. в [255].
8Т.2. Рассмотрим ситуацию (8.102). Пусть истинная система задается уравнением (8.93),
и допустим, что фильтры выбраны следующим образом:
L(Q) = K(q)= I,
N(q)=A0(q), M(q) = B0(q).
И пусть Фм(и») > 0 для всех и>. Покажите, что при таком выборе р матрица R(p) положительно
определена (и, следовательно, не вырождена).
8Т.З. Пусть система задается как
а модель -
Л : y(t) = G(q,O)u{t)+H(q,e)e{t). (8.I08)
Допустим, что
и что данные информативны. Пусть теперь
y(t\t-k; в)
209
- предсказатель на к шагов вперед, вычисляемый из (8.108), и пусть 0уу определяется как
1 N
0;v = argmin —2 \yit)-y{t \t-k\ О)]2,
в N f=I
Покажите, что 0^~* 0о при /V-»¦«>, если входной сигнал формируется независимо от выхода систе-
системы. Что будет при наличии обратной связи? Что будет, если обратная связь есть, но между вход-
входным и выходным сигналами существует задержка на к шагов? (Указание: заметим, что пред-
предсказатель на к шагов вперед представляет собой частный случай линейной модели, поэтому тео-
теорема 8.2 применима; постарайтесь повторить технику доказательства теоремы 8.3.)
8D. I. Покажите, что если
sup \fN(x)-f(x)\-+0
и
*/V = аГё min
ТО
Xjy-* arg m\nf(x).
8D.2. Покажите, что (8.20) следует из (8.18), (8.2) и (8.5).
8D.3. Чтобы показать, что в теореме 8.5 не достаточно требовать возрастания !(х) по
| х |, рассмотрим следующий контрпример:
|0, , = 0,
1(х) — \ 2 | jc |, 0 <* I jM ^ 1/2,
I 1, \х\> 1/2,
+1 с вероятностью 1/2,
—1 с вероятностью 1/2.
Допустим, существует значение 0 такое, что y(t \ 0) - y(t I 0o) имеет следующее распреде-
распределение:
J + 1 с вероятностью 1/2,
( -I с вероятностью 1/2.
Проверьте, что
а) условие (8.52) теоремы 8.5 выполняется, а (8.53) - нет;
с) ?7(б(/, 0))<?7(б(г.во)), откуда 0N—j-*eo.
8С.1. Рассмотрим задачу 7С.2. Нарисуйте графики У(в) для двух обсуждаемых в ней
случаев.
Глава 9
АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ ОЦЕНОК ПАРАМЕТРОВ
9.1. Введение
л
Поскольку свойства сходимости оценки 0N изучены, возникает вопрос, на сколь-
сколько быстро сходится оценка к своему пределу. Если предел обозначить 0*, следует,
таким образом, исследовать разность dN -- 01 Как и в предыдущей главе, будем
подходить к задаче оценивания с тех же стохастических позиций. Это означает, что
0^ -0* будет случайной величиной, а ее "размер" может быть охарактеризован
ее матрицей ковариаций или, более полно, ее распределением вероятностей. Нахож-
Нахождение распределения в общем случае для произвольного N является очень сложной
задачей и нам придется довольствоваться асимптотическими выражениями для
больших Nx Оказывается, что @N ~0*) обычно убывает как l/V/V^ а распределение
210
случайной величины
при этом сходится к гауссовскому при слабых предположениях.
В этой главе будут получены выражения этих асимптотических распределений.
По структуре глава аналогична гл. 8. Так, в разделе 9.2 даны основные результаты
для методов ошибки предсказания. Раздел 9.3 содержит точные выражения асимпто-
асимптотических матриц ковариаций в случаях, когда предел 0* дает правильное описание
истинной передаточной функции. Выражения в частотной области для дисперсий,
а также для дисперсии, получаемой в результате передаточной функции, представ-
представлены в разделе 9.4. Корреляционный подход к оцениванию параметров излагается
в разделе 9.5, а раздел 9.6 посвящен практическому использованию результатов
данной главы. Читателю, возможно, интересно будет ознакомиться сначала с иссле-
исследованием, проведенным в разделе П.2 Приложения II, которое могло бы служить
в качестве предварительного обзора техники и результатов настоящей главы.
9.2. Подход, основанный на ошибке предсказания:
основная теорема
Эвристический анализ. Рассмотрим, как и ранее,
ejv = arg min VN(B%ZN\ (9.1)
0 е dm
VNF,ZN) = — X -е\ив). (9.2)
N t = l 2
Тогда, обозначая знаком штрих дифференцирование по 0, получим
Допустим, что множество Dc (8.23) состоит только из одной точки в*. Разложение
предыдущего выражения в ряд Тейлора в окрестности в* дает
0 = Vn F\ZN ) + V'n (fcy , ZN)(BN - 0*), (9.3)
Л Л
где ?yv - точка "между" 0N ив*. Знаем, что BN -+6* с вероятностью 1. С помощью
рассуждений, аналогичных лемме 8.2, можно показать, что Ц? (О, ZN) сходится
равномерно но в к Vй (в). Тогда
VN$N*ZN)-*V"(e*) при W-ооп.н. (9.4)
При условии невырожденности этой {d X d) -матрицы из (9.3) для больших TV полу-
получаем разность
@N-e*)= [ v"(O*)]-lvt(o;zN). (9.5)
Второй сомножитель задается выражением
iK,)e(r,04 (9.6)
N t= i
где, как обычно,
dd io=o* dB 0=6*
211
- J-мерный вектор-столбец. По определению
Пренебрегая разностью
Г 1 N 1
2 [1(t,e*)(9e*)E ф(в*)ЦВ*)\у (9.7)
N t = l J
которая предполагается сходящейся к нулю "быстро", получаем выражение (9.6),
представляющее собой, таким образом, сумму случайных величин \p(t, в*)е (t, в*)
с нулевыми средними значениями, В случае их независимости отсюда сразу следо-
следовало бы по центральной предельной теореме, что
1 н
2 »• 0*)N @,0), (9.8)
где
0= lim ^.F{[F^(e*fZN)][F^(e*fZN)|T}. (9.9)
N - «
Здесь (9.8) означает, что случайная величина, стоящая слева, сходится по распреде-
распределению к нормальному распределению с нулевым средним и матрицей ковариаций Q
(см. (L17)). Члены V*N не являются независимыми, но в предположениях D1 и
(8.5) зависимость между отстоящими друг от друга членами будет убывать. Пред-
Представляется убедительным, что (9.8) справедливо.
Если (9.8) верно, из (9.5) непосредственно получаем, что
yfN\BN -0*)GAsN(O,/>6), (9.10)
Po = [V"{e*)VlQ[Vw{eM)Yl. (9.11)
Асимптотическая нормальность. Предыдущий эвристический анализ может быть
строго обоснован, как показано в Приложении 9 Л. Результат можно сформулиро-
сформулировать следующим образом. Л
Т е о р е м а 9.1. Рассмотрим оценку BNi определенную соотношениями (9.1) и
(9.2). Предположим, что структура модели линейная и равномерно устойчива
{см. определения 4.3 и 8.3) и что последовательность данных Z*° удовлетворяет
условию D1 (см. раздел 8.2). Допустим также, что
А
0yv -*0* п.н. при jV-»<»,
для единственной точки в* внутри йЛ и что
>TnDn ~* 0 при N-><»,
DN определено выражением (9.7). Тогда
гдеРо задается соотношениями (9.11) и (9,9).
С помощью более сложной техники этот же результат может быть доказан для
ослабленных предположений относительно последовательности данных и структуры
модели (см. [258]). Заметим, в частности, что результат остается верным и для
общих норм /(б, в, t) при условии, что / достаточно гладкая по € и в. Однако вы-
вычисление производных V'N и V " становится более трудоемким. Для
VN(Q,ZN)= - S l{e(t.O\e,t) (9.12)
N r= i
212
имеем
Vn(Q,Zn)=— 2 HKf,fl)/;(e(f.fl),fl,O + 'e(e(f.flH.OL (9.13)
N t = 1
где 4'= (Э/Эе)/ (е, 0, 0, a /9' - (d X 1>вектор (Э/Э0)/(е, 0, ?)• Аналогачно,
К "(fl) = ?" М в)/«(е(Л fl> 0, t) V(t, 0) -
- W ф(т, в) /; (e(f, 0), 0, f) - ? M 0) /e"9 (e(f. 0), 0. f) -
- Ei;€(e(tt в\в, t) V{tt в)+ЁГ09{е{и в), в, t) (9.14)
с очевидным обозначением вторых производных. При необходимости будем исполь-
использовать результат асимптотической нормальности в этой общей форме.
Матрица Рв в (9.11) является, таким образом, матрицей ковариаций асимпто-
асимптотического распределения. Когда нас в основном будет интересовать ковариация,
будем писать
1
Cove* ~-fi Р°'
В Приложении 9. В представлено формальное доказательство (9.15).
Вычисление асимптотической матрицы ковариаций/^ через (9.9), (911), (9.13)
и (914) в общем случае достаточно сложно. В следующем разделе она будет опреде-
определена для некоторых частных случаев.
9.3. Выражения асимптотической дисперсии
В этом разделе будем рассматривать асимптотическую матрицу ковариаций
оценок метода ошибки предсказания в случае, когда истинное описание системы
по существу содержится в множестве моделей.
§ GJC: квадратичный критерий. Предположим, что выполняются условия теоре-
теоремы 8.3. Тогда Dc ~{Qo) , а б(г, 0О) = е0 (г) - последовательность независимых
случайных величин с нулевыми средними значениями и дисперсиями X'q. Из (9.6)
и (9.9) имеем
Q= lim - 2 2 Exls(t,eQ)eo(t)eo(s)tT(Steo) =
уу — оо yv r=l s=l
= lim - 2 \0Et(t,e0)tT(t,Oo) = \oExlj(t,Oo)V(t,Oo\ (9.16)
поскольку {e0 (t)}- белый шум (см. также задачу 9D.1). Аналогично,
Последнее равенство вытекает из того факта, что ф'(Т, в0) формируется только
из Zr ~ *. Следовательно, из (9.11) получаем
I Рб=Ьо[Еф
I . _
(9Л7)
Этот результат имеет естественную интерпретацию. Так как ф - градиент у, видно,
что асимптотическая точность оценивания определенного параметра связана с тем,
213
насколько чувствительно предсказание y(t\в) относительно этого параметра. Ясно,
что чем больше параметр влияет на предсказание, тем легче будет определить его
величину. Очень важной и полезной стороной выражений асимптотической матрицы
ковариаций типа (9.17) является возможность оценивания ее по наблюдениям. Имея
обработанные данные в N точках и вычисленную оценку 0^, можно использовать
г 2 №>0N)*T{t,0N)\ , (9.18)
N г = 1 J
1 N
Xiv= - 2 €2(t,6N) (9.19)
N t = i
как оценку Pq. Относительно случая, когда 8 "почти" принадлежит множеству
моделей Л, см. задачу 9 G,3.
И р и м с р 9-1. Ко вариация оценок МЯК
Рассмотрим систему
*: y(O+a0y(t- 1) = и(г- 1).+ eo(t). (9.20)
Входная последовательность {и (О} - белый шум с дисперсией М. не зависящий от последо-
последовательности { е0 (t)} , которая также является белым шумом и имеет дисперсию \0. Допустим,
что коэффициент при и(/-1) известен, а идентификация системы производится с помощью
структуры модели
Jt:y(t)+ay(t- 1)= u(t - l) + e(t), в = а,
или
- I), (9.21)
y
используя квадратичный критерий ошибки предсказания.
Таким образом, п этом случае получаем оценку МНК G.34). Имеем
d
if (U в) = —у (t\e)= -y(t - 1). (9.22)
do
Следовательно,
Р =— . (9.23)
Ey2(t'-l)
Чтобы вычислить ковариаций, возводим обе части равенства (9.20) в квадрат и берем матема-
математическое ожидание. Это дает
Ry(Q) + a I Ry@) + 2a0Ry A) * Д + \>
при стандартных обозначениях B.61). (Здесь использовано соотношение (8.27) для вычисле-
вычисления Е.) Умножая (9.20) на у (t-1) и переходя к математическому ожиданию, получаем
где последнее равенство вытекает из того, что и (О не р;шяет на у(О (благодаря временной
задержке). Следовательно,
Ey*(t- 1) = Яд,@)= j^± (9.24)
и
^^-^- (9-25)
П р и м е р 9.2. Ковариация МА A) параметра.
Рассмотрим систему
Q(t- 1),
214
где{е0 (/)} - белый шум с дисперсией \0. Используем структуру модели МА A)
y(t) = e(t) + ce(t -- 1),
приводящую к предсказателю D.18):
y(t\c) + cy(t - lU0 = cy(/- 1). (9.26)
Дифференцирование дает
^ (/, с) + с\}; (t - 1, с) = -у (Г - 11 с) + у О - I).
При с= с0 имеем
Если cjy — оценка параметра с, полученная по методу ошибки предсказания, то в соответствии
с (9,17) имеем
§ € Л : Общая критериальная функция /(е), ие зависящая от 0. Рассмотрим
теперь общий критерий (9.12) с / (е, 9, t) = / (е) (нет явной зависимости от в и t).
Предположим, что Elе'(ео(О) = & Тогда, при условии $G Л из (9.13) и (9.14)
непосредственными вычислениями находим
Рв=кA)[Е №, во)фт«, в0 ))-\ (9.29)
^/WO))-
[?'/"(^(О)]2
Здесь /' и /" - первая и вторая производные от / относительно ее аргумента.
Очевидно, для квадратичной функции /(е) = е2/2, /'(е) = е, и /" (е) = 1, откуда
к(/) = F^o(^) = ^о- Это подтверждает (9.17) как частный случай (9.29) и (9.30).
Интересно отметить, что выбор / в критерии влияет только на масштабирование
матрицы ковариаций.
Асимптотическая граница Крамера-Рао. Граница Крамера-Рао G,79) приме-
применяется для произвольной несмещенной оценки и любого N. Она может быть пере-
переписана в виде
Cov(y/7f@N-0o))> ко\]-- % Еф&ео)фт(Г,0о)\ . (9.31)
L лг 1 J
Обозначая плотность распределения вероятностей eo(t) через /е(-)> можно убе-
убедиться, что
где к0 определяется соотношением G.76), а функция к(/) — формулой (9.30).
Таким образом, асимптотическая матрица ковариаций Ре (9.29) равна пределу
(при N-+ °°) границы Крамера-Рао, если / (¦) выбрана как - 1п/(-). В этом слу-
случае оценка метода ошибки предсказания (совпадающая при таком выборе / с оцен-
оценкой метода максимального правдоподобия) имеет наилучшие возможные асимпто-
асимптотические свойства, на которые только можно надеяться.
Go € # : Квадратичный критерий, G и Н параметризованы независимо (*). Вер-
Вернемся теперь к случаю теоремы 8.4, когда G и Я параметризованы независимо, a Go
может точно описываться моделью, что не обязательно выполняется дляЯ0. Пред-
215
положим, что выполняются все условия теоремы 8.4 и, кроме того,
DG(SJD={p0) (9.32)
Положим
"fQ\ ? \ (9.34)
H(q, i) ) / = о
где H(q, tj*) и Но (q) - предельная и истинная (в соответствии с (8.7)) модели шума.
Тогда имеем
1o)u(t)] = F(q)eo(t) (9.35)
г,е*)= -—e(t,e)
Clu
в =0'
,]¦
(9.36)
Более того, если /(е) = б2/2, то
V*TE(f)\. (9.37)
Поскольку {u(t)} и {eo(t)} независимы, вне диагональные блоки матрицы (9.37)
будут нулевыми (блоки, соответствующие декомпозиции Q на рит]). Аналогично,
Q (9.9) будет блочно-диагональной и, следовательно, такой же вид будет иметь
Рв . Сосредоточим теперь внимание на блоке, соответствующем р. Обозначим
фр (Г) = Я (q. п* ) С; (q9 Ро) м(г), (938)
представляющую собой детерминированную величину (не зависящую от
Здесь Gp - градиент G относительно р. Тогда
Qp= lim -2 2 tP(t)t
N -* со N t = 1 s = l
1 N N
= lim - 2 2 .2 2|
= [t.— / = s — / = r] = lim —Xo 2 2 2
N -+*> N т=1 / = 0 / = 0
Определим
oo
\//(t) = S fi$p(T+i). ' (9 39)
Тогда
бр = X0F i|/(r) фт(т ). (9.40)
Аналогично, для верхнего левого блока (9-37)
[У"(в*)]р = Е Фр(Оф*(г). (9.41)
216
Теперь можно сформулировать результат:
• В предположениях теоремы 8.4 и (9.33)
I v^(Pjv-Po)€=AsN(OfPp),
| где
I РР = Хо [Ё ФР@ Vp (t)] -1 [Ё $(t) фт(О] [Ё фр(Офтр(О] -1. (9.42)
1 Оценки Piv и т^у асимптотически не коррелируют.
ЭтоТрезультат можнсГ распространить на более"общие нормы 1(е) аналогично слу-
случаю §eje.
Очевидно, когда 8 ? Л> а значит F(q) = 1, этот результат совпадает с (9.17).
Пример 9.3. Ко вариации оценки по ошибке на выходе»
Рассмотрим опять систему (9.20), на этот раз вместе с моделью структуры
0 =/, (9.43)
l+fq
или
Это - модель с ошибкой на выходе- Очевидно, / = а0 даст правильное описание передаточной
функции, в то время как свойства шума (920) не могут быть верно описаны моделью (9.43),
поскольку
и If(qfd)=l.
Таким образом, в этой ситуации можно применить результат (9.42). Находим, что
М'б>в-гт- Р(Лв)=—— г и(О=——
u(t~2) (9.44)
при вычислении в точке 0*=во. Для (9.34) имеем
5 С-*.I*-'. (9-45)
1 = 0
Следовательно,
Спектры имеют вид
м
ф (ы) =
откуда могут быть вычислены дисперсии, как в Приложении 2С. Это дает выражения
и, таким образом, в соответствии с (9.42) дисперсия
] (М6)
Многомерный случай(*). Рассмотрим случай, когда б (г) — /?-мерный вектор, а
Л^ г = 1
217
Формулы (9.9) - (9.14) по-прежнему применимы. Предполагая 0* = 0О, получим,
что e(t, 0о) = eo(t) - последовательность независимых векторов с нулевыми сред-
средними, a El'e(eo(t)) = 0\ тогда непосредственные вычисления дают
Ро = f'7 ф(и 0о) S V{t, воI м f /7 0(г, во) 2 Л воI X
X [К фи*Оо)*Ф (t,Q0)\' . (9.47)
Здесь 0(г, 0О) - d X/?-матрица (J/J0) p(r |0), a S и Z - /? X/?-матрицы:
~ (9.48а)
(9.48Ь)
Для квадратичного критерия G.27),
1
находим, что
где Ло =?" ^о(^)^о^(^).
Если матрицу весов Л в критерии выбрать равной Л = Ло,из (9.47) получим
| Ро = 1/7 фц9 в0) Л-J Vit, 0о)] -1. (9.49) 1
См. также задачу 9Е.4 и обсуждение в разделе 15.2.
9.4. Выражения асимптотической дисперсии в частотной области
Дисперсия при S G JL. В предыдущем разделе была найдена асимптотическая
дисперсия (9.17) при S Е.Л . Ее можно выразить в таблицах функций частоты, если
применить равенство Парсеваля (или теорему 2.2). Сначала необходимо получить
выражение для \p(t, в).
Получая Т' - градиент Т = [GH] по 0, имеем из D.118с) и D.121)
' \ (9-50)
'(q, д)\ ,
Фи,0)
H(q,0)
При в = в0, используя е (Г, 0О) = *о (О, получаем
*(Г.во) = Я(|у.во)Т1(^во)Хо(О, (9.51)
где х о (О определяется выражением (8.14). Пусть Фх0(о;) -спектр Хо(О
B X 2-матрица):
Здесь Фме (cj) - взаимный спектр между входным сигналом и обновлениями (кото-
(которые тождественно равны нулю, если система работает в режиме разомкнутой цепи
обратной связи).
218
Из теоремы 2.2 и равенства Парсеваля имеем
= ^~ }\Н(е(",в0)Г2Т'(е1ш,е0) X
2эт -я
X
Теперь, используя выражение
для спектра шума находим, что
1 я 1 I
(9.54)
в предположении, что § G Л и используется квадратичный критерий. Напомним
определение Т' D.121).
Дисперсия при <70 G # (*). Аналогичными вычислениями выражение (942)
может быть представлено в частотной области. Получаем
yv- — R~XQR,
N
(955)
| In -п \ Hye , 0 ) I ;
Дисперсия оценок передаточной функции при прямой параметризации (*).
Во многих случаях оценки параметров ^v "e представляют непосредственный инте-
интерес: они лишь подразумевают определенное описание оценки передаточной функции.
Этот подход был назван в гл. 4 моделированием черного ящика. Тогда более естест-
естественно оценивать свойства модели в терминах TN(e( w) = T(etijjy 0yv)» нежели в тер-
терминах QN. Рассмотрим теперь эту проблему, начав с изучения конкретного вида
параметризации T(q, 0), при которой T(eibJ, в) представляется кусочно постоянной
функцией частоты.
Положим
если <*;*_
(9-56)
H(eioj, 0) = hRk + /7?л7, если gl>*__, < cj < u>k,
где o;fc = эт?/т. Значения для отрицательных о; определяются комплексным сопря-
сопряжением. Таким образом, функции частоты параметризованы как кусочно постоянные
функции.
219
Допустим теперь, §GJt9 тогда можно применить выражение (954). Находим,
что для со> 0 градиент Тг (см. DЛ21)) равен
/. 5(со, 1)
/•б(со,2)
i-/>5(co,2)
/• б (со, т)
(9.57)
где
1,еслисол_! <co<cofc,
3, иначе,
а / — 2 X 2-единичная матрица.
Для отрицательных значений со матрица определяется комплексным сопряже-
сопряжением. Следовательно, используя (9.54),
1
Cov©iv ~—:
N
(9.58)
где Pq - блочно-диагональная матрица с 2т 2 X 2-блоками вдоль диагонали. Ее
BА: — 1)-й и 2А>й диагональные блоки суть 2 X 2-матрицы
-\ 2 7 фхо(">. Г-
L2ff cofc_! Ф„(О)) J
=1 т.
(9.59)
Если подынтегральная функция является гладкой и/или т велико, имеем прибли-
приближенно
Г-
(9.60)
Следовательно, из (9.56) и (9.58)
л
Re
т \ Фи(со)[Фх0(со)]-1 О
О Ф„(со)[Фх0(соI-!
Cov
(9.61)
Более того, оценки для частот, принадлежащих различным интервалам (9.56),
являютя некоррелированными.
По определению A.13) ковариаций комплсксно-значных случайных величин
находим, что
Cov TN (е(")Т ~ f Ф„ (со)[Фх0(со)]м , п = 2т. (9.62)
Напомним выражение (9.52) для Фх0. Здесь п = 2т можно трактовать как "порядок"
модели (т.е. число параметров, используемых для описания каждой передаточной
функции).
220
Выражение (9.62) говорит о том, что асимптотическая ковариация передаточ-
передаточной функции на каждой частоте определяется "отношением сигнал/шум" на этой
частоте (и - шум, Хо — сигнал), умноженным на "отношение порядка модели к чис-
числу данных". Если система работает в режиме разомкнутой цепи обратной связи,
то Ф 0 - диагональная матрица, и
CowHN(eiLO) ~ -
N Хо ЛГ
Л А
с некоррелированными G^ и ## •
Асимптотическая теория "черного ящика". Результат (9.62) для конкретной
параметризации (9.56) наводит на определенные рассуждения. Поскольку он каса-
касается входо-выходной величины T/i/(eiu}),очевидно,что результат будет инвариантен
при замене параметризации; это означает, что другая параметризация Т(д, 0), кото-
которая может быть поставлена во взаимно-однозначное соответствие с (9.56), приведет
к асимптотическому выражению (9.62). Далее, различные виды параметризации типа
"черного ящика" для линейных моделей такие, как рассмотренные в разделе 4.2,
в действительности равносильны определению G и Я на различных частотах; при об-
общей структуре модели /i-го порядка для G(etLOy в) можно всегда выбрать в таким,
чтобы G(eiu*k, 0) имела предписанные значения на л/2 заданных частотах о)к (к =
= 1,... , л/2). Конечно, G не будет в точности постоянной между этими частотами,
следовательно, у нас нет формального сведения параметризации к (9.56). Однако
при возрастании и это должно становиться менее важным. Перечисленные аргументы
наводят, таким образом, на мысль, что результат (9.62) справедлив также для общих
способов параметризации типа "черный ящик":
Cov fN(eiu>)*
асимптотика
данных.
1
для
V v L
больших
Ф
n
и
больших Л
г\ п -
порядок
модели,
N-
(9.64)
число
Наши доводы были, конечно же, эвристическими, однако, используя несколько
иной подход, результат (9.64) для общей структуры черного ящика D,33) можно
обосновать формально. Доказательство см. в [252]. Можно подчеркнуть, что при
работе системы в режиме разомкнутой цепи обратной связи (Фи€ = 0) оценки GN
и Ядг асимптотически некоррелированные, даже при наличии общих параметров.
В части III будет показано, что (9.64) имеет широкое применение во многих
вопросах планирования эксперимента. Интересно поэтому проверить, насколько хо-
хорошо (9.64) соответствует точному выражению для не слишком больших значений л.
Пример 9.4. Сравнение (9.64) с точными выражениями для конечных п.
Рассмотрим систему второго порядка
- 2)« b\u(f - 1) + b\u{t - 2) +eo(f). (9.65)
Предположим, что эта система идентифицируется методом наименьших квадратов с использо-
использованием модели следующей структуры:
y(t)+aty(t - 1) +. .. +а„уи - п) = bxu{t - 1) + .. .+bnu(t - n)+e(t). (9.66)
221
7
I
<o
0,1
1 -
Рис. 9.1. Графики зависимости A/«) \gPn{u>) и lgP/^cj) от cj для различных систем, моделей и
входных сигналов. Число п отмечено на рисунках, а "Z." означает Р^ (cj) . а) система: C.65),
(9.68); модель: (9.66); входной сигнал: белый шум; Ь) система (9.65), а\ = - 0,8, я? = 0,2,
^i = *> Ь2 = "" 0,9; модель (9.66); входной сигнал: белый шум; с) система (9.65), а\ = - 1,8,
а\ = 0,81, Ь\ - 1, Ь\ = 0; модель (9.66); входной сигнал: белый шум; d) система (9.65), д? =
= _ 1,4, jJ = 0,98, b\ = 1,?J = 0,5;модель (9.66); вхо;шой сигнал: белый шум; е) система (9.65),
(9.68);' модель: а (9.66), b (9.69); п = 2; входной сигнал: белый шум; f) система (9-65),
(9.68); модель: (9.69); входной сигнал: (9.70)
В качестве входного сигнала {«(/)} выбирается белый шум с дисперсией 1, и возмущение ео(/),
действующее на систему (9.65), также предполагается белошумным с единичной дисперсией.
Пусть д^{ег{л>, п) - оценка передаточной функции, полученная для модели w-го порядка.
Поскольку истинная система (9.65) второго порядка, можно использовать (9.17) для оценива-
оценивания Рп{ь>) в соотношении
222
для п > 2. Это соотношение дает явное, но сложное выражение для Рп(<^), которое является точ-
точным но п (но асимптотическим по N). В соответствии с (9.64) имеем асимптотически по п
Итак, сравним, насколько хорошо пР^(ы) приближает Рп. Сделаем это с помощью графиков
зависимости P^(oj) и {[/п)Рп(и>) от ы. Сначала рассмотрим "систему Острема":
а* = -1.5, а\ = 0.7, Ь\ = 1, Ь\ = 0.5. (9.68)
На рис. 9.1, а изображены графики зависимости lg(l//?)/>„( о) для п - 2, 4, 6, 8, 10 и lg /^(cj)
от lg ы. Рисунок ясно показывает сходимость к пределу при возрастании п. Можно сказать, что
сходимость довольно медленная. Более важно, однако, что даже для малых п предельное выра-
выражение дает хорошее представление о точной зависимости дисперсии от частоты. Для проверки
этого проводилось оценивание выражения для ряда систем второго порядка с различными ха-
характеристиками. Результаты показаны на рисунках 9.1,Ь - 9.1, d.
В соответствии с асимптотическим выражением (9.64), дисперсия не должна зависеть от
числа оцениваемых параметров, а определяется только порядком модели. Это несколько удиви-
удивительный результат. Чтобы проверить, имеет ли место этот результат и для моделей малого поряд-
порядка, была проведена идентификация системы (9.65), (9.68) моделью ARMAX-структуры
у(t) + a,y(t - l) + a2y(t - 2) = bxu(t - 1) + b2u(t - 2) + e{t) + cxe{t - 1) + c^e(t - 2), (9.69)
которая использует на 50% больше параметров, чем (9.66) при том же порядке модели. На
рис. 9.Id показана дисперсия передаточной функции, оцененная при п - 2 моделями структуры
(9.65) и (9.69) соответственно. Совпадение поразительное.
Наконец, была проведена идентификация системы (9.65), (9.68) моделью ARMЛХ-структу-
ры (9.69) при п = 2, 4 и 8 для низкочастотного входного сигнала со спектром
Ф"(ы) = 1 ,<°' 5„ • <9'70)
1.25 - cos ы
Результаты показаны на рис. 9.If. Сравнивая с рис. 9.1а, видим, что теперь согласованность асимп-
асимптотического и точного выражений ухудшилась, особенно на низких частотах.
9.5. Корреляционный подход
л
Основная теорема. Корреляционная оценка 0N определяется соотношениями
G.96). Ограничимся случаем, исследованным в теореме 8.6, т.е. случаем а(е) = е и
линейно формируемых инструментальных переменных.
Таким образом, имеем
0» = sol [/„@, ?") = ()], (9.71а)
fNFy Z")= ^- S S(t, 6)eF{t, в), (9.71b)
eF(t,6) = L(a)e(t96), (9.71c)
f(', 0) = Ky(q, 6)y(t) + Ku(qt d)u(t). (9.71d)
Используя тейлоровское разложение, получаем
O = fN(eN,ZN)=fN(e*tZN) + (dN-e*)fN(ZN,ZN). (9.72)
Это выражение полностью аналогично (9.3) с той лишь разницей, что \j/(t, 6*) в
V'N(в*, ZN ) заменяется на f (f, в*) в fN(в*, ZN ). Анализ (9.72), таким образом,
по существу идентичен случаю, уже изученному в разделе 9.2, и результат может быть
сформулирован следующим образом.
Теорема 9.2. Рассмотрим 6N, определенную соотношениями (9.71). Пред-
Предположим, что е(г, в) вычисляется с помощью равномерно устойчивой модели линей-
линейной структуры и что
ку(д,6)9Ки{Я,0)9 -?-Ky(q,6)9 -?-Ku{q,6)9 6
К аи аи
223
- равномерно устойчивое семейство фильтров. Допустим, что последовательность
данных Z°° удовлетворяет условию D1 (см. раздел 8.2). Допустим также, что
On -* в* п.н. при N -> °°, f\e*) невырождена (/ определена формулой (8.88)) и
y/NEfN(d\ZN)^O при ЛГ-юо
), (9.73)
Q= lim N-EfN(e*,ZN)f?{d*,ZN). (9.75)
Из (9.71) находим, что
/'@) = ti'eit, 0)eF(t, в) - ЯГа в) [LW(t, в)]т, (9.76)
где фч как и ранее, обозначает антиградиент е относительно 0.
Выражение дисперсии при $ G Jl, L (q) = 1 (*). В предположении S G Л су-
существует такое значение 0О, для которого е(г, 0О) = ^о(О - последовательность
независимых агучайных величин с нулевыми средними и дисперсиями Хо. Таким
образом, иолучаем для
/'(в0) = -«(Л во)ФТ(Г, во) +^Г'(Л во)ео(О = - ?*(f, во)*г(Л в0) (9.77)
и
Q= lim tf-S S Гаво)во(О^)ГГ(Лво)вХоЯГаво)ГГа»о), (9-78)
откуда
(9.79)
См. также задачу 9G.4.
Пример 9.5. Ковариация оценки псевдолинейной регрессии.
Рассмотрим опять систему и модель примера 9.2, но допустим, что с-оценка определяется
методом псевдолинейной регрессии G.99); это означает, что
1 N \
— Z €(/- 1, С) €(Г, С) =0|.
Здесь? (Л 0) = <p(t, 0) = €(t - l,c)=y(t - 1) -y{t - lie), 0-c. При с = со имеем (см. (9.27))
Г(Лво) = во(/- 1), *(/.во)= у^-тгео(^-1).
Следовательно,
поэтому, в соответствии с (9.79),
Cov cN .
Сравните с (9.28). Заметим, что \со\< 1 всегда.
Методы инструментальных переменных: Go €= $ • Представляет интерес приме-
применение теоремы 9.2 к случаю инструментальных переменных раздела 7.6. В этом слу-
224
чае имеем модель
T (9.80)
и процедуру G.115). Допустим теперь, что истинная система задается аналогично
(8.93)-(8.95) уравнением
где {eo(t) } - белый шум с дисперсией Хо, не зависящий от {u(t)}. Тогда
eF(t, eo) = L(q)Ho(q)Ao(q)eo(t)
не зависит от {u(t)} и, значит,от$"(Л0О), если система работаете режиме разомкну-
разомкнутой цепи обратной связи. Таким образом, 0О является решением уравнения
/^,0N^,0) = 0,
как было обнаружено в (8.96). Чтобы получить асимптотическое распределение,
предположим единственность этого решения в DM :
E$(t,e)eF(ttd) = O и 0GZ)^=>0=0o. (9.82)
Введем также монический фильтр
F(q) = L(q)H0(q)A0(q) = ? f(q'\ (9.83)
i = 0
Подставляя эти выражения в (9.73)-(9.75) и повторяя полностью аналогичные
вычисления при выводе (9.42), получаем следующий результат:
Для оценки в
(9.81), (9.82)
Р — ^ 1 /«V* (f Д
\ fT \t U 1 =
1
jv метода
имеем, что
.>*&.)¦-'
оо
^ ЛГ(^ + ^
= 0
инструментальных
п
переменных в
]1РГ(Л9о)^(
предположениях
Г)]-г (9.84)
Пример 9.6. Ковариация оценки метода инструментальных переменных.
Рассмотрим снова систему (9.20) примера 9.1. Пусть моделью является линейная регрес-
регрессия (9.21), и пусть а оценивается методом инструментальных переменных с использованием
Г@в—
в качестве инструментальной переменной, и L (q) - 1. Чтобы оценить (9.84), находим, сравнивая
(9.81) и (9.20), что
Следовательно,
И
8. Л. Льюнг
1
Qf
-ъ !
я
1
1+*.,
Г1
1
?IU>I2
1
1
2«-« |]+e.e'w|* I-*
225
Значит,
(9.85)
Выражения дисперсии в частотной области'*'. Выражения матрицы ковариаций
(9.79) и (9.84) в частотной области могут быть получены тем же способом, как для
(9.54) и (9.55). Например, для (9.84) находим, что
1 , ,
Сочвы R'lQR~2
N N
2эт -тг
2я —тг
г»
<Со(е~|Ы) * L(e~iLO)Фи(со)ofco,
r(e~iw)- | ^(е1Ш)|2Фм(со)^со.
(9.86)
Здесь Ки и F задаются соотношениями G.114) и (9.83) соответственно, а
В0(д) .,
Ao(Q) Ч
Во(й) -Яа
Заметим, что
\p(t) = K0(q)u(t) + (члены, зависящие от е0).
"Асимптотический анализ черного ящика", как в (9.64), может быть проведен и
для оценок метода инструментальных переменных, и для псевдолинейной регрессии.
Результат состоит в том, что для работы системы в режиме разомкнутой цепи обрат-
обратной связи соотношение (9.63) по-прежнему справедливо. См. [253].
9.6. Использование выражений асимптотической дисперсии
В этой главе было получено несколько выражений асимптотической матрицы
ковариаций оцениваемых величин. Теперь возникает вопрос, зачем они нужны?
Существуют две основные возможности использования таких результатов. Одна из
них состоит в использовании ковариационной матрицы Pq (или определяемой ею
величины) как меры качества получаемых оценок. Тогда эти выражения могут
использоваться для аналитического или численного исследования того, как различ-
различные планируемые величины влияют на результаты идентификации. Этот подход
будет широко применяться в части III при обсуждении вопросов выбора пользо-
пользователем алгоритма и его параметров.
Другое приложение результатов по асимптотической ковариаций состоит в
вычислении доверительных интервалов для обеспечения надежности конкретных
226
оценок, получаемых по наблюдаемым данным. Прокомментируем кратко это
использование.
Полученные выражения являются асимптотическими по числу наблюдаемых
данных N. Развитая теория не говорит, как велико должно быть N для приме-
применимости результатов. Важность этого вопроса очевидна. Мы проиллюстрируем
его в этом разделе результатами моделирования.
А
Доверительные интервалы. Если вектор 6^ подчиняется условию
V^(eJV-eo)€AsN@,ft)f (9.87)
то для fc-й компоненты
\/fr@#° -0ofc))? AsN(O,^fcfc)), . (9.88)
где pffk^ -(к, fc)-диагональный элемент матрицы/V Это означает,что вероятностное
распределение случайной величины y/NF^ -6^) сходится к гауссовскому рас-
распределению, и можно использовать предел, скажем, для оценки вероятности
. (9.89)
Таким способом можно построить доверительные интервалы для истинного па-
параметра; другими словами, можно с определенной степенью точности сказать,
(к)
что истинная величина 0О должна находиться в таком-то интервале вокруг оцен-
оценки (при условии выполнения исходных предположений, разумеется).
Еще большее говорит нам векторное выражение (9.87). Если случайный век-
вектор т] имеет гауссовское распределение
то скаляр
имеет х2-распределение с dim r} = d степенями свободы:
zex2(d).
Из (9.87), таким образом, приходим к выводу, что
N d). (9.90)
Это означает, что rtN сходится по распределению к x*(d)-распределению при стрем-
стремлении N к бесконечности. Используя таблицы х2 -распределения, можно, таким об-
образом, получить доверительные интервалы для t)N , которые соответствуют довери-
доверительным эллипсоидам для 0^ (см., также, Приложение II.2).
Оценивание матрицы ковариаций. Для практического использования выражений
(9.87)-(9.90) требуется знание матрицы Pq. Обычно выражение для Ро,в предпо-
предположении S ejl, например (9.17), (9.42), (9.79) и (9.84), содержат как 0О, Хо,
так и символ Е, и, как таковые, неизвестны пользователю. Однако нетрудно получить
А А А —
естественные оценки Р^ матрицы Pq, непосредственно заменяя 0О оценкой 6N и Е
эмпирической суммой, как в (9.18) и (9.19). Тогда при слабо ограничительных ус-
условиях по теореме 2.3 PN сходится п.н. к Pq, что определенным образом обосновы-
А А
вает применение асимптотических результатов с заменой Ре на PN . (Если 0дг имеет
в точности гауссовское распределение дяя конечного JVb можно провести более
изощренные вычисления, включая t- и F-распределение, дня получения бопее точных
неасимптотических доверительных интервалов. См. Приложение II.2.)
Можно отметить, что нахождение оценки матрицы Pq в более общем случае,
когда S G М, более затруднительно. Замена 0* оценкой 6N в (9.9) приводит к три-
8* 227
виальной и бесполезной оценке Q = 0. Заметим, в частности, что даже когда Go E $,
выражения (9.42) и (9.84) содержат фильтр шума H0(q), который обычно не должен
быть известен пользователю.
Обоснование асимптотических выражений для конечных значений. Чтобы иссле-
исследовать, насколько асимптотические выражения подходят для конечного N, следует
обратиться к статистическому моделированию методом Монте-Карло. В следующем
примере будет проведено сравнение эмпирических ковариаций с аналитическим
асимптотическим выражением.
Пример 9.7. Оценки метода наименьших квадратов.
Рассмотрим систему
у (Г) - l.5y(t - 1) + O.ly (Г - 2) = u(t - 1) + 0.5«(r - 2) + eo(t) (9.91)
(ту же, что и (9.65), (9.68)). Эта система моделировалась для г - 1, 2,..., N с использованием
случайной двоичной входной последовательности u(t) = ± 1 типа белого шума. Моделирование
повторялось М раз с одинаковой входной последовательностью, но с разными реализациями
{*о@}» которые генерировались в виде гауссовского белого шума с нулевым средним и дис-
дисперсией \0 = 1. При каждой прогонке определялись оценки коэффициентов д,- и 6/ в модели
линейной регрессии
У it I В) = - axy{t - 1) - а3у (Г - 2) + btu(t -l) + b2u(t-2) (9.92)
с помощью метода наименьших квадратов G.34). Оценка в прогонке с номером / обозна-
обозначается 0jy .
Асимптотическая матрица ковариаций eN задастся выражением (9.17):
01. (9.93)
где <р(Г), как обычно, вектор регрессии. Граница Крамера — Рао (неасимптотическая) в соот-
соответствии с G.79) равна
К1 ^
(г)Г1.
(9.94)
Заметим, что эти два выражения отличаются только тем, что { м(/)} является детерминированной
последовательностью, на которую не распространяется действие оператора Е. (Если Е при-
применяется также к стационарному процессу {«(г)}, то (9.93) и (9.94) совпадают.)
В рассматриваемом случае
Ry@)
Ryil)
- RyuiO) - Ryu(-1
- RyuW - RyuiO)
- ДуМ@) - RyuO)
Ry(D
Ry@) - Ryui-l) - RyuiO)
RuiO) _
что приводит после некоторых вычислений к
рв - *
N~~N~
0.2165
X
X
X
Аналогично,
pCR_ J
*° 50
и
0.2314
X
X
-
CR _ 1
1000 1000
X
.2125
X
X
X
-0.1933
0.2087
X
X
-0.2070
0.2288
X
X
-0.1900
0.2060
X
X
0.0000
0.0000
1.0000
X
0.0068
-0.0181
1.0298
X
-0.0118
0.0076
1.0025
X
0.2165
-0.1933
0.0000
1.2165
0.2057 "
-0.1992
0.1744
1.2144 _
0.2180~
-0.1983
-0.0519
1.2256
(9.95)
(9.96)
228
„CR
Можно заметить, что PN представляется более реалистичным выражением для использования,
поскольку оно основывается на реальной конечной входной последовательности uN, а не на се
асимптотическом среднем поведении. Разница, однако, важна лишь при малых N.
Имея результаты М различных прогонок, формируем теперь выборочные средние
Тогда для М - 500 получаем
-1.4827
0.6880
0.9962
0.5156
1
50
-1.5"
0.7
1
0.5 _
0.3684 -0.3312 -0.0864 0.2636
X 0.3444 0.1448 -0.1623
X X 1.1019 -0.0337
_Х X X 1.4126
-1.4989"
0.6995
1.0000
0.5006
1
1000
9
~ 0.2796 -0.2695 0.0037 0.2525
X 0.2919 0.0218 -0.2067
X X 0.9674 -0.2846
X
X
X 1.3624
Сравнивая с (9.95) и (9.96), видим, что теоретические величины достаточно хорошо показы-
показывают, чего можно ожидать при практическом моделировании. Очевидно, не следует смотреть
слишком пристально на десятичные знаки, поскольку они отражают свойства датчика случайных
чисел, использованного при моделировании. (Этот датчик представлен в программном пакете
PC-MATLAB.) Можно также отметить, что для более короткой выборки, N- 50, эксперименталь-
экспериментальная дисперсия еще больше, чем соответствующая граница Крамера — Рао, по сравнению с
N = 1000. Это типично. В некоторых приложениях даже проявляется четкий "пороговый эффект"
с резко ухудшающимся качеством оценивания при падении размера выборки ниже определен-
определенного уровня. В рассматриваемом примере такой эффект не наблюдается npuN> 10.
А (/) 0
Оценка Р^ матрицы PN, основанная на/-й прогонке, вычислялась как в (9.18) и (9.19).
Выборочное среднее и выборочное стандартное отклонение по 500 прогонкам для Р^ дает
при N = 50
1
!о~
о.:
X
X
X
1ЛГ=1000
1
1000
—
Ю85 ± 0.097
0.2306 ± 0.017
X
X
X
-0.2792
0.2939
X
X
-0.2049
0.2140
X
X
± 0.092
± 0.096
± 0.016
± 0.016
-0.0315
0.0946
1.0520
X
-0.0130
0.0374
1.0456
X
± 0.057
± 0.062
± 0.219
± 0.009
± 0.010
± 0.053
0.2267
-0.1501
-0.0398
1.1815
0.2325
-0.1804
-0.1573
1.2799
± 0.068
±0.051
± 0.060
± 0.244
± 0.017 "
+ 0.013
±0.013
± 0.065 _
Согласованность полученных прн моделировании и теоретических величин очевидна.
229
Аналогичные статистические исследования методом Монте-Карло для асимпто-
асимптотического выражения (9.84) матрицы ковариаций оценок метода инструментальных
переменных для системы (9.91) представлены в [374, табл. 5.1]. Выводы этой
работы аналогичны.
9.7. Заключение
В этой главе было показано, что оценки параметров, полученные с помощью ме-
метода ошибки предсказания или на основе корреляционного подхода, имеют асимпто-
асимптотически нормальное распределение при неограниченном возрастании числа наблюдае-
наблюдаемых данных. Это установлено теоремами 9.1 и 9.2. Были получены различные точные
выражения асимптотической матрицы ковариаций. Наиболее типичным результатом
является (9.17):
— " т -1 Г9 97)
N дг
- справедливый для оценки по методу ошибки предсказания с квадратичным крите-
критерием в предположении, что $ GJC. Он показывает, что матрица ковариаций оценки
определяется обратной матрицей ковариаций градиентов предсказателя фу умножен-
умноженной на отношение дисперсии обновлений Хо к числу наблюдаемых данных N. Это вы-
выражение является также пределом нижней границы Крамера — Рао в том случае,
Л
когда обновления распределены нормально.Тогда это означает,что оценка вN асимп-
асимптотически эффективна.
Соответствующее выражение (9.79) для корреляционного подхода:
Хо - т ¦
N
)о)ФТ(Г,Оо)ГТ. (9.98)
Получены также результаты для асимптотического распределения оценок передаточ-
передаточной функции при параметризации типа "черный ящик". Они утверждают, что
Г 6(е'«,0ы) 1 п Г Фм(со) Фие(со) I
Cov а . л Фу(со)\ (9.99)
L H(eluL6N)i N [ Фие(-со) Хо
гие\
асимптотически как по порядку модели и, так и по числу данных N.
Распределение случайного вектора §дг подчеркивает тот факт, что результатом
фазы параметрической идентификации является не модель; скорее это множество
моделей. Основьюаясь на данных наблюдения, мы сужаем исходное множество^ мо-
моделей до, надеемся, меньшего множества возможных описаний вокруг Л фм)-
Выражения (9.97) и (9.98) представляют собой "знак качества", с которым модель
Л>Фн) вручается пользователю.
9.8. Комментарии к библиографии
Асимптотическое распределение оценок параметров в основе своей представляет,
как было видно, результат применения соответствующей центральной предельной
теоремы (ЦПТ). Литература по теории вероятностей предлагает широкий спектр
ЦПТ при различных условиях (см., например, [67, 78, 107, 185, 439]). В этих резуль-
результатах ключевое предположение состоит в том, что зависимость между выборочными
данными, далеко отстоящими друг от друга, должна убывать по крайней мере с оп-
определенной скоростью. Для описания этого предположения обычно используются
условия перемешивания. Здесь эту роль играет предположение устойчивости (8.5).
230
Асимптотическая нормальность оценок максимального правдоподобия в случае
независимых наблюдений обсуждается, например, в книге Кендаллаи Стьюарта [212].
Этот результат был распространен на ARMАХ-модели Остремом и Бохлином [27].
В литературе по статистике асимптотическая нормальность оценок параметров
ARMA-моделей временных рядов рассматривалась во многих статьях. Упомянем,
в частности, работы Хеннана [163, 166, 168], Дансмира и Хеннана [104] и Андерсо-
Андерсона [15].
Ситуация, в которой 8 ? JC, исследовалась Кабайла и Гудвином [196] и Льюн-
гом и Кейнсом [258]. Кабайла в [195] изучал результат (9.42) для метода ошибки
на выходе.
Выражения ковариационной матрицы в частотной области, подобные (9.54),
использовались, например, Хэннаном [163] и Кабайла и Гудвином [196]. Выраже-
Выражение для параметризации типа "черный ящик" (9.64) было получено Льюнгом
в [252]. Результаты, в которых порядок п является функцией числа данных N и
возрастает до бесконечности, представлены для моделей системы с конечной па-
памятью в [263] и для ARX-моделей D.7) в [254]. Близкие результаты для AR-моде-
лей спектров были получены Берком [44].
Асимптотическая нормальность оценок метода инструментальных переменных
была показана Кейнсом [73], а всестороннее рассмотрение содержится в [374].
Для методов псевдолинейной регрессии результаты представлены в [401].
Обсуждение вопросов использования доверительных интервалов носит стан-
стандартный характер и содержится во многих учебниках (см., например, [101]).
9.9. Задачи
9G.1. Рассмотрим асимптотическое выражение (9.64), и пусть Фие (cj) = 0. Заметим, что
в соответствии с (9.61), действительная и мнимая части не коррелируют. Пусть
= \GN(eIOJ)\, w(^) = argCiV(e/CJ) (радианы).
л
In'
п
Покажите, что
Покажите также, что
9G.2. Сформируем оценку спектра шума на основе модели H{eiw, 0дг) и оценки Л.iv дис-
дисперсии обновлений:
Используя асимптотическое выражение (9.64) покажите, что
Vari^(w) - —^-Фи(с^), gj*0, 2тг
л
в случае Фие (cj) = 0. (Отметим, что дисперсия оценки Л.дгне возрастает с ростом порядка мо-
модели я; ср. с задачей 9Е.1.) Сравните с F.75).
9G.3. Допустим, что $ ^ Ж, но $ "близко" к JII в смысле
где {е0 (Г)} - белый шум с дисперсией Л.о, а Ир2 (Г) = а2. Покажите, что тогда матрица Pq
231
в теореме 9.1 может быть записана в виде
Ро = М?*<'.О*Т(*,ОГ! + RM,
где
|| R(a)\\ < С- а2.
От каких величин зависит значение С? Л
9G.4. Рассмотрим корреляционную оценку ОN. определенную соотношениями G.96) для об-
общей дифференцируемой функции а (¦). Используя выражения (9.74) и (9.75), покажите, что
в случае S ^ JC асимптотическая ковариация задается формулой (9.79) с заменой Хо на
E[a(eo(t))}2
9Е.1. Рассмотрим случай в -параметризованной критериальной функции
/(е,0).
Предположим, что S е М ; получите выражение асимптотической матрицы ковариаций, ис-
используя (9.9) - (9.14). Примените это выражение к
0N 1
1 N 62(Г, 0) 1
arg min дГ ? ~2Г" + I
Предположим, что с (Г, 0 0 ) =ео(Г),где {eo(t)} - белый шум с Ee\{t) = \0, Ее I (t) = О
и i'ej (О = ц0. Покажите, что
CovXN ~ TT^o-bJ). • (9.100)
(Из задачи 7К.7 известно, что минимизация дает
1 N
\N = — I е2(
TV , = j
Таким образом, (9.100) даст дисперсию оценки (9.19). Сравните также с (П .73).)
9Е.2. Рассмотрим сигнал, заданный уравнением
y(t)-aoy(t- 1) = *в(О,
где {е 0 (Г)} - белый шум с дисперсией \0. Воспользуемся структурой модели ^-шагового пред-
предсказателя @ =л)
Определите асимптотическую дисперсию оценки а^. При каком значении к дисперсия минималь-
минимальна? (Рассмотрите к - 1 и к ~ 2, если общий случай окажется слишком трудным.)
9Е.З. Рассмотрим пример 9.1 и предположим, что используется следующая структура
ARMAX-модели:
- \) = u(t - \) + e(t) + ce(t - 1),
0 = [а с\Т.
Пусть в оценивается квадратичным методом ошибки предсказания. Покажите, что
л К
Cov uN ~ —
N
Какова будет дисперсия, если используется метод псевдолинейной регрессии G.99) ?
9Е.4. Примените многомерное выражение (9.47) к квадратичному критерию G.27) /(е) =
- б Л"!е/2, предполагая Ло = EeQ(t) е0 (г). Пусть Pq (Л) обозначает полученную матрицу
i-овариаций; покажите, что
232
Используйте задачу 7D.8, чтобы показать, что Ре (Л) > Ре(Л0) для всех симметрических поло-
положительно определенных Л.
9Е.5. Положим
1 N
VN{6,ZN) = det— 2 e{t90)eT{ty0)
N t = 1
и определим 6N = argminF)v@, ZN). Используйте формулы (9.9) и (9.11) для определения
асимптотической ковариации 0дг в предположении $ е М и Ее 0 @*0 (Г) = Ло. Сравните
с задачей 9Е.4.
9ТЛ. Предположим» что в критериальной функции испопьзуются нестационарные нормы
/(е, Г) (как в GЛ8); при этом предполагаем отсутствие зависимости от в). Покажите, что если
8 eJt и ЕГ€ (е0 (Г), Г) = 0 для всех Г, то (9.29) и (9.30) по-прежнему справедливы с
1 N
lim — 2
7 j n T
Urn — 2 fr^(xyt)fe{x,t)dx\
где /^(л", t) - зависящая, вообще говоря, от времени плотность распределения вероятнос-
вероятностей е0 (г).
9D.1. Пусть {*(?)} - последовательность независимых случайных величин, и пусть z(t)
зависит от е ($), s < t - 1. Следовательно, z(f) не зависит оте($), s > t. Покажите, что
Ez(t)z(s)e(t)e(s) = Ez(t)z(s) • Ee{t)e(s).
9D,2. Допустим, что в теореме 9.1 условие y/WD^ -+ 0 не выполняется. Определите неслу-
неслучайную величину в^ так, чтобы результат теоремы 9.1 был справедлив для \/W@ N - 0^).
Приложение 9А. Доказательство теоремы 9.1
В этом приложении будет использована техника доказательства асимптотической
нормальности, которая очень полезна в задачах с сигналами рассматриваемого здесь
тина. Идея состоит в расщеплении суммы (9.8) на две части, одна из которых
удовлетворяет определенному условию независимости (М -зависимости) между ее
членами, а вторая достаточно мала. Исследование этих частей основано на использо-
использовании следующих двух лемм.
Лемма 9А.1 ([311, 347]). Рассмотрим сумму случайных величин xN(k)
с двойной индексацией:
ZN = 2 xN(t)9 ' (9A.1)
t - i
где
ExN(t) = 0. (9А.2)
Допустим, что
{хл A),. . . ,xN(s)} и {xN(t) xN(n)} (9A.3)
независимы при t - s > М, где М — целое число,
limsup 2 E\xN{k)\2 <~ (9A.4)
N — oo k = 1
233
и что
N
lim 2 E\xN(k)\2+b = 0 для некоторого 5 >0. (9А.5)
лг— « fc = i
Положим
Q = lim ?Z^Z^. (9A.6)
ДГ -»¦ во
Z^ e AsN@,G). (9A.7)
Доказательство. См. [311] или [347]. Заметим, что (9А.5) (условие
Ляпунова) обеспечивает выполнение условия Линдеберга, которое используется
в указанных ссылках. Последовательность {xN(k)}, удовлетворяющая (9А.З),
называется Л/-зависимой.
Лемма 9А.2 ([99,13]) .Пусть
SN = Zm(N)+Xm(N\ . Л/, yv=l,2,...,
причем
См, lim CM = 0, (9А.8)
м -»- »
z} =FM)iV(z), (9A.9)
lim FM$jV(z) = FM(z), (9A.10)
iv -* »
lim FM(z) = F(z). (9A.11)
Urn i>{^ < z} = F(z). (9A.12)
ЛГ -* «
Доказательство см. в [99] и [13].
Перейдем теперь к доказательству теоремы 9.1. Пишем для краткости
\jj(t) = ф(Г, 0*), е(Г) = е(г, 0*), и полагаем
1 ?
S 2 @О) (9А.13)
Тогда в соответствии с (9.6) и (9.7)
1
-VNF*,ZN)= SN-DN. (9A.14)
y/N
Из (8.19)
е@ = 2 dtis)(k)w(t-k) + 2 dl
к = 1 к = О
Аналогично
{1)(
= Z dt{1)(k)w(t-k) + Z
к = 1 A: = 0
234
Здесь
Ч(°(*I<0* для всех г, /, а 2 0* < оо (9А.15)
благодаря условию равномерной устойчивости. Положим теперь
ем(г) = 2 <//5)(*)vv(r-fc) + I d}6)(k)eo(t-k), (9A.16)
* = 1 /с = О
ем(г) = е(г)- ем(г)= 2 dt{6\k)eQ(t - к). (9А.17)
* = м + 1
Определим аналогичным образом i//M и i//M. Имеем
*;v =ZM(N) + XM(N), (9А.18)
где
= 2 С—i//M(r)eM(r) - Я—^(Ое^гЛ , (9А.19)
V5 /
XM(N)= — 2
^ r=1
(9А.20)
Применяем лемму 9А.2 к (9А.18). Сначала показываем асимптотическую нор-
нормальность Zм (Ю с помощью леммы 9А.1. Члены ZM (N), очевидно, имеют нуле-
нулевые средние значения и М-зависимы по построению. Таким образом, условия
(9А.1)-(9А.З) леммы 9А.1 удовлетворяются. Для (9А.4) и (9А.5) находим, что
2+6
Е
< у
N
где последнее неравенство следует из того факта, что фм и ем - конечные суммы
случайных величин с ограниченными моментами порядка D + б). Выражение
(9А.21) доказывает как (9А.4), так и (9А.5). Таким образом, для
QM = Urn EZM(N)Z?(N) (9A.22)
N -»¦ оо
из леммы 9А.1 следует, что
ZM(N)G AsN@,QM). (9A.23)
N -* «
Рассмотрим член Хм (9А.20). Положим
y/NX$\N) « 2 {^M(f)e(f) - Ефм(г)е(г)}.
t - i
Из следствия к лемме 2В.1 имеем
Е \y/NX$\N) I2 < С С\м ¦ Се2 • N,
Ф
235
где
С7м = I sup|rf,(8)(*)|< I (Sk
* А: = М + 1 Г А: = М + 1
Се = Z sup|rf/6)(A:)| < S 0* < С.
Л: = 1 t к = 1
Аналогичная оценка имеет место для других членов Хм (N) (9A.20). Следова-
Следовательно,
E\XM(N)\2 <C[ 2 ($к]\
к = М + 1
откуда получаем сходимость Хм (N) к нулю при Л/ -> °°, поскольку ряд из |3^
сходится. Теперь, по лемме 9А.2, асимптотическое распределение S^ в пределе
по Л/ -> °° задается выражением (9А.23). Значит,
SN G AsN@,Q),
Q= lim QM. (9A.24)
м-* «^
Поскольку \fNDN -> 0, асимптотические распределения \fNV*N{B*, ZN) и 5^
совпадают, поэтому
y/NVx(e*,ZN) G AsN@,Q). (9A.25)
Аналогично, из \JWDN -> 0 и
lim lim ?|XM(^V)|2 =0
следует
Q= lim lim EZM(N)Z^(N) = lim
Это завершает доказательство соотношений (9.8) и (9.9). Осталось только прове-
проверить (9.4). Имеем
V?@,ZN)=— Z [ф(т,е)фтA90) + ф'A,0)е(Г,0)]. (9А.27)
N t = 1
Так как множество моделей и система равномерно устойчивы, находим, как в (8.19)
и (8.20), что е, \jj иф' формируются посредством преобразования белого шума рав-
равномерно устойчивыми фильтрами. Следовательно, как и в лемме 8.2, из теоремы
2В.1 получаем
sup I VnF9Zn)~ V"(Q) |->0 п.н. при N-*<*>. (9А.28)
Л
Отсюда, поскольку 0^ -> в*,
V'hV-n, ZN) -* V"F*) п.н.при УУ->« (9А>29)
л
если ^принадлежит окрестности в * радиуса |0^-0*|. (Техническое заме-
замечание: применение тейлоровского разложения в (9.3) в действительности может
привести к "различным %N" в разных компонентах этого векторного выражения.
Однако на результате (9А.29) это не сказывается.)
236
Теперь
и (9А.29) вместе с (9А.25) завершают доказательство теоремы 9.1.
Л
Замечание. Если QN принадлежит границе DM , равенство (9.3) не приме-
применимо. Однако, как следует из (9В.11), вероятность этого события убывает доста-
достаточно быстро и не влияет на асимптотическое распределение.
Приложение 9В. Асимптотическая дисперсия оценки параметра
Результат теоремы 9.1 по асимптотическому распределению не обеспечивает
свойства
Co\*(\/NeN) = N- E(eN-EeN)FN~EeN)T -> Рв при iV->oo (9B.1)
для Рв, определяемой (9.11) и (9.9); левая часть (9В.1) может даже не сущест-
существовать. В данном приложении рассматривается этот вопрос.
Введем следующие обозначения:
VN@9ZN)9 0N и в* - как в (9.1) - (9.3),
VN@) = EVN@,ZN),
в? =argmin VNF),
Л
QN - Евм.
Тогда имеем, как в (9.3),
9n-0Z="[V№n>Zn)Y1VM9Zn). (9B.2)
Предположение теоремы 9.1, что V"N(B*) > 0, и непрерывность V^@) приводят
к тому, что существует б > 0, для которого - -...
У"(в)>81 V0, |0-0* |<б. (9ВЗ)
Аналогично, предположение единственности точки минимума в* обеспечивает су-
существование б > 0, б * > 0, для которых
I0i-0*I<-=> г(вг) < г@)-б* V0, |е-еф|>б. (9B.4)
(Величины б , б * в (9В.З) и (9В.4) как таковые не связаны друг с другом; для удоб-
удобства они выбираются одинаковыми, что не ограничивает общность рассуждения.)
Введем следующие подмножества пространства элементарных исходов:
(9B.5)
. (9В.6)
Пусть S2 . — дополнительные события. Очевидно, в силу (9В.4)
и1! С a? =|w|sup \VN(e,ZN)-V(e)\ >—I , (9В.7)
й% С П% = \ ш | sup || VnF,Zn) - V"F) || > ^ 1 (9В.8)
\ в 2 )
237
(здесь неременная о; - элементарный исход, функциями которого являются слу-
чайные величины Z и 0N). Пусть P(&i) обозначает вероятность события ?2,.
Тогда Рф1?) -М при N-+<*>9 так как 0N -+в* п.н., и Р(?1%) -> 1 при #-><*>
в силу (9В.З) и равномерной сходимости V"N@,ZN) к У"(в) п.н. (см. (9А.28)).
Вычислим верхние границы вероятностей. Сначала отметим следующее усиление
леммы 2В.2: в предположениях теоремы 2В.1 при условии ограниченности момен-
моментов {е (г)} восьмого порядка имеем
E(R?L < C(N-rJ. (9B.9)
Для доказательства в случае у(п) = 1/п см. [250, следствие 2]. Тогда применение
неравенства Чебышева к четвертым моментам дает оценки сверху
(9В.10а)
(9В.10Ь)
ry\L з
И
N
P(&4
Положим
nN =
Тогда для
16
] < E*L
16
] («L
П^ П ?1$
С
N2
С
N2'
дополнительного события имеем из (9В.10)
С
(9В.11)
Рассмотрим теперь для (9В.2)
E\yjNFN-d*N)\4 < E{\\[V?GN,ZN)]-1 \\4 -\^V'N(e*N,ZN)\4}.
В правой части присутствует интегрирование по oj. Разбивая область интегрирования
на подмножества ?2N и SlN, находим, что на ?2
V"NQiN,ZN)> \l
(по определению множества ?lN). Следовательно, используя символические обозна-
обозначения,
-0^)\A< f —\y/NVtN(e^iZN)\4d^f N2 \0N-0^\4da> <
N 5 ^
< CE \y/NV'N{e^,ZN) |4 + N2-C.P(UN) < C.
A
Второе неравенство вытекает из того, что 6N и BN принадлежит ограниченному мно-
множеству Dja . Последнее неравенство следует из (9В.11) и леммы 2В.2, примененной
в своем усиленнбм варианте (9В.9) к сумме случайных величин N • VN(d*Ny ZN)
с нулевыми средними значениями.
Теорема 4.5.2 из [78] обеспечивает теперь сходимость
N'E@N-e^)@N-e^)T - PQ при #->«>, (9ВЛ2)
где Ре— матрица ковариаций асимптотического распределения.
238
Наконец, перепишем (9В.2) в виде
Взяв математическое ожидание, получаем
о= v"(e^)(eN-e^) + E{[vb
или, используя неравенство Шварца,
V"(e*N)f ]1/2 -[E\eN-0*N I2 ]1/2.
Для среднего сомножителя правой части применяем леммы 2В.2 к первому члену,
показывая его убывание как C/N, и используем (в предположении дифференци-
дифференцируемое™ V")
для второго члена, показывая, что он убывает как Е \ вN - 6*N\2 (т.е. C/Nb соот-
соответствии с (9В.12)). Отсюда получаем
С
\H0N- 0*N\ < —. (9В.13)
Очевидно, (9В.12) и (9В.13) обеспечивают выполнение (9BJ). Таким образом,
можно подытожить обсуждение этого приложения следующим образом:
А
рассмотрим оценку 0дг в условиях теоремы 9.1 при дополнительных предполо-
предположениях ограниченности D^H , ограниченности восьмых моментов {eo(t)} в
(8.4) и трижды непрерывной дифференцируемости V@). Обходимся без пред-
предположения \fNDN -> 0 при N^°°. Тогда имеют место соотношения (9В.1)
и (9В.13).
Замечание. Предположение теоремы 9.1, что \/NDN стремится к нулю,
приводит к достаточно быстрой сходимости 0*N->6*, что позволяет использовать 0 *
в асимптотическом выражении вместо 0*N.
Глава 10
МЕТОДЫ ВЫЧИСЛЕНИЯ ОЦЕНОК
В гл. 7 были представлены две основные процедуры параметрического оцени-
оценивания:
1. Подход, основанный на ошибке предсказания, когда некоторая функция
F/v@, ZN) минимизируется по в .
2. Корреляционный подход, в котором ищется решение некоторого уравнения
fN@,ZN) =0 но в.
В данной главе будут обсуждаться вопросы наилучшего численного решения этих
задач.
В момент времени N, когда известен набор данных ZN, обе рассмотренные вы-
выше функции являются обыкновенными функциями конечномерного действитель-
239
ного вектора параметров в. Следовательно, решение задач сводится к стандартным
вопросам нелинейного программирования и численного анализа. Тем не менее,
заслуживает внимания рассмотрение этих вопросов для задач параметрического
оценивания, учитывающее специфику в структуре введенных выше функций.
10.1. Линейные регрессии и наименьшие квадраты
Нормальные уравнения. Для линейных регрессий предсказание задается в виде
y(t\O) = VT(t)d. (ЮЛ)
может быть
0LS =
где
D/Л/Л —
ж\.\1у )
/(АО -
записан в виде
1
N
1
[N)f{N),
Z *р(г)ч
t = i
N
Z <p(Oy
f = 1
G
@
.34):
Применение к A0.1) подхода, основанного на ошибке предсказания и исполь-
использующего квадратичную норму, приводит к методу наименьших квадратов, описан-
ному в разделе 7.3. При этом параметр 0" , при котором достигается минимум,
A0.2)
A0.3)
A0.4)
i\ t = l
A i ч
Вектор 0 J^ можно также рассматривать как решение системы уравнений
R(NN^S = f(N). A0.5)
Эти уравнения известны как нормальные уравнения. Заметим, что основное урав-
уравнение G.104) метода инструментальных переменных совершенно аналогично A0.5),
и большая часть того, что говорится в данном разделе о методе наименьших квадра-
квадратов, применимо также и к методу инструментальных переменных с очевидными
изменениями.
Матрица коэффициентов R (N) в A0.5) может быть шюхо облусловленной,
А
в частности, если ее размерность велика. Существуют методы нахождения 0N с бо-
более хорошим численным поведением, причем они не основываются на нормальных
уравнениях. Это интенсивно обсуждалось в литературе по численному исследова-
исследованию решения линейных задач методом наименьших квадратов. В качестве основ-
основной ссылки по рассматриваемой проблеме можно упомянуть книгу Лоусона и Хан-
сона [228]. Основополагающая идея этих методов состоит в том, что не следует
формировать матрицу R (N), поскольку она содержит произведения исходных дан-
данных. Вместо нее строится матрица Q, обладающая свойством
Поэтому в инженерной литературе этот класс методов обычно называют "алгоритма-
"алгоритмами квадратного корня". Термин не совсем подходящий, поскольку никакие квад-
квадратные корни не берутся. Возможно, при решении A0.5) более подходящим был бы
термин "квадратичные методы".
Нахождение оценки наименьших квадратов посредством ортогональных преоб-
преобразований. Известно несколько различных подходов к построению Q, например,
преобразования Хаусхолдера [182], процедура Грамма — Шмидта [52] и декомпо-
декомпозиция Холецкого.
240
В общем многомерном случае D.53) и D.54) положим
YT = [ут(\) . . .yT(N)], Y - Np X 1,
Фт = [</>A)...</>(Л0], Ф - NpXd. A0.6)
(Здесь р = dimj>.) Тогда критерий наименьших квадратов можно записать (ср. с
A1.13)) в виде
VNF,ZN) = |Г-Ф0|2 = 2 \y(t)-vT(tN\2. A0.7)
t = i
Очевидно, норма не изменится при ортогональном преобразовании вектора Y - Фв.
Следовательно, если Т — ортогональная (Np X Np)-матрица, т.е. ТТТ = /, то
Выберем теперь ортогональную матрицу Т так, чтобы
-[¦?¦]•
ГФ = |^--J , A0.8)
где Q — верхняя треугольная d X ^-матрица. Так как Г ортогональна, можно записать
A0.9)
что представляет собой QR-факторизацию Ф. Существуют различные хорошие
в численном отношении методы QR -факторизации, имеющиеся в большинстве
программных пакетов по матричному исчислению. Один способ построения Т со-
состоит в использовании произведения преобразований Хаусхолдера (см. задачу 10Т.1).
Положим
L 1 d
A0.10)
Np - d
Тогда
Q
о
= \L-Q9\2 +\M\2 A0.11)
и при
QBN = L A0.12а)
достигает минимума
VN@N9ZN) = \М\\ A0.12Ь)
Заметим, что из A0.8) следует, что
Показатель обусловленности (отношение наибольшего собственного значения
к наименьшему) матрицы Q равен, таким образом, квадратному корню из показа-
показателя обусловленности R(N). Следовательно, система линейных уравнений A0.12а)
А
обусловлена значительно лучше, чем A0.5). Описанная процедура нахождения 9N
является, таким образом, более предпочтительной благодаря своим лучшим чис-
численным свойствам. Однако следует также сказать, что во многих случаях непосред-
241
ственное решение A0.2) или A0.5) дает вполне удовлетворительную точность,
если размерность вектора в не слишком велика.
Нахождение в одним из описанных методов требует выполнения количества
арифметических операций, пропорционального Nd2 + d3. При этом не принимает-
принимается во внимание возможная специфика внутренней структуры матрицы Ф .
Начальные условия: "вырезанные" данные. Типичная структура вектора регрес-
регрессии <p(t) представляет собой структуру сдвинутых данных (возможно, после три-
тривиального переупорядочения):
A0.13)
z{t-n)
Здесь z (t - 1) - г-мерный вектор. Например, ARX-модель D.11) ся„ =nb = n дает
A0.13) с
в то время как AR-модель для р-мерного процесса {y(t)} (ср. с D.54), пъ = 0)
приводит к A0.13) cz(r) =-y(t).
Для структуры A0.13) матрица R{N) в A0.3) будет представлять собой блоч-
блочную матрицу, //-блоком которой является г X г-матрица
ТГ 2 *{t-i)zT(t-i). (Ю-14)
N t = х
Если имеются сведения относительно z (f) только для 1 < t <N9 возникает вопрос,
как быть с неизвестными начальными условиями для t <0 в A0.14). Возможны два
подхода:
1. Начинать суммирование в A0.3) и A0.4) в момент t = п + 1, а не при t = 1.
Тогда все суммы в A0.14) будут содержать только известные данные. (После соот-
соответствующего переопределения величины W и начала отсчета времени, можно, конеч-
конечно, сохранить обычные выражения, предполагая z (t) известными для t > - л.)
2. Заменить неизвестные начальные условия нулями ("предварительное выреза-
вырезание") . Для симметрии опытные данныеz (/) (г = N+ 1,.. . 9N+ n) могут также быть
заменены нулями ("последующее вырезание"), а суммирование в A0.3) распростра-
распространено до 7V+ п. В этом случае A0.5) известно также как уравнения Юла-Уокера. Час-
Часто применяют другие способы модификации ("повторение"; ср. с задачей 6G.5)
на обоих концах записи данных с целью смягчения эффекта присоединенных нулей.
В работах по обработке речевой информации эти подходы известны как кова-
ковариационный и автокорреляционный методы соответственно [273]. Нет сомнения,
с логической точки зрения подход 1 выглядит более естественным. Подход 2, одна-
однако, имеет особенность, состоящую в том, что блоки A0.14) зависят только от раз-
разности между индексами:
1 N т
RT(N) = — 2 z(t - t)z (t), т>0; аналогично для г < 0.
N t= т
Это делает R (N) блочной матрицей Теплица, что обеспечивает, как будет кратко
показано, различные преимущества при решении A0.5).
242
Очевидно, при N > п различие между двумя подходами становится незначи-
незначительным.
Алгоритм Левинсона **\ Сдвиговая структура A0.13) придает специфичес-
специфическую структуру матрице R (N). Существует обширная литература по быстрым алго-
алгоритмам, которые используют такую структуру. Наиболее простым, но общим при-
примером этих алгоритмов является алгоритм Левинсона [235], описание которого
приводится ниже.
Рассмотрим случай AR-модели сигнала
y"(t | 0)=-any(t - 1) - ... -a»y{t - п) A0.16)
(верхний индекс показывает, что производится подгонка модели «-го порядка).
Это соответствует линейной регрессии с </?(г) A0.13) при z (г) = - y(t). Если
применить автокорреляционный метод, приходится решать A0.5), т.е.
Яо
Ко
... Rn~'.
A0.17)
Rn~\ Rn-2 ... Яо J
для а". Здесь
1 N
RT=Ry(T) = — 2 y{t-r)y(t\ т>0,
N t = r
а аргумент jV опущен. Уравнение A0.17) может быть записано в виде
?о R\ • ¦ • Rn
гх Ro ...Rn-i
l2 Ri ... Rn-2
Rn
A0.18)
Г 1 '
ai
al
У».
=
"vn-
0
0
• A0.19)
Здесь п последних строк идентичны A9.17), а первая строка представляет собой
определение Vп.
Допустим, что найдено решение A0.19) относительно а", и требуется отыскать
решение для модели A0.16) более высокого порядка п + 1. Тогда оценки д/л+1 бу-
будут определяться аналогично A0.19) . Чтобы найти их, заметим сначала, что
До
Ro
о.. Rn
... Rn-1
R
n+i
R
n+l
R
a?
0
0
A0.20)
Здесь первые п + 1 строк идентичны A0.19), а последняя строка является определе-
определением otn. Определение а"+1 выглядит совершенно так же, как A0.20), с той лишь
разницей, что все строки правой части, кроме первой, должны быть нулевыми. Таким
243
образом, попробуем убрать ап. Легко видеть, что A0.20) можно записать в виде
Ro
Rn
'л + 1
Ro
Rn
Ro
0
ann
Ro J L 1
! 0
J L
A0.21)
поскольку матрица коэффициентов представляет собой матрицу Теплица. Можно,
кроме того, рассматривать последние п + 1 строк A0.20) как нормальные уравне-
уравнения для регрессии
y(t-n-\ \Q)=-any(t~n)-an2y{t- n+\)-...-anny{t-\). A0.22)
Она представляет собой модель сигнала у (г) в обратном времени. Так как скаляр-
скалярный стационарный сигнал симметричен по отношению к направлению времени, коэф-
коэффициенты в A0.22) совпадают с коэффициентами в A0.16). Это является теорети-
теоретической причиной равенства между A0.20) и A0.21). См. также замечание в конце
этого подраздела.
Умножим теперь A0.21) на рп = - an/Vn и прибавим к A0.20) . Получим
Re
Rn
Ro
... Rn-i Rr,
Rn ...Ri
J
1
Pn
L°
A0.23)
Это определяющее соотношение для a"+1. Следовательно,
?Л+1 _
ап+1 ~
A0.24)
Рп
<*п =
к = I
(Здесь шляпка обозначает действительную оценку, основанную на N данных, в про-
противоположность параметрам модели я?). Это выражение позволяет легко вычислить
а%+1 по ?" . При начальных условиях
1/ = /? —
a\ =
A0.25)
имеем схему для вычисления оценок произвольного порядка. Заметим, что переход
от а% к a*bX\ в A0.24) требует произвести An + 2 сложений и умножений и одно
244
деление. Вычисление д? требует, таким образом, количества операций, пропорцио-
пропорционального 2и2,что на порядок (по п) меньше,чем общие процедуры A0.8)—A0.12).
Это объясняет термин "быстрый алгоритм".
Алгоритм Левинсона A0.24) широко применялся и был распространен на случай
векторной величины z, а также на случай "ковариационного метода". См., например,
работы Уиттла [431 ], Уиггинса и Робинсон [436] и Морфа и др. [299].
Замечание. Наиболее важное изменение при работе с векторной величиной z
состоит в том,что соответствующая модель в обратном времени A0.20)
z(t - 1 - п | 0) = - bnxz(t - п) - .. . - hnnz{t 1) A0.26)
порождает оценки параметров bi9 отличные от д,-. Поэтому схема A0.24) должна
бить дополнена аналогичной схемой для пересчета параметров /?/. См. задачу 10G.1.
Рис. 10.1. Представление A0.31)
решетчатым фильтром
r (t)
Решетчатые фильтры ***. Рассмотрим предсказатели A0.16) для порядков п
и п + 1, вычисленные при
A0.27)
A0.28)
A0.29)
yn(r I On)=-Z"y(t - 1) - . . .-a»y(t - п),
уп+ЛП0п+*) = -ЪГху(!-1)-...-К+1у(г-п)
Вычитая эти выражения одно из другого и используя A0.24), получаем
где
rn(t - l)=y(t - л - 1) +2?y(t - я)+ . .. +fty{t - 1).
Выражение A0.29) представляет собой ошибку предсказания в обратном времени
A0.22) . Учитывая определение A0.29), рассмотрим
A0.30)
Вычитая отсюда A0.29) и снова используя A0.24),получаем
?n+i@ -rn(t - l) = Pn[y(t)+Z? y(t - 1) + .. .+Znny(t - п)].
Введя ошибку предсказания
выражения A0.28) —A0.30) можно подытожить следующим образом:
г
= ro(t)=y(t).
A0.31а)
A0.31Ь)
A0.31с)
245
Это простое представление ошибок предсказания (и предсказанийyn(t \ 0n) -y{t) —
- en(t)) графически изображено на рис. 10.1. В связи со структурсй этого представ-
представления A0.31) принято называть решетчатым фильтром (иногда лестничным фильт-
фильтром).
Характерной чертой представления A0.31) является то, что величины еп и гп
удовлетворяют следующим соотношениям ортогональности:
1 ? а /чл , /ч | Vn, если Л = 0,
2 (t)e(tk)\
(Ю.32)
(см. задачу 10D.1) . Следовательно, коэффициенты отражения рп можно легко вычис-
вычислить по формуле
N
N
N
t
t
t
= *
= l
- i
л
к
(t)rk(t
если
\ 0,
если
пфк,
,, если
если
кФО,
п>к
f гя(огя(г- о
Г = I
(ю.зз)
Схема A0.31) вместе с A0.33) образует эффективный способ оценивания коэф-
коэффициентов отражения рЛ, а также предсказаний как альтернативу алгоритму Левин-
сона. Важный аспект состоит в том, что схема порождает предсказания всех более
низких порядков как промежуточный результат. Решетчатые фильтры широко при-
применялись в приложениях по обработке сигналов. См., например, работы Макхоула
[272], Гриффитса [148] и Ли, Морфа и Фридландера [229J. По поводу рекуррент-
рекуррентной версии см. также раздел 11.7.
10.2. Численное решение с помощью итеративных методов поиска
В обшем случае невозможно минимизировать функцию
VN@,ZN)=— X I(€(t90),0) A0.34)
N t - i
аналитическими методами. Также невозможно, вообще говоря, найти точное реше-
решение уравнения
Q = fN@.ZN) = — S f(ff0)a(e(ff0)). A0.35)
А; t ^ i
Решение в этом случае может быть получено с помощью итеративных численных
методов. Существует обширная литература по численным задачам такого рода.
Общие вопросы изложены, например, в работах Луенбергера [270], Бретсекаса [45]
или Денниса и Шпабсля [97].
Численная минимизация. Методы численной минимизации функции V@) пере-
пересчитывают оценку точки минимума итеративно. Обычно это делается в соответствии
с уравнением
gC+i) = ^@ + a/(O A036)
246
где/(|) - направление поиска, основанное на информации о V@), полученной на
предыдущей итерации, а а - положительная константа, определяемая таким образом,
чтобы получить соответствующее уменьшение значения V@). В зависимости от
имеющейся у пользователя информации для определения /(/> , численные методы
можно подразделить на три группы:
1. Методы, использующие только значения функции.
2. Методы, использующие значения функции V, а также значения ее градиента.
3. Методы, использующие значения функции, ее градиента и гессиана (матрицу
вторых производных).
Типичный представитель группы 3 соответствует алгоритмам Ньютона, в кото-
которых коррекция в A0.36) выбирается в "ньютоновском" направлении:
/<<) = _ [v"(flU))\ -1 V'{0{i)). A0.37)
Наиболее важный подкласс группы 2 состоит из квази-ньютоновских методов,
которые формируют каким-либо образом оценку гессиана, а затем используют
A0.37). Алгоритмы группы 1 либо формируют оценки градиента с помощью раз-
разностных аппроксимаций и действуют далее как квази-ньютоновские методы, либо
имеют другие специфические особенности поиска. (См. работу Пауэлла [328].)
Разработано множество стандартных программ, использующих эти идеи. Наибо-
Наиболее простым для пользователя средством идентификации могло бы быть наличие
такой программы, снабженной соответствующей информацией, и предоставление
поиска минимума самой программе. В любом случае необходимо иметь возможность
вычисления значений функции A0.34) в требуемой точке 0. При этом основная
трудность связана с вычислением ошибок предсказания e(f, 0) (t = 1, . . . ,Л').Эта
задача сама по себе может быть как простой, так и сложной. Сравните, например,
структуры моделей раздела 4.2 и примера 4.1.
Градиент функции A0.34) равен
V'N@,ZN) = -— ? {^(r,0)/Uc(ff0),0)-/i(e(rf0),0)}. A0.38)
Л' г = 1
Здесь, как обычно, ф(Г, 0) - d X /^матрица градиента y(t \ 0) (р = dim у) по 0.
Основные вычислительные сложности в A0.38) связаны с нахождением последо-
последовательности фA,0) (/ = 1, 2, . . . , /V) . В разделе 10.3 обсуждаются способы вычис-
вычисления для некоторых общих структур моделей. Однако для некоторых моделей пря-
прямые способы вычисления ф могут быть запрещены, и тогда приходится обращаться
к методам минимизации из группы 1 или формировать оценки ф с помощью раз-
разностных аппроксимаций. В работе Челлсгрема, Эссебу и Острема [202] описай общий
алгоритм LISPID идентификации такого типа.
Некоторые схемы поиска. Рассмотрим случай скалярной выходной величины и
квадратичного критерия
VN{Q,ZN)=^- X -c2(t,Q). A0.39)
Л' t = J 2
В численном анализе эта задача известна как "нелинейная задача наименьших квад-
квадратов". Великолепное пользующееся авторитетом рассмотрение этой задачи пред-
представлено в книге Денниса и Шнабеля [97, гл. 10]. Критерий A0.39) имеет градиент
fZN)^ -~ X ф(г,О)е(г,О). A0.40)
Л; t - 1
247
Тогда общее семейство процедур поиска задается в виде
где 9^ означает i'-ю итерацию; RW — d X d-матрица, изменяющая направление
поиска (она обсуждается ниже), а размер шага \х^ выбирается так, чтобы
% $ ZN). A0.42)
Следует также помнить, что обычно задача минимизации содержит ограничения:
9 Е DM . Часто, однако, Э?>^ , граница множества DM, соответствует границе устой-
устойчивости предсказателя (ср. с определением 4.1), поэтому VN(Q , ZN) быстро воз-
возрастает при приближении 9 к bDji. При этом ограничение легко может быть учтено
соответствующим выбором ц.
Наиболее просто в качестве R ^) взять единичную матрицу
Я#> = /, A0.43)
при этом A0.41) становится градиентным методом, или методом наискорейшего
спуска. Этот метод очень эффективен вблизи минимума; но обычно при этом луч-
лучше алгоритм Ньютона. Для A0.39) гессиан равен
\ N 1 n
Vn(9,ZN) =— Z ф{г,9)фт(гу9) ? ф\г,9)е(г,9\ A0.44)
N t = \ N t = i
где ф' (г, 9) —dX ^/-матрица Гессе ошибки предсказания е (г, 9).
Выбирая
ty ZN), A0.45)
получим из A0.41) метод Ньютона. Однако вычисление всех элементов ф* может
оказаться слишком дорогим. Допустим теперь, что существует такое значение 0О>
при котором ошибки предсказания е (г, 0О) = ^о (О являются независимыми. Тогда
это значение доставляет минимум EVN{9, ZN). Вблизи 0{) вторая сумма A0.44)
будет при этом близка к нулю, поскольку Еф' (t, 0 0) е0 (t) = 0. Таким образом,
имеем
VnN{0,ZN) * -^ 2 ф(г,9)фт(и0) й HN@). A0.46)
/V i
При решении задачи минимизации методом Ньютона необходимо иметь хорошее
приближение матрицы Гессе только в окрестности точки минимума. Это объясняет-
объясняется тем, что методы Ньютона обладают одношаговой сходимостью для квадратичных
функций. Если значения функции в промежутке между текущей итерацией и точкой
минимума не могут быть достаточно хорошо аппроксимированы квадратичной функ-
функцией, эффект от использования гессиана в A0.37) не столь важен. Более того, опус-
опуская последнюю сумму в A0.44), получаем такую оценку гессиана, которая всегда
является положительно полуопределенной матрицей. Это делает численную проце-
процедуру алгоритмом спуска и гарантирует сходимость к стационарной точке. Таким
образом, приходим к выводу, что
является очень удобным выбором для решения рассматриваемой задачи. Этот метод
известен также как метод Гаусса - Ньютона. В литературе по статистике процедура
получила название "метод накопления" [335]. В литературе по управлению также
используются термины: модифицированный метод Ньютона - Рафсона и метод ква-
квазилинеаризации. Деннис и Шнабель [97] использовали термин "метод Гаусса - Нью-
248
тона" для A0.41) и A0.47) прид^ = 1 и предложили термин метод Гаусса - Ньюто-
Ньютона с затуханием в случае регулируемого размера шага д.
Несмотря на то, что выражение A0.46) всегда является положительно полуои-
ределенным, оно может быть вырожденным или близким к вырождению. Напри-
Например, это случаи пере параметризованной модели или недостаточно информативных
данных. Тогда в A0.41) возникает ряд вычислительных трудностей. Известны раз-
различные способы преодоления этих трудностей, называемые методами регуляризации.
Один общий способ представляет собой процедуру Левенберга - Марквардта [234,
278]. При этом в качестве аппроксимации гессиана используется
1 N
— Z ф(Г,0)фт(г,0) + 51, A0.48)
N i
где 5 — некоторое малое положительное число.
Если в точке минимума ошибки предсказания зависимые, проведенные рас-
рассуждения не верны. В этом случае вторая сумма в A0.44) не обязана быть пренебре-
пренебрежимо малой вблизи точки минимума, а A0.46) не обязательно является хорошим
приближением гессиана. Тогда обычно используют известную первую сумму аппрок-
аппроксимации гессиана и оценивают вторую сумму методом секущей (см. [98]) .
Корреляционное уравнение. Решение уравнения A0.35) полностью аналогично
минимизации A0.34) (см., например, [97]). Стандартные численные процедуры
представляют собой метод подстановки (соответствующий A0.41) и A0.43)):
Ч)= '%-1}-WfNi0%-l}. ZN), A0.49)
и метод Ньютона - Рафсона (соответствующий A0.41) и A0.45)):
0' 2ЫУ (Ю.50)
10.3. Вычисление градиента
Чтобы использовать формулы, приведенные в предыдущем разделе, необходимо
иметь выражения для ф(г9 0), градиента предсказания. Количество вычислений, тре-
требуемых для вычисления ф(г, 0) сильно зависит от структуры модели, и иногда при-
приходится прибегать к численному дифференцированию. В этом разделе будут пред-
представлены выражения для некоторых общих структур модели.
Пример 10.1. Структура АЮААХ-модели.
Рассмотрим ARMAX-модсль D.14). Предсказатель задастся соотношением D.18) :
G{q)y{t \в) = B{q)u{t)+ [C(q)~ A(q)] y{t). A0.51)
Дифференцируя это выражение по акч получаем
C(q) -^— yif\B) = - q~ky(t). A0.52)
Ъак
Аналогично
9 -/с
ЪЬк
и
-к* э а ~к
q У t\B)+ q ^ у t\d) q у Г).
1:сли вектор \p{t, в) определены соотношением D.20), эти выражения могут быть переписаны
более удобным образом в виде
г, 0) = ^(Г, в). A0.53)
249
Даким образом, градиент получается посредством обработки "вектора регрессии" y{t) фильт-
фильтром \/C(q). Этот фильтр устойчив для всех 0 , для которых устойчив предсказатель A0.51) .
Модель черного ящика с одним входом и одним выходом **\ Большинство
формул для моделей черного ящика с одним входом и одним выходом будут содер-
содержаться в изложении общей модели D.33). Предсказатель для этой модели задается
соотношением D.35):
D(q)B(q) Г D(q)A(q) 1
w(r) + l^ '<') Aа54)
C{fl)F(q) L C(q)
Отсюда находим,как в примере 10.1,что
Э л D(q)
C(q)
У(*-*)> (Ю.55а)
a D(q)
y(t\O) = "(>-*), - A0.55b)
УК C(q)F(q) }
y(t\O)
ЪЬк УК C(q)F(q)
9 -/,д, Pfa)Jfa) . _. Р(Я) A(q) t ьл
УU 0) = w(r — Л) + y(t - k) =
Ъск ^ C{q)C{q)F{q) C(q)C(q)
e(t - К в), A0.55с)
Э Л B(q) A(q)
C(q) C(q)
Э л D(q)B(q) D(q)
К* 0) =ц(Г^) =
w(t - к, в), AО.55е)
где е, у и w используются в смысле определений D.37)—D.39). Таким образом,
градиент ф (Г, 0) в этом случае также получается обработкой вектора регрессии
yp(t, 0) (определенного в D.40)) линейными фильтрами, хотя различным частям у
в общем случае соответствуют различные фильтры. Очевидно, что все введенные
здесь фильтры устойчивы для О G DM , определенном в лемме 4.1, т.е. для тех же
О, для которых устойчивы предсказатели.
В частном случае модели с ошибкой на выходе A (q) = C(q) = D(c[) = 1 (см.
также D.24)) получаем из A0.55b, e)
F(q)iI;(t,O) = v(t,Q). A0.56)
Конечномерные линейные стационарные модели *¦ . Линейная стационарная
конечномерная модель всегда может быть представлена в виде
A057)
с соответствующим выбором матриц &, ^§ и Ж и при dim tp = n. Это справедливо
для общей модели с одним входом и одним выходом D.35), для которой y(t,6)
может быть выбран в виде D.40), а также для общей модели в пространстве состоя-
состояний D.83), для которой
A0.58а)
= [К@) В@)], AО.58Ь)
()( { A0.58c)
250
Устойчивость предсказателя A0.57) требует, чтобы параметр 0 принадлежал
DM= {0 | fF) имеет все собственные значения внутри единичного круга } . A0.59)
Теперь можно продифференцировать уравнение A0.57) относительно 0. Введя
Г .г Э Э _ лт
Ut 0) = \ \р U в) ^г(/, в) . .. $ (t, в) , A0.60)
L Э01 Ъ0а \
можно записать для некоторых матриц А{6), Si (в) и
A0.61)
Нетрудно проверить, что (d + \)п X (с/ + 1)и-матрица Л@) будет содержать матри-
ЦУ 1F@) B каждом своем диагональном блоке и иметь всюду выше этой блочной диа-
диагонали нули. Следовательно, свойства устойчивости Л{6) wf@) совпадают.
Для получения общих алгоритмов удобно использовать A0.61). Очевидно, эти
уравнения, как таковые, не будут удобны для практических вычислений градиента,
поскольку фильтр имеет порядок d (л + 1) . Однако как показали Гупта и Мера [152],
размерность подпространства управляемости A0.61) не превышает 4и независимо
от параметризации и от значения в. Таким образом, объем необходимых в A0.61)
вычислений может быть существенно сокращен с помощью соответствующих преоб-
преобразований.
Наконец заметим, что при использовании методов раздела 10.2, выражения для
вычисления ф(с, 0^*'), представленные в настоящем разделе, должны применяться
на каждой итерации. Это означает, что необходимо прогонять данные от t =1 до N
через фильтры типа A0.55) или A0.61) для каждой итерации в A0.41).
Рекуррентные методы задач оценивания по накопленным данным. Идея эконо-
экономии работы в процедуре минимизации может быть реализована в виде объединения
методов раздела 10.2 и 10.3 с тем, чтобы изменять оценку 0^ в A0.41) в тот же
момент времени, в который вычисляются градиенты ошибки предсказания в A0.61)
(т.е. "связать идекс (/) с TV"). Такие рекуррентные алгоритмы будут развиты
в гл. И для использования в реальном масштабе времени. Однако они крайне полез-
полезны также и для задач оценивания по накопленным данным и представляют собой
альтернативу A0.41). Тогда обычно дважды пропускают записанные данные через
рекуррентный алгоритм; при этом можно показать, что такая процедура будет
иметь те же свойства сходимости, что и A0.41). Дальнейшие подробности см. в ра-
работах Льюнга и Седерстрема [262, раздел 7.2] и Солбранда, Алена и Льюнга [379].
10.4. Двухэталные и многоэтапные методы
Методы, описанные в разделах 10.2 и 10.3 следует рассматривать как основные
численные методы параметрического оценивания. Их преимущества заключаются в
гарантируемой сходимости (к локальному минимуму), эффективности и их приме-
применимости к моделям общей структуры. Тем не менее, в литературе содержится обилие
альтернативных способов, как правило относящихся к специальным случаям общей
модели линейной структуры D.33)
B(q)
"@ +
F(q) D(q)
251
(или ее многомерным вариантам). Основная идея тогда состоит в формулировке
задачи как задачи линейной регрессии или как последовательности таких задач с тем,
чтобы далее применить эффективные линейные методы, описанные в разделе 10.1.
Обычно алгоритмы включают в себя два или несколько этапов МНК (или метода
инструментальных переменных), используемых для разных подструктур, и, следо-
следовательно, они могут быть названы двухэтапными или многоэтапными методами.
В настоящем разделе будет дано краткое описание блоков, из которых строят-
строятся такие процедуры. Сочетание методов (инструментальных переменных, МНК,
ошибки предсказания, псевдолинейной регрессии) и моделей (с конечной памятью,
ARX, ARM АХ и т.д.) в процедурах, содержащих несколько этапов, приводит к ог-
огромному многообразию "методов идентификации". Нет необходимости все их
перечислять. Однако можно понять и исследовать различные их этапы, описанными
здесь методами (см. задачи 10G.2 и 10Е.1). Излагаемая тема интересна вдвойне:
она помогает глубже понять литературу по идентификации, а методы могут быть
полезны при получении начальных оценок для основных схем раздела 10.2.
Методы бутстрепа. Рассмотрим формулировку задачи оценивания G.96), соот-
соответствующую корреляционному подходу: решить уравнение
fN<P.ZN)=— 2 ?(г,в)€(г.в)=О, A0.63а)
N г = i
где ошибка предсказания записывается в виде
yT{t, 6N. A0.63b)
Эта формулировка охватывает несколько общих ситуаций:
- методы инструментальных переменных, когда f (г, 6) и <p(f, 6) = <p(f) опре-
определяются соотношениями G.ПЗ) и G.100) соответственно;
- методы исевдолинейной регрессии, в которых f (f, 6) = <p(f,0), как в G.99);
- минимизация квадратичного критерия A0.39) для моделей, представимых в
виде G.98), при $ (t, 6) = ф (t9 6) . Если оценка 0$~!) уже получена (на предыду-
предыдущей итерации), то естественно определить следующую оценку как решение относи-
относительно вектора 6 системы линейных уравнений
-^ 2 S(t-ty-l))[y(t)-*T(t, е«-1Ъв]=о.
N t - 1 Jy
Решение можно записать в виде
Эта оценка по существу может быть представлена как оценка МНК A0.2) при соот-
соответствующем определении R(N) и f(N). Следовательно, способы, описанные в раз-
разделе 10.1, применимы также к A0.64). Алгоритм A0.64) называют методом бутстре-
па, поскольку в нем чередуются вычисление 6 и формирование новых векторов <р и
f. Следует отметить, что он не обязательно сходится к решению уравнения A0.63).
Анализ сходимости проведен Стойкой и Седерстремом [390] и Стойкой, Седерстре-
мом, Аленом и Солбрандом [402].
Билинейные параметризации. Для некоторых структур моделей предсказатель
билинеен по параметрам. Это означает, что вектор параметров может быть разбит
на две части
0 =
252
гак, что выход предсказателя
кПв) = у(Пр,ч) A0.65)
линеен по р при фиксированном п и линеен по т? при фиксированном р. Типичной
ситуацией такого рода является ARARX-структура D.22):
y[t j 6) = B(q)D(q)u(t) + [1 -A(q)D(q)] y(t).. A0.66)
Очевидно, если р соответствует А- и /?-параметрам, а т? — D-параметрам, получаем
случай билинейной параметризации.
В этом случае естественным способом минимизации функции
NN y{t\P,n)f A0.67)
N r=
представляется последовательное решение квадратичных задач. Положим
ЭД> - arg min VN{p,n(j-y\zN\ A0.68a)
ЭД> = arg min Кл,^0. Ч. ^). A0.68Ь)
Каждая из этих задач является квадратичной задачей минимизации и может быть
эффективно решена. Хотя эта процедура имеет некоторое сходство с методом бут-
стрспа, она, действительно, является процедурой минимизации, приводящей, вообще
говоря, к локальному минимуму (ср. задачи 10Т.З и 10Е.9).
АК(Х)-модели высокого порядка. Допустим, что истинная система определяется
уравнением
а для ее идентификации используется ARX-структура порядка М
Тогда можно показать (см., например, [171] и [254]), что если число данных /V
стремится к бесконечности вместе с порядком М (N "быстрее, чем" Л/), то модель
A'fsi, Bfsi будет сходиться к истинной системе в следующем смысле:
-*¦ ; * Gq(c/u> ) равномерно по со при N>M-*<*>,
Afsj (clLJ)
1
~+H0(eloJ) равномерно но сопри
AN (e
Это означает, что с помощью ARX-модели высокого порядка можно сколь угодно
точно аппроксимировать любую линейную систему. Желательно, конечно, привести
эту модель высокого порядка к более удобным вариантам структуры A0.62),
причем для этой цели существуют различные возможности:
1) определение G = В/А как рациональной структуры путем исключения общих
множителей у A N и В^ [367];
2) применение основанного на балансе реализаций метода редукции модели
А %л Ашг
к передаточной функции aN /AN [415, 416];
3) применение ARX-модели к последовательности входо-выходных пар (г, и),
А мл- А ял
где z (t) - выходной сигнал модели BN /AN, порожденный реально наблюдаемым
входным сигналом и (см. [183,314]);
253
4) использование структуры модели
A {q)y (t) = В {q)u (t) + [С (q) - 1\ eM{t)+e(t) A0.69)
для оценивания А, В и С, где %м (г) - невязки, соответствующие модели A'N , BN ;
поскольку ноагедовательность ем (t) известна, модель A0.69) имеет ARX-струк-
туру с двумя входами, а оценки определяются, таким образом, методом наимень-
наименьших квадратов [280].
Разделение моделей динамики и шума. Для определения динамической части
от и к у в общей линейной модели A0.62) всегда можно использовать метод ин-
инструментальных переменных. Расщепляя знаменатель полученной таким образом
л
оценки на один множитель A(q), который предполагается общим со знаменателем
А
передаточной функции от е к у, и на другой множитель F(q), специфичный только
для динамики (обычно постулируется, что один из полиномов,/! или Ь\ единичный),
можно затем определить
u(t) A0.70)
как оценку присутствующего в уравнении шума (ср. с D.38)). Далее, этот шум
можно рассматривать как измеряемый сигнал и применить ARMA-модель
v(t)= 777~-e(O A0.71)
для следующего, отдельного этана идентификации. Этот способ разрабатывался
в ряде работ Янга (см., например, [449] ).
Оценивание ARMA-моделей. Параметры ARMA-модели A0.71), конечно, можно
оценить, используя основанный на ошибке предсказания подход. Возможны сле-
следующие две альтернативы, избегающие применения итеративных процедур поиска:
1) применение AR-модели высокого порядка к v(t) в A0.71) для формиро-
формирования оценок обновлении е, с последующим построением ARX-модели
D(q)v{t)=[C{q)-\]e(O+e(O A0.72)
с выходным и входным сигналами v(t) и е(Г) соответственно и оцениванием D и
С методом наименьших квадратов (ср. с A0.69) );
2) оценивание AR-нараметров D{q) с использованием метода инструменталь-
инструментальных переменных, как объясняется в задаче 7L-.1, и модели vv(r) = D(q)v{t) в ка-
качестве МА-модели; в работе Соло [383] описано, как это можно сделать посред-
посредством сравнения ковариационной матрицы модели и ее оценки, полученной мето-
методом факторизации спектра. Близкие способы описаны также в работах Дурбина
[105] и Уолкера [419].
10.5. Локальные решения и начальные значения
Локальные минимумы. Обшие численные схемы минимизации и решения урав-
уравнений, которые обсуждались в разделе 10.2, обычно обладают тем свойством, что
при подходящем выборе длины шага м они будут сходиться к решению поставлен-
поставленной задачи. Это означает, что A0.49) и A0.50) будут сходиться к точке 0дг, в ко-
которой
fNF*N,ZN)=0, A0.73)
в то время как A0.41) с положительно определенной матрицей R сходится к ло-
локальному минимуму VN@/ZN ).
254
В задаче минимизации нас интересует глобальный минимум. Теоретические
результаты гл. 8 и 9 относились к свойствам оценки д^, доставляющей глобальный
минимум. Аналогично, уравнение A0.73) может иметь несколько решений. Оче-
Очевидно, для итеративных поисковых процедур раздела 10.2 характерна лишь сходи-
сходимость к локальному решению задачи, а достижение глобального решения не может,
вообще говоря, гарантироваться. Обычно для нахождения глобального решения
не существует другого способа, как запускать итеративную программу минимиза-
минимизации с различных возможных начальных значений и сравнивать получаемые при этом
результаты. Ниже обсуждается важная возможность использования некоторой про-
процедуры предварительного оценивания /утя получения хорошего начального значения
при минимизации.
При подборе модели и ее проверке, как будет обсуждено в разделе 16.5, о моде-
модели судят все-таки по ее характеристикам. Значит, локальные минимумы не обяза-
обязательно создают проблемы на практике. Если модель проходит проверочные тесты,
она должна быть приемлемой моделью, даже если она не дает глобального миниму-
минимума критериальной функции.
Проблема "ложных" локальных решений имеет два аспекта. Может оказаться,
что предельная при N -> °° критериальная функция V {в) имеет локальные мини-
минимумы. Тогда в соответствии с леммой 8.2 функция V^F,ZN) также будет иметь
аналогичные минимумы для больших N. Существование локальных минимумов
У{0) можно проанализировать, но до сих пор известно лишь несколько резуль-
результатов. Некоторые из них будут приведены ниже. Другой аспект состоит в том, что
даже если V{в) имеет один локальный минимум (совпадающий с глобальным),
функция VNF, ZN) может иметь другие локальные минимумы из-за случайного
характера данных. Эта проблема значительно труднее для теоретического исследо-
исследования. Исключение составляет МНК для линейной регрессии, когда по своей кон-
конструкции критериальная функция не имеет неглобальных локальных минимумов
независимо от свойств данных.
Результаты для моделей "черного ящика" с одним входом и одним выходом.
Единственные имеющиеся аналитические результаты по локальным решениям от-
относятся к моделям "черного ящика" в предположении, что истинная система при-
принадлежит множеству моделей: § $=*Jl. Перечислим эти результаты, снабжая их
ссылками на доказательства. Все они касаются общей модели с одним входом и
одним выходом A0.62) и относятся к
V E 20
Дня простоты неглобальный локальный минимум называем "ложным минимумом".
- Для ARMA-моделей (В = 0, D = F = 1) все стационарные точки V @) являют-
являются глобальными минимумами [30].
-Для ARARX-моделей (С = F = 1) не существует ложных локальных мини-
минимумов, если отношение сигнал/шум достаточно велико. Если оно очень мало, лож-
ложные локальные минимумы обязательно существуют [365].
— Если А = 1 и rif - 1, ложных локальных минимумов не существует [368].
-- Если А н С = D = 1, ложных локальных минимумов не существует, если
входной сигнал - белый шум. Дня других входных воздействии, однако, ложные
локальные минимумы могут существовать [368].
Для AR МАХ-мо дел и (F=D=1) не известно, существуют ли ложные локальные
минимумы. Однако для подхода, основанного на нсевдолинейной регрессии G.99),
255
можно показать, что
Ё у {U в) е {tt в) = 0 =» в = в0 A0.74)
в случае ARMAX-модели, где в0 обозначает вектор истинных параметров [265].
Практический опыт использования моделей различных структур показывает,
что для ARMAX-моделей глобальный минимум обычно находится без особых проб-
проблем. (См., например, обсуждение по этому поводу в работе Бохлина [55].) С другой
стороны, для структур модели с ошибкой на выходе сходимость к ложным локаль-
локальным минимумам — обычная ситуация.
Начальные значения. Вследствие возможного наличия нежелательных локальных
минимумов критериальной функции имеет смысл затратить некоторые усилия на
выработку хороших начальных условий для итеративных процедур поиска. При
этом, поскольку методы ньютоновского тина, описанные в разделе 10.2, обладают
хорошей скоростью локальной сходимости, но не обязательно скорость сходимости
велика вдали от минимума, эти усилия обычно окупаются уменьшением числа итера-
итераций и сокращением суммарного времени вычислений.
Для структур моделей, параметризованных на основе физических законов,
наиболее естественно использовать физические представления и для определения
различных начальных условий. Это позволяет также взаимодействовать с итератив-
итеративной схемой поиска и контролировать ее работу.
Для структур моделей черного ящика существует несколько возможностей.
Исходя из практического опыта, можно предложить следующие процедуры опре-
определения хороших начальных значений для модели общей структуры A0.62):
1) применение метода инструментальных переменных для оценивания переда-
передаточной функции B/AF, определяющей динамику; чаще всего один из полиномов А
или F является единичным: для системы, работающей в режиме разомкнутой цепи
обратной связи, сначала определяют оценку МНК для ARX-модели, чтобы затем
использовать ее при генерации инструментальных переменных, как в GЛ 09);
A0.75а)
2) определение оценки шума уравнения аналогично A0.70) A0.75Ь)
3) определение Си/или D в A0.71) посредством A0.72) после первоначального
этапа нахождения е с помощью AR-модели высокого порядка (который не требуется
при С = 1); порядок AR-модели может быть выбран как сумма порядков всех
моделей в A0.62) с тем, чтобы сбалансировать вычислительные усилия. A0.75с)
Глобальная сходимость. Если система принадлежит множеству моделей, метод
инструментальных переменных, как известно, будет сходиться при слабых предпо-
предположениях к истинным значениям параметров (см. (8.102)). Аналогично оценки
С и D в A0,72) могут быть сколь угодно точными при достаточно большом порядке
модели на этане AR-оценивания. Начальный этап будет, следовательно, давать сколь
угодно точное приближение глобального минимума при условии, что мы имеем
достаточное количество данных. Отсюда приходим к выводу, что методы разде-
раздела 10.2 будут эффективно отыскивать глобальный минимум. Таким образом, для
случая § Е *М имеем процедуру, глобально сходящуюся к глобальному минимуму
для достаточно больших N.
В том случае, если система не принадлежит множеству моделей, представленные
в разделе 10.4 процедуры могут привести к аппроксимации, отличной от аппрокси-
аппроксимаций, присущих методу ошибки предсказания. Тогда остается неизвестным, при-
приведет ли процедура выработки начальных значений в область притяжения к гло-
глобальному минимуму критерия ошибки предсказания.
256
10.6. Заключение
Определение оценок параметров по данным наблюдений имеет два аспекта.
Первый состоит в необходимости охарактеризовать отыскиваемую оценку либо
как решение некоторого уравнения, либо как аргумент, минимизирующий некото-
некоторую функцию. Второй аспект связан с необходимостью формирования численного
метода, вычисляющего эту оценку. Важно различать эти два вопроса. Комбинация
нескольких различных подходов к характеризации требуемой оценки со многими
способами ее действительного вычисления приводит к широкому, подчас беспоря-
беспорядочному разнообразию методов идентификации. Целью этой главы, как и главы 7,
было показать основополагающие идеи.
Для задач оценивания параметров линейной регрессии (МНК или методом ин-
инструментальных переменных) были рекомендованы методы типа ??/?-факторизации
A0.12), а также указывалось на возможности использования метода Левинсона
и/или решетчатых методов (A0.24) и A0.31), A0.33) соответственно) для спе-
специальных структур.
Для общего метода ошибки предсказания в качестве основного был рекомен-
рекомендован итеративный метод Гаусса—Ньютона с затуханием A0.41), A0.42) и A0.47),
дополненный процедурой A0.75) определения начальных значений параметров мо-
моделей черного ящика.
10.7. Комментарии к библиографии
Алгоритмы вычисления оценок являются темой многих статей и книг по иден-
идентификации систем. Основные методы также являются предметом многих исследо-
исследований но численному анализу.
Для линейной задачи наименьших квадратов, описанной в разделе ЮЛ,прекрас-
ЮЛ,прекрасный обзор дан в книге Лоусона и Хансона [228]. Алгоритм Левинсона и его раз-
разветвления представлены, например» в работе Кайлата [197]. Первые применения
алгоритма Левинсона в задачах оценивания изложены Дурбином [106]. В связи
с этим алгоритм с оцениваемой матрицей R(т) иногда называют алгоритмом Ле-
винсона—Дурбина. Многомерный алгоритм Левинсона представлен в работах Уиттла
[431] и Уиггинса и Робинсон [436]. Алгоритм Левинсона для "ковариационного
метода" (для которого R(N) не является матрицей Теплица, но отличается от ее
структуры "немного") был разработан Морфом и др. [299]. Эти идеи восходят
к работе Морфа [297]. Общие методы решения линейных уравнений с матричными
коэффициентами, "близкими к структуре матриц Теплица", изложены в работах
Фридландера и др. [125] и С. Льюнга и Л. Льюнга [266], Алгоритм Левинсона широ-
широко применялся в геофизике (например, [344, 68]) и в обработке речевой инфор-
информации (например, [277]), в то время как в приложениях по управлению он ис-
использовался меньше. Его численные свойства исследованы Цыбенко [88].
Решетчатые фильтры широко обсуждались в работах Маркела и Грея [277],
Хонига и Мессершмидта [181] иРабинераиШафера [331], а также в работах,упомя-
работах,упомянутых в тексте. Вопросы численной устойчивости вычислений коэффициентов отра-
отражения в A0.31) и A0.33) исследовалась Цыбенко [89]. Значительное внимание
уделялось процедурам рекуррентного пересчета коэффициентов отражения, к кото-
которым мы вернемся в гл. 11.
Для методов раздела 10.2 основной ссылкой является книга Денниса и Шнабеля
[97]. Эта работа содержит много дополнительных ссылок, а также псевдопрограммы
типичных алгоритмов. Варианты методов Ньютона в приложениях по идентификации
систем обсуждались, например, в работах Острема и Бохлина [27], Гупта и Мера
[152], Кашьяпа и Нэсбурга [209].
9. Л. Лыонг 257
Градиенты ф = (Э/Э0) у, (Э/Э0)х и т.д. известны как функции чувствитель-
чувствительности или коэффициенты чувствительности. Они изучались также в связи с анализом
чувствительности в задачах управления. Простые методы вычисления этих градиен-
градиентов для моделей в пространстве состояний обсуждались, например, в работах Денери
[96] и Неймана и Суда [305], а также в работах Гунта и Мера [152] и Хилла [176].
Использование множителей Лагранжа для уменьшения объема вычислений описано
Кашьяпом [208] и Ванзэ и Босгра [454]. Другая возможность состоит в применении
равенства Парсеваля к К/v и Н^ в A0.40) и A0.46) и их оценивании в частотной
области в терминах преобразования Фурье. См. [162] и [5]. Соответствующие выра-
выражения легко следуют из G.25) и (9.53). Специальный метод максимизации функций
правдоподобия, ЕМ-алгоритм, был разработан Дэмпстером, Лейрдом и Рубином
[95]. См. задачу 10G.3.
Кроме ссылок, упомянутых в тексте, неединственность решений поставленной
задачи идентификации изучалась в работах Стойка и Седерстрема [393], [394]
(упрощенное доказательство в случае ARMA-модели и случай многомерной МА-
модели соответственно) и [373] (дальнейшие результаты для модели с ошибкой
на выходе Л = C=Z>= 1); для ^-шаговых моделей, основанных на ARMA-описаниях,
этот вопрос рассматривался в [397]. Последствия возможного отсутствия единствен-
единственности минимума обсуждались Бохлином [54, 55].
Анализ методов бутстрепа выполнен Стойкой и Седерстремом [390] и Стойкой,
Седерстремом, Аленом и Солбрандом [402].
Двух- и многоэтапные методы обсуждались во многих вариантах. Кроме мето-
методов, описанных в разделе 10.4, хорошо известны, например, методы Дурбина [105]
и Уолкера [419]. Оба метода начинают с оценивания AR-модели высокого порядка.
Коэффициенты этих моделей (соответствующие ковариационные функции в случае
алгоритма Уолкера) приводят к системе уравнений для определения параметров
скользящего среднего. См. также книгу Андерсона [14], раздел 5.7.2.
10.8. Задачи
10G.1. Пусть z (t) - /7-мерный сигнал, а 2" и Ь" ( р X /?-матрицы) - оценки МНК моделей
линейной регрессии
z(t |0) = -a?z(t - 1) -... -а„2(Г -л),
z(t -n - 1 \o)=-b"z(t - \)-...-b?z(t-n)9
основанные на данных z (О, 1 < t < N. Используя аргументы, аналогичные A0.16)-A0.25),
покажите, что эти оценки могут быть вычислены с помощью уравнений
ак ~ак Рпьп-к+\*
аи+1 _ а
в П+1 ~(>П'
bk =bk + (>пап-к + \>
п
ап = &п+1+ ? <tkRn+l-k>
k = i
к~\
258
Здесь
N t--n
{t + k)zT(t)
с z (t) = О вне интервала 1 < t < N. (Это многомерный алгоритм Левинсона, полученный Уит-
тлом в |431].)
10С;.2. Метод Стейглица-Макбрайдта. В [3861 был предложен следующий подход к иден-
идентификации линейных систем при условии белых помех измерений. Рассмотрим модель с ошиб-
ошибкой на выходе D.25)
У
Шаг 1.
F
B(q)
F{q)
Применяем
(<7)у(Г) = В
и (Г)
МНК
(q)u I
+ е (t).
к ARX-модсли
lt)+e(t).
Получаем Bjy (q) и FN {q).
Шаг 2. Обрабатываем данные предварительным фильтром:
1 1
у it), (t)
у r
FN(q) FN(q)
Шаг 3. Применяем МНК к ARX-модсли
F(q)yF (t) = В {q)uF (/)+ е (г).
Повторяем процедуру, начиная с шага 2, с новой оценкой F. Останавливаемся при обнаружении
сходимости Fflj и Вм.
a) Этот'метод можно интерпретировать как способ нахождения корреляционной оценки,
как в G.96), с предварительными фильтрами, зависящими от в. Каковы вектор корреляции
? (t, в) и предварительный фильтр L (q*0I
b) Посредством какого Численного метода (в соответствии с классификацией этой главы)
вычисляется зга оценка?
c) Допустим, численная процедура сходится к единственному решению BN> Fpj корреля-
корреляционного уравнения. Используйте теорему 8.6 для обсуждения вопроса, будут ли эти оценки
состоятельны, если истинная система описывается уравнением
У(П
F0(q)
где v0 (t) - белый или цветной шум соответственно Какой'вывод следует из теоремы 9.2 отно-
относительно асимптотической дисперсии оценки в случае белого шума {и0 (f)}? (См. также анализ
в работе Стойки и Седерстрема [389].)
10G.3. ЕМ-алгоритм. Рассмотрим задачу 7G.6 и выражение G.126) для функции правдо-
правдоподобия с обратным знаком:
К@) = - 1пр(У |0)=-1пр(Г, X \в)+\пр{Х \в, Y).
Это выражение справедливо для всех X и, таким образом, может быть проинтегрировано
по какой-нибудь вероятностной мерс/(Х) без изменения левой части, не зависящей от X:
- f lnp{Y, X \в) f(X)dX+ f и lnp{X\e, Y)f(X)dX.
X^R X<ERn
Пусть теперь, в частности f(X) - условная плотность распределения вероятностей для X
при заданном /ив предположении в = о:
Тогда
V (в) = Я, (Г, 0,'<*)+ Нг (У, 0, а),
Я, (Г, 0,а)=- / \пр(У>Х\в)р(Х\ Y, a)dX = E(-lnp{Y, AM а) I К, а),
n
Y,e)p(X\ Y,oL)dX.
259
FM-алгоритм минимизации V (в) состоит из следующих шало в [95]:
1. Фиксируем ак и определяем условное среднее от -\пр(У, Х\в) относительно X при
заданном У в предположении, что истинное значение 0 равно о^. Получаем //, (У, в, ак). (За-
(Заметим, что параметр в в р(У, X \ 0) опущен как свободная переменная.)
2. Минимизируем
Нх{У,0,*к)
относительно в, получая при этом вк.
3. Устанавливаем o^+i = дк и повторяем с пункта 1.
а) Покажите теперь, что
и, как следствие,
V@k)<
Другими словами алгоритм порождает убывающую последовательность значений функции прав-
правдоподобия со знаком минус.
Ь) Выпишите ЕМ-алгоритм для случая, описанного в задаче 7G.6.
(Шаг I - оценивание, а шаг 2 - шаг минимизации в ЕМ-алгоритмс. Алгоритм полезен, когда
функция правдоподобия при заданном Y сложна, а добавление вспомогательных измерений X
должны привести к значительно более простой функции правдоподобия. Таким образом, рассмат-
рассматривается расширенная задача с этими сформированными измерениями и усреднением по ним;
при этом используется их условная плотность при заданных действительных наблюдениях и
предположение, что система описывается текущей оценкой 0. Заметим, что Н2 (У, 0. ос) не фор-
формируется ни на каком этапе алгоритма.)
10Е.1. В книге Хсиа [183, раздел 6.71 описана следующая процедура идентификации. По-
Положим
*Г(')= l-JMf-¦ О...-jM/ -Лд)и(Г- \)...u(t-nb)\, рТ= [а г ...аПаЬ1 . ..^1-
Тогда модель записывается в виде
A0.77)
Оценка р^у вычисляется как "компенсация смещения"
* _ <*LS a BIAS
РЛ/"Руу ~ ^N *
где р и р вычисляются итеративно следующим образом:
Шаг I. Полагаем
1 N
R{Nl)= - X Г
Шаг 2. Пусть
- _*LS -BIAS
Шаг З. Полагаем
c{t)=y (Г)- ^)
и определяем
*Г(О= I- с (О -€(/ -nd)\.
Пусть
1 N I N
R^= - 2 ЛЮЛГ(Г), R{Nl2)= - 2
^ t~\ " t=i
260
Вычисляем
и повторяем с шага 2 до тех пор, пока процесс не сойдется.
Покажите, что эта процедура представляет собой алгоритм бутстрепа A0.64) для метода
псевдолииейной регрессии G.99) с использованием АRARX-модели D.22).
ЮЕ.2. Рассмотрим структуру модели из задачи 5F.1. Получите выражение, позволяющее
вычислять градиент
10Е.З. Примените метод Гаусса-Ньютона A0.41) и A0.47) к задаче оценивания линейной
регрессии A0.1) с квадратичным критерием. Возьмите ц = 1.
10Е.4. Введите аппроксимацию
c(t, 0)** e(f, 5(l~I))+^rU»S(/~l))@ -0(/~!));
используйте ее в
VN{0,ZN)=— ? -e2(t,0) A0.78)
N j = i 2
и решите задачу минимизации по 0. Покажите, что это приводит к методу Гаусса-Ньютона (без
демпфирования) A0.41) и A0.47).
10Е.5. В задаче I0E.4 минимизируйте A0.78) при ограничении
Обсудите связь с методом Левенберга-Марквардта A0.48).
10Е.6. Пусть ^определяется соотношениями A0.24) и A0.25). Покажите, что
^„-i S (у it)- J4f|0)J= ^- S e*n(t),
где уп задается выражением A0.16).
10E.7. Рассмотрим ARX-модель
1 у (Г- 1)+. . . + апу (t -n) = bxu (t - 1) + . . .+ bnu (Г - n) + e(t).
Введите
\-y(t)
zu) - «ко
и покажите, как вычислять оценки д,- и?/ с помощью миогомориого алгоршма Левипсона, описан-
описанного в задаче 1 ОС*. 1.
10Е.8. Покажите, что для решетчатого фильтра
У nit \On) = ~plrt(t- l)-p2 rAt - \)~ ...-pnrn(t - 1).
Вычислите матрицу ковариаций л;1я р/ (Is !,...,«).
ЮЕ.9. Примените метод A0.68) к ARARX-модели A0.66). Проследите его работу шаг за
шагом и покажите, что он состоит из последовательности задач нахождения оценок МНК в соче-
сочетании с простыми процедурами фильтрации. (Это - обобщенный МНК, исследованный Кларком
] 82]. См. также] 365].)
10Т'Л.Преобразования Хауехолдера. Преобразование Хауехолдера задается матрицей
Q = l - 2wwTy
где w - вектор-стол бен с единичной нормой. Покажите следующее:
261
a) Q — симметрична и ортогональна.
b) Пусть х - произвольный вектор. Тогда существует такая симметрическая ортогональная
матрица Q, для которой
П
L0.
Qx = \x
с) Пусть А - n X 771-матрица, п> т. Тогда существует ортогональная матрица
которая является произведением матриц, задающих преобразования Хаусхолдера, и для которой
QA
.
oj'
где R - квадратная верхняя треугольная т X т-матрица (см. книгу Лоусопа и Xaucoua [228]).
10Т.2. Рассмотрим систему
и модель ARMАХ-структуры
A (q)y(t)=B(q)u (t)+C(q)e(t)
с полипомами, порядки которых не меньше порядков соответствующих полиномов истинной
системы. Положим
D
()
Re : >0
СЛе1")
Покажите, что критерий ошибки предсказания
Ёе2(Л 0)
не имеет ложных локальных минимумов по в (=¦ D ; это означает, что
B(q) B0(q) C(q) C0(q)
K'@)=O и eeZ) -> = , = .
•* A(q) A0(q) A (q) A0(q)
10T.3. Рассмотрите метод A0.68) минимизации A0.67) для билинейной параметризации.
Запишите A0.68) в ииде A0.41) с блочио-диагоналыюй матрицей /?д/ . Таким образом, A0.68),
действительно, является методом спуска, который будет сходиться к локальному минимуму.
10D.1. Докажите соотношения A0.32). Указание: по определению
— 2 en(t)y(t-k)=O, \<,k<n
N t-\
(невязки не коррелируют с регрессорами; см. рис. II. 1).
10D.2. Используя задачу 10G.1. получите решетчатый фильтр для многомерного сигнала z (t).
10S.1. Напишите макропроцедуру
V, и, T1D,
вычисляющую ошибки предсказания е и 1радиенты ^ для заданного вектора параметров ТН в
структуре D.34) (см. задачи 4S.1 и 4S.2 и A0.55)).
Напишите макроироцедуру
g = GNDIR (psi, e).
вычисляющую направление Гаусса- Ньютона
g = I S ^ (Г) ^ (/) ] l S ф (t) e (t)
t=l f^I
(ср. с A0.40), A0.41) и A0.46)). Г.сли показатель обусловленности обращаемой матрицы
превышает некоторый порог, включите регуляризацию A0.48). Это удобно сделать, образовав
262
матрицу
*=[*// A), ...,ф (N)]T
и вектор
?«[e(l),...,e (N)]T
и решив относительно ? переопределенную систему линейных уравнений
с помощью МНК из раздела 10.1.
Напишите макропроцедуру
ТН1 = SEARCH (у, и, ТН,?),
оценивающую Кдг @, Z ) при
0 = ТН' = ТН + Аг*& к= 1,1/2, 1/4,...
до тех нор, пока не найдется ТН' = ТН1, для которого VN(TU\, ZN) < VN(T\l ZN) (см. A0.42)).
Напомним, что \ = КдКТН, Z ) должна быть компонентой ТН.
Объедините эти три макроподпроцедуры в одну макропроцедуру
ТН1 = GN {у, и, ТН, eps, maxiter),
реализующую A0.41) до тех пор, пока нормам не станет меньше, чем eps, или пока не будет
достигнуто максимальное число итераций. Начальное значении 6QN = ТН. При выходе из ТН1
получаем также оценки матрицы ко вар наций (9.18) и (9.19).
10S.2. Напишите макропроцедуру
THI = INIVAL (у, и, па, nb, nc, nd, nf, пк)9
которая реализует процедуру определения начальных условий A0.75) для модели общей струк-
структуры D.34). Используйте ваши макропроцедуры, реализующие МНК и метод инструментальных
переменных. Объедините INIVAL и GN в макропроцедуру
ТН = РЕМ {уу и, па, пЪ, пс, ndt nf, nk)
для идентификации общей структуры D.34) методом ошибки предсказания.
10С.1. Используя ваши данные из задачи 7С.1 и ваши программы из задачи 10S.2, получите
оценки моделей различных структур семейства D.34).
Глава 11
МЕТОДЫ РЕКУРРЕНТНОГО ОЦЕНИВАНИЯ
11.1. Введение
Во многих случаях необходимо или полезно иметь в распоряжении модель систе-
системы, способную работать в реальном масштабе времени. При этом модель не должна
основываться на будущих измерениях. Необходимость в формировании таких моде-
моделей обычно возникает из-за того, что модель нужна ;;ля вынесения некоторых сужде-
суждений о системе во время ее работы. Вопросы могут быть следующими:
— Каким следует выбрать входное воздействие на следующем шаге?
— Как следует настраивать параметры подобранного фильтра?
— Каковы наилучшие предсказания нескольких следующих значений выходной
переменной?
— Имеет ли место разладка и, если да, то какого тина?
Методы, предназначенные для решения подобных проблем с использованием
настраиваемых моделей некоторого типа, обычно называются адаптивными (см.
263
рис. 11.1). В этом смысле говорят об адаптивном управлении, адаптивной фильтра-
фильтрации, адаптивной обработке сигналов и адаптивном предсказании.
Вычисление результатов работы модели в реальном масштабе времени должно
производиться таким образом, чтобы обработка измерений на каждом шаге всегда
завершалась до начала следующего шага. В противном случае, построенная модель
не сможет справиться с потоком информации.
Методы идентификации, удовлетворяющие этому требованию, будут здесь на-
называться рекуррентными методами идентификации, поскольку измеряемые входо-
выходные данные обрабатываются рекуррентно (последовательно), в порядке их
\ t
Систепа
Решение
л
Модель
\
\
Рис. 1J.L Адаптивные методы
поступления. Часто для таких методов используют также термины идентификация
в реальном масштабе времени или но текущим данным, адаптивное оценива-
оценивание параметров или последовательное оценивание параметров. Кроме использования
рекуррентных методов в адаптивных схемах, они важны также по следующим двум
причинам:
1. Обычно, как будет видно, они порождают свою оценку дисперсии параметров.
Это означает, что можно контролировать поступление данных и обрабатывать их
до момента достижения достаточной точности модели.
2. Оказывается, что алгоритмы этой главы составляют, кроме того, достойную
конкуренцию оценкам параметров в ситуациях, когда оценивание производится по
накопленным данным, (см. раздел 10.3.)
В данной главе будут рассмотрены вопросы формирования рекуррентных алго-
алгоритмов идентификации, выяснения их свойств, а также вопросов их практического
применения. Для начала опишем формальное требование вычисляемости за конеч-
конечное время.
Структура алгоритма. Определим общий метод идентификации как отображение
множества данных Z* в пространство параметров G.7):
fl, = F(t,Z<), (Ц.1)
где функция F может быть задана явно (например, как аргумент, минимизирующий
некоторую функцию). Такого рода общее выражение A1.1) не может быть исполь-
использовано в рекуррентном алгоритме, поскольку подсчет значения функции F может
включать необозримое количество вычислений, которые, возможно, не будут завер-
завершены до начала следующего шага. В противоположность этому рекуррентный алго-
алгоритм должен подчиняться следующим соотношениям:
264
Здесь X(t) — вектор фиксированной размерности, представляющий некоторое
"информационное состояние"; функции Н и h заданы явным образом, и их значе-
значения могут быть вычислены посредством конечного числа вычислительных операций,
известного априори. Таким образом, можно быть уверенным, что Qt вычислится
до начала следующего шага алгоритма.
Так как информация, содержащаяся в последней паре измерений y(t), w(r),
обычно мала по сравнению с информацией, полученной в результате обработки
предыдущих измерений, алгоритм A1.2) как правило принимает более конкрет-
конкретный вид:
i +7бв(*@ У{*) "(г)) (П 3)
где у и fi - малые числа, отражающие относительное количество информации в по-
последних измерениях.
11.2. Рекуррентный алгоритм наименьших квадратов
В этом разделе будет рассмотрен метод наименьших квадратов как простой,
но в то же время наиболее типичный случай. Полученные алгоритмы и понимание
их специфики послужит основой рассуждений в следующих разделах.
Взвешенный критерий наименьших квадратов. В разделе 7.3 вычислялась оцен-
оценка, минимизирующая взвешенный критерий наименьших квадратов:
ef=argmin 2 №,k)[y(k)-*T(kH]2. A1.4)
0 k = l
Она задается соотношением G.42):
0,-Я @/@, ' (П.5а)
P(t.k)>p(k)spT(k)9 A1.5b)
A1.5c)
k=l
Чтобы произвести вычисления A1.5), следовало бы в момент времени t обра-
образовать указанные матрицу и вектор по данным Z* и затем найти A1.5а). Если бы
А
ранее была вычислена оценка 0t_i, непосредственной помощи от этого не было бы.
Л А
Однако из рассматриваемых выражений ясно, что 0Г и 0r_i взаимосвязаны. Попы-
Попытаемся использовать эту взаимосвязь.
Рекуррентный алгоритм. Допустим, что последовательность весов имеет следую-
следующие свойства:
r)/J(r-l,*), 1<*<г-1,
№.t)*l. ( 6)
Это означает, что можно записать
p(t,k)= П Х(/). . A1.7)
265
Позднее мы обсудим значение этого предположения. Заметим, однако, что при этом
R(t) = \(t)R(t - 1) + *(t)vT{t), A1.8a)
fit) = \(t)f{t ~l) + *(f)v(/). A1.8b)
Отсюда
= R-l(t)[\(t)R(t-
Имеем
в, = вг_1 +^-I(O^(Ob(O-^r(Oef-iJ, A1.9a)
Д@ = X(/)/?(r ~ 1) + *(г)Л), A1.9b)
что и представляет собой рекуррентный алгоритм, удовлетворяющий требованию
A1.2): в момент времени / - 1 запоминается только конечномерный информацион-
информационный вектор X(t - I) = (Qr_},R(t - 1)). Так как матрица R симметрична, размер-
размерность X равна d + d(d + 1)/2. В момент времени / этот вектор нересчитывается в
соответствии с (J1.9), что требует определенного фиксированного количества вы-
вычислений.
Вариант алгоритма с рекуррентным обращением матрицы. Чтобы избежать
обращения матрицы R(t) на каждом шаге, удобно ввести
и применить к A1.9b) лемму об обращении матриц
[A +BCD]-1 =А'1 -A-lB[DA-lB + C-l}DA~l. A1.10)
Выбирая А = X(t)R(t - 1), В = DT = yp(t) и С = 1, получим
Более того, имеем
Таким образом, приходим к следующему варианту алгоритма:
^l)], A1.12а)
/(r 1M0
1 ?@в \л ' (ИЛ»)
i Х(г) +^@^-1)^@
! г p(t-i)<p(t)<pT(t)P(t-\) 1 /
/>@= /»(r-l) /X(f). A1.12c)
266
Здесь мы перешли к обозначению 0 (t) вместо 0Г) чтобы подчеркнуть определенное
их различие из-за влияния начальных условий (см. далее) .
Вариант алгоритма с нормализацией коэффициента усиления. Величина матрицы
R(t) в A1.5Ь) и A1.9) будет зависеть от X(t). Для более ясного выявления сте-
А
пени изменения, которому подвергается оценка О Г_Х в A1.9а), поучительно норма-
нормализовать R(t) следующим образом:
Л(г) = 7(г)Л(г), 7@ =[ ipit.k)]'1. A1.13)
/с = 1
Заметим, что в соответствии с A1.6)
1 Х(г)
= —-1— + 1 A1.14)
7@ 7(Г-1)
и R(t) равна теперь средне-взвешенному арифметическому величин у(к)крт(к).
Из (ll.9b) и A1.14)
= 7@ [ МО Л(г - I)
I)+ 7@
Тогда A1.9) можно переписать в виде
- I)]. •
Заметим, что с (г) является ошибкой предсказания, соответствующей текущей
модели. Поскольку матрица R(t) нормализована, неременная y(t) может рассмат-
рассматриваться как пересчитываемый размер шага или коэффициент усиления алгоритма
A1.16). Сравните также с A1.3).
Начальные условия. Чтобы воспользоваться рекуррентными алгоритмами, необ-
необходимо определить их начальные условия. Правильными начальными условиями в
(I 1.9) в момент времени г = 0 должны бы быть R@) = 0, 0о - произвольно, что
соответствует определению R. Однако их нельзя использовать. Тогда можно начи-
начинать алгоритм только в момент г0, когда R(t0) становится обратимой (обычно
f0 ^ d) .и затем использовать
0(
/с = 1
'о
Ou = P(t0) 2 P(ro.k)>p(k)y(k). A1.18)
К ~ I
л
Более простая возможность состоит, однако, в использовании Р@) = Ро и 6@) =
= 0, в A1.12). Это дает
У /'1 X
X [/J(f,0)/VO/+ Z PV.k)<p(k)y{k)], A1.19)
л -1
267
где /3(г, 0) определена соотношением A1.7). Очевидно, если Ро велика или вели-
велико г, то разница между A1.19) и A1.5) незначительна.
Многомерный случай(**. Рассмотрим теперь многомерный случай взвешенных
наименьших квадратов (ср. с G.43) и G.44))
0t = argmin - I P(t, к) [y(k)-*T(kH]TAj;l[y(k)-.pT(kHl A1.20)
в 2 к~\
где /3(г, к) удовлетворяет A1.6). Проводя вычисления, полностью аналогичные
сделанным ранее, получаем многомерный вариант A1 Л 2)
г
L
1 A1.21)
/>(/)= —-{P(t-l)-P(t-))*(t)X
МО
и A1.16):
e(t) = y(t)-,pT(t)Hr-l),
d ' (П.22)
Заметим, что эти выражения полезны также для скалярных систем, когда в A1.4)
используется взвешенная норма с
/J(f,*)= П X(y>ft. A1.23)
/с + 1
При этом скаляр а* соответствует Ajf1. л
Асимптотические свойства оценки. Так как оценка 0(г), вычисленная с по-
помощью рекуррентного алгоритма наименьших квадратов, отличается от оценки по
накопленным данным всего лишь начальными условиями, как показано в A1.19),
ее асимптотические свойства будут совпадать со свойствами оценок, представлен-
представленных в гл. 8 и 9.
Интерпретация с помощью фильтра Калмана. Фильтр Калмана, предназначенный
для оценивания состояния системы
определяется уравнениями D.91) и D.92). Линейная модель регрессии
лежащая в основе наших вычислений, может быть представлена в форме A1.24):
Применяя к A1.25) фильтр Калмана с f (f) = I, H(t) = *рт(г), Rt(t) =
= 0[= Ew(t)wT(t)], Ev(t)vT(t) = R2(t) получим теперь в точности A1.21) с
= 1 и Л, =*,(/).
268
Это дает важную информацию, а также некоторые практические-рекомендации:
1. Если шум v(t) в A1.25) белый и гауссовский,то,как следует из теории кал-
мановской фильтрации, апостериорное распределение в (t) при заданном Z*~l яв-
является гауссовским со средним значением в (t) и матрицей ковариацип P(t), опре-
определяемой выражением A1.21) с Х(г) =1 и \t = R2(t).
2. Более того, начальные условия можно интерпретировать таким образом,
А
что 0@) является средним, а Р@) — матрицей ковариаций априорного распределе-
распределения. Проще говоря, это означает, что 0 @) является предполагаемым значением век-
вектора параметров до наблюдения данных, а Р @) отражает нашу уверенность в этом
значении.
3. Кроме того, естественный выбор нормирующей матрицы состоит в том, что
она полагается равной матрице ковариаций шума в уравнении ошибки. В скалярном
случае при переменном at = Ev2(t) в качестве весов в критерии A1.4) следует ис-
использовать 0(k,k) =ak (ср. с A1.23)).
Отслеживание нестациоиарностей. Важной причиной использования адаптивных
методов и рекуррентной идентификации на практике является то, что свойства
системы могут изменяться со временем, и алгоритмы идентификации должны от-
отслеживать эти изменения. Это достигается естественным образом путем назначения
в критерии A1.4) меньших весов более старым измерениям, которые уже мало
информативны. В терминах A1.6) это означает, что выбирается Х(/) < 1. В част-
частности, если X (/) = X, то
/J(r, *)=Х'-*, . A1.26)
и старые измерения в критерии экспоненциально затухают. В этом случае X часто
называют фактором забывания. Тогда, в соответствии с A1.14), величина у (г)
равна
7@ = 7= 1-Х. A1.27)
Все это приводит к тому, что в алгоритме A1.12) или A1.16) размер шага, или
коэффициент усиления, не будет убывать до нуля. Более детально это обсужда-
обсуждается в разделе 11.6.
Другая, более формальная альтернатива учета нестационарности состоит в посту-
постулировании того, что истинный вектор параметров в A1.25) не является постоян-
постоянным, а изменяется по закону случайного блуждания:
0(r+l) = 0(r) + w(f), ?\v(r)w:r(r) = /?1@, A1.28)
где w— белый шум, a Ev2(t) = R2(t). При этом фильтр Калмана по-прежнему
позволяет вычислить условное математическое ожидание и ковариацию 0 (t) как
-l)], A1.29а) 1
P(t- l)^(r)
> A1.29b) ;
t)P{t-\Mt) |
j P{t) P{t\) ^ >y w - + ^A). A1.29c) I
L- ....... «»(о+/(о^-1ыо j
Отсюда видно, что в A1.29с) появился аддитивный член Л,(г), не позволяющий
коэффициенту усиления L (г) стремиться к нулю.
269
11.3. Рекуррентный метод инструментальных переменных
Оценка для фиксированных (не зависящих от модели) инструментальных пере-
переменных определяется выражением G.104). Вводя веса аналогично A1.5), получим
в^-л-Чо/О. (изо)
где
k=tl A1.31)
= S p(
Эти соотношения тесно связаны с A1.5), поэтому рекуррентное вычисление 6t
полностью аналогично вычислению 0^s. Вместо A1.12) получаем
A1.32а) |
Асимптотические свойства. Если не учитывать возможного влияния начальных
/\
значений, оценка в (г) , вычисляемая в A1.32), совпадает с оценкой по накопленным
данным A1.30). Следовательно, ее асимптотические свойства определяются резуль-
результатами исследований, представленными в гл. 8 и 9.
11.4. Рекуррентные методы ошибки предсказания
Аналогично случаю взвешенных наименьших квадратов рассмотрим взвешенный
квадратичный критерий ошибки предсказания
Vt@,Zf) = y(t)- S p(tyk)e2(k,0) A1.33)
Zt к — 1
с Р и у у задаваемыми выражениями A1.6) и A1.13). Заметим, что
S y(t)p(t,k)=U
и градиент по в, как в A1.15) , имеет вид
;' 2 /J(rf *)*(*, O)e(ftf0) =
МО——77 v't-i (О,г'-х)-ф(г,о)€(г,о)\ =
= F/_j @, Zf~!) + 7(r) [ —д// (r, O)e(t, 0)- V\^x @, ZT~1)]. A1.34)
При оценивании на основе метода ошибки предсказания поисковый алгоритм
имеет общий вид A0.41):
A1.35)
270
Здесь индекс t означает, что оценка основана на t данных (т.е. на Zr). Верх-
Верхний индекс (?) обозначает /-ю итерацию процедуры минимизации.
Допустим, что на каждой итерации / производится еще одно измерение данных.
Это привело бы к алгоритму
в/_д[Лг Vt{e^\Z\ A1.36)
Для упрощения обозначений введем
0(О = 0(Л Д@ = Я,(О- A1.37)
Л
Сделаем теперь предположение индукции, что в (г — 1) действительно минимизирует
у\_хф((-\\г*~1) = ъ (П.38)
(безусловно, это будет выполняться приближенно) . Тогда из A1.34) имеем
V't(O{t - !), Zr)=-7W (Г, Ht - 1))е(Г, в (г - 1)). A1.39)
Используя эту аппроксимацию (и выбирая n(t) = 1), приходим, таким образом,
к алгоритму
e(t) = e(t-l) + y(t)R-1(tW(t,e{t-\))e(t,d(t-])). A1.40)
Ниже мы обсудим вкратце выбор R(t), но наш основной интерес связан теперь с
переменными ф (t/б (t - 1)) и e(t,6(t - 1)). Они выводятся из выражения для
предсказания y(t, в (г - 1)). В общем случае, вычисление у (t\ в) для произвольно
заданного значения в требует знания всей последовательности данных Zr~l. Для
конечно-мерных линейных моделей это означает, что y(t\6) образуется на выходе
линейного фильтра, коэффициенты которого зависят от 0. Это видно из основопо-
основополагающих соотношений A0.57) и A0.61). Отсюда следует, что ф(г,6(г - 1)) и
y(t\Q(t - 1)) не могут быть вычислены "рекуррентно" (т.е. при фиксированной
длине памяти). Это приводит к необходимости использования некоторой аппрокси-
аппроксимации указанных переменных. Естественным представляется следующий подход:
На каждом шаге рекуррентного определения ф(Г9 в) и у(г\ в) по Z* для про-
произвольно заданного в заменяем, в момент к, параметр имеющейся текущей
А А . А
оценкой 0 (к). Полученные приближения величин ф(г,6 (t — 1)) и y(t\ в (/ — 1))
обозначаем ф (t) и у (/) . A1.41)
Для конечно-мерной линейной стационарной модели A0.61) аппроксимация A1.41)
принимает вид
A1.42а)
ГКО].
A1.42b)
При выборе R(N), как в методе Гаусса—Ньютона A0.46) и A0.47), из правила
A0.41) получаем следующее приближение:
(к). A1.43)
Используя теперь в A1.40) соотношения A1.41) и A1.43), приходим к следующей
271
схеме:
| e(t)*y(t)-y(t), A1.44a) ~T
A1.44b) ]
!)]• A1.44c) ;
L . _ _ . ... ... ._. _. . j
Полученная схема A1.44) совместно с A1.42) представляет собой рекуррентный
алгоритм Гаусса-Ньютона метода ошибки предсказания.
Семейство рекуррентных методов ошибки предсказания. В зависимости от
выбранной структуры модели, а также от выбора R(t) схема A1.44Ь) соответ-
соответствует специальным типам алгоритмов, принадлежащих широкому семейству ме-
методов, которые будем называть рекуррентными методами ошибки предсказания.
Например, для линейной регрессии
имеем ф(г, в) = ф (г) = <p{t), и A1.44) превращается в рекуррентный метод наи-
наименьших квадратов A1.16). Применение градиентного варианта (R (г) = /) к той
же структуре приводит к алгоритму
0]<45)
где последовательность коэффициентов y(t) может быть заданной или нормализо-
нормализованной в соответствии с выражением
Эта схема широко использовалась, в частности, Уидроу и его соавторами для различ-
различных задач адаптивной обработки сигналов. (См. книгу Уидроу и Стернса [432].)
Для ARMАХ-модели имеем следующий пример.
Пример 11.1. Рекуррентный метод максимального правдоподобия.
Рассмотрим ARMAX-модель D.15). Введем <р(Г, 0) как в D.20) . Тогда
}'U I 0) = ^Г(Г, 6H, е(Г. 0) = v(f) -y{t\ 0),
*<f, 0) + с,^(Г- M)+ • • * + Oicv(' nc,0) = <p(t,0)
(см. A0.53)). При этом правило A1.41) даст следующие приближения:
МО = >•(/)-Л)в(г), A1.47)
-..-,У(Г -na)u{t - ])...u(t-nb)^(t - \).. .l(t - пс)]т,
- 1), e(t)=y{t) -Я0, A148)
с,(г- с
и алгоритм принимает вид
О- A1.49)
Эта схема известна как рекуррентный метод максимального правдоподобия и исследовалась
Остремом [22] и Седсрстремом 1364]. _
Отметим различие между ("ошибкой предсказания") e(t) и ("невязкой") c(f). Послед-
Последняя величина является компонентой вектора \р (г + 1), и ее значение не требуется при вычислении
в (Г). Следовательно, естественно проводить различие между указанными величинами (ср. с
[262, раздел 5.11]).
Аналогично применение метода Гаусса—Ньютона ошибки предсказания к
ARARX-структуре D.22) порождает другой рекуррентный метод максимального
правдоподобия, полученный Гертлером и Бенешем [131], в то время как этот же
272
алгоритм с блочно-диагональной структурой матрицы R(t), введенный в [174]
принято называть рекуррентным алгоритмом обобщенных наименьших квадратов.
См. также табл. 11.1 в разделе 11.5.
Применение рекуррентного метода ошибки предсказания к моделям в простран-
пространстве состояний тесно связано с хорошо известным расширенным фильтром Калмана,
как отмечается в [247]. Таким образом, алгоритм A1.44Ь) порождает как частные
случаи богатый спектр конкретных, имеющих "имя" алгоритмов. Одним из его
основных достоинств является также возможность широкого применения. Един-
Единственное требование к структуре модели состоит в вычисляемости градиента ф.
Проекция на DH. Структура модели корректно определена только для 0 €/)д,
когда предсказатели устойчивы (т.е. модель соответствует множеству параметров 0,
для которых матрица Л в A1.42) устойчива). При минимизации критериальной
функции в режиме оценивания по накопленным данным это следует учитывать как
ограничение. То же самое справедливо и относительно рекуррентной минимизации
A1.44). Наиболее простой способ состоит в проектировании оценок на множество
Ьи, например, следующим образом:
f в9 (г), если 0'(r)GZ)u,
0@ = л а A1.50)
I 0(t- 1), если d'(t)?DM.
Введенные в A1.50) дополнительные вычислительные трудности связаны с про-
проверкой условия устойчивости d'(t) e Dl{. Оказывается, что для успешного функцио-
функционирования A1.44) проверка типа A1.50) необходима. Однако, как показывает
опыт, проектирование обычно имеет место только на нескольких начальных шагах.
Следовательно, при игнорировании соответствующих данных в A1.50) происходит
умеренная потеря информации.
Асимптотические свойства. Рекуррентный метод ошибки предсказания A1.44)
построен таким образом, что пересчет "в среднем" производится в модифицирован-
модифицированном направлении антиградиента функции
т.е.
d -
- К@) = -Еф (Г, 0)e(f, 0).
dd
А
Поэтому естественно ожидать, что 0@ будет сходиться к локальному минимуму
функции К@). Фактически это имеет место при выполнении соответствующих
условий регулярности [249]. Более того, для метода Гаусса—Ньютона ошибки
предсказания с у (t) = \/t можно показать, что 0 (г) имеет асимптотически нормаль-
нормальное распределение, совпадающее с асимптотическим распределением оценки по на-
накопленным данным (см. (9.17)). Таким образом, имеем А
- Если R(t) > 5/, б > 0 и 7@ ~*0 при г ->°°, то с вероятностью 1 в (t) схо-
сходится к локальному минимуму функции V(в) = ?е2(г,0)/2. (Меры, обеспечиваю-
обеспечивающие условие R(t) > 6/, называются регуляризацией и обсуждаются в разделе 11.7.)
- Допустим, что $?Jt (см. (8.10)) и что 0 (Г) сходится к параметру 0О.
Допустим, что используется метода Гаусса-Ньютона ошибки предсказания
273
A1.44b, с) с 7@ = 1/г. Тогда
По поводу техники доказательства и дальнейших результатов см. Приложение 11 А.
Общие нормы, многомерный случай**' . Введение общего критерия
где dime = dim у = p, приводит к методу Гаусса-Ньютона ошибки предсказания
2
0]
Здесь 1'с - р X 1-вектор-столбец, i//(f) - d X р-матрица, a I'Je - р X р-матрица.
Случай явной зависимости от 0 функции / аналогичен.
11.5. Рекуррентные псевдолинейные регрессии
Рассмотрим псевдолинейное представление предсказателя G.98)
У(г\О) = *т{г, 0H A1.53)
и напомним, что эта структура модели включает в себя среди других моделей об-
общую линейную модель с одним входом и одним выходом D.33). Оценивание в в
A1.53) методом бутстрспа осуществляется в соответствии с A0.64):
™ (\ A1.54а)
T(*.0(/"l)), A1.54b)
Р()Л)(). A1.54с)
A: = I
Здесь произведена замена равно-взвешенных сумм в A0.64) суммами с произволь-
произвольными весами, аналогично A1.33).
Используя тот же подход, как и для рекуррентного метода ошибки предсказа-
предсказания (новая итерация делается в момент получения очередного измерения в предполо-
предположении, что предыдущая оценка является решением уравнения f(_{(Q(t— l),Zr-l) =
= 0), получаем из A1.54)
A1.56а)
- 1)]. A1.56b)
С этим алгоритмом связана та же проблема, что и с алгоритмом A1.40): подсчет
Л А
величин \p(t, в(г - 1)) и е(г, 0(Г — 1)) обычно не может быть осуществлен рекуррент-
рекуррентным образом. Однако эта проблема решается тем же способом, что и для рекуррент-
рекуррентных методов ошибки предсказания. При этом, аналогично A1.47), в качестве нриб-
А
лижения для <р(г, в (г - 1)) формируется вектор </>(/), в котором вместо явно входя-
входящего параметра в подставляются рекуррентно вычисляемые величины. В результате
274
Таблица 11.1
Классификация некоторых рекуррентных схем идентификации*
Структура модели
-h
Рекуррентный метод ошибки пред- Рекуррентный метод псевдолиней-
ания ной регрессии
ARX
ARMAX
Рекуррентный МНК Рекуррентный МНК
Рекуррентный метод максимально- Расширенный МНК [315, 445 ]
го правдоподобия [364]
Обобщенный метод наименьших [46]
квадратов [131, 174]
EMM-алгоритм [406]
Модель с ошибкой [429] [226]
на выходе
Модель Бокса -
Джснкинса
*Сравнитс с табл. 4.1.
ARARX
ARARMAX
[449]
получаем рекуррентную псевдолинейную регрессию:
"I
e{t)=y(t)-y{t\
(П.57)
Этот алгоритм внешне выглядит так же, как рекуррентный алгоритм наименьших
квадратов A1.16). Таким образом, для его реализации можно использовать то же
программное обеспечение. Различие состоит в том, что <p(t) в A1.57) содержит
компоненты, формируемые по данным с использованием прошлых моделей. Это,
безусловно, влияет на свойства сходимости схемы (см. далее).
Заметим, что для структуры модели A1.53) единственное отличие рекуррентно-
рекуррентного метода псевдолинейной регрессии от рекуррентного метода ошибки предсказания
состоит в том, что ф в A1.44с, d) должна быть заменена на ^j. Для общей структуры
модели с одним входом и одним выходом D.33) соотношение между ф и $ задаст-
задастся выражением A0.55).
Семейство рекуррентных методов псевдолинейной регрессии. Применение схемы
псевдолинейной регрессии A1.57) к различным частным случаям A1.53) порождает
семейство хорошо известных алгоритмов. Случай ARMAX-модсли является, возмож-
возможно, наиболее известным среди них. При задании y(t) в соответствии с A1.47) алго-
алгоритм A1.57) образует схему оценивания параметров ARMAX-модсли. Эта схема
известна как расширенные наименьшие квадраты. Другие частные случаи приведе-
приведены в табл. 11.1.
Асимптотические свойства. Результаты по сходимости схемы рекуррентной
псевдолинейной регрессии A1.57) были представлены только для частных случаев
табл. 11.1. В связи с отличием от рекуррентного метода ошибки предсказания в том,
что ф заменяется на </>, можно догадаться, что свойства сходимости будут зависеть
от соотношения между этими двумя векторами.
Для ARMAX-структуры имеем из A1.48)
1
C(q)
275
Фактически оказывается, что достаточное условие сходимости оценки расширенных
наименьших квадратов к истинному значению параметра (S^JC) состоите том, что
1 1
Re :—>- Vu, A1.58)
C0(eIW) 2
где C0(q) — С-полином истинного описания системы. Условие A1.58) часто выра-
выражают словами "фильтр A/С0(<?)) - 1/2 имеет положительную действительную часть",
причем его можно трактовать как условие близости C0(q) к единице (см. зада-
задачу 11 Е.4) . Если рекуррентный метод псевдолинейной регрессии применяется к струк-
структуре модели с ошибкой на выходе D.25) (схема Ландау), соответствующее условие
сходимости принимает вид
1 1
Re : > 0.
W) 2
Ссылки и дальнейшие рассуждения и результаты даны в Приложении 11 А.
11.6. Выбор схемы пересчета шага
Алгоритмы рекуррентной идентификации (Ц.44) и A1.57) в значительной сте-
степени определяются своими нерекуррентными прототипами. Вычисление предсказания
выводится из соответствующей структуры модели, а вопрос о выборе y(t) или ф(Т)
связан с выбором между методом ошибки предсказания и корреляционным подхо-
подходом. Остается открытым вопрос о величине 7@^~Ч0» изменяющей направление
пересчета оценки и определяющей длину шага. В этом разделе обсуждаются некото-
некоторые аспекты определения величин у (г) и R(t). (Для удобства обозначений приво-
приводятся выражения для рекуррентного метода ошибки предсказания A1.44Ь). Ре-
Результаты для рекуррентного метода псевдолинейной регрессии аналогичны и полу-
получаются заменой <^(г) »а ф(г).)
Направление пересчета. Существуют две основные возможности выбора направ-
направления пересчета:
1. "Направление Гаусса - Ньютона", соответствующее матрице R (г), аппрокси-
аппроксимирующей гессиан исходного критерия идентификации:
R(t) = R(t-\) + y(t)[ф(t)Фт(t)-R(t-\)\. (П.59)
2. "Градиентное" направление, соответствующее матрице R (t), пропорциональ-
пропорциональной единичной матрице:
R(t)=\ф(t)\2I A1.60)
или
R(t) = R(t-\) + y(t)[\ф(t)\2I~R(t-\)]. A1.61)
Выбор между этими двумя направлениями можно охарактеризовать как выбор меж-
между скоростью сходимости и сложностью алгоритма. Очевидно, направление Гаусса -
Ньютона требует большего числа вычислений. Для пересчета y(t)R~1(t) ч как в
A1.12с) (см. также раздел 11.7), требуется осуществить вычислительные операции,
число которых пропорционально d2 и которые обычно будут составлять основной
объем вычислений в A1.44). Для реализации градиентного направления можно обой-
обойтись количеством операций на один пересчет, пропорциональным d.
С другой стороны, скорость сходимости для направления Гаусса - Ньютона
зачастую может быть значительно больше. Для случая постоянных параметров анализ
показывает, что это направление пересчета порождает оценки, асимптотическое рас-
распределение которых имеет ковариацию, равную нижней границе Крамера Рао (см.
276
A1.51)) . Для других направлений пересчета это не верно. Заметим, что этот теорети-
теоретический результат справедлив только для случая стационарной системы. При дрейфе
истинных параметров обычно результаты получаются лучше для другого направления
пересчета, согласованного с дрейфом параметров, как в A1.67) (см. [42]) .
Пересчет шага: улучшение свойств адаптации. Важной особенностью рекуррент-
рекуррентных алгоритмов, как отмечалось в разделе 11.2, является их способность отслежи-
отслеживать не стационарность системы. Обычно это достигается двумя способами:
1. Выбираем соответствующий профиль забывания j3(f, к) в критерии A1.33)
или выбираем подходящий коэффициент усиления 7@ в A1.44) или A1.57). Эти
два подхода эквивалентны в свете соотношений A1.7), A1.13) или A1.14), кото-
которые можно объединить следующим образом:
-~- П A-7G)), (П.62а)
7@ / = * + !
y(t- 1)
— 41-7@), (П.62Ь)
7@
7@ = , ww , — • A1.62c)
l+X(f)/7(*l)
2. Вводим предполагаемую матрицу ковариаций R\(f) для изменения парамет-
параметров за один шаг в A1.29с). Это увеличит матрицу P(t) и, следовательно, вектор
коэффициентов усиления L @ •
В обоих случаях выбор пересчета шага или "усиления" в алгоритме является
компромиссом между способностью отслеживания и чувствительностью к шуму.
Большой коэффициент усиления означает, что алгоритм быстро реагирует на изме-
изменения параметров, но в то же время чувствителен к помехам, присутствующим в
данных, поскольку они ошибочно интерпретируются как признак изменения пара-
параметров. Этот компромисс можно обсудить более точно в терминах величин Х(г),
0
Выбор факторов забывания Х@- Выбор профиля забывания 0(г, к) концеп-
концептуально прост: в результате критерий, но существу, должен содержать те измерения,
которые относятся к текущим свойствам системы. Для системы, в которой проис-
происходят постоянные изменения, причем "стационарным образом", обычно выбирают
постоянный фактор забывания:
* Х; A1.63)
константа X всегда выбирается несколько меньше единицы, поэтому
^t}k)^e(t~k)m\^e-(t~k)(i-\) (И64)
Это означает, что более старые измерения, произведенные То = 1/A - X) шагов назад,
включаются в критерий с весом, составляющим е'1 - 36% от веса текущего измере-
измерения. Величину
То = —— (П.65а)
1 — Л
можно назвать постоянной времени забывания в критерии. Если система остается
примерно неизменной в течение То шагов, то A1.65а) позволяет определить соот-
соответствующее значение X. Поскольку интервал дискретизации обычно отражает естест-
естественное значение постоянной времени динамической системы, можно выбрать X
из условия соответствия величины 1/A —X) отношению постоянных времени изме-
277
нений в динамике и самой динамической системы. Обычно выбирают X в диапазоне
между от 0.980 и 0.995.
Можно также рассмотреть реакцию на внезапное изменение в истинной системе.
Если изменение произошло к шагов назад, отношение текущих к устаревшим членам
в критерии равно 1 — \к. Следовательно, реакция на одношаговое изменение в систе-
системе подобна реакции системы первого порядка с постоянной времени A1.65а). Для
неизменной системы, принадлежащей множеству моделей, из задачи 11А.6 следует,
что отклонение оценки от истинного значения ведет себя таким образом, что
E(e(t)-0o)F(t)-eo)T~ ^—\0[Е фA,6о)фт(г,во)Г1 - A1.65Ь)
Здесь Хо — истинная дисперсия обновлений. Оба выражения A1.65а) и A1.65Ь)
описывают в формальных терминах содержащийся в X компромисс между способ-
способностью к быстрому реагированию и чувствительностью к шуму.
Для системы, подверженной скорее прерывистым и внезапным, чем плавным
и медленным изменениям, можно сформулировать принцип адаптивного выбора X.
При обнаружении внезапного изменения в системе следует уменьшить за один шаг
\(t) до малой величины, "вырезая" таким образом прошлые наблюдения из крите-
критерия, а затем увеличить до значения, близкого к единице. Такие способы адаптивно-
адаптивного выбора X обсуждаются, например, в [120] и [159].
Выбор коэффициента усиления y(t). Вопрос о выборе коэффициента усиления
может быть решен на основе соответствующего выбора фактора забывания с ис-
использованием A1.62). Постоянный фактор забывания X приводит в пределе к пос-
постоянному значению коэффициента усиления
Аналогичным образом, мгновенное уменьшение в момент времени t0 значения X(f)
до малой величины и последующее увеличение до единицы соответствует мгновен-
мгновенному увеличению 7@ Д° значения, близкого к 1 (см. A1.62)), и дальнейшему
изменению но закону 7@ ^ 1/ (t — to) •
Поучительно также обсудить прямые способы выбора коэффициента усиления.
Интуитивно ясно, что коэффициент усиления должен отражать относительную ин-
информативность текущих наблюдений. Наблюдение, содержащее важную информацию
(по сравнению с уже известной) заслуживает большого коэффициента усиления, и
наоборот. Этот принцип полезен в различных ситуациях: доя стационарной системы
относительная важность единичного наблюдения затухает как 1/f. После существен-
существенного изменения в динамике системы относительная информативность наблюдений
возрастает. Измерение с большой шумовой составляющей имеет меньшую информа-
информативность и т.д. См. также задачу 11Е.З.
Учет модели изменения параметров. По аналогии с версией фильтра Калмана
A1.29) можно ввести предположение, что истинные параметры изменяются в соот-
соответствии с
6(t)=6(t-\) + w(t), A1.66a)
( A1.66b)
Если предположить, что дисперсия наблюдений равна R2(t), получим следующий
278
вариант общего алгоритма A1.44) :
Г O(t) = Ht-l)
e(t)=y(t)~y(t),
L(t)= ry-ЧПП A,.67)
P(r) = P(r-l)-
В случае модели линейной регрессии этот алгоритм обеспечивает оптималь-
оптимальный компромисс между способностью отслеживания и чувствительностью к шуму
в смысле минимума матрицы ковариации ошибки апостериорной оценки парамет-
параметров. (Это непосредственно следует из вывода фильтра Калмана, представленного в
оригинальной работе Калмана и Бьюси [207], что также отмечается в работах Бох-
лина [54] и Острема и Витенмарка [31].) Однако для других моделей алгоритм
A1.67) близок к оптимальному. По поводу эвристического вывода см. задачу 11Т.2.
Тем не менее, этот алгоритм достаточно хорошо работает в тех случаях, когда имеет-
имеется априорная информация о характере изменения параметров (например, когда
известно, что часть параметров изменяется более быстро, чем остальные). Алгоритм
полезен еще и тем, что P(t) представляет собой оценку дисперсии ошибки оценива-
оценивания с учетом изменений истинной системы. Для линейной регрессии с нормальными
помехами и нормальным дрейфом матрица P(t) точно равна матрице ковариации
А
апостериорного распределения 0(г), причем среднее значение равно в(г). См. также
A1.29).
Случай, когда параметры подвержены изменениям, которые сами имеют неста-
нестационарный характер (т.е. Ri(t) в A1.66) существенно зависит от г), может быть
рассмотрен путем введения параллельного алгоритма, как описано в [9].
Неизменные системы. Для стационарной системы естественный профиль забы-
забывания состоит в выборе Х(г) = 1 или 7@ = 1/л Однако оказывается, что для мно-
многих рекуррентных алгоритмов (исключая рекуррентные наименьшие квадраты)
скорость сходимости на начальных шагах существенно улучшается при введении
фактора забывания, увеличивающегося, скажем, от 0.95 до 1 в течение первых
500 шагов:
Х(г)= 1-@.05).@.98)'. (П.68)
Причина, очевидно, связана с тем, что нельзя злоупотреблять информацией, содер-
содержащейся в начальных наблюдениях, и следует, таким образом, ввести в критерий
меньший вес для более старых измерений, что приведет к улучшению способа об-
обработки информации (фильтры, соответствующие A1.42) становятся при этом
более точными).
11.7. Реализация алгоритмов
Основной, общий алгоритм Гаусса — Ньютона был представлен в форме A1.44)
или A1.57). В таком виде он неудобен доя непосредственного применения из-за
необходимости обращения на каждом шаге d X ^-матрицы R (t). В данном разделе
обсуждаются вопросы наилучшей реализации рекуррентных алгоритмов. Более под-
подробное обсуждение изложено в книге Льюнга и Седерстрема [262, гл. 6].
279
Использование леммы об обращении матриц. Применяя лемму об обращении
матриц A1.10) к A1.44), аналогично A1.11) получим алгоритм (для случая вектор-
векторного выхода)
. A1.69а)
A1.69b)
, A1.69с)
A1.69d)
Здесь r](t) (d X р-матрица) представляет собой либо <р, либо ф в зависимости от
реализуемого подхода. При такой форме алгоритма размерность обращаемой матри-
матрицы равна только р X р. Таким образом, сокращение вычислений но сравнению с
A1.44) существенное. К сожалению, рекуррентное уравнение по Р A1.69d) (факти-
(фактически, это уравнение Риккати) не состоятельно с вычислительной точки зрения:
оно чувствительно по отношению к ошибкам округления, которые могут накапли-
накапливаться и привести к искажению.
Использование факторизации. Как отмечалось в разделе 10.1, удобно представ-
представлять матрицы данных в факторизованном виде (см. A0.8)), что позволяет работать
с лучше обусловленными матрицами. Для рекуррентной идентификации это означает,
что P(t) представляется как произведение матриц, и A1.69d) заменяется алгоритма-
алгоритмами пересчета этих матриц вместо Р. Удобно представить
Tt), A1.70)
что для треугольной матрицы Q является разложением Холецкого, либо использовать
U-D факторизацию
= U(t)D(t)UT(t), A1.71)
в которой U(t) - верхняя треугольная матрица с единичными диагональными эле-
элементами, a D{t) - диагональная матрица. Алгоритм пересчета Q(t) в A1.70) был
получен Поттером [327], а устойчивые в вычислительном отношении алгоритмы
для U и D в A1.71) были разработаны Бирманом [47]. Здесь будут изложены не-
некоторые детали соответствующих алгоритмов, непосредственно основанных на
преобразовании Хаусхолдера (см. задачу 10Т.1) и полученных Морфом и Кайла-
том [298].
Шаг 1. Пусть в момент времени t— 1 нижняя треугольная матрица Q(t— 1) яв-
является квадратным корнем из P(t -1), как в A1.70). Пусть д(г) —квадратный ко-
корень из Х@ Лг. Образуем (р +d) X (р + d) -матрицу
? \ 1. A1.72)
Шаг 2. Применяем ортогональное (р + d) X (р + d) -преобразование
Т {ТТТ = 1)
к S(t~ 1), при котором T§(t— 1) становится верхней треугольной матрицей. Матри-
Матрица Т может быть найдена, например, с помощью преобразования Хаусхолдера. Пусть
n(r),Z(r) и 2@ — Р Хр-,р X d- и d X ^-матрицы, определяемые соотношением
о сю.
(Очевидно, П и Q являются нижними треугольными.)
280
Шаг 3. Теперь для L (?) и P{t), как в A1.69с, d) имеем
-1(O,
T{t)l\{t), A1.74)
\(t)At + vT(t)P(t-lMt).
Следовательно,
A1.75)
Проверка. Умножение матрицы A1.73) на нее же транспонированную дает
ГП(г) О 1ПГ(Г) /7(г)|[П(г)Пг(г) U(t)LT(t)
- \)QT(t-\)n{t) 4T{t)Q(t-\)QT{t-\y
Q(t~ \)QJ\t- l)n(t) Q(t- \)QT(t- 1)
Используя тот факт, что Q(t - \)QT(t- 1) =/)(?-l) и fiT(t)n(t) = X(r)Af, и срав-
сравнивая с A1.69c, d), убеждаемся в справедливости уравнений A1.74).
Такой способ представления A1.69c,d) имеет несколько преимуществ. Во-пер-
Во-первых, единственным существенным с вычислительной точки зрения шагом является
шаг триангуляризации (или "ДО-ф^торизация") A1.73), для реализации которо-
которого существуют различные эффективные численные процедуры. Этот шаг дает как
новое значение (?, так и коэффициент усиления L после простых дополнительных
вычислений. Заметим, что 11(/) является треугольной р Хр-матрицей, так что ее не
слишком трудно обратить. Во-вторых, при подсчете A1.73) используются только
корни квадратные из Р. Значит, число обусловленности матрицы $(t — 1) много
больше, чем у Л В-третьих, при использовании треугольных квадратных корней
из Q(t) нетрудно ввести регуляризацию, т.е. предусмотреть меры, направленные на
обеспечение ограниченности собственных значений матрицы Р и ее положительной
определенности.
Решетчатые алгоритмы W . Соотношения A0.31) и A0.33) задают схему решет-
решетчатого фильтра, которая может быть применена при вычислении предсказаний для
моделей конкретных структур (см. также задачи 10Е.8 и 10D.2). Эта схема не яв-
является рекуррентной, так как переменные р„, en(t) и fn(t) на самом деле должны
иметь еще индекс N, отражающий их зависимость от всего набора данных через
A0.33), Представляется заманчивым подход, связанный с аппроксимацией еп (t)
и r^(t- 1) в A0.33) с помощью прошлых, уже вычисленных невязок е*„(г) и
rfn~l(t- 1). Тогда рп может вычисляться рекуррентно, и мы получаем следующую
схему:
Rn(t)
281
Этот алгоритм был разработан Гриффитсом [148] и Макхоулом [272] и полу-
получил название градиентный решетчатый алгоритм. Как было показано, он основан
на аппроксимации и, как следствие, не реализует точное значение оценки, вычисляе-
вычисляемой по накопленным данным. Интересно отметить, что ее можно получить посред-
посредством небольшой модификации схем пересчета Rer и Re. Это было показано Ли,
Морфом и Фридлапдером [229]. Ниже представлен полученный в результате ал-
алгоритм для случая многомерного сигнала z(t) в A0.13) (что включает приложения
к динамическим системам; см. задачу 10Е.7). Кроме того, в алгоритм введен пос-
постоянный фактор забывания X.
1. Начинаем при t = 0, полагаем:
Я*@):=6/, /?„(-!):=* 6/,
ЯГ(О):=О, г„@):=0,
/i = 0 Af -1.
2. В момент t - 1 запоминаем
Яя(*-1), /tf(f~0, *я('-2), гя(г-1), л = 0,...,М-1.
3. В момент г- 1 вычисляем для п = 0, .. . ,М— 1:
Pn(t-l):=-Rrn(t-l)T[Rn(t-2)]'\ (И77)
Pn(t~\)--Rrne(t~l)[Ren(t-\)\-1.
4. Для п = 0,. . ., М - 1 вычисляем
5. Вычисляем для п - 0,. .. , М - 1:
Rn(t-\) = \R»(t-2)+[\ -А,(г)]гя(г-1)г^(г-^1),
*«(O = X/?Ji(f- 0+ [1 --M0lMf)e,T(f),
/?„*(*) = X/CV- 1)+ [1 ¦- ft,(')K(f- ОеяГ(г),
2J -1),
6. Переходим к шагу 2.
Предсказание величины z(f), основанное на z(t- 1),..., z(t-n), задается,
таким образом, выражением
zn(t) = z(t)-en(t).
Оно может быть вычислено до получения z (t) путем представления A1.77:4Ь) в виде
2n@ = Zn_l(t) -Р^(Г -ОР»-,^ -1), 2о(О=О.
11.8. Заключение
Рекуррентные алгоритмы идентификации являются основой построения боль-
большинства адаптивных систем. Используя идею осуществления одной итерации числен-
численной процедуры поиска в тот же момент времени, в который приходит новое включае-
включаемое в критерий наблюдение, можно получить рекуррентный алгоритм из его не-
282
рекуррентного аналога. В некоторых частных случаях (например, для рекуррентных
алгоритмов наименьших квадратов и инструментальных переменных) это приводит
к алгоритмам, которые по накопленным данным вычисляют оценку рекуррентным
способом. Хотя, в общем случае, рекуррентность означает немаксимальное исполь-
использование информации, содержащейся в наблюдаемых данных.
Основываясь на описанной идее, можно выделить три основных общих класса
рекуррентных методов:
1. Рекуррентные методы ошибки предсказания; см. A1.44).
2. Рекуррентные методы псевдолинейной регрессии; см. A1.57).
3. Рекуррентные методы инструментальных переменных; см A1.32).
Для неизменяющихся систем асимптотические свойства рекуррентного метода
ошибки предсказания, использующего направление движения Гаусса - Ньютона, и
его нерекуррентного аналога, совпадают. Этот результат очень важен, поскольку он
означает, что обсуждение и результаты гл. 8 и 9, а также вытекающие из них практи-
практические рекомендации пользователю по выбору алгоритма, изложенные в части III,
справедливы также в отношении рекуррентных методов ошибки предсказания.
Сходимость методов исевдолинейной регрессии установлена при условии положи-
положительности действительной части некоторой передаточной функции, связанной с
истинной системой.
Проблема идентификации включает в себя выбор пользователем разнообразных
переменных и параметров. Большинство из них имеет отношение как к оцениванию
в реальном масштабе времени, так и по накопленным данным. Рекуррентные алго-
алгоритмы включают, кроме того, две важные величины, которые могут оказывать зна-
значительное влияние на качество оценок: вектор движения и коэффициент усиления.
Очевидно, для неизменяющихся систем направление Гаусса — Ньютона является
очень хорошим выбором, даже несмотря на возможность большего объема вычис-
вычислений по сравнению с другими направлениями. В качестве рекомендации по выбору
коэффициента усиления можно сказать, что он должен отражать относительное содер-
содержание информации в текущих измерениях.
Принципы рекуррентной идентификации, описанные в этой главе, можно с оди-
одинаковым успехом применять к "стохастическим" и "детерминированным" системам.
Различие, которое отчасти является семантическим, указывает на две возможности:
A) когда, формируя модель предсказания, можно применять некоторый вероят-
вероятностный механизм или попросту "угадывать", и B) когда, выбирая коэффициент
усиления, "относительное содержание информации" может формально интерпрети-
интерпретироваться как отношение сигнал/шум или более интуитивным образом.
11.9. Комментарии к библиографии
Всеобъемлющее изложение рекуррентной идентификации в рамках данной
главы имеется в книге Льюнга и Седерстрсма [262]. Монография Янга [448] содер-
содержит подробное исследование методов рекуррентного оценивания с акцентом на
методы инструментальных переменных. Уидроу и Стерне [432] основное внимание
уделили адаптивным методам обработки сигналов. Адаптивному управлению посвя-
посвящены, например, работы Острема [25], Ландау [227] и Гудвина и Сипа [142].
Раздел 11.2. Вывод рекуррентного алгоритма наименьших квадратов восходит
к работе Гаусса [128], как отмечается в Приложении 2 монографии Янга [448].
Более "ранней" из современных ссылок является работа Плаккета [323]. Связь
между рекуррентным алгоритмом наименьших квадратов и фильтром Калмана
обсуждалась Хо [177], Бохлином [54] и Остремом и Витснмарком |31].
Раздел 11.3. Рекуррентный метод инструментальных переменных подробно
обсуждается в работах Янга [445] и [448].
283
Раздел 11.4. Общий рекуррентный метод ошибки предсказания, представлен-
представленный здесь, был получен Льюнгом [249]. Рекуррентный метод максимального правдо-
правдоподобия A1.44) был получен Седерстрсмом [364] на основе идеи Острема [22].
Аналогичный алгоритм независимо был предложен Фухртом [126]. Мур и Вайс [296]
предложили общий рекуррентный метод ошибки предсказания, основанный на
несколько других предпосылках. Подробная библиография разветвлений этого
метода представлена в книге Льюнга и Седерстрема [262]. Асимптотическое распре-
распределение для рекуррентного алгоритма максимального правдоподобия обсуждалось
также Хэннаном [169] и Соло [382].
Раздел 11.5. По-видимому, первым рекуррентным алгоритмом псевдолинейной
регрессии была схема оценивания но методу расширенных наименьших квадратов,
разработанная Панюшкой [315] и Янгом [445]. Термин "псевдолинейная регрес-
регрессия" заимствован у Соло [380]. Анализ сходимости таких схем был выполнен Льюн-
Льюнгом [243], Муром и Лсдвичем [295] и Соло [381]. Классификация, представленная
в табл. 11.1, восходит к работе Льюнга [248].
Раздел 11.6. Этот раздел основан на гл. 5 книги Льюнга и Седерстрема [262].
Улучшение свойств адаптации и выбор размера шага обсуждалось также в работах
Бохлина [56],БенвенистеиРуже [42] и Вайса и Митры [424].
Раздел 11.7. Глава 6 книги Льюнга и Седерстрема [262] содержит более деталь-
детальное описание реализаций алгоритмов. Численные свойства схем изучались С. Льюн-
Льюнгом и Л. Льюнгом [267], Гроп, Джейн и Салахи [146], Мюллером [300] и Самсо-
Самсоном и Рэдди [352]. Алгоритмы быстрого вычисления вектора L(t) в A1.69) полу-
получены Льюнгом, Морфом и Фальконе [264] и обсуждались Караянисом, Манолакисом
и Калоуптсидисом [76], Чьоффи и Кайлатом [80] и Лином [236]. Литература по
решетчатым алгоритмам обширна. См., например, работы Ли, Морфа и Фридланде-
ра [229], Фридландера [123], Самсона [351] и монографию Хонига и Мессермид-
та [181].
Приложение ПА. Кроме ссылок, указанных в тексте, подход к анализу сходи-
сходимости рекуррентных алгоритмов, основанный на исследовании соответствующего
обыкновенного дифференциального уравнения, обсуждался также в работах Льюн-
Льюнга [246] и [250], Кушнера и Кларка [222] и Метивье и Приоре [290]. Связь между
простыми рекуррентными алгоритмами и соответствующими обыкновенными
дифференциальными уравнениями была установлена Хасьминским [213] для алго-
алгоритмов с неубывающим коэффициентом усиления. Соответствующая техника иссле-
исследования асимптотического распределения описана Кушнером и Хуангом [223] и
Бенвенисте и Руже ,[42].
Для рекуррентных алгоритмов псевдолинейной регрессии успешно применялась
мартингальная техника (см. [295] и [381]) исследования сходимости. Многочис-
Многочисленные применения этой техники к алгоритмам адаптивного управления изложены
в книге Гудвина и Сина [142].
11.10. Задачи
ПЕЛ. Рассмотрим применение рекуррентного метода сшибки предсказания к ARMA-mo-
дели первого порядка
y(t)+ay(t-l) = e(t) + ce(t - 1).
Получите явное выражение для разности
Обсудите условия малости этой разности.
11Е.2. Допустим, что алгоритм A1.12) используется при \{t) = 1. Допустим также, что
Se-M. Покажите, что дисперсия 0@ (пренебрегая влиянием начальных условий) равна в этом
случае Х0Р(Г), где Хо - дисперсия обновлений.
284
11Е.З. Формализуйте понятие того, что коэффициент усиления 7@ должен "отражать от-
относительное содержание информации в текущих наблюдениях", следующим образом: для ре-
рекуррентного метода наименьших квадратов разложите ошибку предсказания e(t) = y(t) —
- 0r(t- l)</>@ = е0 (Г) + eT{t- 1)</>(г), где в (г) = 0o-0(rt - ошибка по параметру. Интер-
Интерпретируйте скаляр ^ (t)L(t) в алгоритме A1.29) как отношение сигнал/шум для "измерен-
"измеренной" величины e(t).
11 Е.4. Докажите, что
11Т.1. Получите рекуррентную версию алгоритма Ньютона - Рафсона A0.50) для кор-
корреляционного подхода и проведите сравнение с рекуррентным алгоритмом леевдолинейной
регрессии A1.57).
11Т.2. Рассмотрим общую структуру модели и предположим, что вектор истинных пара-
параметров изменяется в соответствии с A1.66). Допустим, известно, что 0@ мало отличается от
известной величины 0*(О (как, например, предыдущая оценка). Обозначив истинное обновле-
обновление как е0 (г), получим, таким образом,
Введем теперь аппроксимацию
y(t\O(t))
и переменную
у*{О = у(
значение которой в момент t известно, и запишем модель в виде
Так как $ (t, 0*(f)) = $ @ - известный вектор, это модель типа и се в до линейной регрессии
A1.25) и A1.28). Примените к этому приближенному описанию оптимальный алгоритм A1.29)
и покажите, что в результате получается A1.67) .
1 ЮЛ. Пусть /3(Гу к) определяется соотношением A1.6), а 7 (О - соотношением A1.13). По-
Покажите, что
ч(к) t
1 П [l-7(/)J.
Pit.k) П
7@ /=*+ I
11D.2. Проверьте выражение A1.19).
11С.1. Используйте данные из задач 7C.I и 10С.1 для рекуррентного оценивания моделей.
Испробуйте различные способы выбора коэффициентов усиления и направлений движения и про-
проведите сравнение с полученными ранее результатами оценивания по накопленным данным.
Приложение ПА. Техника исследования асимптотики
рекуррентных алгоритмов
Методы доказательства сходимости и аналитического определения качества ре-
куррентно вычисляемых оценок имеют в основном технический характер, а общая
теория до сих пор разработана не полностью. Всестороннее изложение представлено
в гл. 4 книги Льюнга и Седерстрема [262], а в данном приложении даются основные
идеи и рассуждения. л
Большинство существующих результатов касается свойств в (?) при стремлении
t к бесконечности и коэффициента усиления у (t) к нулю. Существуют также резуль-
результаты по асимптотическому распределению 6(t) при тех же предположениях. Результа-
Результаты по отслеживанию изменений истинных параметров, когда коэффициент усиления
7@ не стремится к нулю, изучали Бенвенисте и Руже [42], Кушнер и Хуанг [224],
Вайс и Митра [424], Макки и Эведа [271] и другие.
285
Структура алгоритма. Все рассматриваемые рекуррентные алгоритмы можно
представить в виде
( y(t)R-1(t)r)(t)e(t), A1A.U)
(HA.Ib)
Г Я'+01
L(r+l)J =
В качестве Я можно взять любую положительно определенную матрицу. Однако наи-
наиболее часто выбирают матрицу Гаусса — Ньютона
R(t) = R(t- l) + y(t)[n(t)riT(f)-R(t- I)]. A1A.2)
Здесь т?(?) соответствует \p(t), \р (?) или f(/) в зависимости от конкретного выбора
алгоритма.
В некоторых частных случаях рекуррентный алгоритм (ПАЛ) можно явно раз-
разрешить относительно в (?). Это имеет место для рекуррентного алгоритма наимень-
наименьших квадратов A1Л6) (см. A1.19)) и для рекуррентного метода инструменталь-
инструментальных переменных A1.32) с заданными инструментами (см. A1.30)). В этих случаях
анализ можно провести на основе явных выражений. Этот анализ будет при этом
совпадать с анализом оценок, вычисляемых поднакопленным данным (см. гл. 8 и 9).
В большинстве случаев явное выражение 0 (?) получить невозможно. Действи-
Действительно, 0 (?) будет чрезвычайно сложной функцией набора данных Z*, частично в
результате использования нестационарной фильтрации, зависящей от оценки в
А
A lA.lc,d). Это означает, что определение асимптотических свойств оценки 0 (?) яв-
является сложной задачей. В этом приложении мы изучим некоторые особенности
поведения процессов (ПАЛ), а также сформулируем некоторые основные резуль-
результаты но сходимости и асимптотическому распределению 0 (?). По формальным воп-
вопросам анализа рекомендуем книгу Льюнга и Седерстрема [262].
Модели ошибки. Рассматривая 7@ и R~l (t) как величины, определяемые ос-
основной информационной последовательностью т?(?)е(?), приходим к выводу, что
соотношение между наиболее важными величинами
0.-П--6 01А.З)
является ключевым для установления свойств сходимости процедуры (ПАЛ).
Такое соотношение ^часто называют моделью ошибки (в частности, в связи с при-
приложениями к адаптивному управлению).
Для (ПА.1а) символически можно записать
Д0(?)-т?(?)е(?). A1А.4)
Правая часть является случайной величиной. Если значение 7@ настолько мало,
А
что 0 может существенно измениться только в результате большого числа шагов типа
A1А.4), го это изменение наиболее вероятно происходит в направлении математи-
математического ожидания этой величины:
A1А.5)
Весь дальнейший анализ асимптотики (ПАЛ) основан на соотношении (J1A.5),
однако, существуют различные способы формализации анализа. Здесь кратко опи-
описывается подход, основанный на исследовании соответствующего обыкновенного
дифференциального уравнения.
286
Обыкновенное дифференциальное уравнение. Пусть y(t\ 0) и г?(г, в) опреде-
определяются соотношениями
.?('10I
Определим
/(fl)= Ev(t,0)e(t,0) A1A.7)
как среднее направление движения, отвечающее значению параметра 0. Тогда соот-
соотношениям A1А.1) соответствует следующее обыкновенное дифференциальное
уравнение:
— 0D(T)=R-lf@D(t)). (HA.8)
dr
Если R (г) задается выражением A1А.2), то определим
и соответствующие обыкновенные дифференциальные уравнения принимают вид
d
dr
d
dr
Od(t) = Rq (j)f{eD(j)),
Rd(t)-GFd(t))-Rd(t).
(ПАЛО)
Опишем кратко, в каком смысле (ПАЛО) "соответствует" (ПАЛ) и A1А.2),
но сначала приведем эвристический способ вывода A1АЛ0). л _
Допустим, что матрица R (г) в A lA.la) фиксирована и равна R, что 0(to) = 0
и что t > t0 выбирается из условия близости в (t) и д (?0). Тогда
d
f о
Z? S
X [т?(Л, (9) e(k. 0) - ?t?(A:, fl) e(k, 0)] * &rR-xEri(k, В) е(к, В) , ^ 1АЛ !)
где
Лт4 2 7(Л). A1А.12)
Здесь первая аппроксимация обусловлена близостью значений В (к) ив для ?0 <
< А; < г, и, таким образом, замена 6 (к) на 0 в (llA.lc, d) приводит к A1А.6).
При второй аппроксимации мы пренебрегли суммой независимых случайных ве-
величин, используя закон больших чисел. Далее, заменяя масштаб времени г на г с
помощью соотношения
0(r), т, = 2 7(*), A1А.13)
к = 1
287
можно записать A1 А. 11) как
). (ПА.14)
Это выражение представляет собой метод Эйлера для решения обыкновенного диф-
дифференциального уравнения A1А.8), и, следовательно, связь между (НАЛ) и
A1А.8) эвристически установлена.С учетом A1А.2) получаем (ПАЛО).
Эвристическое обсуждение предполагает, что траектории (ПАЛО) описывают
поведение (ПАЛ) и A1А.2), если у достаточно мало. Проводя некоторые рассужде-
рассуждения технического характера, можно формально установить следующую взаимосвязь
(при некоторых условиях регулярности):
— Если 7@ ""*¦ 0 при t -* °° и все траектории (ПАЛО) сходятся к множеству
Dc С Dl{, то оценки в (г) сходятся к^с вероятностью 1 при t -*°° при ус-
условии их принадлежности множеству D и . A1АЛ 5)
— Если 7@ ~* 0 при г-юоИ*?(О-*0*с положительной вероятностью, то 0* яв-
является устойчивой стационарной точкой A1А.10) . A1А.16)
— Если0(го)=0 и0о(г) является решением (ПАЛО) при0о(тГо) =~в,то
т
Р\ sup \O(t)-OD{Tt)\>e]<K(€.p) Г ур(к\ A1А.17)
где гt определено в A1A.I3).
Доказательства этих утверждений см. в работе Льюнга [244].
Сходимость рекуррентного метода ошибки предсказания. Для семейства ре-
рекуррентных методов ошибки предсказания имеем
A1АЛ8)
Это определяющее соотношение может рассматриваться как модель ошибки
A1 А.З), имеющая место независимо от свойств данных.
Имеем также
d 1 _ 0
K20
t(, )c(,)e(t,). AIA.19)
dO 2
Положим
V{0) = - Fe2(/, 0). A1А.20)
Тогда вдоль траекторий A1 А.8) (напомним, что R > 0)
откуда видно, что V убывает вне множества
Dc= ie\fF)=0}. A1A.22)
и У F) является функцией Ляпунова для (ПА.8), показывающей, что траектории
(i! \.8) (из тех, что остаются в DM ) будут сходиться к Dc при г ^°°. В соответ-
соответствии с (ПА.15) это приводит к
O(t)-+Dc п.н. при г-*о° A1А.23)
А
(или в (?) стремится к границе множества DM , чего нельзя исключить, если не осу-
288
ществляется специальное проектирование d(t) на DM (см. A1.50)). В связи с
A1А.16) точки, не являющиеся локальными минимумами V@) , могут быть исклю-
исключены из Dc. Таким образом, устанавливается сходимость рекуррентного метода
ошибки предсказания к локальному минимуму функции V @) с вероятностью J,
что полностью совпадает с результатом оценивания по накопленным данным (J0.41).
Резюмируем это следующим образом:
Результат 1J .1. Рассмотрим алгоритм A1А.1) при r}(t) = \p(t) и положи-
положительно определенной матрице R (?). Предположим, чтол y(t) -* 0 при t -*°° и что зна-
значения 6(t) ограничены подмножеством DM. Тогда 0G) сходится с вероятностью
1 к локальному минимуму функции V (в) (или к границе множества DM) при t -*°°.
Асимптотическое распределение оценок рекуррентного метода ошибки пред-
предсказания. Рассмотрим рекуррентный метод ошибки предсказания Гаусса - Ньютона
A1.44) и предположим, что существует такое 0о, для которого е(г, 0О) = е0 (/)
является белым шумом. Положим
( 0 2 Р{Т,к)ф(к)фт(к) A1А.24)
@
7@ * =
(ср. A1.5Ь) и A1.43)) . Тогда аналогично A1.9) ,
Я@=Х@Л(*-1) + *@*Г@. A1А.25)
Введем 0(t) = 0 (/) - вои перепишем A1.44Ь) как
R(tN(t)-R\tH(t~
Суммируя это выражение от t = 0 до г, получим
R(t)O(t) = /НЛ 0) ?@) 0 @) +
)()[)( ) ()] • A1А.26)
к =: I
Рассмотрим сумму
5Г = 2 /3(г, Л) ф{к) [фт(к) в(к - 1) + е(*) - б(*, 0ОI.
к = I
По определению
€(*) - е(к, во)ъ е(*. 0(*)) - e(ftf 0О)« - *Г(^) |0(*) - 0о1. (»IA.27)
где первая ашгроксимациялобусловлена тем, что при фильтрации е(к) используются
оценки, примерно равные 0(к) (см. (J lA.lc, d)),a вторая аппроксимация учитывает
теорему о среднем. Это означает, что сумма St с большой вероятностью пренебрежи-
пренебрежимо мала по сравнению с другими членами в A1 А.26) . Аналогично значение 0(/, 0) X
X R @) 0 @) должно быть пренебрежимо малым. Следовательно,
O(t)**R-f(t) I №.к)ф{к)ео(к). A1А.28)
к - I
А
Предполагая близость 0 (к) и 0О "асимптотически большую часть времени", можно
заменить ф(к) на ф(к, 0О) в A1А.24) и A1А.28) без большой ошибки. Это дает
к = I
= - [К'^о.^Г'К^о.г'), A1А.29)
Ю.Л.Льюнг 289
где
1 t
Vt(O,Zf)=- 2 (?(ГДN2(Г,О). A1А.30)
Из раздела 9.2 известно, что A1А.29) представляет собой то же самое асимптоти-
асимптотическое выражение, что и для оценки
Bt = argmin Vt{OtZ*), A1A.31)
6
вычисляемой по накопленным данным.
Это обсуждение было эвристическим, поскольку мы пренебрегали некоторыми
членами без строгого доказательства. Проведя некоторые формальные выкладки,
эти аппроксимации могут быть обоснованы формально. Это сделано в теореме 4.5
книги Льюнга и Седсрстрема [262]. Таким образом, можно сформулировать следую-
следующий результат:
Асимптотическое распределение оценок, полученных с помощью рекуррентного
метода ошибки предсказания Гаусса - Ньютона, такое же, как и для оценки,
вычисляемой по накопленным данным. A1А.32)
В частности, для 7@ = Ц*> что приводит к 0(г, к) = \jt \/*,из теоремы 9.1 и (9.17)
получаем следующий результат:
Результат 11.2. Рассмотрим рекуррентный метод ошибки предсказания
Гаусса - Ньютона A1.44) с y(t) = 1/л Предположим, что существует такое 0О,
для которого e(t, 0о) = е0 (/) является белым шумом с дисперсией \0. Тогда, если
НО -*0о>то
\fi(&($) -0o)GAsN(O,Xo|^a0o)*ra0o)]). A1А.ЗЗ)
Сходимость рекуррентных оценок псевдолинейной регрессии. Прежде всего
постулируем определенную модель ошибки A1 А.З):
6L A1A.34)
eo(t) не зависит от \p(s, 0), s<t.
Исследуем теперь свойства сходимости (ПАЛ) и A1А.2) с r?(r) = y(t) в пред-
предположении A1А.34). Правые части соответствующих обыкновенных дифферен-
дифференциальных уравнений (ПАЛО) содержат выражения
T 6)eo(t)=G@)@o-0), A1A.35)
A1А.36)
так как \p(t>Q) и е0 (t) независимы. Обозначая
Tt,0\ A1A.37)
запишем эти уравнения в виде
d
— 0d(t) = R»1(t)G@d(t)) \0o 0D(r)],
cJt
— Rd(t)=GFd(t))~Rd(t). A1A.38)
dr
290
Используя в качестве функции Ляпунова для A1 А.38)
V(Q, Д)= @ - 0Q)TR@ - 0О), A1 А.39)
получим
— V{0D{T)tRD{T)) =
dr
= _ (Q _ 0of[G@) + G T(Q) - G@) + R(t)] @ - 0O). О 1А.40)
Допустим теперь, что матрица
положительно полуопределена для всех 0. Тогда A1А.40) показывает, что все
траектории AIA.38) оканчиваются в множестве
Dc = {0|С@)@-0О)=О}. (IIA.42)
Таким образом, условие положительной полуопределенности G@) является дос-
достаточным для сходимости 0@ в Dc, В задаче IIA.5 требуется доказать, что
el")>- V<o~|_ (IIA.43)
^ 2 1С(в)@0H>(Г0)(О
Это условие на Яо обычно выражают словами как '7/0(<7) - 1/2 имеет строго поло-
положительную действительную часть". Результат можно резюмировать следующим об-
образом:
Результат 11.3. Рассмотрим рекуррентную оценку псевдолинейной регрес-
регрессии (IIA.1) и AIA.2) с 7}(t) = ^@ и 7@ ~*0 при t ^°°. Предположим, что вы-
выполняется соотношение (IIА.34) между е(/\ 0), 0 и \p(t9 0) и что передаточная
функция #0 (?) — 1/2 имеет строго положительную действительную часть. Тогда
с вероятностью 1 ирм Г -*«>.
Заметим, что мы предположили принадлежность истинной системы множеству
моделей @О присутствует в (IIA.34)). Это не соответствует условиям результа-
результата II.1.
Для АЯМАХ-модели,как нетрудно показать, (ПА.34) выполняется при
где C0(q) — полином, соответствующий шуму Co(q)eo(t) истинной системы. (См.
работу Льюнга [243].) При этом условием положительности действительной части
будет
Re ^ , 1ых ~7>Q Vco« (IIA.44)
Поскольку условие (IIA.44) относится к истинной системе, его выполнение нельзя
гарантировать априори. Однако если априори известны некоторые свойства шума,
условие A1А.44) может быть ослаблено (см. задачу 11 A.I) .
Если рекуррентный алгоритм псевдолинейной регрессии применяется к модели
с ошибкой на выходе D.25), анализ полностью аналогичен. Условие сходимости
10* 291
принимает вид
1 1
Re ^ >0 v<^ (I1A.45)
где Fo (q) — полином, стоящий в знаменателе передаточной функции истинной сис-
системы (задача 11A .2).
Локальная сходимость рекуррентного метода псевдолинейной регрессии. Обык-
Обыкновенные дифференциальные уравнения (IIА.38) можно линеаризовать в окрест*
ности требуемой предельной точки 0О. Можно убедиться (задача ПА.З), что свой-
свойства устойчивости линеаризованных уравнений полностью определяются матрицей
— G @q)G@o) . Если эта матрица имеет собственные значения в правой полу-
полуплоскости, то, в соответствии с (IIА.16), 0@ не может сходиться к 0О- В некото-
некоторых частных случаях собственные значения этой матрицы могут быть вычислены яв-
явно, откуда можно получить условия, при которых рекуррентная оценка псевдоли-
псевдолинейной регрессии не может сходиться к истинному значению. (См. [262, при-
пример 4.11] и [399].)
Заключение. В этом приложении было приведено три основных результата от-
относительно асимптотических свойств рекуррентных алгоритмов идентификации.
Следует отметить, что результаты не были сформулированы с полной строгостью
и с указанием всех условий технического характера. По этому поводу см., на-
например, [262].
11 Л. Задачи
11А.1. Рассмотрим рекуррентный метод псевдолинейной регрессии для ARMAX-модели
(алгоритм расширенных наименьших квадратов) . Допустим, что вектор *р (/) в A1.57) заменя-
заменяется вектором *p*{t) = L (q)ip (/). Покажите, что условие сходимости A1.58) в этом случае сво-
сводится к
Re т~ ^- > О V oj.
L{eloJ)C0{eloJ) 2
ПАЛ. Проведите анализ сходимости для рекуррентного метода псевдолииейной регрессии,
примененного к модели с ошибкой на выходе, и покажите, что условием сходимости является
A1А.45).
11А.З. Рассмотрим обыкновенное дифференциальное уравнение A1 А.38), линеаризован-
линеаризованное в окрестности 0 - 0О. Покажите, что это уравнение асимптотически устойчиво тогда и толь-
только тогда, когда собственные значения матрицы
расположены в левой полуплоскости. (G и G задаются соотношениями A1 А.36) и A1А.37).)
11А.4. Линеаризуйте обыкновенное дифференциальное уравнение, соответствующее рекур-
рекуррентному методу ошибки предсказания, в окрестности истинного значения параметра 0О и по-
покажите, что линеаризованное уравнение всегда устойчиво.
11А.5. Убедитесь в справедливости A1А.43). (См. [243].)
11А.6. Рассмотрим рекуррентный алгоритм ошибки предсказания Гаусса - Ньютона
A1.44) с постоянным малым коэффициентом усиления y(t) s= у0. Предположим, что истин-
истинная система не изменяется и соответствует вектору параметров 0О. Пусть Eel (/) = Ее2 (/,0„) =
= \0. Используя выражение A1 А.29) покажите, что
(Указание: вспомнив A1.62) , используйте аппроксимацию
в предположении стационарности ф (t, О 0 ) .)
292
Часть III
ПОЛЬЗОВАТЕЛЬСКИЙ ВЫБОР
Глава 12
ВАРИАНТЫ ВЫБОРА И ЦЕЛИ
Цель проведения идентификации можно определить как построение хорошей и на-
надежной модели ценой посильных трудозатрат. Как мы видели в части II, для этого
создано множество разных методов, которые включают ряд выбираемых пользова-
пользователем проектных параметров. В этой части мы обсудим, как осуществить такой вы-
выбор на пути достижения поставленной цели. В данной главе мы начнем с перечисления
доступных пользователю вариантов выбора и формализуем цели занятий, связанных
с идентификацией. Во всем, что касается второй темы, мы сосредоточим внимание
па линейных стационарных структурах.
12.1. Варианты выбора
Как отмечалось в разделе 1.3, оказавшись перед необходимостью работы с объек-
объектом, динамические характеристики которого неизвестны, пользователь должен при-
принять ряд решений: необходимо выбрать план эксперимента; подобрать критерий сог-
согласия; сформировать процедуру подтверждения построенной модели. Как пока-
показано на рис. I.I I, в процессе проведения идентификации эти решения также должны
многократно пересматриваться.
Список вариантов выбора* Полезно начать с того, чтобы уточнить в деталях пере-
перечень имеющихся в распоряжении пользователя вариантов выбора и проектных пере-
переменных. Этот перечень таков:
A. Планирование экспериментов:
АI. Выбор зависимых измеряемых сигналов (выходные сигналы).
А2. Отбор вынуждающих измеряемых сигналов (входные сигналы).
A3. Определение выборочного интервала Т.
А4. Выбор вида входных сигналов (планирование на входе); в случае линей-
линейных стационарных систем это сводится к выбору спектров Фи (со) и
Фие (<*0 (последний неявно задает механизм обратной связи).
А5. Определение размера выборки N.
B. Выбор множества моделей и модельной структуры:
1I. Выбор типа модели (нелинейные, линейные и т.п.).
82. Выбор порядка модели.
83. Выбор параметризации (структуры модели); в случае линейных стацио-
стационарных систем такой выбор можно охарактеризовать как:
ВЗа. Выбор множества передаточных функций:
ВЗЬ. Выбор моделей шума: К = { H(q, 0) | 0 е DM } .
293
C. Выбор критерия идентификации. В классе параметрических методов этот
выбор распадается на две ветви, каждая со своей последовательностью вари-
вариантов (см. гл. 7):
СР. Методы ошибки предсказания:
CPI. Выбор нормы/.
СР2. Выбор предварительного фильтра L .
СРЗ. Выбор горизонта предсказания к (варианты выбора СР2 иСРЗ мож-
можно было бы трактовать как отбор моделей) .
СР4. Выбор численного метода построения оценок.
СС. Корреляционные методы:
СС1. Отбор корреляционных векторов ?.
СС2. Выбор предварительного фильтра L .
ССЗ. Выбор функции формы а ( • ) .
СС4. Выбор численного метода построения оценок.
D. Подтверждение модели. Выбор процедуры оценки степени действенности
конкретно найденной модели.
Таким образом, имеется длинный список вариантов и проектных переменных.
Мы объединим этот список, введя следующее обозначение:
3) = { все проектные переменные от А до D} .
Каждый конкретный вариант выбора окажет свое воздействие на получающуюся
модель. Используя асимптотические методы гл. 8 и 9, это влияние можно оценить и
дать рекомендации по вариантам выбора в 2) . По существует, это и является зада-
задачей теории, которая составляет содержание последующих глав.
12.2. Цели идентификации
Что же имеется в виду под "хорошей и надежной моделью" и под ''посильными
трудозатратами"? Обе эти формулировки окрашены в субъективные тона и не пред-
представляется возможным, да и целесообразным, придать им полностью формализован-
формализованный смысл. Однако в этом разделе мы будем оценивать качество модели, отправ-
отправляясь от ее предполагаемого применения. Рассмотрение ограничится случаем ли-
линейных одномерных систем и моделей.
Истинная система и модель. Стремясь обеспечить качественные характеристики
модели, неизбежно приходится явно или неявно делать предположения об истинных
свойствах объекта. В целях настоящего рассмотрения допустим, что истинная система
удовлетворяет предположению из гл. 8, т.е.
A2.1)
где { е0 (г)} — белый шум с дисперсией Хо,
Ясно, что корректность такого предположения может быть подвергнута сомне-
сомнению. Вернемся к той точке зрения, которой мы придерживались в гл. 8. Анализ дол-
должен сводиться к постулированию некоторых свойств истинного механизма порожде-
порождения данных и последующему расчету вытекающих из предположений особенностей
моделей. Подобный расчет оказывается полезен и наводит на размышления, даже
если принятые гипотезы могут не поддаваться проверке.
Как и раньше, упрощая обозначения, положим
TQ(q)=[G0(q)H{)(q)]. (I2.2)
Допустим, что решение по всем проектным переменным 3) принято, и в результате
294
получена модель
t(q,3))=[C(q,2))H{q.S))\. A2.3)
Напомним, что среди прочею множество 2D включает размер выборки N и порядки
моделей.
Скалярный критерий проектирования. Желательно, чтобы модель T(q, 3)) была
близка к Го (q) . Разность
f(eioJ,2)) 4 Г(е/а\2>)- T0(eiuJ) A2.4)
должна быть в каком-то смысле невелика. Введем формальную меру величины Т.
В плане предполагаемых применений модели важнее других может оказаться хоро-
хорошее совпадение в некоторых частотных диапазонах. Чтобы отразить это обстоятель-
обстоятельство, введем взвешенный частотный критерий
ч A2.5)
¦-7Г
где B X 2)-матричная функция
Г С, ,(со) С, 2 (соI
С(")= L ' («2-6)
соразмеряет относительную значимость степени совпадения в разных частотных диа-
диапазонах, а также значимость степени подгонки компонент G и Н соответственно.
В общем случае будем предполагать, что матрица С(сУ) эрмитова, т.е.
(Последнее равенство относится к случаю, когда зависимость от со вводится через
аргумент с L0). Мы приведем несколько простых примеров того, как можно опреде-
определять такие функции веса.
Скаляр У, (Т( • ,2))) в силу случайности Т представляет собой случайную вели-
величину. Чтобы мера качества модели не зависела от реализации, естественно усреднить
J1 и определить критерий
7B))= /
— 7Г
= / tr[ll(cj,2))C(cj)] dco, (I2.7)
где 2 X 2-матрица- II имеет вид
П(ы,2)) = /:Т7>"/Ы.2)O:(е|"ы,2)). A2.8)
Теперь задача выбора проектных переменных может быть сформулирована так:
найти
min Г(Я)\ A2.9)
где символом Л обозначено множество ограничений, соответствующих нашему же-
желанию обойтись "посильными трудозатратами". Обычно в это множество включают
максимальный размер выборки, ограничения на мощность сигналов, на сложность
вычислительных процедур и т.д. Множество ограничений Л может также включать
295
те проектные переменные, которые просто недоступны пользователю в рассматривае-
рассматриваемом конкретном приложении.
Задача A2.9) будет обсуждаться в гл. 13—16. Сначала мы опишем несколько
примеров прикладных задач, которые приводят к разным определениям функций
С (со) из A2.7).
Применение моделей, В гл. 3 был перечислен ряд типовых примеров использова-
использования линейных моделей. В каждом из них возникает своя весовая функция С (со) в
критериальном выражении A2.7).
Пример 12.1. Моделирование.
Пусть передаточная функция G используется с целью моделирования входо-выходнолго соот-
соответствия в системе с входным сигналом u*(t) типа C.2). Тогда на выходе модели G (<},?))
воспроизводится следующий сигнал:
в то время как на выходе истинной системы должен быть сигнал вида
Сигнал ошибки
7.@ = ^@- >\>@ = [C«7,?')-GO(<7)] и*it)
имеет спектр
Ф;-(",#)= iG{eioJ,2))~GQ{eioj)\2 Ф*(ш\ A2.10)
где Фу(^) спектр {u*{t) }. Это вновь случайная функция, математическое ожидание которой
но распределению G, равное
*?(о;,-2)) = /Г|С(е/и;,#) GQ(eiuJ)^ Ф*(^). A2.11)
представляет собой меру среднего ухудшения характеристик из-за ошибок модели G. Отметим,
что в силу B.8) при
Ю о-
можно преобразовать A2.11) к виду
*у(и>,2)) = tr [[{oj,?}) C(cj). A2.13)
Наконец, средняя дисперсии Ёу2 (г) (усреднение но {u*{t)} и по G) равна
7Г
-7Г
= f *f(u>t&)du>, A2.14)
что есть частный случай A2.7). Эта запись показывает, какую физическую интерпретацию допус-
допускает квадратичный критерий проектирования A2.7).
Пример 12.2. Предсказание.
Уравнение одношагового предсказателя определяется формулой B.30)
Ht\t- \) = FI-1(q)G[q)u*{t)+ [I -H~l{q)\ y*{t). A2.15)
где в ходе выходные данные (и*(г), y*{t)} получаются непосредственно в системе. Расхожде-
Расхождение между данными прогноза ^(г|г- 1), полученными по модели Г (?, С/'), и истинным прог-
прогнозом у0 (Г | г - 1) ранно (в правой части аргументы опущены)
у ,{t If- 1)= [H-lG-HzlGQ\ ы*+ |Я-1 _//-«]^» =
= Hlx(y* Gou*)-H-l(y*- Gu*y A2.l6)
Входо-выходные данные подчиняются уравнению
y*(t) = G0{q)u*it) + HQ{q)eQ(t), A2.17)
296
из которого следует, что
?, {t\t-\) = H*Gi
-Н'Ч10)е0 =
l iq.3» f{q.S
u*(t) 1
«•@ J
Спектр этого сигнала запишется как
A2.18)
где Ф?{и>) - спектр (w*(f)}, а Ф^ (cj) - взаимный спектр сигналов { и*(Г)} и{ео(г)}. Из-за
члена // в знаменателе это выражение не является квадратическим относительно величины ошиб-
ошибки модели. Предполагая, однако, малость ошибки, т.е. пренебрегая членами высших порядков
в выражении для Г, можно заменить // на II0. В результате находим приближенную формулу для
среднего спектра сигнала ошибки:
,3>)C(cj)9 A2.19)
* ^.(ш, 2))
у
где
1
A2.20)
Отсюда следует, что средняя дисперсия сигнала ошибки Eyj^ (/ If - 1) с достаточной степенью
точности определяется формулой для критерия A2.7), в которую подставляется A2.20).
Пример \2.Ъ,Управление.
Допустим, что целью построения модели является осуществление управления по минимуму
дисперсии с помощью обобщенного контроллера вида
Посредством выкладок, аналогичных проведенным в примере 12.2, определим, что дисперсия
разности между идеальным выходным сигналом y{t) = R (q)eo{t) и полученным по модели,
определяется формулой A2.7) с подстановкой в нее
//.(**">
1С0
ПА
<'¦„<<?"°)
A2.22)
(в пренебрежении ошибками более чем второго порядка малости) .
Аналогично решение задачи управления методом принудительного выбора полюсов C.55)
приводит к критерию A2.7), в котором
[\R(eioi)\2 Фг(а/)
о е о е 2 е
О
О
A2.23)
при условии, что спектр отклика Фг(о;) подавляет дисперсию обновляющего процесса \0.
При таком подходе различные варианты использования модели ведут к крите-
критериям A2.7) и A2.8) с разными функциями весов С(со). См. задачу 12E.I по поводу
общей трактовки A2.7) и задачу I2E.3 в связи с исследованием точности получаю-
получающихся в результате оценок параметров.
297
12.3. Смещение и дисперсия
В этом разделе мы более подробно обсудим частотный критерий достижения
цели идентификации A2.7) —A2.8) применительно к параметрическим методам
идентификации. Пусть, как и в D.108),
)], (I2.24)
и пусть QN(ZD) — это оценка, полученная одним из методов гл. 7. Отобразим явно
зависимость от размера выборки N. Тогда оценка передаточной функции A2.3)
запишется как
A2.25)
Выведем выражение для среднеквадратической ошибки а(СКО) \\n(oo,2)) из
формулы A2.8). В соответствии с результатами гл. 8 оценка 0NB)) сходится почти
наверное к величине 0*(Э)). Теорема о средних значениях дает
*^дТ'*), A2.26)
где Т'(е/и>, 0) — это (d X 2)-производная Г по 0, определяемая формулой D.122).
Обозначая асимптотическое отклонение (N^°°) модели как
- Р(со,2)), A2.27)
N
можно записать A2.8) в виде
где
Р{<*Я) = Тт(!Г*».0*C)))[Ы-Сьу0нC))\ ТУ",в*(Я>)). A2.28)
В записи A2.27) мы пренебрегли членом
r(eiu),3))[E0NC» - 0*C))] Т'(е/Сд\в
который в силу соотношения (9В.13) в условиях теоремы 9.1 существенно меньше
любого из оставшихся в A2.27) членов при большом N. Отметим, что из указанной
теоремы следует также явная формула (9.15) для определения Р(со,3)). С подста-
подстановкой A2.27) критерий проектирования A2.7) и A2.8) представляется в асимпто-
асимптотической форме
Г 7B))~УB5) =
— / tr {Г (со, 3) ) C(co)] dto, A2.29)
[у — It
Отметим, что используя A2.28), можно получить
/рB>)= - trPeC>)C0,
A2.30)
Св = f T(etoJ,0* B)))С(со)Тт(еч"у0* (S)))doo, Ро{2))~N¦
— Л
298
Формула для JBb) раздельно представляет "вклады" в целевую функцию, связанные
с дисперсией Jp и со смещением JB. Обычно эти две компоненты по-разному зависят
от проектных переменных. На величину вклада от смещения наиболее заметно влияет
множество моделей (широкое, гибкое и/или хорошо настраиваемое множество мо-
моделей дает малую величину смещения) и, как правило, мало влияют длина записей
данных, мощности сигналов и т.д. С другой стороны, член дисперсии обычно убывает
с ростом объема выборки и мощности входного сигнала, но возрастает при увеличе-
увеличении числа оцениваемых параметров.
В гл. 13 более подробно будет рассмотрено решение подзадачи: найти
а в /у/. J4 // J5 - раз/гичня/е sc/гелггз/решея///? подзадачиv лаягяг
min Jp B)). A2.32)
В последних главах обсуждается также вопрос о том, как объединить результаты
решения этих подзадач с целью решения задачи об отыскании
min JB)). A2.33)
Асимптотическая формула для Jp{3)). Из формулы (9.99) мы имеем следую-
следующее асимптотическое по порядку модели и и длине записи данных N выражение
I
Г Ф„(со) Фие(">) Г1
_ , ^ ^ . A2.34)
Здесь все переменные и, IV, входной спектр Фм, взаимный спектр Фие содержатся
в множестве 3). С другой стороны, только от этих переменных зависит асимптоти-
асимптотическое выражение для ковариационной матрицы. Имеется несколько проектных
переменных (предварительные фильтры, модели шумов и горизонты предсказания),
которые на асимптотическом представлении Р (со, %) ) не сказываются.
Подстановка A2.34) в A2.29) при учете A2.6) дает следующую явную формулу
¦ 2 A2.35)
n JT {Х0Си(со)-2Ке[С12(а))Фие(-а)I + С22(со) Фи(") } |Фу(со)|2 )
N *
Более подробно это выражение, характеризующее вклад дисперсии, будет рас-
рассмотрено в гл. 14.
12.4. Заключение
Многие из потенциально прикладных методов идентификации могут быть пред-
представлены в виде перечня вариантов и возможностей выбора ("проектные перемен-
переменные" 2)). Такой перечень мы привели в разделе 12.1.
Идеальной схемой конкретизации значений этих проектных переменных можно
было бы считать выбор (для рассматриваемой прикладной задачи) критерия того,
что такое "хорошая модель", и перечисление ограничений на временные и стоимост-
стоимостные характеристики процесса проектирования, а также на готовность системы. В
этом случае можно рассчитывать на "наилучшие" результаты идентификации. В этой
главе такая схема намечена (формулы A2.29) — A2.34)), а в следующих главах
мы продолжим более детальное рассмотрение вопросов выбора проектных перемен-
переменных. В практических задачах конечно действуют менее формально, однако развивае-
развиваемая нами теория полезна тем, что она определяет смысл "инженерных" рассуждений.
299
12.5. Комментарии к библиографии
Дальнейшее изложение вопросов описания используемых проектных переменных
и формализации среднеквадратического критерия идентификации можно найти в
работах Льюнга [252, 256] и Юана и Льюнга [451].
12.6. Задачи
12ЕЛ. Пусть s (Г) - сигнал, полученный по модели в прикладной задаче. В частности, это
может быть выходной сигнал системы, управляемой по критерию минимума дисперсии, который
рассчитывается по модели. Принципиально это можно отобразить в следующей записи
s(t)=f(T(q))w(t)y
которая подчеркивает, что для определения s (f) используется как передаточная функция Г,так
и дополнительные сигналы w(t) (эталонные сигналы и/или шумы). Допустим, что разность
T{q,2)) T0{q) достаточно мала для тот, чтобы можно было пренебречь членами более чем
второго порядка. Вывести для этого случая формулу для среднего спектра "сигнала ухудшения
качества функционирования"
*s(t)= ifitiq.SD)) -f(T0(q))] w(t)
(см. [252]).
12E.2. Допустим, что полученную модель предполагается использовать для предсказания
входо-выходных данных с теми же свойствами второго порядка, что и в идентификационном
эксперименте (см. пример 12.2). Допустим также, что условия применимости приближенной
асимптотической формулы для дисперсии A2.34) выполнены, и вкладом от смещения можно
пренебречь. Вывести выражение для среднего спектра ошибки прогноза по модели относительно
идеального прогноза.
12Е.З. Допустим, что §е JI так, что для некоторого 00
TQ{q) = T{q,0o).
Вывести формулу, представляющую критерий A2.7) и A2.6) через величину среднеквадрати-
ческой ошибки
Глава 13
ВЛИЯНИЕ РАСПРЕДЕЛЕНИЯ ВЕЛИЧИНЫ СМЕЩЕНИЯ
НА ОЦКНКИ ПЕРЕДАТОЧНОЙ ФУНКЦИИ
В общем случае дать точное описание истинной системы в рамках выбранного
класса моделей не удается. В этой главе, как и в предыдущей, мы будем считать,
что истинная система линейна, а, следовательно, может быть описана комплексно-
значной передаточной функцией частоты. Если выбранное множество линейных
моделей слишком мало для того, чтобы быть приспособленным к истинной системе,
то передаточная функция предельной модели имеет отклонения от истинной переда-
передаточной функции, т.е. оценка передаточной функции будет иметь смещение. В этой
главе мы обсудим распределение смещения в частотном диапазоне и вопросы воз-
воздействия на это распределение посредством выбора проектных переменных. Фор-
Формально это означает, что мы рассмотрим задачу A2.31). Изложение будет опирать-
опираться на результаты, полученные в разделе 5.3.
300
13.1. Некоторые основные соотношения
Возвращаясь к разделу 8.5, напомним, что предельная опенка параметров опре-
определяется по теореме 8.2 с помощью формулы (8.66):
где
сЦДи) A3.2)
в предположении о функционировании в разомкнутом контуре.
Вспомним также, что модель шума H(q, 9) включает осуществление выбора
предварительного фильтра L{q) в критерии идентификации G.13) и ошибки к-
шагового прогноза. В рамках метода ошибки к-шгтовото предсказания с примене-
применением в модельной структуре предварительного фильтра L:
y(t) = G(g,0)u(t) + Hl(g90)e(t)9 A3.3)
формула A3.1) остается верна с заменой Н(е1и>,9) на
Ни(р1^9Л О3-4)
Здесь Нк включает к первых членов разложения Лорана функции Нх (см. форму-
формулы C.27) —C31)).
Мы видим, что значение предельной оценки определяется только истинной сис-
системой, моделью шума и спектрами Фм и Ф„.
13.2. Эвристическое рассмотрение метода настройки оценок
передаточной функции в разомкнутом контуре
В практическом плане, быть может, наиболее интересной проблемой представ-
представляется исследование степени согласованности G(?1а\ 9) и С0(е1Ш). При детермини-
детерминированности проектного выбора в процессе решения таких задач, как моделирование
(см. A2Л2)) или управление посредством выбора полюсов (см. A2.23)), критерий
качества функционирования отражает только эту степень совпадения. Распределение
величины смещения G естественно рассматривать как наиболее существенную харак-
характеристику и в других случаях, так как проектная устойчивость замкнутого контура
регулирования будет зависеть от точности оценки G.
Как было выявлено в разделе 8.5, выражение A3.1) можно с элементами эврис-
эвристики трактовать как заключение компромисса между желанием минимизировать
argmin
в^Я « A3.5)
0\
и стремлением подогнать \Н (е1С0,9) \2 к спектру ошибки ФЕя (со, 9*).
Функции весов. В этом разделе мы воспользуемся формулами A3.5) как эврис-
эвристическим инструментом для интерпретации и воздействия на распределение величины
301
смещения
Это означает, что функцию
можно рассматривать как функцию весов, которые определяют распределение
смещения. На вид этой весовой функции можно в свою очередь влиять соответствую-
соответствующим выбором:
— входного спектра Фи (со);
- множества моделей шумаHx{q,0)\
- предварительного фильтра L \ (q); A3.6)
— горизонта предсказания к\
(напомним о A3.4)). Отметим, что распределение смещения определяется только
величиной отношения Ф„/|Я|2; при этом отдельно взятые значения функций Фи
и // (uL) несущественны.
Диаграммы Боде***. Для представления весовой функции часто предпочитают
пользоваться диаграммой Боде, которая определяет зависимость log IG1 и argG*
от log со. Тот факт, что выявление относительной величины ошибок важнее абсолют-
абсолютной величины, имеет некоторый физический смысл. Переходя к относительной
ошибке, можно переписать A3.5) в виде
О* = arg min
о
откуда видно, что для оценки распределения величины относительной ошибки харак-
характеристику \С0(е>ш)\2 следует ввести в весовую функцию. Другими словами, для
обеспечения малости относительной ошибки при малой величине |G0| нужно выбрать
как можно большие при этих частотах значения функции ?>(со, 0*).
Кроме того, поскольку частотная шкала в формуле A3.7) линейна, то для
интервала (декады) от 1 до 10 рад/сек нужно выбрать в 10 раз больший весовой
коэффициент, чем для декады от 0,1 до 1 рад/сек. Для отражения логарифмичес-
логарифмического масштаба измерения частоты следует поделить на со весовую функцию. То
есть, чтобы обеспечить хорошее совпадение при низких частотах, нужно выбрать
величину \G0\2Q во столько же раз больше. Подытоживая, находим, что весовая
функция
A3.8)
отражает распределение смещения, представленное на диаграмме Боде. По поводу
более формализованного определения A3.8) см. задачу 13D.1.
Манипулирование функцией весов. Поскольку весовая функция Q из формулы
A3.5) зависит от 0*, можно смело утверждать, что во многих случаях она заранее
неизвестна. Следует также отметить, что при изменении некоторых из проектных
неременных (направленных на изменение 0*, распределения смешения) модель
шума также меняется. Точно оценить, что произойдет с ?>(со, 0*) при введении,
скажем, предварительной фильтрации может быть довольно сложно. Однако Q
всегда известна апостериори а, стало быть, известно, какая весовая функция соот-
соответствует текущей оценке. Таким образом, можно осуществить непосредственное
302
Рис. 13.1. Диаграммы Бодс истинной систе-
системы и идентифицируемой модели для струк-
структуры выходной ошибки (8.80) с использо-
использованием высокочастотного предварительного
фильтра /, i (q) (сравните с рис. 8.2). Сплош-
Сплошные линии: амплитуда. Штриховые линии:
фаза. Жирные линии: истинная система.
Тонкие линии: модель
0,01
<оу рад/с
манипулирование в эвристическом критерии A3.5) функцией Qy изменяя значения
переменных A3.6), хотя это, возможно, потребует проб и ошибок.
Влияние выбора предварительного фильтра L, модели шума //, входного спект-
спектра Фм на Q вполне очевидно. Что касается горизонта предсказания к, то заметим, что
1
— обычно высокочастотный фильтр, хотя
является нолночастотным фильтром. Типичным следствием увеличения к будет
повышение степени низкочастотности весовой функции. Более подробное обсужде-
обсуждение можно найти в работе [417]. Влияние подбора величины выборочного интервала
будет рассматриваться в разделе 14.5.
Иллюстрация. Несмотря на эвристическую природу критерия A3.5),он является
достаточно полезным инструментом для интерпретации и манипулирования распре-
распределением смещения. Мы проиллюстрируем это на следующем примере.
Пример I 3.L Воздействие на распределение смещения.
Рассмотрим систему (8.79) из примера 8.5. Получающаяся модель структурно представ-
представляет собой модель выходной ошибки и приводит к диаграмме Ьодс, показанной на рис. 8.2.
0,01
со у рад/с
0,01 0у1 1 и\ рад/с
Рис. 13.2. Диа!раммы Боде для истинной системы и идентифицируемой модели для ARX-струк-
туры (8.82) с низкочастотным предварительным фильтром L2(q) (сравните с рис. 8.3. Обозна-
Обозначения те же, что и на рис. 13.1)
Рис. 13.3. График весовой функции Q(uj4 0*) = \L2(eILJ)\2 • [ 1 +a*e^IUJ +a*e~ 2/CJ|2. соответст-
соответствующей оценке, показанной на рис. 13.2
303
Это соответствует функции
е(ы) = 1 A3.9)
(не зависящей от в).
Сравнивая с A3.8), мы видим, что высокочастотная часть диаграммы Боде играет очень
небольшую роль из-за резкого обрезания характеристики
\С,0(е*")\.
Чтобы обеспечить хорошее согласование в высокочастотном диапазоне, пропустим ошибку
предсказания через высокочастотный фильтр Баттеруорта Lt(q) пятого порядка с частотой
среза 0,5 рад/сек (что эквивалентно введению фиксированной модели шума видаЯ(дг) = \jLx{q);
см. G.13) н G.14)). Это превращает весовую функцию Q (tj) в соответствующий высокочастот-
высокочастотный фильтр. Диаграмма Бодс для соответствующей оценки показана на рис. 13.1. Теперь степень
совпадения увеличивается в области высоких частот, хотя ясно, что описание среза четвертого
порядка моделью второго порядка сталкивается с определенными трудностями.
Рассмотрим теперь оценку, которая получается посредством применения метода наименьших
квадратов к модели ARX-структуры (8.82). Она изображена на рис. 8.3. Если мы хотим получить
более хорошее совпадение на низких частотах, то представляется разумным нейтрализовать
высокочастотный характер функции С (и?, в*) иа рис. 8.4 низкочастотной фильтрацией ошибок
предсказания. Таким образом, L2(q) выбирается в виде низкочастотного фильтра Баттеруорта
пятого порядка с частотой среза ОД рад/сек. Затем к входо-выходным данным, пропущенным
через L2(q)> применяется метод наименьших квадратов. Можно утверждать, что это эквивалент-
эквивалентно применению метода ошибки предсказанн^к модельной структуре вида
Получающаяся оценка показана на рис. 13.2, а соответствующая весовая функция (?(и>, в*) -
на рис. 13.3. Очевидно, что достигнуто резкое улучшение степени совпадения на низких частотах.
Теперь можно заметить, что оценки на рис. 13.2 и 8.2 очень похожи. Осталось сообразить,
что строить фильтрованные МНК-оценки рис. 13.2 гораздо проще, чем оценки выходной ошибки
рис. 8.2, определение которых требует итеративных расчетов.
13.3. Некоторые решения формальных задач проектирования
Вернемся теперь к формально поставленной задаче проектирования A2.31),
рассматривая частный случай
Г Си(со) 0
Заметим, что к этой критериальной матрице приводят прикладные задачи моделиро-
моделирования A2.12) и управления A2.23). Используя A3.11), можно переписать A2.31)
в виде
/ \G{eiu>,0mC))) -G0(e(")\2Cn(u)du. A3.12)
«•гед —я
Остановимся на варианте разомкнутого контура
0, A3.13)
когда модель шума задается единственным образом в виде
?О{//*(<7)>. A3.14)
На этапе идентификации модель шума фиксирована, однако возможность се выбора
по-прежнему входит в число проектных переменных (ее, например, можно было
бы рассматривать как в методе идентификации по выходной ошибке, когда требует-
требуется определить предварительный фильтр). Таким образом, имеем
2) = <ФМ("),"*(^)Ь A3.15)
304
С учетом A3.13) и A3.14) формула A3.1) приобретает вид
03.16)
(см. (8.68)). В результате мы получаем задачу минимизации A3.12) с функцией
в*C))9 определенной соотношениями A3.15) и A3.16). Эта задача может быть
решена в явном виде.
Теорема 13.1. Рассмотрим оптимизационную задачу A3.2), в которой в *B))
задается формулами A3.15) и A3.16). Минимум достигается при любом 3) таком,
что
Фи (со) I
¦ ' = <*С1Х(ь>) A3.17)
H(tU})\2
A3.17) I
J
при условии, что для некоторого положительного скалярного числа а существует
допустимое проектное решение.
Прежде чем перейти к доказательству, отметим, что теорема утверждает необхо-
необходимость существования пропорции между отношением сигнал/шум модели и крите-
критериальной весовой функцией и возможность достижения этой пропорции посредством
либо входного проектирования, либо выбором предварительного фильтра/модели
шума. Наброски некоторых обобщений этой теоремы сформулированы в задачах
13G.1—13G.3. Отметим, в частности, что для случая A3.11) работа в разомкнутом
контуре, действительно, оптимальна. Это означает, что включение Фие (со) в число
проектных переменных A3.15) приводит к оптимальному решению: Фие (со) = О
и условие A3.17).
Доказательство теоремы 13.1. Сначала доказывается следующая
лемма.
Лемма 13.1. Пусть V(x9y) — скалярнозначная функция от двух переменных,
принимающих значения в некотором общем гильбертовом пространстве. Пусть для
фиксированного у
V(x9y)9 A3.18)
X
а для фиксированного z
y*(z) = MgmmV(x*(y),z) A3.19)
у
в предположении, что соответствующие минимизирующие значения определены одно-
однозначно. Тогда
y*(z)=z. A3.20)
Доказательство. В силу определения A3.18)
V(x*(z),z)< V(x9z), \fxA\fz.
Отсюда
V(x*(z\z)< V(x*(y)yz)9 \fy. A3.21)
По определению из A3.19) следует, что
V(x*(y*(z))9z)< V(x*(y)9z)9 \fy. A3.22)
Неравенства A3.21) и A3.22) вместе означают, что
305
откуда следует A3.20), так как отображение х* по предположению инъективно (это
вытекает из требования однозначности минимума в A3.19)).
Замечание. Предположение единственности в A3.19) может быть ослаблено
посредством введения множества
V(x*(y),z)}.
Тогда вместо A3.20) будет фигурировать утверждение
что для наших целей достаточно.
Возвращаясь к задаче A3.12), введем в рассмотрение функцию
))= / \G(ciw,0) - G0(eiuj)\2K(oj)doj A3.23)
—7Г
и определим
0~(/<(.)) = argminK/@,/<(•))• A3.24)
в
Тогда из A3.16) имеем
>
Поскольку предельная оценка в* зависит только от отношений функций от 2):
к(со, 2)) = Ф"(^} ,
зэдача оптимального проектирования A3.12) оказывается по существу задачей опре-
определения оптимального к:
:•)),<:„(•)). 03.26)
g(()()) g
?> к
Применяя лемму 13.1 к формуле A3.26) находим, что
/<opt(co) = aCu(co), A3.27)
где ос — положительное скалярное число такое, что проект является допустимым:
2) G Д (это следует из того, что масштабирование по к не влияет на решение задачи
A3.26)). Это завершает доказательство теоремы 13.1.
13.4. Заключение
Распределение в частотном диапазоне величины смещения оценки передаточной
функции и оценок модели шума полностью или частично определяется некоторой
весовой функцией. В свою очередь эта функция зависит от выбора некоторых про-
проектных переменных, среди которых модель шума, входной спектр (и взаимный
спектр входного сигнала и шума), предварительный фильтр и горизонт предсказания.
На распределение смещения мы можем влиять, соответствующим образом выбирая
значения этих переменных.
В этой главе мы показали, как в некоторых случаях можно оптимизировать
критерий проектирования по проектным переменным. Однако более важным пред-
306
ставляется то, что полученные результаты позволяют понять механизмы формирова-
формирования распределения смешения и осуществить осмысленное проектирование, которое
обеспечит хорошую степень совпадения в интересующих нас частотных диапазонах
даже в тех случаях, когда непосредственная оптимизация невозможна.
13.5. Комментарии к библиографии
Вопросы придания определенной формы распределению смешения до сих пор
в литературе широко не изучены. Результаты этой главы в основном базируются
на работе Уалберга и Льюнга [417]. Проектирование разомкнутых систем более
подробно рассматривается в работе Юана и Льюнга [4511, а замкнутые структуры —
в работе Гсверса и Льюнга [133]. Подробное изложение этих вопросов можно также
найти в статье Льюнга [256].
13.6. Задачи
13G.1. Рассмотрим задачу проектирования A3.12) при Фие (cj) =0 и заданном множестве
моделей шума
параметризация которого не зависит от множества моделей передаточной функции^. Показать,
что в этом случае решение задачи A 3.12) имеет вид
где я* - соответствующее значение параметра модели шума.
Указание: сначала нужно установить следствие из леммы 13.1. Пусть х*(у) определено,
как и в лемме, и / (у) - произвольная функция, и пусть
^*(z) = argmin V(x*(f(y)),z).
У
Тогда/0>*Bг)) =2 (см. |451|).
13G.2. Рассмотрим задачу A2.31) с матрицей C(cj) общего вида. Допустим, что модель
шума зафиксирована в виде //* и выбрана заранее (т.е. она не входит в 3j ) . 11роектные перемен-
переменные сводятся к Фы и Фие. Показать, что решение задачи A2.31) состоит в таком выборе Фм и
Ф ие, что
1 Г Ф^(^) Фм<>(<^) 1 Г Cll(to) C12(u>) 1
/*(e/a;)i2 L фцИ' ш) * J L ?**i (w) * J
Здесь * означает, что данный элемент матрицы не влияет на оптимальное проектное решение,
а а произвольное положительное число (см. [256]).
13G.3. Рассмотрим задачу проектирования A3.12) и A3.14) с проектными переменными
Показать, что оптимальный проект задается следующим выбором:
Указание: использовать задачу 13G.2 (см. [256]).
13D.1. Введем комплексную переменную Боде
logG (eloJ) = log [ С {eiuj) I + i arg G (eiu}) .
Допустим, что ^ = logcj, и рассмотрим квадратичное рассотасование между C0(eiu>) и C(eiu>t 0)
307
в терминах функций диаграммы Боде:
/ i logo1**, о) - iogc;0(^lff*)!2 e@tf*.
Пусть C(eiLJ4 0) и G0(f/CJ) близки между собой. Вывести из последней формулы выражение
для функции квадратическот рассогласования типа A3.5). Какова связь между Q и <??
(См. |417|.)
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
Планирование идентификационного эксперимента включает в себя различные
вопросы выбора, например, какие сигналы измерять и когда их измерять, с какими
сигналами обращаться и как с ними обращаться. Оно также включает в себя более
практические аспекты, такие как, чем обусловить формирование сигнала до их
дискретизации (выбор предварительных фильтров) и как произвести (если можно)
улучшение этих свойств впоследствии (например, удалением трендов).
Планируемые для идентификационного эксперимента переменные в некотором
смысле более важны, чем многие другие переменные, перечисленные в разделе 12.1.
В то время как планируемые переменные, связанные с различными моделями и мето-
методами, могут быть сформированы на ЭВМ, экспериментальные данные можно
изменить только посредством проведения нового эксперимента, который может
оказаться дорогостоящим и требующим значительного времени. Следовательно,
имеет смысл полностью продумать планирование эксперимента с тем, чтобы сгенери-
сгенерировать достаточно информативные данные.
В этой главе обсуждаются различные вопросы выбора при планировании экспери-
эксперимента. Некоторые основные принципы обсуждаются в разделе 14.1, а в разделе 14.2
формулируется понятие информативных экспериментов. Оптимальное планирование
входных сигналов, изучаемое в разделе 14.3, основано на матрице ковариаций оценок
параметров, а критерий планирования, относящийся к частотным свойствам линей-
линейных систем, формулируется в разделе 14.4. Выбор интервала дискретизации обсуж-
обсуждается в разделе 14.5, а вопросам предварительной обработки собранных данных
посвящен раздел 14.6.
14.1. Несколько общих вопросов
Планирование переменных. При необходимости идентифицировать динамические
свойства физической системы следует ответить на целый ряд вопросов. Прежде все-
всего определение системы может быть не задано: какие сигналы должны рассматри-
рассматриваться как входные величины, а какие — как выходные? Суть этого вопроса в том,
где следует расположить датчики (для измерения выходных величин процесса) и
какими сигналами следует управлять (входные величины) с тем, чтобы "возбуж-
"возбуждать'' систему в течение эксперимента. Необходимо также подчеркнуть, что с процес-
процессом могут быть связаны такие сигналы, которые безусловно должны рассматривать-
рассматриваться как входные величины (в том смысле, что они воздействуют на систему), даже
несмотря на невозможность, невыполнимость или недопустимость управления ими.
Если они измеряемы, желательно рассматривать их среди других измеряемых вход-
входных сигналов и при построении моделей трактовать их именно таким образом, даже
308
несмотря на то, что с операционной точки зрения они должны рассматриваться скорее
как (измеряемые) возмущения. См. рис. 1.1.
Когда уже решено, где и что измерять, следующий вопрос - когда измерять.
Наиболее часто измерение сигналов производится с использованием постоянного
интервала дискретизации Г и в этом случае необходимо выбрать эту величину.
Выбор входных сигналов оказывает существенное воздействие на наблюдаемые
данные. Входные сигналы определяют режим работы системы и то, какие составляю-
составляющие и элементы системы возбуждаются в процессе эксперимента. Свобода пользова-
пользователя в выборе входных характеристик может существенно различаться в зависи-
зависимости от приложений. В промышленных процессах, например, вообще не разре-
разрешается манипулировать системой в процессе производства. Для других систем,
таких как экономические и экологические, просто нет возможности воздействовать
на систему с целью проведения идентификационного эксперимента. С другой сторо-
стороны, в лабораторных приложениях и на стадиях разработки нового оборудования
выбор входных величин имеет, возможно, лишь амплитудные и мощностные огра-
ограничения.
С выбором входного сигнала связаны два различных аспекта. Один касается
свойств второго порядка м, таких как спектр Фм(со) и взаимный спектр Фые(со)
между входным сигналом и действующим (в цени обратной связи) шумом. Другой
касается "формы" сигнала. Можно работать с такими входными сигналами, как сум-
сумма синусоид, или как профильтрованный белый шум, или псевдослучайный сигнал,
или двоичный сигнал (предполагающий только два значения), и т.д.
Наконец, при проведении идентификационного эксперимента следует выбрать
значение /V, числа накапливаемых входо-выходных измерений.
Основополагающие принципы. Перечисленные вопросы будут подробно рассмат-
рассматриваться в последующих разделах. Здесь будут приведены некоторые из основопо-
основополагающих принципов.
Обозначим совокупность перечисленных переменных, связанных с эксперимен-
экспериментом, посредством Я/. (Я/ является, таким образом, частью 2), определенного в раз-
разделе 12.1.) Тогда асимптотические свойства получаемой оценки могут быть описа-
описаны посредством
QU30) A4.1)
предельного значения 6к, и посредством
A4.2)
асимптотической матрицы ковариаций оценки параметра (см. гл. 8 и 9). Эти выраже-
выражения могут быть приведены к другим представляющим интерес величинам, как напри-
например, соответствующая оценка передаточной функции (см. гл. 12).
Полученные в гл. 8 и 9 формальные результаты для методов ошибки предсказа-
предсказания с некоторой натяжкой можно привести к следующим формулировкам:
Модель JI (О* (SC)) наилучшим образом аппроксимирует систему при выбран-
выбранном ЗС. (Заметим, что "наилучшая аппроксимация" системы обычно зависит от
приложенного входного сигнала, см. пример 8.2.) A4.3)
М{6*{ЗС)) = S, если JI достаточно вели*ко, чтобы содержать $, а ЗС таково,
что никакая другая модель не является эквивалентной рассматриваемой системе
при выбранном ЗС. A4.4)
. A4.5)
309
См. теоремы 8.2, 8.3 и 9.1 и (9.17) соответственно.
Смещение. Предложение A4.3) сформулировано также в духе результатов раз-
раздела 13.3. Оно предполагает,что если смещение может быть значительным, разумно
допустить, что эксперимент соответствует ситуации, в которой должна использовать-
использоваться модель. Конечно же, это может не выполняться, поскольку часто цель идентифи-
идентификации состоит в нахождении подходящих условий функционирования. При отыска-
отыскании линейной модели в случае, когда истинная система может оказаться нелинейной,
результат A4.3) даст в качестве разумного совета режим проведения эксперимента
в окрестности номинальной точки функционирования системы. Для линейной систе-
системы распределение смещения и его зависимость от входа обсуждались и иллюстриро-
иллюстрировались в гл. 13.
Информативные эксперименты. Предположение A4.4) соответствует понятиям
информативных последовательностей данных, введенным определениями 8.1 и 8*2.
Очевидно, исходная цель состоит в планировании таких экспериментов, которые
приводят к данным, позволяющим различать всевозможные модели в предполагае-
предполагаемых множествах моделей. Эта проблема будет далее обсуждаться в разделе 14.2.
Заметим, что при § €lJ6 предположения A4.3) и A4.4) оставляют открытым
вопрос о выборе ЗС внутри достаточно информативного множества его значений.
Минимизация дисперсий. При выборе значения ЗС в соответствии с единствен-
единственным требованием допустимости предельной модели 6*C?) представляет дальнейший
интерес выбор ЗС, минимизирующий матрицу ковариации Ро (ЗС). Формально задача
оптимального планирования входного сигнала может быть сформулирована как
min a{P0CC)), A4.6)
где а(Р) - скалярная мера того, насколько велика матрица Pt a X - множество
допустимых планов, удовлетворяющих также ограничениям, возможно налагаемым
A4.3) и A4.4). В A2.30) был дан очевидный примера^) вида
Выражение A4.5) приводит к следующему принципу выбора ЗС:
)М (
!
Малая величина дисперсии какой-либо компоненты в является результатом
высокой чувствительности предсказателя к этой компоненте. Следовательно,;
выбор входных u(t) и выходныхy(t) величин следует осуществлять таким обра- j
зом, чтобы предсказанные значения выходного сигнала были чувствительны от-
относительно тех параметров, которые важны для рассматриваемых приложений.
A4.7)
Этот совет может использоваться в качестве общего принципа планирования экспе-
эксперимента. Он связан с проблемой локальной чувствительности, с выбором входных
переменных, а также их характеристик, и с другими вопросами планирования. Его
математическая формализация концептуально ясна, но может привести к техничес-
техническим затруднениям. В разделе 14.3 будет дана иллюстрация такой формализации
для случая планирования идентификационного эксперимента в разомкнутой системе.
14.2. Информативные эксперименты
В разделе 8.2 было введено понятие последовательности данных/00, которая яв-
является ''достаточно информативной" но отношению к множеству моделей JC*, озна-
означающее, что данные позволяют отличить друг от друга любые две различные модели
в множестве. Перенесем теперь эту терминологию на идентификационные экспери-
310
менты, называя эксперимент "достаточно информативным", если он порождает
последовательность данных, являющуюся достаточно информативной.
Очевидно, изначально основным является требование к планированию, состоя-
состоящее в том, что эксперимент должен быть достаточно информативным относитель-
относительно любого множества моделей, которые могут быть использованы. В теореме 8.1
дается общий результат по информативным экспериментам. В этом разделе будет
разработано несколько более детальных и специфичных характеристик таких экспе-
экспериментов.
Эксперименты с разомкнутой системой. Рассмотрим сначала множество линей-
линейных моделей с одним входом и одним выходом общего вида:
Jt*={G(q,0), H(q, в)\веОм}. A4.8)
Допустим, что вх и в2 соответствуют различным моделям ъМ*\ положим et(t) =
= Ф, 0f-), Giiq) = G(q, 0,), AG(q) = G2(q) - Gx (q) ; и аналогично //,. Тогда
^ ДЯ(</)е2(г)] .
Теперь
где GQ, Но - истинное описание (8.7) системы, которое не обязательно принадлежит
A4.8). Допустим, эксперимент проводится с разомкнутой системой, значит
и (^о(О) независимы. Тогда, используя B.65) и теорему 2.2,
2тг i \х()\ V г()
A4.9)
X Aff(el
tU>\\2fb ГлЛ4.1ЛШл^ч|2
L/co,
где Хо = Еео@ ¦ В соответствии с нашим стандартным предположением обращаемости
модели шума \H0(elto)\2 > 0 Vco. Допустим теперь, что данные не являются ин-
информативными относительно JC*, т.е.
E\Ae(t)}2 =0 A4.10)
даже если AG(eloJ) и Д//(е|и;) одновременно не равны тождественно нулю. Из
уравнения A4.10) следует, что оба члена в квадратных скобках выражения A4.9)
тождественно равны нулю, откуда
и первый член принимает вид
со) = 0. A4.11)
Это условие на спектр Фи(со) для эксперимента с разомкнутой системой является
исходным и будет развито далее. Если A4.11) обеспечивает тождество AG(eILJ) = 0,
то из A4.10) следует, что модели совпадают, и следовательно, данные являются
достаточно информативными относительно jU*.
Постоянство возбуждения. Основываясь на A4.11), введем следующее понятие:
Определение 14.1. Квазистационарный сигнал {u(t)}, имеющий спектр
) называется постоянно возбуждающим порядка и, если для любого фильтра
вида
A4.12)
из соотношения
|Л/„(е'")|2Фм(") = 0 A4.13)
следует, что Mn(elOJ) = 0.
Это понятие можно пояснить следующим образом. Очевидно, функция
Mk(z)Mn(—z) может иметь по крайней мере п — 1 различных нулей на окружности
единичного радиуса (так как один нуль всегда находится в начале координат и при-
принимая во внимание симметрию). Следовательно, u(t) является постоянно возбуждаю-
возбуждающим порядка п, если Фм(со) отличается от нуля по крайней мере в п точках интерва-
интервала -7г < со < 7г. Это непосредственно следует из определения.
Заметим также, что в соответствии с теоремой 2.2
Шя(е'ы)\2Фи(ь>)
представляет собой спектр сигнала
Следовательно, сигнал, который является постоянно возбуждающим порядка п,
не может быть преобразован в нулевой посредством любого фильтра A4.12)
типа скользящего среднего (л — 1)-го порядка.
Другая характеризация может быть дана в терминах ковариационной функции
Лемма 14.1. Пусть u(t) - квазистационарный сигнал, а п X п-матрица Rn
определяется равенством
Я„@) Ru(\) ...Ru(n~\)
A4.14)
Я„(/!-1) Яи(/!-2)... Ли@)
Тогда u(t) является постоянно возбуждающим порядка п в том и только в том слу-
случае, когда Rn невырождена. __
Доказательство. Пусть m = [mi m2 . . . тп] Т. Тогда Rn невырождена
в том и только в том случае, когда
mTRnm = 0=>m = 0. A4.15)
Легко проверить, что
гдеЛ/„ определяется выражением A4.12). Следовательно, в соответствии с теоремой
2.2 и B.65)
mRnm /
2тг _„
поэтому A4.15) принимает вид
что является определением постоянства возбуждения.
312
Полезно также рассмотреть усиленный вариант этого понятия.
Определение 14.2. Квазистационарный сигнал {u(t)} со спектром Фи(со)
называется постоянно возбуждающим, если
4>w(co)>0 Vco. . A4.16)
Информационные эксперименты с разомкнутой системой. Теперь, опираясь на
введенные понятия, нетрудно охарактеризовать достаточно информативные экспе-
эксперименты с разомкнутой системой. Имеем следующий результат.
Теорема 14.1. Рассмотрим множество JC* моделей с одним входом и одним
выходом, определяемое соотношением A4.8); таким образом, передаточные функ-
функции G(z, в) являются рациональными:
B(q, в) ^ q^
• 0)
+...
+fnfq
-"f
Тогда эксперимент с разомкнутой системой при постоянно возбуждающем входном
сигнале порядка пь + nf является достаточно информативным относительно Ж*.
Доказательство. Для двух различных моделей имеем
Bi(q)F2(q)-B2(q)Fl(q)
f-\(q)F2(q)
Следовательно, из A4.11) получаем
Так как этот числитель является полиномом, степень которого не превышает
пь + nf — I (мы как всегда можем осуществить сдвиг па пк - 1 шагов, чтобы прийти
к виду A4.12)), из определения 14.1 следует, что он тождественно равен нулю, и
значит &G(q) = 0. Справедливость теоремы следует теперь из обсуждения, следующе-
следующего за A4.11).
Следствие. Эксперимент с разомкнутой системой является информатив-
информативным, если входной сигнал постоянно возбуждающий.
Если числитель и знаменатель модели имеют одинаковую степень п, то входной
сигнал должен быть постоянно возбуждающим порядка In. Это означает, что спектр
Фм(со) должен быть ненулевым в 2л точках, что достигается, например, посред-
посредством и, состоящего из п различных синусоид:
k= 1
LJk Ф GJy, k Ф}, GJfc Ф 0
A4.17)
(см. пример 2.2). Таким образом,
достаточно использовать п синусоид,
чтобы идентифицировать систему
/?-го порядка; этот результат хорошо
согласуется с частотным анализом,
описанным в разделе 6.2.
Рис. 14.1. Структурная схема типичной
системы с обратной связью
Шум v
Внешний
вход
Шум юг или
задающее
воздействие
313
Теорема охватывает, например, случай общего множества моделей D.33) и раз-
различные его частные случаи. Должно быть понятно также, что аналогичным образом
можно рассмотреть другие структуры, включая многомерный случай. См. задачу
14Е.2.
Эксперименты с замкнутой системой. Иногда приходится проводить идентифика-
идентификационный эксперимент в условиях замкнутой цепи обратной связи (т.е. с замкнутой
системой). Причина может быть в том, что объект неустойчив, или что управление
объектом диктуется соображениями экономического характера или обеспечивает
безопасность, или что объект содержит естественные механизмы обратной связи.
Таким образом, рассмотрим эксперименты, выполняемые в условиях замкну-
замкнутой цепи обратной связи, конфигурация которой изображена на рис. 14.1. Информа-
Информация, порождаемая такими экспериментами, зачастую может быть неполной, что иллю-
иллюстрируется следующим примером.
Пример 14.1. Пропорциональный закон обратной связи.
Рассмотрим структуру модели первого порядка
y(t)+ay(t- l) = bu{t - l)+e(t) A4.18a)
и предположим, что при проведении эксперимента система управляется посредством пропор-
пропорционального регулятора
u(t)=fy(t). A4.18b)
Подставляя закон обратной связи в модель, получаем
y(t) + (a- bf)y(t--l) = e(г), A4.19)
что представляет собой модель замкнутой системы. Отсюда заключаем, что все модели (а, Ь),
удовлетворяющие равенствам
а - а + 7/,
A4.20)
b = b + y.
с произвольным скаляром 7, в условиях обратной связи A4.18) дают одинаковое описание
системы как модели (а, /?). Следовательно, не существует какого-либо способа различить эти
модели. Заметим, в частности, что знание коэффициента регулятора / не помогает. Следователь-
Следовательно, в условии A4.18b) эксперимент является не достаточно информативным по отношению к
структуре модели A4.18а). При этом нходной сишал u{t) постоянно возбуждающий, так как он
формируется посредством фильтрации белого шума. Таким образом, постоянство возбуждения
не является достаточным для экспериментов с замкнутой системой.
Если же структура модели A4.18а) ограничена, например, условием равенства b единице,
y(t)+ay(t- I) = u(t-
то очевидно, что данные, порождаемые в условиях A4.18Ь), являются достаточно информатив-
информативными ц ля различения всевозможных значений параметра а.
Итак, получение подходящей информации из экспериментов с замкнутой систе-
системой может оказаться проблематичным. Условия информативности данных должны
также содержать закон обратной связи. Чтобы почувствовать проблему, рассмотрим
(8.! 2) в определении 8.1. Если (8.12) выполняется для двух различных моделей, то
E\AWy(Q)y(t) + AWu(q)u(t)]2 = 0 A4.21)
для некоторых фильтров AWy и AWU, которые одновременно не являются нулевыми
и которые имеют примерно ту же сложность, что и модели рассматриваемой струк-
структуры. По существу отсюда следует, что существует линейная стационарная детерми-
детерминированная взаимосвязь между у и и:
AWu(q)u(t) - -AWy(q)y(t). A4.22)
Следовательно, только при обратной связи типа A4.22) эксперимент порождает не-
недостаточно информативные данные. Таким образом, нелинейные, или нестационар-
314
ные, или зашумленные, или более сложные (повышенного порядка) регуляторы
должны, вообше говоря, обеспечить достаточную информативность экспериментов.
Это — наиболее важное утверждение, которое может быть сделано относительно ин-
информативных экспериментов, но, в то же время, оно сформулировано не достаточно
строго. Следует, таким образом, дать более строгое и точное условие на нестационар-
нестационарные регуляторы с внешним входом, которое должно охватывать большую часть
случаев, представляющих практический интерес.
Пусть входной сигнал задается обратной связью по выходу плюс внешний сигнал:
u{t) - F((q)y(t) + K{q)w(t)9 /=1,2 г. A4.23)
Здесь Fj и К( представляют собой линейные фильтры, меняющиеся во время экспе-
эксперимента среди г (различных) фильтров. Изменения производятся таким образом,
что каждый регулятор используется в течение ненулевого отрезка времени, пропор-
пропорционального общему времени эксперимента, и так редко, что можно пренебречь
любой высокочастотной составляющей в спектре сигнала, возникающего за счет
этих смен.
Переменная w(t) в A4.23) представляет собой внешнее возмущение входного
сигнала. Сравнивая с рис. 14.1 видим, что w может рассматриваться как дополнитель-
дополнительный внешний входной сигнал wx (измеряемый), как шум w2 в регуляторе (неизме-
ряемый), как изменяющееся входное воздействие (эталонный сигнал) в регулято-
регуляторе к>з, или как комбинация этих воздействий.
Таким образом, имеем следующий результат.
Теорема 14.2. Рассмотрим эксперимент, определяемый A4.23) .Допустим,
что истинная система задается уравнением
A4.24)
и что спектр сигнала
положительно определен для всех частот. Предположим также, что все замкнутые
системы, получающиеся при использовании различных регуляторов, устойчивы.
Тогда эксперимент достаточно информативен в том и только в том случае, если
U})\2)-\ 2 F,(e/a;)|2 > 0 Vco. A4.25)
i= I i= I
Доказательство. Регулятор A4.23) совместно с системой A4.24) может
быть записать в виде
\y(t) I = [ Г 1 0 1 Г 1 G0K( -I Г vo(t) 1
U@ I 1 -ад I f,- кг\ [о 1 -ад ] [ wit) J'
где аргумент q опущен. Пусть Ф,(со) - спектр сигнала
1 Г 1 Со** 1 Г vo(t) 1
1-Co^.lo l-G0Fi\ [w(t) У
Тогда
Vcj, Ki<r, A4.26)
так как спектр г\ положительно определен, а указанный фильтр устойчив и имеет
полный ранг.
315
Если /-й регулятор используется в течение отрезка времени, составляющего
а,-ю часть всего времени эксперимента, имеем
det
1 О
F,(e ¦<-,
где б0 = minFj • а,-). Здесь первое равенство следует из задачи 14D.1. Для неравен-
(О
ства использовано
ВФВТ>Ь- ВВТ, если Ф>5/,
и
deti4 > det Я, если Л > В.
Необходимость теперь следует из теоремы 8.1. Достаточность получается взятием
верхних границ а,- и Ф,-.
Заметим, что в A4.25)
i= 1
поэтому в случае внешнего сигнала w, проходящего через фильтры, не имеющие ну-
нулей на окружности единичного радиуса, эксперименты всегда информативны, незави-
независимо от того, какова обратная связь. В частном случае разомкнутой цени обратной
связи имеем установленное ранее следствие к теореме 14.1.
Другое интересное следствие к теореме состоит в том, что даже при отсутствии
внешнего входного воздействия информативные эксперименты получаются за счет
смены различных линейных регуляторов. Проверкой A4.25) находим, , что доста-
достаточно использовать два регулятора
и u(t) = F2(q)y(t)
при условии
[^(е'"")-^(е'")]*0 Vco,
что является очень слабым условием. Такой способ достижения информативности
экспериментов может быть полезным при наличии ограничений на качество управле-
управления.
Методы идентификации замкнутых систем. При наличии информативных данных,
даже если они получены при работе замкнутой системы, теорема 8.3 гарантирует, что
истинное описание системы может быть восстановлено посредством метода ошибки
предсказания при условии S G JI. При идентификации по ошибке предсказания
данные, полученные для замкнутой системы, не являются основанием для примене-
применения каких-либо специфических мер. Заметим, однако, что другие методы, такие,
как спектральный анализ, не могут быть непосредственно применены для замкнутых
систем. См. задачу 6G.1. Акаике предложил другие методы, основанные на спектраль-
спектральном анализе [2]. Кроме того, для замкнутых систем теряется приятное свойство,
установленное в теореме 8.4, заключающееся в состоятельности оценки передаточной
316
функции даже при очень простой модели шума, параметризованной независимо.
Данные, полученные для замкнутой системы, требуют также специального выбора
инструментальных переменных при применении соответствующих методов.
По этим причинам были разработаны некоторые специальные методы идентифи-
идентификации систем. Это — идентификация замкнутой системы с последующим восстановле-
восстановлением разомкнутой прямой цепи (непрямая идентификация), или постулирование
того, что у и и являются выходными сигналами другой системы, подверженной дей-
действию возмущений и дополнительных входных сигналов (совместная входо-выход-
ная идентификация). Обзор таких методов и их свойств был сделан Густавссоном,
Льюнгом и Седерстремом [154, 155], а некоторые из них описаны в задачах к этой
главе. Основной совет, однако, состоит в том, чтобы применять методы ошибки
предсказания непосредственно, без использования специальных мер, предназначен-
предназначенных для борьбы с негативным влиянием обратной связи. В случае неудачи никакой
другой подход не приведет к успеху.
Многомерный случай (*). Постоянство возбуждения m-мерного сигнала опреде-
определяется аналогично определению 14.1: пусть Mn(q) определяется A4.12) cm,-, являю-
являющимися т X w-матрицами; тогда {u(t)} называется постоянно возбуждающим по-
порядка л, если
^г(е- <") = о A4.27)
выполняется только при
Лемма 14.1 имеет очевидный аналог, а основная теорема 14.2 остается спра-
справедливой без изменений, если Г(со) в A4.25) заменить на
Г(со) =
= det
/= I
2 Ff(e /0J) rl
A4.28)
Здесь фильтры F, имеют размерность т X p (m = dimw, p - dimj>), a K( — m X s
(s = dim w). Cm. [377].
14.3. Оптимальное планирование входных сигналов (*)
Требование информативности экспериментов оставляет значительную свободу и
представляет интерес вопрос о том, какой из информативных экспериментов являет-
является "наилучшим". В этом разделе обсуждается задача оптимизации A4.6) :
min а(Рв<&)). A4.29)
Здесь, таким образом, основное внимание фокусируется на дисперсии оценок при
сохранении их состоятельности. Это — задача оптимального планирования входных
сигналов, или эксперимента, являющаяся предметом широкого рассмотрения в ли-
литературе. Обзоры, посвященные этой проблеме, представлены в работах Гудвина и
Пзйна [141], Гудвина [140J,Mepa [284] и Зарропа [453].
Матрица ковариаций и информационная матрица. Рассмотрим, как и ранее, об-
общую структуру модели с одним входом и одним выходом:
y(t) = G(q, d)u(t) + //(?, 6)e(t). A4.30)
317
Асимптотическая матрица ковариаций, получающаяся в результате применения
к A4.30) метода ошибки предсказания, была вычислена в (9.29) и (9.30):
F(t,0o)tTV,0tj\-1, . A4.31)
[?/>о(О)]2
Используя G.77), можно определить среднюю информационную матрицу за один
тактМ как
1 1 _ т
1= lim —Л/Лг= —E$(t.0o)\j/'(t, 6О), A4.33)
где
_ = f i±?i_/_I_. rfjCf A4.34)
/Со -оо fe(x)
а Л(*) - функция плотности распределения истинных обновлений. Важным след-
следствием этих выражений является то, что выбор нормы 1(е) и распределения обновле-
обновлений действует только на независящий от входного сигнала скалярный множитель.
Оптимизация мер, основанных на М A4.33), охватывает, таким образом, как ниж-
нижнюю границу Крамера—Рао для Pq (90), так и все асимптотические выражения Р$ C7),
полученные для методов ошибки предсказания, с точностью до независящего от9С
скалярного множителя, который не является существенным при планировании
эксперимента.
Критерий планирования. Идея заключается в таком выборе 90, при котором
минимизируется матрица ковариаций Ро C0) или, иначе, максимизируется информа-
информационная матрица М (SC). Обычно эта оптимизация не может быть выполнена в матрич-
матричном смысле и приходится обращаться к скалярной мере. Типичными примерами
являются
С] A4.35)
или
тШ1Ж A4J6)
или
а(М) = max \(М~1 (SC)) = -—- , A4.37)
min \(MCC))
где \(Л) обозначает собственные значения матрицы Л. Соответственно, говорят о
планировании, которое является Л -оптимальным, D-оптимальным и ^'-оптимальным
[140]. В гл. 12 обсуждался физический смысл ,4-оптимальности. С вычислительной
точки зрения работать_с A4.36) и A4.37), возможно,проще, поскольку не требует-
требуется обращать матрицу М(90) -
Выражение для информационной матрицы в частотной области: случай разомкну-
разомкнутой системы. Соотношение (9.54) дает выражение матрицы ковариаций. Используя
М(ЗС), его можно переписать в виде
4" • Т" / <<^(е'Ы, во)\С,'о(е-'ы, 80)}тФи(ь>) +
"о 2тг .„
A4.38)
318
при условии, что и и е0 независимы. Здесь G'e и И в - d X 1-вскторы градиентов G и //.
Введем
Bя*о)-^(е^М[Со(е-^МГ A4J9)
1 * 1Гв(е1»,0о)[Н1в(е-'ы,0о)]т
Ме= / с/со. A4.40)
2ггК0 .*„ Ф„(со)
Тогда имеем
A4.4!)
Это выражение дает ясное представление о том, как спектр входного сигнала влияет
на информационную матрицу в случае разомкнутой системы. Оно тесно связано с
интуитивной рекомендацией A4.7). Чтобы достичь большого значения информацион-
информационной матрицы, следует сосредоточить энергию входного сигнала на тех частотах, на ко-
которых М(со) велико, т.е. где диаграмма Бодс чувствительна к изменениям парамет-
параметра (С/0 велико). При этом, если значение параметра представляет особый интерес,
го можно, изменяя его, проверить, где диаграмма Воде модели изменяется, и там
сосредоточить энергию входного сигнала.
Заметим также, что М{90) зависит только от спектра входного сигнала: таким
образом, значительно различающиеся между собой входные сигналы, имеющие оди-
одинаковые спектры, будут давать одинаковую информационную матрицу. Этот резуль-
результат очень полезен, поскольку из него следует, чго сначала можно определить наилуч-
наилучший входной спектр, а затем выбрать реализацию этого спектра, принимая во внима-
внимание практические аспекты генерации сигналов и ограничения на входе.
Ограничения при планировании и формулировка задачи. При отсутствии огра-
ограничений на мощность входного сигнала информационная матрица может быть сдела-
сделана сколь угодно большой. Поэтому для реального планирования нужно принимать
во внимание ограничения, которые могут быть обусловлены физическими возмож-
возможностями, экономичностью и безопасностью. Они могут иметь следующий вид:
Хх: {С, < u{t)< C2 V0, A4.42)
I
Х2: Hu\t) = — / Фм(со)с/со< С, A4.43)
2тг -тг
Х>. T:y2{t)= -1- / 11ао(с'^)|2Фи(сд;) + Хо|/М^I2]^< С A4.44)
2
Далее рассматриваются в основном два последних случая, поскольку они не-
непосредственно связаны со спектром входного сигнала. Теперь задача оптимального
планирования входного сигнала может быть сформулирована как
min а(М(Фи)) A4.45)
с учетом A4.43) или A4.44), где а(М) - одна из мер A4.35)-A4.37).
Обычно эта проблема может быть решена только посредством численной ми-
минимизации, и но этому поводу ниже будут кратко изложены некоторые детали.
Для практического использования A4.45) следует прежде всего учитывать, что ин-
информационная матриц;) М зависит также от истинного вектора параметров 0о:
Л/ = Л/(Фи, 0О). Это очевидно из A4.39) A4.41). Для ioro чтобы определить оити-
319
мальный входной сигнал, нужно знать истинную систему. На практике эта проблема
преодолевается заменой 0о в A4.39) и A4.40) наилучшей априорной оценкой па-
параметра, возможно, полученной из пилотного эксперимента. С позиций байесовско-
байесовского подхода, можно ввести априорную плотность распределения 0О, Р@о), и рас-
рассмотреть априорное среднее А/:
М(Фи) = КвоМ{Фи,0о) = 1М(Фи,0оI1Р@о). ¦ ¦ A4.46)
Параметризация входного сигнала. Задача A4.45) как таковая довольно труд-
трудна, поскольку минимизация должна выполняться относительно функции Фм(со).
Чтобы облегчить численные расчеты, желательно использовать конечномерную
параметризацию Фм (со):
Фи(со,р); penpCR\ A4.47)
и при М(р)=М(Фи(->р)) задача принимает вид
min a(M{f))). A4.48)
Задача A4.48) представляет собой теперь стандартную задачу конечномерной ми-
минимизации.
Ндинственный вопрос состоит в том, как выбрать A4.47). В идеале параметри-
параметризация не должна сказываться на решении задачи. Другими словами желательно,
чтобы при пробегании неременной р по Dp значения М(р) покрывали то же мно-
множество матриц, что и М(Фи(со)) при изменениях Фи(со) с учетом ограничения.
Эта проблема обсуждалась, например, в [141], [453] и [391]. Обычно параметри-
параметризация входного сигнала реализуется в виде конечной суммы синусоид, как в
A4.17), или в виде конечномерных линейных фильтров, порождающих входной
сигнал из белого шума.
Форма входного сигнала. До сих нор мы в основном касались свойств второго
порядка входной последовательности (т.е. ее спектра или корреляционной функ-
функции). Было найдено, что дисперсии оценок параметров зависят только от этих
свойств. Теперь существуют различные пути реализации данного входного спектра.
Действительная "форма" входного сигнала должна быть согласована с условиями
практического приложения. Обычно, амплитуда входного сигнала физически огра-
ограничена определенным интервалом, как в A4.42) (например, клапан может откры-
открываться только в некотором промежутке), и это главная причина введения огра-
ограничений типа A4.43). Синусоиды, как в A4.47), имеют ограниченные амплитуды,
но часто лучше выбирать двоичный входной сигнал:
Ui или и2, A4.49)
где н, и и2 - допустимые уровни на входе. Переход от одного значения к другому
может быть чисто случайным, реализованным, например, в виде
11'
м@= " ("! +) + - (Мх - u2)sign(R(Q)u(t - 1) + w(t)), A4.50)
где w(t) — генерируемый на ЭВМ белопгумный процесс. Такой сигнал можно назы-
называть случайным двоичным сигналом, причем различные спектры могут быть реали-
реализованы за счет выбора соответствующих фильтров R (q).
Другая возможность состоит в реализации A4.49) с помощью сдвигового ре-
регистра. Обычно тогда входной процесс представляет собой псевдослучайный двоич-
двоичный сигнал, описанный в [92]. Он порождает периодическую последовательность
320
с ковариационными функциями Ru(r) = Eu(t)u(t - г), характерный вид которых
изображен на рис. 14.2.
Эксперименты с замкнутой системой. Задача планирования A4.45) может,
конечно, рассматриваться в данном виде и для отыскания оптимальных экспери-
экспериментов, допускающих наличие обратной связи. Исходя из A4.33) и (9.54) нетрудно
получить выражение для информационной матрицы, справедливое также при на-
наличии обратной связи. Затем можно использовать параметризацию в терминах ко-
вариации и взаимной ковариации, однако общий случай приводит к чрезвычайно
сложным выражениям.
В [1541, возможно впервые, отмечалось, что оптимальные эксперименты для
замкнутых систем действительно могут быть найдены, по крайней мере в случае
гтллд
-С2А/М
ЦА 8А 12A t -ADA M Г
а Ъ
Рис. 14.2. а) Типичный вид псевдослучайного двоичного сигнала, Ь) Ковариационная функция:
Д = "основной период" = наименьший временной интервал между скачками. М период (Д и
М могут быть выбраны пользователем.)
ограниченной мощности выходного сигнала A4.44). Общее изложение затрудни-
затруднительно (за исключением случая асимптотики по неограниченно возрастающему
порядку системы, изучаемому в следующем разделе), а в качестве иллюстрации
можно рассмотреть следующий частный результат (см. [141 ], теорема 6.4.9) :
Результат 14.1. Рассмотрим модель структуры
A(q)y(t) = bu(t - 1) + е@, A4.51)
которая может иметь произвольные полюсы. Допустим, описание системы охваты-
охватывается этим множеством, а дисперсия обновлений равна Хо. Рассмотрим D-опти-
мальное планирование эксперимента при ограничении Ey2(t) < С (С > Хо). Оно
реализуется посредством замыкания системы регулятором, минимизирующем
дисперсию сигнала на выходе, с добавлением белошумного возмущения:
1
u(t)= - [axy(t) + • • < + <*пУ{* - п + 1)] + w(r), A4.52)
b
где Оелошумная последовательность и'(г) имеет такую дисперсию, при которой
Доказательство этого результата см. в [141].
Отрицательные стороны оптимального планирования входного сигнала. Реше-
Решение задачи A4.48) связано с многочисленными трудностями. Выше отмечалось,
что для вычисления М(р) требуется оценивать параметры истинной системы. Верно
также и то, что численная минимизация A4.48) может быть громоздкой. Важен,
безусловно, и третий аспект: структура модели влияет на планирование как не-
некоторая предвзятость. На это указывалось в работе Юаня и Лыонга [451]. Рас-
Рассмотрим здесь эту мысль подробнее.
Из выражений для М ясно, что не только истинная система, но также и струк-
структура модели Л, в рамках которой должна проводиться идентификация, влияет
11. Л. Льюнг 321
на результат планирования. Это означает, что еще до проведения эксперимента сле-
следует решить вопрос о том, какую структуру модели использовать. Это не всегда
возможно, как будет видно в гл. 16. Другой и, возможно, более важный аспект
состоит в том, что в малом множестве моделей можно обеспечить свойства пере-
передаточной функции в одном частотном диапазоне по ее свойствам в другом диапазо-
диапазоне. Чтобы получить крайний пример, рассмотрим структуру модели
y(t) + ay(t-\) = u(t-]) + e(f), a<0 A4.53)
с единственным параметром я. Легко видеть, что оптимальный входной сигнал для
этого множества моделей при ограничении на его дисперсию всегда представляет
собой константу
u0 A4.54)
независимо от используемого критерия (см. задачу 14Е.5). Это означает, что даже
если интерес прежде всего представляют высокочастотные характеристики, опти-
оптимальный входной сигнал имеет нулевую частоту. Причина состоит в том, что, в со-
соответствии с A4.53), можно однозначно определить величину а и высокочастотное
поведение по реакции на постоянный входной сигнал. На практике, однако, эта
аргументация представляется сомнительной. Даже если истинная система может
быть описана посредством A4.53) с достаточно хорошей степенью аппроксимации
в интересующем диапазоне частот, подгонка на нулевой частоте может привести к
очень плохой модели на высоких частотах. Если подозрение, что истинная систе-
система должна отыскиваться в небольшом множестве моделей, не является абсолютно
достоверным, в результате "оптимальный" входной сигнал может оказаться непод-
неподходящим,
14.4. Оптимальное планирование эксперимента
для моделей черного ящика высокого порядка**^
В этом разделе будет рассматриваться критерий A4.35) в конкретном виде
A2.29) , где матрица С обусловливает частотное взвешивание в критерии:
Будет использоваться также асимптотическое выражение ковариационной функции
Р (о;, SC) A2.34). Это означает, что критерий принимает вид
A4.55а)
где
A4.55Ь)
&= {Фм>ФМе). A4.55с)
Здесь опущен скалярный множитель n/N9 несущественный для выбора ЭС.
Этим достигаются два преимущества:
1. Критерий JP CC) значительно более удобен в аналитических исследованиях,
чем критерий конечного порядка A4.45) .
2, Предвзятость, которая упоминалась в конце предыдущего раздела, снима-
снимается в том смысле, что планирование эксперимента подготавливается для моделей
высокого порядка, представляющих собой гибкие структуры.
322
Недостатком является то, что если истинная система действительно принадлежит
малому множеству моделей, то планирование, вытекающее из A4.55), не будет
оптимальным для этого множества. С другой стороны, примеры раздела 9.4 указы-
указывают, что асимптотическое выражение A2.34) в действительности хорошо соответ-
соответствует и структурам моделей низкого порядка. Результаты планирования, основан-
основанные на асимптотическом выражении A4.55) могут, таким образом, быть использо-
использованы с определенной степенью доверия.
Критерий планирования. Исходя из A4.55) можно поставить несколько задач
планирования. Обсудим здесь задачу минимизации дисперсии входного сигнала с
учетом ограничений:
min Ур(Фм,Фме) A4.56а)
фи*фие
при условии
7Г
/ Фи(ы)<1ы< ot. A4.56b)
-7Г
Другие варианты описаны в комментариях к библиографии и вынесены в раздел задач.
Решим задачу A4.56) в частном случае, когда С12(со) = 0. Это соответствует
случаю ненулевого штрафа, соответствующего ошибке в перекрестных членах GH,
как в A2.12), A2.20) (в приложениях к разомкнутым системам) и A2.23).
Теорема 14.3. Задача A4.55) и A4.56) при С, 2(со) — 0 имеет решение
где ц - константа» величина которой удовлетворяет уравнению
)</со = <*. A4.58)
— 7Г
Доказательство. При С, 2(со) = 0 имеем
Х0С!! (со) + С2 2МФм (w)
*(",#)= ° ' \ " ; " ' Ф„<«). A4.59)
Эта подынтегральная функция минимизируется в каждой точке при Фие (со) ^ 0,
что доказывает одну часть теоремы. Тогда получаем задачу
min / {Cii(co) ~~ + C22(co)iHo(elLO)\ }dio A4.60)
фм(.) -тг ФММ
при условии A4.56b). Введем константу
Г= )
Тогда из неравенства Шварца имеем
7Г 2
Г2 = I I
*
-тг
Г JcoX / Фм(со)с/со< о: / dco.
Ф() Ф(со)
323
Следовательно,
Г2
для всех Фм(о;) при условии A4.5 6Ь) .Равенство достигается для Ф°р* (со) в A4.57),
что и доказывает теорему.
Следствие. Рассмотрим задачу A4.56) для общей матричной функции C(cj),
но при дополнительном ограничении, состоящем в том, что эксперимент должен
проводиться с разомкнутой системой [Фме (со) = 0]. Тогда по-прежнему решением
является A4.57).
Заметим, что оптимальный входной сигнал представляется простым выраже-
выражением, зависящим от спектра шума и от функции С\ i (со) (критерия передаточной
функции). Он не зависит от функции С2 2 (<*>)- Имея этот результат, можно опреде-
определить оптимальный входной сигнал для разомкнутой системы в частных случаях,
которые обсуждались в гл. 12.
Пример 14.2. Расположение полюсов.
Допустим, что предполагается использовать модель для того, чтобы найти регулятор C.55)
в задаче расположения полюсов. Соответствующая матрица С(о>) была вычислена в A2.23).
Следовательно, оптимальный входной сигнал при ограничении на дисперсию реализуется в ра-
разомкнутой системе с
A4.61)
)!
Видно, что для вычисления оптимального входного сигнала требуется знать характеристики
истинной системы. Даже несмотря на то, что они точно не могут быть известны, выражение
A4.61) по-прежнему полезно. Оно говорит, что входную энергию следует сосредоточить там,
где
R(eiLJ)
1. Усиление достигает достаточно большой величины:
> 1.
2. Эталонный входной сигнал имеет достаточно большую энергию: V Фг (и>) велико.
3. Возмущения значительны: \Н0{е'ш)\ велико.
4. Уменьшение чувствительности за счет обратной связи небольшое: 11 + G0(e lLJ)F2(eIlAj) \
мало.
Эти предложения являются вполне естественными, но полезна их формализация.
Пример 14.3. Обобщенное управление по минимуму дисперсии.
Допустим, модель используется для планирования регулятора C.52) с целью добиться пове-
поведения замкнутой системы типа y(t) = R(q)e (t). Тогда, используя следствие к теореме 14.3 и
A2.22), оптимальный входной сигнал разомкнутой системы получаем в виде
A4.62)
Минимизация среднеквадратичной ошибки. Рассмотрим теперь критерий сред-
среднеквадратичной ошибки JC)) в A2.29)» в котором вклад смещения и дисперсии
взвешены в общей ошибке. Если объединить результат теоремы 14.3 с результа-
результатами раздела 13.3 (см. также задачу 13G.3) , получим следующий результат:
Теорема 14А.Рассмотрим задачу минимизации критерия JBb) A2.29) с
Jp{3)) A4.55) относительно планируемых переменных
3) = (ФнН,Ф»еDЯ#П}.
Множество моделей шума обозначим
324
а функция С (со) в критерии имеет вид С, 2(о>) ^ C2l(to) = О, С22(со) = 0. Мини-
Минимизация проводится при ограничении на дисперсию входного сигнала A4.56Ь).
Тогда решением является
Здесь цх выбирается из условия достижения ограничения по энергии входного сиг-
сигнала, а ц2 — константа, при которой передаточная функция H*(q) моническая.
Заметим снова, что модель шума //# может также быть реализована посред-
посредством предварительного фильтра L, либо посредством некоторого горизонта пред-
предсказания к. Результат теоремы 14.4 можно получить одновременной минимизацией
по 3) обеих компонент среднеквадратичной ошибки, что оказывается возможным.
При планировании других переменных, обычно порядка модели, смещение и диспер-
дисперсия не минимизируются одновременно, и оптимальный выбор связан g компромис-
компромиссом между Jg и JP.
14.5. Выбор интервала дискретизации
и предварительного фильтра
Процедура дискретизации данных, порождаемых системой, является неотъем-
неотъемлемой частью цифровых систем сбора данных. Дискретизация, как таковая, неиз-
неизбежно ведет к потере информации, и важно выбрать моменты получения наблю-
наблюдений так, чтобы эти потери были незначительными. В этом разделе будем предпо-
предполагать, что сбор информации производится в равноотстоящие моменты времени,
и обсуждение, таким образом, будет касаться выбора интервала дискретизации Т.
Наложение спектров. Потеря информации, происходящая в результате дискре-
дискретизации, лучше всего описывается в частотной области. Допустим, что интервал
дискретизации сигнала s(t) равен Т:
sk=s(kT), k = 1,2,...
Обозначим частоту дискретизации cos = 2тг/7\ тогда частота Найквиста coN = cos/2.
Далее, хорошо известно, что гармонический сигнал с частотой, превышающей coN,
после дискретизации невозможно отличить от соответствующего гармонического
сигнала из частотного интервала [~coNy соN]:
если | со | > toN, то найдется такое п, ~coN < со < toN, что
k = 0J,... A4.63)
Это следует из простых формул тригонометрии. Таким образом, та часть спектра
сигнала, которая соответствует частотам, превышающим toN, будет интерпретиро-
интерпретироваться как вклад более низких частот. Это - явление побочных низкочастотных
составляющих; частоты появляются под предполагаемыми именами. Это означает
также, что спектр дискретного сигнала будет представлять собой суперпозицию
различных частей исходного спектра:
Фг(а;)= 2 Фс(со + гсо5). A4.64)
325
Здесь Фс (а>) - спектр непрерывного во времени сигнала, определяемый как
1 L
Rc(t) =Es(t)s(t + T)= lim - fhs(t)s(t + T)dt,
L~~ L ° A4.65)
Фс(со)= / Rc(T)e-'"TdT,
— oo
а Фт{со) - спектр дискретного сигнала:
1 м
RT(lT) = tsksk4= lim - 2 Es(kT)s(kT + lT),
«-N* = * A4.66)
Фт(со)=Т ? RT(lT)e-lu"T.
/__oo
Эффект A4.64) часто называют складыванием гармошкой*): исходный спектр
"складывается гармошкой" (и суммируется), образуя в результате спектр диск-
дискретного сигнала.
Предварительные фильтры для защиты от наложения спектров. Информация
о частотах, превышающих частоту Найквиста, теряется. Поэтому важно принять
меры против искажения интересующей части спектра ниже частоты Найквиста. Это
достигается посредством введения предварительного фильтра к(р):
A4.67)
(здесь р - оператор дифференцирования). По аналогии с формулами теоремы 2.2
спектр сигнала sF (t) на выходе фильтра равен
Of (w)=| k(iw)|2<Moj). A4.68)
В идеале K(ioj) должно быть таким, что
/w)i = 0, \lo\>lon.
Это может быть дости1нуто только приближенно. В идеальном случае A4.69) имеем
!
| 0, Iw^w^v,
а это означает в соответствии с A4.64), что сигнал
будет иметь спектр
^' -ljn < со< uN. A4.70)
Таким образом, при наличии фильтра A4.67) и A4.69) достигается такой спектр
дискретного сигнала, на котором не сказывается эффект наложения спектров. В свя-
связи с этим такой фильтр также называют фильтром, защищающим от наложения
спектров. В соответствии со сказанным такой фильтр всегда должен применяться
перед процессом дискретизации, если ожидается, что энергией сигнала на частотах,
превышающих частоту Найквиста, пренебречь нельзя.
Эффект уменьшения шума при защите от наложения спектров. Обычно сигнал
состоит из полезной составляющей и возмущения, а спектр возмущения является
*) В оригинале "folding". - Примеч. пер.
326
более широкополосным, чем спектр сигнала. Тогда интервал дискретизации выби-
выбирается, как правило, так, чтобы большая часть спектра полезной составляющей
была ниже ojn. При этом фильтр, защищающий от наложения частот, вырезает су-
существенную часть высокочастотной составляющей шума. Допустим,
где m(t) - полезный сигнал, a v(t) - шум. Пусть Ф"(и)) спектр v(t). Тогда
дискретный сигнал с предварительного фильтра равен
s =m?+v ^=s
где дисперсия шума
"N vc ™N v
ф/'i
Из этого выражения видно, как высокочастотные составляющие шума наклады-
накладываются на низкочастотную часть интервала [—gjn, ojn] и, таким образом, перено-
переносят туда энергию шума. Исключение высокочастотных составляющих с помощью
защищающего от наложения спектров предварительного фильтра A4.69) при-
приводит к уменьшению дисперсии v? на величину
но сравнению со случаем полного отсутствия предварительного фильтра. Это умень-
уменьшение шума существенно, если спектр шума имеет значительную энергию выше
частоты Найквиста.
Защищающие от наложения спектров фильтры при сборе данных. Прокоммен-
Прокомментируем роль фильтров, предназначенных для защиты от наложения спектров, в при-
приложениях к идентификации систем. Допустим сначала, что система не является
системой цифрового управления, т.е. входной сигнал в непрерывном времени не
является кусочно-постоянной функцией. Это может быть случай, когда сбор дан-
данных производится в процессе нормальной работы системы. Если при этом входной
сигнал низкочастотный и не имеет энергии на частотах, превышающих сов, то это
означает, что вся полезная информация на выходе также лежит ниже и)в, при усло-
условии, что процесс линеен. Тогда можно применить защищающий от наложения спект-
спектров фильтр с частотой среза сов и провести дискретизацию с интервалом Т = 7г/а;^
без потери информации. Если входной сигнал не является низкочастотным, защи-
защищающий от наложения спектров фильтр будет искажать полезную информацию
одновременно с уменьшением уровня шума. Если Т выбирается таким образом,
что частота Найквиста (равная частоте среза фильтра) превышает полосу пропуска-
пропускания системы, потеря полезной информации незначительна. Заметим, что в этом слу-
случае предварительный фильтр, защищающий от наложения спектров, должен быть
применен также и к входному сигналу.
Рассмотрим теперь случай, когда входной сигнал является кусочно-постоянным
на интервале дискретизации. Тогда, очевидно, после дискретизации такой сигнал
принимает кусочно-постоянные значения и нет необходимости в применении пред-
предварительного фильтра. Ступенчатые изменения во входном процессе, однако, содер-
содержат высокие частоты, которые могут проходить на выход. Защищающий от нало-
наложения спектров фильтр, примененный к выходному процессу, может, таким обра-
образом, исказить полезную информацию. Существуют три способа решения этой про-
проблемы:
327
1
1 0,07
i \
; \
. i i
4
\
\
\
Рис. 14.3. Дискретизация, представленная в
частотной области. Сплошная линия: частот-
частотные характеристики процесса, cjb - ширина
полосы пропускания; штриховая линия:
спектр шума; точечная линия: частотные ха-
характеристики фильтра, предназначенное для
защиты от наложения спектров, u>jy- частота
Найквиста
со
1. Достаточно быстрая дискретизация, если процесс хорошо затухает выше час-
частоты Найквиста. Тогда высокочастотные составляющие выходного сигнала, соот-
соответствующие данному входному сигналу, незначительны.
2. Рассматриваем защищающий от наложения спектров выходной фильтр как
часть процесса и моделируем систему от ее входа до выхода фильтра (это может
привести к необходимости увеличить порядок модели) .
3. Поскольку защищающий от наложения спектров фильтр известен, включаем
его в модель в качестве известной составной части и пропускаем предсказанный
выходной сигнал через фильтр перед тем, как использовать его в критерии иденти-
идентификации (этот подход проиллюстрирован в A4.75) и A4.76)).
Решение 1 наиболее естественно; его принцип изображен на рис. 14.3.
Замечание: для целей управления может оказаться хорошей идея приме-
применения низкочастотного фильтра к кусочно-постоянной входной последовательности
дискретизированных данных. Это будет также полезно при решении 1.
Некоторые общие аспекты выбора Т и N. Если время проведения всего экспе-
эксперимента 0 < t < TN ограничено, а стоимость сбора данных внутри этого интервала
времени нулевая, с точки зрения теории информации очевидно, что чем чаще прово-
проводится дискретизация, тем лучше. Более редкая дискретизация приводит к набору
данных, который является подмножеством максимально возможного набора и,
следовательно, менее информативным. Однако эффективность новой информации
обычно убывает с ростом частоты дискретизации (ср. с рис. 14.4). В том идеальном
случае, когда добавление новых данных ничего не стоит, существуют лишь два мо-
момента, способные воспрепятствовать выбору такой высокой частоты дискретизации,
которая ограничивается техническими возможностями. Первый состоит в том, что
построение дискретных моделей с очень маленьким интервалом дискретизации по
сравнению с естественными постоянными времени является неустойчивой в числен-
численном отношении процедурой (все полюса сосредоточиваются в окрестности 1) . См. за-
задачу 14G.1. Второй момент состоит в том, что подгонка модели может производиться
в основном на высоких частотах (см. последующее обсуждение относительно сме-
смещения) . Последняя проблема должна решаться с помощью предварительной фильтра-
фильтрации данных с целью перераспределения смещения, как объяснялось в гл. 13. Первая
проблема должна, вероятно, решаться посредством подгонки моделей в непрерыв-
непрерывном времени непосредственно к моделям тина B.23) по данным с высокой частотой
дискретизации.
Другая идеализированная ситуация состоит в том, что время эксперимента
0 < t < 7дг само по себе дармовое, а вся стоимость связывается со сбором и обра-
обработкой информации. Тогда можно назначить, скажем, сбор TV измерений и выбрать Т
328
(TN = NT) так, чтобы последовательность данных была как можно более инфор-
информативной. Величина Т, будучи значительно больше, чем интересующие нас постоян-
постоянные времени системы, будет при этом обеспечивать данные с малой информацией
о динамических свойствах. Малая величина Т, с другой стороны, не позволит зна-
значительно уменьшить уровень шума, и данные будут мало информативными по этой
причине. Выбор хорошего значения Т должен, таким образом, представлять компро-
компромисс между уменьшением уровня шума и соответствием динамическим свойствам.
Если модель предназначается для использования в целях управления, в игру
вступают некоторые другие аспекты. Интервал дискретизации, для которого стро-
строится модель, должен быть таким же, как и в рассматриваемой задаче управления
(если мы не хотим производить пересчет от одного интервала дискретизации к дру-
другому). Модель с большой частотой дискретизации часто оказывается неминимально-
фазовой [32], а инерционные системы могут моделироваться с элементом задержки
на несколько интервалов дискретизации. Такого рода эффекты могут породить
некоторые проблемы при построении управления и будут, следовательно, оказы-
оказывать влияние на выбор Т.
При выборе TV полезно иметь в виду асимптотический результат (9.99). Он
показывает, насколько малым должно быть отношение порядка модели к размеру
выборки для того, чтобы достичь в рассматриваемой задаче определенной точности
при заданном спектре шума.
О смещении. В гл. 13 показано, что расхождение между модельной и истинной
передаточными функциями можно оценить с помощью квадратичной нормы (см.
A3.5)):
тг/Т
0*=argmin / \G0(eiuit)-G(eiuiT9e)\2Q{u}9e)d<o. A4.71)
в —a IT
Здесь (?(со, 0) - отношение спектра профильтрованного входного сигнала к спектру
шума:
\Н(е*ыТ,в)\г
В этих формулах указана зависимость от Т. При стремлении Т к нулю частотный
диапазон, на котором производится подгонка в A4.71), растет. Обычно, однако,
динамические свойства системы и модели таковы, что G0(eicjT) - G(el^T, 0)
быстро затухает на высоких частотах, поэтому вклад высоких частот в A4.71)
будет незначительным, даже при широкополосном входном сигнале. Важным исклю-
исключением является случай, когда модель шума связана с динамикой, как в ARX-струк-
туре D.9) , в которой Н(е*ыТ) = \/А(е''"т) . Тогда
не стремится к нулю при возрастании со, и при убывании Г аппроксимация в A4.71)
распространяется на очень большие частоты. Это может привести к любопытным
результатам, как показано в [417]. В таких случаях высокая частота дискретиза-
дискретизации нежелательна, не говоря уже о вероятных численных трудностях. Эти эффекты
можно компенсировать соответствующей предварительной фильтрацией или расши-
расширением горизонта предсказания (который оказывает аналогичное воздействие),
как описано в гл. 13. В любом случае важно учитывать влияние величины Т на рас-
распределение смещения,
329
О дисперсии. Дисперсия.оценки параметра, полученной для конкретного набора
данных, будет зависеть от средней информации на один такт. Как отмечалось выше,
при этом имеет место компромисс между уменьшением уровня шума при небольшой
частоте дискретизации и малой информацией относительно свойств динамики, кото-
которая содержится в данных. Рассмотрим этот компромисс на простом примере.
Пример 14.4. Оптимальная дискретизация.
Рассмотрим систему в непрерывном времени
() (/)
()
+рт
или
x(t)= м(г),
где и (г) - широкополосный шум ("почти белый шум") с дисперсией Л/Г0,где 1/Г0 - ширина
его частотного диапазона (т.е. То - наименьший интервал дискретизации, при котором дискрет-
дискретная версия и (О действительно белая). В качестве простого предварительного фильтра будем
использовать интегратор
1 кТ
A4.73)
Здесь х(кТ) среднее значение полезного сигнала x(t) на интервале дискретизации, а
{vT(kT)} - последовательность независимых случайных величин с дисперсией Л/Г (если
Т> TQ). Используем множество моделей с ошибкой на выходе
х(кТ+Т) = е~аТх(кТ) + (\ - е~аТ)и{кТ), A4.74а)
у(кТ+ Т\ кТ, а) = х(кТ+ Г) = ——~ *_ ' }- и(кТ), A4.74Ь)
q-e
и пусть входной сигнал является гармоническим (кусочно-постоянным) частоты cj0:
и (кТ) = acos(wokT).
При вычислении предсказателя A4.74) мы игнорировали предварительный фильтр, что
может быть разумным при достаточно малом Т. Чтобы распространить рассуждение также на
большие значения Г, можно учесть предварительный фильтр A4.73) и положить предсказание
равным
d
—- x(t,a) = ax(t,a)+au(t), A4.75а)
at
yT(kT+T\kT,a)= - / x(t,a)dt =
T T кт
^I uilcTit A475b)
q e al
aT aT
(Заметим, что при малом Т второй член в знаменателе **аТ/2.) Асимптотическая дисперсия
оценки aN определяется теперь теоремой 9.1, а именно
I Var"^r(r)
Z^N-W-U = - ' О4Л7)
где
330
Для выражения A4.74) имеем
Е \ С/ т (О I2 = а2
Т
'' B - 2cosu;0r)
Таким образом, имеем
A4.78)
A4.79)
Видно, что при нсо1раничснном возрастании Т это выражение стремится к бесконечности как
это - эффект слабой информации о т при редкой дискретизации. Аналогично после некоторых
Рис. 14.4. График зависимости дисперсии оценки йдг от
интервала дискретизации Т(и>0 = 1/т): / - выражение
A4.79); 2 использование A4.76)
JJ
вычислений получаем стремление к бесконечности как \\Т при стремлении Т к нулю; это -
эффект недостаточного уменьшения уровня шума при частой дискретизации. Таким образом,
мы имеем пример упомянутого выше компромисса.
Точный вид предсказателя A4.76) приводит к аналогичным, но более сложным выраже-
выражениям. На рис. 14.4 показаны выражение A4.79) и соответствующая точная величина дисперсии
как функции Г для и>0 = 1/т . Рисунок позволяет сделать следующие выводы:
1. Оптимальный выбор интервала дискретизации близок к значению постоянной времени
системы.
2. Значительно хуже завысить значение Г, чем занизить его: Т~ Ют дает дисперсию,
в 105 раз превышающую оптимальную, а Т = 0.1т - дисперсию, превышающую оптимальную
не более чем в 10 раз.
Выводы. Подведем итог обсуждению вопроса о частоте дискретизации.
— Дискретизация с большой частотой приводит к численным проблемам, под-
подгонке модели в высокочастотном диапазоне и к редким возвратам для проведения
дополнительной работы.
— При возрастании интервала дискретизации выше естественных постоянных
времени системы дисперсия резко возрастает.
— Оптимальный выбор Т при фиксированной длине выборки примерно соответ-
соответствует постоянным времени системы. Они, однако, не известны точно, а завышение
их значений может привести к очень плохим результатам.
331
Все эти аспекты показывают, что частота дискретизации, примерно в десять раз
большая, чем частотный диапазон системы, должна представлять собой хороший
выбор в большинстве случаев. Заметим, что это обсуждение касается выбора часто-
частоты дискретизации для построения модели. При "дешевом" сборе данных можно
всегда осуществить в процессе эксперимента возможно более частую дискретизацию
и окончательный выбор Г произвести с помощью предварительной цифровой фильт-
фильтрации и разрежения исходной записи данных.
14.6. Предварительная обработка данных
Когда с помощью идентификационного эксперимента данные уже собраны, они,
по всей вероятности, не годятся лля непосредственного использования в алгоритмах
идентификации. Данные могут иметь различные недостатки:
1. Высокочастотные возмущения, выше частот, представляющих интерес в от-
отношении динамических свойств системы.
2. Редкие выбросы и зашкаливания.
3. Дрейф и сдвиги, низкочастотные возмущения, возможно, периодического ха-
характера.
Необходимо подчеркнуть, что в задачах идентификации по накопленным дан-
данным всегда следует прежде всего изобразить данные графически для просмотра на
предмет этих недостатков. В данном разделе будут обсуждаться способы улучшения
данных с целью избежать проблем при дальнейшем использовании процедур иден-
идентификации.
Высокочастотные возмущения. Возмущения типа 1 указывают, что выбор интер-
интервала дискретизации был осуществлен не достаточно успешно. Если после экспери-
эксперимента оказывается, что интервал дискретизации был излишне мал, всегда есть воз-
возможность проредить последовательность данных, выбирая каждое 5-е наблюдение
из исходной записи. При этом цифровой фильтр, предназначенный для защиты
от наложения спектров, должен применяться до этой процедуры разрежения выбор-
выборки так, как обсуждалось в разделе 14.5.
Выбросы и зашкаливания. Единичные большие значения измеренных данных мо-
могут существенно повлиять на получаемую оценку. Необходимо защитить оценку
от плохих данных. Обычно это достигается с помощью критериев робастной иден-
идентификации, обсуждаемых в разделе 15.2. Заметим, что плохие данные, как правило,
легче всего обнаружить на графике невязки (см. раздел 16.5). Очевидные ошибоч-
ошибочные измерения можно также изменить "от руки" соответствующим образом интер-
интерполированным значением. Упомянем алгоритмы обнаружения сбоев [438], которые
могут использоваться в приложениях для выявления плохих данных. Напомним,
однако, что изменение данных представляет собой некоторое жульничество, и оно
должно выполняться с особой осторожностью.
Медленные возмущения: общие замечания. Низкочастотные возмущения, сдви-
сдвиги, тренды, дрейф и периодические (сезонные) изменения не являются редкостью.
Они обычно проистекают от внешних источников, которые можно включать или
не включать в модель. Существуют в основном два различных подхода к таким
проблемам:
1. Удаление возмущений посредством специальной предварительной обработ-
обработки данных.
2. Введение модели шума для учета возмущений.
Первый подход включает удаление трендов и сдвигов путем непосредственно-
непосредственного вычитания, а второй основывается на моделях шума с полюсами на или вблизи
окружности единичного радиуса подобно ARIMA-моделям (/ - интегрирование),
нашедшим большое применение в подходе Бокса — Дженкинса [62]. Проиллюстри-
332
руем прежде всего два подхода, применяемых в случае сдвигов. Стандартные ис-
используемые здесь модели типа
A(q)y(t) = B(q)u(t) + v(t) A4.80)
устанавливают как динамические свойства системы, так и статическое соотношение
между постоянным входным сигналом u(t) = м и результирующим установившим-
установившимся значением выхода у (Г) = jF:
А(\)у = В(\)п. A4.81)
На практике собирают и записывают необработанные входо-выходные измерения,
скажем, ит (Г), ym(t), в физических единицах, уровень которых может быть со-
совершенно произвольным. Уравнение A4.80), описывающее динамические свойст-
свойства, может, следовательно, иметь малое отношение к уравнению A4.81), касающему-
касающемуся уровней сигналов. Другими словами, A4.81) представляет собой совершенно
ненужное ограничение для A4.80). Существуют по крайней мере пять способов
решения этой проблемы:
1. Пусть y(t) и и (t) - отклонения от физического равновесия. Наиболее
естественный подход состоит в определении уровня у, который соответствует
постоянному значению um(t) = и, вблизи желаемой рабочей точки. Тогда опре-
определяем
У(П = ym(t)-y, A4.82а)
u(t) = um(r) -и A4.82Ь)
как отклонения от этого равновесия. Эти новые переменные будут автоматически
удовлетворять равенству A4.81), обе части которого будут нулевыми, и, адекват-
адекватно, A4.81) не будет влиять на процесс подгонки в A4.80). Этот подход подчерки-
подчеркивает физическую интерпретацию A4.80) как линеаризацию около положения рав-
равновесия.
2. Вычитание выборочных средних. Второй подход сводится к определению
\ N \ к
у= — 2 ут(О, п = — 2 um(t) A4.83)
N г = Г N t = 1
и последующему использованию A4.82). Если входная неременная um(t) имеет
значения вокруг п и порождает изменение выходной переменной около у, то точ-
точка (й, у) должна быть, вероятно, близка к точке равновесия системы. Подход 2,
таким образом, близок к первому подходу.
3. Явное оценивание сдвига. Можно также моделировать систему с использова-
использованием неременных в исходных физических единицах, добавляя константу для уче-
учета сдвигов:
A(q)ym(t) = B(q)um(t) + a + v(t). A4.84)
Сравнивая A4.80) - A4.82), видим, что а соответствует разности А(\)у - В(\)и.
При этом величина а включается в вектор параметров в и оценивается по данным.
Оказывается, что этот подход фактически представляет собой небольшую вариацию
второго подхода. См. задачу 14D.2.
4. Использование модели шума с интегрированием (взятие разностей дан-
данных). Константа а в A4.84) может рассматриваться как постоянное возмущение,
моделируемое в виде
^ A4.85)
1 -q
333
где 5(f) — единичный импульс в нулевой момент времени. Тогда модель прини-
принимает вид
В(а) 1
ym(t) =—— um(t) + ¦ w(f), A4.86)
A(q) (l-q-^Ai)
где w(t) - комбинированный шум вида otd(t) + v(t) - v(t - 1). Сдвиг а может,
таким образом, быть описан посредством замены модели шума с \/A(q) на
1/[0 ~ Q~l)A(q)]. В соответствии с замечанием к G.14) это эквивалентно пред-
предварительной фильтрации данных с помощью фильтра L(q)= 1 - q~l, т.е. взятию раз-
разностей данных:
y%(t)=Uq)ym(t) = y™(t)-ym(t~l),
<(О = L(Q)um(t)= um(t)-um(t-l).
5. Расширение модели шума. Заметим, что модель A4.86) становится частным
случаем A4.80), если увеличить порядки полиномов А и В в A4.80) на 1. Тогда
общий множитель 1 - q~l может быть включен в A(q) и В (q). Это означает, что
модель повышенного порядка, примененная к необработанным данным ут, ит<
будет сходиться к модели типа A4.86).
Сопоставление подходов. В задачах идентификации по накопленным данным
при наличии сдвигов прежде всего рекомендуется использовать первый подход или,
если эксперимент с установившимися значениями не возможен, второй подход.
Явное оценивание сдвига (подход 3) представляет собой излишне сложный способ
вычитания выборочного среднего. Взятие разностей данных типа A4.87) будет,
в соответствии с гл. 13, приводить к подгонке в высокочастотной области, что во
многих случаях не удобно. Подход 5 имеет дополнительный недостаток, состоящий
в увеличении числа оцениваемых параметров.
Особенно важно устранить сдвиги (тренды и дрейфы) при использовании мето-
методов, основанных на фиксированной модели шума, как, например, методы ошибки
на выходе. Расхождение уровней будет нри этом доминировать в критерии подгон-
подгонки, а динамические свойства отойдут на второй план. Для методов, использующих
гибкие модели шума (как, например, метод наименьших квадратов) эта проблема
выражена менее явно, так как эффекты подхода 5 будут автоматически ретуширо-
ретушировать важность уровней сигналов.
Дрейфы, тренды, сезонные изменения. Методы борьбы с другими медленными
возмущениями данных полностью аналогичны подходам, которые обсуждены выше.
Дрейфы и тренды могут рассматриваться как изменяющееся со временем равнове-
равновесие. Вместо постоянного уровня сдвига в A4.83) можно использовать для аппрок-
аппроксимации данных отрезки прямых или куски кривых линий, и рассмотреть откло-
отклонения во времени от этих переменных средних. Для учета сезонных изменений бы-
были разработаны различные методы такого же характера, предназначенные для обра-
обработки временных рядов в экономических приложениях (см., например, [62]).
Другой подход состоит в высокочастотной фильтрации данных, аналогичной
A4.87) или, что эквивалентно, в использовании ARIMA-структур модели, содержа-
содержащих интегратор в модели шума. Наоборот, модель шума может быть задана внешни-
внешними условиями для нахождения самого интегратора (или комплексных пар полюсов
на окружности единичного радиуса для вычисления периодических изменений).
Последняя проблема всесторонне обсуждалась в [143].
334
14.7. Заключение
Тщательное планирование эксперимента, порождающего последовательность
данных с хорошей информацией, является основой успешного проведения иденти-
идентификации, В этой главе обсуждался вопрос о том, как спланировать хороший экспе-
эксперимент. Основные принципы следующие:
— Обеспечить соответствие условий эксперимента той ситуации, в которой пред-
предполагается использовать модель.
— Идентифицируемость обеспечивается наличием у входного сигнала свойства
быть постоянно возбуждающим, а при наличии обратной связи - тем, чтобы она
не была слишком простой (теорема 14.2).
— Для минимизации дисперсии оценки параметра по планируемым переменным
необходимо, как показывает выражение
чтобы интересующие параметры имели существенное влияние на значение выхода
предсказателя.
— Чтобы минимизировать квадратичный критерий аппроксимации в частотной
А
области оцениваемой передаточной функции G^(elu>) на множестве линейных
моделей (высокого порядка), следует использовать для разомкнутой системы
где Си — весовая функция в критерии (теорема 14.3).
- Правильный выбор частоты дискретизации лежит в области десятикратного
априорного значения ширины спектра системы.
— Сдвиги, тренды, дрейфы и т.п. в данных должны учитываться с соответствую-
соответствующей тщательностью.
14.8. Комментарии к библиографии
Планирование статистических экспериментов - предмет, которому уделялось
значительное внимание в литературе. В качестве основной ссылки можно упомя-
упомянуть монографию Федорова [114]. Применение к идентификации динамических
систем всесторонне изложено в работах Гудвина и Пейна [141], Гудаина [140],
Мера [284] и Заррона [453].
Раздел 14.2. Понятие постоянно возбуждающего входного сигнала было введе-
введено Остремом и Бохлином [27] как условие состоятельности.. Обобщения на много-
многомерный случай обсуждались в литературе (например, в [388]). Вопросы модифи-
модификации этого понятия при введении стационарной и нестационарной фильтрации изуча-
изучались в [238, 294] и [34]. Теорема 14.2 была представлена в [377]. Распростране-
Распространение на достаточно информативные эксперименты для ARMAX-моделей конечного
порядка дано в [376]. См. также работы [10, 75,360] и др.
Раздел 14.3. Кроме ссылок, упомянутых в тексте, изложение общего характе-
характера представлено в [281] и [414]. В [330] обсуждается планирование для систем
с распределенными параметрами. Входные сигналы специфической формы часто
возникают в различных прикладных областях. При моделировании летательных ап-
аппаратов, например, типичным является использование колебательного входного сиг-
сигнала, соответствующего поочередной смене постоянных крайних положений руля
высоты продолжительности 3, 2 и 1 секунды [149].
Раздел 14.4. Раздел основан на работах автора [252, 256]. Эксперименты с разом-
разомкнутой системой излагаются в [451], а с замкнутой - в [133].
335
Раздел 14.5. Эффекты наложения спектров и вопросы фильтрации с целью защи-
защиты от наложения спектров описаны, например, в книгах [310] и [32]. Изучение
способа выбора интервала дискретизации, аналогичное рассмотренному приме-
примеру 14.4, представлено в [20]. Исследование, основанное на анализе в частотной
области, проведено в [319]. Вопросы смещения обсуждаются, кроме того, в [417J.
Раздел 14.6. Различные подходы к решению проблем медленных возмущений
параметров проиллюстрированы в [24]. Практические аспекты обработки данных
представлены в различных работах (например, в [186]). Моделирование, исполь-
использующее крайне нестационарные модели шума для борьбы с медленными вомуще-
ниями, изучается в [62] и [143].
14.9. Задачи
14G.1. Влияние ошибок округления. Допустим, что данные измеряются с точностью до 10 би-
битов (что является вполне разумным для обычных аналого-цифровых преобразователей) и пред-
предположим, что ширина полосы пропускания системы (интерес представляет высоко-частотный
диапазон) равна шд. Следуя совету раздела 14.5, выбираем частоту дискретизации tjj = Юсод.
Какова наименьшая частота, при которой возможно адекватное моделирование с учетом конеч-
конечной точности данных? (Указание: если г — постоянная времени, то естественно предполо-
предположить, что приближенно
\ Т
7м@
при Т < т, где Г- 2n/ojs - интервал дискретизации. Ответ: наименьшая частота ^ОЛНыд.)
Обратим внимание на вывод о ширине (т.е. об узости) частотного диапазона, для которого
возможно адекватное моделирование! Ссылка: [ 139].
14G.2. Вырожденная критериальная матрица. Допустим, что критериальная матрица С (и>)
в A2.6) и A4.55) является вырожденной, и перепишем ее в виде
\\М(еШ)\*
СЫ = 5(ы)
)Л
Покажите, что в A4.55Ь)
*'J)-VMI
Получите отсюда вывод о том, что критерий
min / 4>(cj,a?)tfcj A4.88)
при произвольном ограничении достигает минимума на обратной связи
для любого дополнительного входного сигнала w(t) (включая w(t) = 0) при условии, что эта
последовательность { u{t)} допустима. Другими словами, A4.89) доставляет глобальный ми-
минимум A4.88) относительно ЗС в A4.55) (ссылка: [256]).
14Е.1. Допустим, что сигнал u(t) является постоянно нозбуждающим порядка п. Получи-
Получите условие того, что устойчивый фильтр L (q) приводит к сигналу up (Г) = L {q) м@, кото-
который также является постоянно возбуждающим порядка п.
14Е.2. Рассмотрим ARX-структуру
A{q)y(t) = B{q)u{t) + c(f),
где степень В равна пь. Покажите, что программный входной сигнал u(t), являющийся постоян-
постоянно возбуждающим порядка л, будет достаточно информативным относительно этого множества
моделей независимо от порядка А при условии постоянно возбуждающего шума.
336
14Е.З. Рассмотрим модель структуры
y(t) = G(q, p)u(t) + H(q,ri)e(t)
с различной параметризацией G и //. Покажите, что в эксперименте с разомкнутой системой не-
невозможно влиять на точность г\.
14Е.4. Рассмотрим структуру модели с конечной памятью
y{t) = bxu(t- 1) + .. .+bmu(t
Определите спектр входного си шала, минимизирующего detP# (ЗС) при ограничении Eu2{t) < 1.
14Е.5. Рассмотрим структуру модели
y(t) + ay(t - 1) = bu(t - 1) + e(t)
и определим спектр программного входного сигнала, минимизирующего dctPo C0) при огра-
ограничении Ё и1 (Г) < 1. Каков оптимальный входной сигнал в случае, когда известно, что Ь - 1?
Предположите, что истинная система задается уравнением
y(t) - 0,5у (t- 1) = u{t-\) + eo{t),
где е0 (О - белый шум.
14Е.6. Допустим, требуется определить динамические свойства цепи от скорости враще-
вращения винта к скорости движения корабля. Измеряются оба эти сигнала, но воздействовать мож-
можно только на момент относительно оси винта со стороны двигателя. На эту ось передается также
воздействие сил сопротивления воды, которое сложным образом зависит от скорости корабля.
Обсудите идентифицируемость цепи от скорости вращения винта к скорости корабля при таких
экспериментах.
14Т.1. Минимизируйте Jp C0) A4.55) относительно Фи при Фме(ы) = 0 и при огра-
ограничении Ёу2 (f) < а. Предположите, что истинная система задается уравнением
y(t) = C0(q)u(t) + H0(q)e0(t).
14Т.2. Рассмотрим систему
у it) = G0(q)u(t) + H0(q)e6(t)
и структуру модели с ошибкой на выходе
y{t\ 0)= G(q,e)u(t).
Допустим, что входной cHi-нал генерируется в соответствии с известным законом обратной связи
где {г (t)} - известный эталонный сигнал. Покажите, что оценка C(qt в) будет смещенной,
за исключением случая Яо (q) s 1. Постройте предсказатель выходной ошибки для замкну-
замкнутой системы, параметризованный посредством в, и покажите, что ои приводит к состоятель-
состоятельной оценке.
14Т3. Планирование эксперимента в задаче управления по минимуму дисперсии. Допустим,
что модель предполагается использовать для нахождения управления, минимизирующего диспер-
дисперсию (см. пример 12.3, A2.22)) , Используйте пример 14.3 и задачу 14G.2 для сравнения значения
критерия JCC)> полученного при оптимальном программном входном сигнале, со значением
при оптимизации среди всех входных сигналов (ссылка: [ 133]).
14D.1. Рассмотрим нестационарную систему
y(t) = Gt(q)u(t) для всех Г,
в которой
Gt{q) = Gt(q), kN < t < kN + aN,
GM) = G2 (q), kN + aN < t < (k + \)T.
Пусть спектр и равен Фм(ы). Покажите, что при возрастании N спектр сигнала у становит-
становится равным
Фу М = a Gf (e'w) Фи (w) G?(e~iu) + A - a) G2 (е1ы) Фи (ш) G?{e~iuJ).
14D.2. Рассмотрим модель A4.84) и введем
„«(Г) = [-ym(t - 1) ... -ym(t - na)um{t - 1)... um(t - nb)\] Г,
0 = la, "йПаЬх ...Ь„ь<х\Т.
337
Получите выражение для МНК-оцснки BN. Покажите, что при использовании аппроксимаций
1 N
— Ъ y{t~k) * у для всех 1 <к<па,
N fr: ?
— ? u{t-k)**u для всех 1 < к < пь
оценки параметров а( и bt- совпадают с оценками, полученными посредством вычитания выбо-
выборочных средних A4.83) и A4.82) с последующим применением МНК к A4.80).
14С.1. Рассмотрим процесс преобразования тепловой энергии из примера 4.3. Используем
аппроксимацию из задачи 4Е.7 и предположим, что измерения производятся каждую секунду.
Пусть входным сигналом является белый шум. Выберите разумные номинальные величины /,, к
и А\ интспсинность входного сигнала и иптенсинность бело-шумного возмущения v(t) в D.100).
Подсчитайте, какой будет оценка для к и сравните се с улучшенной оценкой, полученной при
дополнительном измерении температуры в средней точке стержня.
Глава 15
ВЫБОР КРИТЕРИЯ ИДЕНТИФИКАЦИИ
Выбор критерия идентификации — это одно из важнейших решений, которое
принимается в процессе идентификации системы. Мы уже систематизировали избы-
избыточность списка альтернатив в гл. 7 и указали перечень возможных вариантов выбо-
выбора в разделе 12.1. Отдельные вопросы и результаты, относящиеся к разным методам,
упоминались нами в предыдущих главах. Целью данной главы является объедине-
объединение этих разрозненных результатов и исчерпывающее обсуждение того влияния на
свойства получающихся оценок, которое оказывает выбор конкретных решений.
Общие вопросы рассматриваются в разделе 15.1. Частная задача о выборе нор-
нормы /( •) для метода ошибки предсказания G.120) или о выборе формообразующей
функции <*(•) из G.122) изучается в разделе 15.2. В разделе 15.3 исследуются
вопросы оптимизации метода инструментальных переменных и приближенных реа-
реализаций оптимальных методов. Раздел 15.4 содержит общую сводку некоторых ос-
основных рекомендаций, обращенных к пользователю.
15.1. Общие вопросы
Два основных подхода G.120) и G.121) включают следующие возможности
выбора.
Jin я методов ошибки предсказания:
- норма /( • );
- - множество моделей шума Ж, включая выбор предварительного фильтра L{q)\
- горизонт предсказания к (альтернативно рассматриваемый как модель шума,
см. C.32)).
Для корреляционных методов:
- формообразующая функция а. ( • );
- предварительный фильтр L (q) ;
- корреляционный вектор f (t, в ).
Отметим, что при а(х) ~ l'(x), L(q) = H~* (q) (модель с фиксированным шумом) и
) = ~
ид
методы ошибки предсказания переходят в частный случай корреляционных методов.
338
Основной результат в области исследования влияния этих возможностей на ка-
качество оценок заключается в результатах о сходимости (8.104) и (8.105), косвенно
говорящих о величине рассогласования полученной модели, а также асимптотичес-
асимптотических дисперсионных свойствах (9.97) и (9.98), которые имеют место, когда смеще-
смещением можно пренебречь. Полезной оказывается также граница Крамера - Рао G.79).
О смещении оценок. В том частном случае, когда истинная система линейна и при
квадратичном критерии /(*)= х2/2 (или а(х) = х), влияние выбора проектных пе-
переменных на величину смещения лучше оценивать в частотной области; см. соотно-
соотношения (8.68)-(8.76) и интерпретацию (8.106). В рамках методов ошибки предска-
предсказания мы в гл. 13 уже рассматривали то влияние, которое оказывает на распреде-
распределение смещения выбор и ре; ив а ри тельных фильтров, моделей шума и горизонтов пла-
планирования. Воздействие, оказываемое выбором предварительного фильтра /, (etLJ)
и частотного наполнения члена Ku(eiu>) в уравнении (8.103), конечно, аналогично.
Это следует помнить в выборе проектных переменных и прежде всего потому, что
минимизация дисперсии может привести к нежелательному увеличению смещения.
О дисперсии. Оптимизация (в данном случае минимизация) дисперсии - это за-
задача более простая, чем оптимизация смещения, поскольку для дисперсии есть яв-
явные формулы. Кроме того, как известно из гл.9,при использовании метода макси-
максимального правдоподобия нижняя граница Крамера - Рао асимптотически достижи-
достижима и, в каком-то смысле, ответ известен еще до решения оптимизационной задачи,
состоящей из следующих этапов:
- наилучший выбор l(x) = -log/e(x) (/e (х) - плотность вероятности истин-
истинного обновляющего процесса);
- наилучший выбор модели шума, т.е. описания истинного шума (быть может,
оценочного);
— наилучший выбор к = 1;
— наилучший выбор метода инструментальных переменных, чтобы он оказал-
оказался равноценным методу ошибки предсказания.
При этом, как мы увидим, оценки метода максимального правдоподобия могут
не быть наилучшими для всех случаев. Дело в рассмотренных ранее эффектах сме-
смещенности оценок или в чувствительности оценок к априорной информации, кото-
которая может быть неточна.
15.2. Выбор нормы: робастность
Из формул (9.29) -(9.30) мы знаем, что в рамках метода ошибки предсказа-
предсказания выбор нормы /(¦) сказывается на величине асимптотической дисперсии при
условии, что 8 €Jt. Матрица ковариации нормируется скаляром
¦ A5Л)
В соответствии с результатом задачи 9G.4 матрица ковариации (9.79) при исполь-
использовании корреляционного подхода нормируется точно так же, если положить /'(х) =
= а(х), где а(х) - формообразующая функция. Следовательно, вопросы выбо-
выбора / и а можно рассматривать одновременно. Скаляр к зависит только от функ-
функции 1(х) и от распределения истинных обновлений eo(t). Пусть их плотность вероят-
вероятности /е (х). Тогда
"(О = к(/, fe) = /ffW/ ч. , . , ч2 • A5.2)
(// (x)fe(x)dxy
Здесь штрихом и двумя штрихами обозначено дифференцирование иох.
339
Оптимальная норма. Если обратиться к дисперсии, то задача заключается в том,
чтобы выбрать функцию /, минимизирующую к(/, fe). Причем сама по себе эта за-
задача может решаться достаточно независимо от исходной задачи идентификации,
выбора конкретной структуры модели и пр. Имеет место следующий результат.
Лемма 15.1.
к(/, fe) = K(~log/;,/e) V/. A5.3)
Доказательство. Интегрированием но частям получаем
fl"(x)fe(x)dx = -fl'(x)fe(x)dx.
Теперь из неравенства Коши следует, что
[fl"(x)fe(x)dx]2 =
fe(x)
SV'(x)ffe(x)dx ¦ f \
с равенством в том случае, когда
/'(*) = Const X fciX ,
а это доказывает, что норма
l(x) = Const X log/e (x) + Const'
обеспечивает достижение минимума в A5.3).
Лемма утверждает, что наилучший выбор /( •) состоит в том, чтобы положить
^opt(e) = -!°ё/Ле'О> A5.4а)
что можно рассматривать как подтверждение факта асимптотической эффектив-
эффективности метода максимального правдоподобия. В лемме рассматривается случай ста-
стационарной последовательности обновлений {eo(t)} . Если распределение ео(О за-
зависит от г, т.е. f е (х, г), то оптимальная норма также зависит от времени:
e,r). A5.4b)
Это следует из того, что формула A5.4Ь) определяет оценку максимального правдо-
правдоподобия. Этот факт можно установить и непосредственно (см. задачу 15Т.2). Если
обновления являются гауссовыми с известными дисперсиями, то в соответствии
с формулой A5.4Ь) нужно пользоваться квадратичной нормой, которая нормали-
нормализуется делением на дисперсии обновлений.
Неприятной особенностью этих результатов является то, что плотность вероят-
вероятности fe может быть неизвестна. От этого можно "спастись'* двумя способами: од-
одновременно оценивать /е или выбрать / так, чтобы чувствительность к возможным
заменам fe была минимальна.
Адаптация нормы. В нервом варианте вводятся дополнительные параметы а
так, чтобы можно было вести настройку нормы /(е, а). В этом случае из утвержде-
утверждения (8.59) известно, что происходит самейнастройка нормы, в процессе которой
^иа приближается к оптимальной норме. Если будет получена достаточно приличная
оценка fe из A5.4), то метод адаптации нормы будет давать хорошее решение.
Но, как мы сейчас покажем, так может не случиться.
Чувствительность оптимальной нормы. Оптимальная нормировка дисперсий
к(/, /) из формулы A5.2) может оказаться достаточно чувствительной к измене-
изменению плотности /. То есть как функция/ скалярная величина K(-log/e, /) может
Э40
иметь очень острый минимум при / = fe. Это иллюстрируется следующим при-
примером.
Пример 15.1. Чувствительность оптимальной нормы.
Пусть номинальная плотность /е соответствует нормальному распределению с дисперсией 1:
1 _„»#!
Тогда, опуская постоянную составляющую,
— и к Mog/<,,/<,)
dx
\f*ix)dx\2
A5.5)
Допустим теперь, что с очень малой вероятностью ошибки предсказания могут принимать не-
некоторое большое значение. Так может быть, в частности, при возникновении сбоев в измеритель-
измерительной технике или системе передачи данных. Такие данные называются выбросами. Итак, пред-
предполагается, что ошибка е почти нормальна, но с вероятностью 0,5 • 10~3 принимает значение 100,
а с вероятностью 0,5 • 10 - значение -100. Тогда фактическая плотность описывается фор-
формулой
fix) = A - 10
Это дает
M-log/<,, /) = A
10 | -6U- 100) + -6U+ 100)
10) + 104 • 10 3 = 10,999.
A5.6)
A5.7)
И дисперсия оказывается в 11 раз больше, хотя в абсолютном выражении вероятности измени-
изменились очень незначительно.
Робастные нормы. Очевидно, что подобная чувствительность к истинному виду
плотности вероятности fe практически неприемлема. В большинстве случаев адап-
адаптация нормы не является выходом из положения, так как по конечному набору дан-
данных может не удастся получить достаточно точную оценку наилучшей нормы. Вместо
этого нам следует поискать такие нормы, которые будут робастны (устойчивы)
по отношению к неизвестным заранее изменениям плотности вероятности. Это хо-
хорошо развитый раздел статистики, см., например, монографию Хубера [184]. Удоб-
Удобной формализацией задачи является поиск такой нормы /, которая минимизирует
наибольшую величину нормирующей дисперсии в некотором классе плотностей
вероятности:
/ODt = min max к (/,/). A5.8)
По терминологии Хубера такая норма дает минимаксную М-оценку. Задача A5.8)
ск(/,/), определенной формулой A5.2), представляет собой вариационную задачу,
Ох 0
Рис. 15.1. Некоторые типичные варианты робастного выбора /' (х)
341
решение которой зависит только от семейства функций /. В результате эта задача
выводится за рамки статистической теории и то обсуждение методов решения зада-
задачи A5.8), которое составляет содержание гл. 4 книги Хубера [184], в равной сте-
степени приложимо к нашей проблематике идентификации систем.
Стандартные семейства & являются "чем-то вроде" нормального закона рас-
распределения, в духе рассмотренного примера. Решения таких задач обладают той
характерной особенностью, что /'(*) ПРИ малых х ведет себя, как х9 затем насту-
наступает насыщение с возможным спадом к нулю при увеличении х ("перепускная"
характеристика/') . Некоторые типовые кривые показаны на рис. 15.1.
Вернемся теперь к примеру, чтобы проверить, насколько с помощью такой
нормы / можно справиться с выбросами.
Пример 15.1 (продолжение).
Пусть /*(лг) такова, что
{ *, I х I < 4,
К <*> = 4> * > 4>
[ -4, *< 4.
Тогда при / из формулы A5.6)
0,999 / x2*(x)dx + 0,999 / \6*(x)dx + 0,001 • 16
\х | < 4 | jc I > 4
«(/„,/) = « 1,015.
I / *ix)dx]2
|*l<4
По сравнению с A5.7) дисперсия резко уменьшается. Посмотрим теперь, насколько мы уходим
от оптимальности, если бы фактическая плотность вероятности была нормальной:
/ * /
I х \ < 4 \х I > 4
к(/«./0) = * 1,001.
/ )*l2
'к-
Цепа такого увеличения дисперсии по сравнению с номинальным случаем оправдывается в ре-
результате приобретенным "иммунитетом** к малым изменениям плотности вероятности.
Мы может рекомендовать следующую робастиую норму ([349]):
х, \х\<ро,
роу х> ро, A5.9)
А - Л
-ро, х < ~ро.
Здесь о - оценка стандартного отклонения ошибок предсказания, ар- число в
диапазоне 1 < р < 1,8. В свою очередь оценка а тоже должна быть робастной по от-
отношению к выбросам. Рекомендуется оценка вида
л MAD
о=—• A5.10)
Здесь максимальное абсолютное отклонение MAD = медиане множества {I е (г) - е' |},
где е - медиана {е (г)} .
Функция влияния. Основной идеей введения робастной нормы является ограни-
ограничение влияния одиночных наблюдений на получающуюся оценку. Резонно спросить,
как изменится оценка, если бы некоторое наблюдение оказалось удаленным. Для
оценки по методу наименьших квадратов можно дать точный ответ. Из формулы
342
A1.9) следует,что
e/f-9N.t ' R ~ЧЮ*(!) ЫО-в? ,*(*)] = A5.11)
A A
где SN — оценка по полной выборке, a 6^>t — оценка по выборке без наблюдения
(У @ > <Р @ ) • Кроме того,
R(N) = г T
t
к = 1
Таким образом, влияние наблюдения (у (t), <р (г) ) можно оценить величиной
После некоторых упрощений это выражение оказывается функцией типа функ-
функции влияния Хампеля [161]. При обобщении на произвольные нормы и модельные
структуры влияние измерения в момент t можно приблизительно оценить величи-
величиной
S(t) = к?(Ю1>(*>КI'№>вы)), О5-12)
где
R t (TV) = 2 t(kJN)l" (е (*f 6N)) фт(Кв„).
k = 1
k Ф t
Сравните с A1.52). Если рассматривать робастные нормы /, как на рис. 15 Л, то мож-
можно было бы поставить вопрос о минимизации величины
max|S(f)|.
t
Чисто прагматически имеет смысл критически переоценить величину S(t) из A5.12)
уже после того, как подгонка параметров завершена, с тем, чтобы выявить те наблю-
наблюдения, которые существенно влияют на величину оценки. И эти наблюдения должны
быть либо сделанными более надежными, либо их влияние нужно уменьшить.
Обнаружение выбросов. Такие острые выбросы, как на рис. 15.1, и те точечные
данные, которые сильно влияют на оценки, часто обнаруживаются на реализации не-
невооруженным взглядом. В грамотных приложениях даже при использовании робаст-
ных норм данные, прежде чем они будут применены для идентификации, выводятся
на дисплей. Проще всего обнаруживать выбросы по диаграммам невязок e(t, бдг).
См. разделы 14.6 и 16.5.
Многомерный случай'*'. Матрица ковариации для многомерных систем опреде-
определяется формулой (9.47). Варианты функции /(е), действующей из Rpb R, достаточ-
достаточно близки к возможным вариантам, обсуждавшимся ^анее для одномерного случая.
Однако в многомерном случае возникает новый вопрос — как соразмерить отдель-
отдельные компоненты вектора е? Проиллюстрируем это на примере семейства G.28) и
G.29) квадратичных критериев.
Ковариационная матрица, связанная с квадратичной нормой Л'1 из G.27), в
соответствии с формулой (9.47) (см. также задачу 9Е.4) имеет вид
Ря(Л)= — 1т1Ё11т
343
Здесь Aq = Eeo(t)eo(t) - матрица ковариации истинных обновлений. Непосредствен-
Непосредственно проверяется (сравните с задачей 9Е.4) :
Рв(А)>Рв(Ло) VA,
так что выбор наилучшей нормы требует знания истинной ковариации. Так как в
любом случае минимизация G.29) ведется итеративно, то само собой разумеющим-
разумеющимся является следующий рекуррентный алгоритм достижения равенства Л = До:
N <15ЛЗ>
о v - arg mm— 2* e (t, v) [An J e(f, 0),
в N t=\
где / - это номер итерации.
Интересно отметить, впрочем, что критерий
0N = arg min det —2 e(r, 0)er(r, fl) A5Л4)
о L TV r=i J
A
дает ту же асимптотическую матрицу ковариации для BN, что и квадратичная норма
G.27), где Л — ковариация истинных обновлений. См. задачу 9Е.5 и форму-
формулы G.80)-G.84).
15.3. Дисперсионно оптимальный метод
инструментальных переменных ,
Рассмотрим теперь метод инструментальных переменных G.115). При выполне-
выполнении предположений (9.81) и (9.82) асимптотическая матрица ковариации Ро оценок
определяется формулой (9.84). Ясно, что выбор инструментальных переменных
f (Л во) и предварительного фильтра L(q) может оказывать заметное влияние HaiV
Какой вариант может быть оптимальным?
Нижняя граница. Допустим, что истинная система задается уравнением
y{t) - G0(q)u(t) + H0(q)e0(t), A5.15)
Но считается известной и требуется оценить передаточную функцию Go. Пусть
G0(q) = B0(q)lA0(g) A5.16)
и пусть модель параметризована в виде
G(q,6) = B(q)IA(q) A5.17)
при соответствующим образом подобранных порядках модели. Предельные возмож-
возможности в этой задаче оценивания определяются границей Крамера—Рао (9.31) (пред-
(предполагается нормальность):
"\ A5.18)
1.
. ¦ ., -G0(q)u(t - па)М* - 1),.. ., и(Г - nb)] A5.19)
(сравните с A0.55); здесь символом А обозначено то, что было F в модели D.33)).
Оптимальные инструментальные переменные.ФормулаA5.18) определяет ниж-
нижнюю границу для любого несмещенного метода оценивания параметра В из выраже-
выражения A5.17). Стало быть, она применима и к методу инструментальных переменных,
344
поэтому A5.18) определяет нижнюю границу для (9.84). Однако эта нижняя грани-
граница достигается при
Lopt(q) = , О5-20)
H0(q)A0(q)
Чтобы убедиться в этом, заметим, что
PF() (qM)t{,o) ve()
где $ (г) зависит только ai{eo(t)}, хотя фA, в0) зависит только от {u(t)j. Следо-
Следовательно,
W(t, 0о)<р]*(г) = ЬЩг9 во)фт(*> во)
и (9.84) упрощается к виду A5.18), когда система функционирует в варианте
разомкнутого контура. Оптимальный выбор проектных переменных в методе
инструментальных переменных дается, таким образом, формулами A5.20).
Адаптивные методы инструментальных переменных. Хотя формулы A5.20)
содержат непосредственные рекомендации по наилучшему выбору инструменталь-
инструментальных переменных, неприятная особенность состоит в том, что оптимальный выбор
предварительного фильтра и инструментальных переменных определяется неизвест-
неизвестными свойствами истинной системы. Справиться с этим можно было бы введя надле-
надлежащим образом зависимость от 0 в переменные f (/, в) и организовав одновременно
оценивание характеристик шумов. Это приводит к алгоритмам, которые и по виду и
по сложности близки к аналогичным алгоритмам метода ошибки предсказания.
Альтернативный путь сводится к приближенной реализации оптимального выбора
в многошаговом алгоритме.
Многошаговый алгоритм. В методе инструментальных переменных выбор пере-
переменных и предварительных фильтров влияет прежде всего на асимптотическую
дисперсию, в то же время свойства состоятельности сохраняются. Это означает, что
минимальные отклонения от оптимальных значений, рассчитываемых по формулам
A5.20), приведут к ухудшению точности получающихся оценок только в виде чле-
членов второго порядка малости. Таким образом, при формировании инструменталь-
инструментальных переменных и предварительного фильтра можно было бы пользоваться состоя-
состоятельными, но не обязательно эффективными оценками динамики системы и харак-
характеристик шумов. В целях сохранения простоты и наглядности метода инструменталь-
инструментальных переменных на этих шагах алгоритма следует воспользоваться моделью
линейной регрессии. В результате предлагается следующий четырехшаговый инстру-
инструментальный алгоритм оценивания для системы, действующей по разомкнутому
контуру.
Шаг 1. Записать модельную структуру A5.17) в форме линейной регрессии
ht\Q) = *T(t)e. A5.21)
Оценить в методом наименьших квадратов G.34). Обозначить полученную оценку
0]у, а соответствующую передаточную функцию G^1 \q).
Шаг 2. Сформировать инструментальные переменные по формулам типа GЛ08)
и G.109):
{\ #\ A5.22)
, A5.23)
и определить инструментальную оценку параметра 0 в A5.21), используя эти пере-
345
менные. Обозначить оценку 62N , а соответствующую оценку передаточной функции
Шаг 3. Положить
и ввести авто регрессионную модель
для wjf\t) порядка па + пъ (порядок выбирается так, чтобы выровнять трудоем-
трудоемкость вычислений на каждом шаге). Оценить L(q) но методу наименьших квадратов
А
и обозначить результат через Lp/iq).
Шаг 4. Пусть x^2\t) определено по аналогам с A5.22) и пусть
[- xB\t -I),...,- x<2\t - na), u(t - 1),.... u(t - nb)\T.
A5.24)
Используя эти переменные и предварительный фильтр LN(q) из формулы G.115)
при а(х) = х, определить инструментальную оценку в A5.21), получив окончатель-
окончательную оценку в виде
О5-25)
Этот алгоритм является частным случаем многошаговой процедуры, рассмотрен-
рассмотренной в разделе 6.4 книги Седсрстрсма и Стойки [374]. Они показали, что асимптоти-
асимптотическая матрица ковариации оценки д^ действительно достигает границы Крамера-
Рао A5.18) при условии (для нашего случая), что истинная модельНо представляет
собой авторегрессию порядка пь.
Пример 15.2. Четырех шаговый инструментальный алгоритм.
Моделировалась система
1-1,5,-' ,0,7.
с получением около 400 выборочных значений при {e(t)} - белом гауссовом шуме с диспер-
дисперсией 1 и {ы(г)}, являющемся бинарным сигналом со значениями ± 1. Использовалась структура
в виде ARX-модели второго порядка с залаздыванисм на 2 такта. Применение четырех шагового
инструментального алгоритма привело к следующим оценкам передаточной функции:
a(i) \fiS91q~2 +
GG) =
1 - 1,0255?"
0,9778?~2 -
1 - 1,6072?"! +0,7 803?
0,9688?~2 +
Пример показывает, что проведение дополнительных расчетов шагов 3 и 4 оправ-
оправдано. Дополнительный выигрыш состоит в том, что на этих шагах формируются оцен-
оценки характеристик шума, которые необходимы для расчета асимптотической ковариа-
ковариации (9.84). В результате, как это уже отмечалось, конкретизация выбора f и! при-
346
водит к следующим оценкам матрицы ковариации 6N:
^ЛЛ ГB)(гIГB)(ОГГ!. A5.26а)
О
N
1 N
XN =—Д [y*(t) ' *f«Hn}2. A5.26b)
15.4. Заключение
Неизбежным следствием плана этой книги является то, что полезные результаты
и рекомендации, касающиеся различных методов идентификации, оказываются раз-
разбросанными по разным главам. И поэтому здесь в интересах пользователя приво-
приводится конкретная сводка предлагаемых параметрических процедур идентификации.
Мы рассматриваем совокупность методов ошибки предсказания как подход к
идентификации систем. Они обладают тремя важными достоинствами.
1. Применимостью к структурам общего вида.
2. Оптимальной асимптотической точностью, если истинная система представлена
рассматриваемой структурой модели.
3. Приемлемыми возможностями аппроксимации для случая, когда истинная
система не может быть представлена в рамках рассматриваемой структуры.
Этим, естественно, не исключается, что в некоторых случаях, когда данных мало,
могут оказаться более предпочтительными другие методы. Мотивацией к использо-
использованию альтернативных подходов может стать и множественность локальных ми-
минимумов критерия ошибки предсказания.
Корреляционный подход, особенно метод инструментальных переменных,
представляет интерес как средство быстрого получения начальных оценок пере-
передаточной функции и как способ осмысления различных процедур, которые упо-
упоминаются в специальной литературе. Он также обеспечивает нас возможностью
работать с необычными шумами.
Метод ошибки предсказания: основная процедура. При заданной модельной
структуре y(t\6) необходимо проделать aieдующую последовательность действий:
следуя схеме, изложенной в гл. 13, выбрать предварительный фильтр. Сформиро-
Сформировать критерий
VNF.ZN) = -- 2
N t= I
где /(• ) определяется формулой A5.9). Используя процедуры A0.75),определить
Л (i)
начальную оценку 0N . Затем осуществить минимизацию VN , используя рекур-
рекуррентную процедуру демпфированного метода Гаусса-Ньютона A0.41), A0.42) и
A0.47) (если понадобится, то и A0.48)). Асимптотические свойства получающейся
оценки 0дг определяются теперь формулами (8.104) и (9.97).
Метод инструментальных переменных. Основным достоинством метода инстру-
инструментальных переменных является его простота. Главная рекомендация состоит в
том, чтобы использовать четырехшаговую процедуру A5.21) A5.26) для быстрого
оценивания передаточной функции системы. Впоследствии такая оценка может быть
уточнена при необходимости методом ошибки предсказания. При функционировании
в замкнутом контуре следует пользоваться отличными от A5.23) и A5.24) инстру-
инструментальными переменными (сравните с задачей 7G.3).
347
15.5. Комментарии к библиографии
Робастные нормы широко изучены в литературе по математической статистике.
В книге Хубера [184] приводится исчерпывающее изложение вопросов робастиого
оценивания. В работе Краскера и Узллша [216] описывается способ "робастифика-
ции" линейной регрессии, в том числе, и по отношению к диапазону значений регрсс-
соров.
В работе Поляка и Цыпкииа [325] пропагандируется использование робастных
норм в замкнутом контуре регулирования. В своей книге [410] Цыикин дал исчер-
исчерпывающее изложение этого направления приложений. Метод инструментальных пе-
переменных и приближенные схемы его реализации внимательно изучены в работах Се-
дерстрема и Стойки [372], [374] и Стойки и Седерстрема [396]. Несколько комби-
комбинированных схем: инструментальные переменные - ошибка предсказания, изучены
Янгом и Джекмэном [449].
15.6. Задачи
15G.I. Рассмотрим критерий идентификации
VN@,ZN)=-— 2 dtl(€(t, 0), Г),
N j= j
где функции /(*, t) заданы и нужно выбрать положительные скаляры аг. Пусть 8 е ,Л1 и
истинные обновления {eQ(t)} — белый шум с нулевым средним, но, быть может, нестационар-
нестационарный. Показать, что дисперсия оценки минимальна при следующем выборе {о^}:
at = (произвольное временное нормирование).
Доказать, что если l{xt t) = х2 для всех t, то оптимальные веса at обратиы к дисперсиям обнов-
обновления eQ(t) независимо от их распределения (сравните с A1.65)). Доказать также, что если
eo(t) ~ гауссово с дисперсией \t и 1(х) = \ х [, то af°p = 1/>Д^
15ЕЛ. Рассмотрим модельную структуру выходной ошибки
y(t 10) = G(.
Пусть уравнение динамики истинной системы имеет вид
У (Г) = Со (</) и (О + Ио (д) е0 (Г),
где eo(t) белый шум. Допустим также, что Go(</) - G(q,0o). Применить для оценивания в ме-
метод ошибки предсказания с предварительным фильтром /.(</) и вычислить дисперсию 0дг. Пока-
Показать, что эта дисперсия минимальна при L (</) = И'1(д).
15Т.1. Доказать, что A5.20) определяет нижнюю границу выражения (9.84), используя не-
непосредственные алгебраические преобразования (см. [374], стр. 97).
15Т.2. Если допустить зависимость нормы от времени, то A5.1) примет вид
[е<о(]
к(/(е, •)) = —= A5.27)
№()I»
(см. задачу 9T.I). Напомним, что
. I N
Eg(e(t)yt)= Urn —2
t-+oo N r=
Применяя неравенство Шварца к A5.27) с заменой на конечное JV предельного значения \imt\
установить, что A5.27) минимизируется выбором A5.4Ь).
348
15Т.З. Предположим, что распределение обновлений зависит от времени, но норма /(е)
стационарна. Показать, что в этом случае A5.1) минимизируется выбором
/ 1
/(e) = -log( lim —- 2 /e(cf
155.1. Модифицировать макроироцедуру ON из задачи 10S.1 так, чтобы в макропроцедурах
GNDIR и SEARCH использовался "робастизированный" критерий A5.9) и A5.10).
155.2. Напишите макропроцедуру
^,M, na, nb, пк),
которая реализует четырехшаговый алгоритм A5.21)-A5.25). Использовать макропроцедуры
LS и IV. Получить на выходе и значение матрицы ковариации A5,26).
Глава 16
ВЫБОР СТРУКТУРЫ МОДЕЛИ И ПОДТВЕРЖДЕНИЕ МОДЕЛИ
Надлежащий выбор модельной структуры Л является наиболее решающим
условием, гарантирующим успех в решении прикладных задач. Этот выбор должен
основываться как на понимании самой процедуры идентификации, так и на содержа-
содержательной и формализованной информации об идентифицируемом объекте. В гл. 4 и 5
приводились перечни используемых для идентификации типовых модельных струк-
структур. В этой главе мы эти списки расширим, рассуждая о том, как априорное знание
и поступающая информация приводят к выбору подходящей структуры.
После того, как зафиксирована структура модели, выбор конкретной модели
в рамках этой структуры производится с помощью процедуры идентификации.
Такая модель может быть и наилучшей, но гораздо важнее другое: достаточно ли
она хороша для решения прикладной задачи. Проверка применимости данной модели
известна под названием подтверждения модели. Эта методология, которая тесно
связана с выбором структуры модели, также будет описана в настоящей главе.
16.1. Общие вопросы выбора структуры модели
Путь к выбору конкретной модельной структуры включает по меньшей мере
три шага:
1. Выбрать тип множества моделей. A6.1)
Сюда, в частности, входит выбор между линейными и нелинейными моделя-
моделями, между входо-выходными описаниями, моделями черного ящика и физи-
физически параметризованными моделями в пространстве состояний и т.д.
2. Выбрать размер множества моделей. A6.2а)
Сюда входит решение таких вопросов, как выбор порядка модели в прост-
пространстве состояний, степеней многочленов в модели типа D.33). Здесь также
решается задача отбора включаемых в описание переменных. Таким образом,
нужно выбрать Л из данной вложенной цепи структур
Лх С JC2CjK3C..t A6.2b)
(вспомним определение включения J?j СЛг D.124)). Задача A6.2) будет
называться задачей выбора порядка,
3. Выбор способа параметризации модели. A6.3)
Когда выбор множества моделей Л* осуществлен (например, модели в прост-
пространстве состояний фиксированного порядка), остается параметризовать мо-
349
дель, т.е. подобрать подходящую модельную структуру Л?, область значений
которой совпадает с Л* (см. раздел 4.5).
В данном разделе приводятся основные рекомендации по этим трем шагам.
В гл. 12 уже говорилось о том, что целью пользователя является получение хорошей
модели малой ценой. И, конечно, выбор структуры модели существенно сказывается
как на качестве получающейся модели, так и на ее цене.
Качество модели. Качество получающейся модели может быть, в частности, оце-
оценено по критерию среднеквадратической ошибки типа A2.29), в котором множество
проектных переменных 3) включает структуру модели Л. (Для нелинейных
систем и моделей, по крайней мере в принципе, можно было бы провести аналогичную
формализацию.) В гл. 12 мы сочли удобным разбить среднеквадратическую ошибку
на компоненту смещения и компоненту дисперсии:
УB)) = УвB))+//>B)) A6.4)
(см. A2.29)). В результате мы будем подбирать Л так, чтобы и смещение, и диспер-
дисперсия были невелики. Но обычно эти требования противоречат друг другу. Чтобы
уменьшить смещение, нужно, как правило, использовать более масштабные и гиб-
гибкие модельные структуры с большим числом параметров. А так как с ростом числа
оцениваемых параметров дисперсия обычно увеличивается (см. (9.89)), наилучшая
структура модели явится компромиссом между:
- гибкостью, выражающейся в использовании таких структур моделей, кото-
которыми можно описывать самые разные системы; гибкость можно обеспечить либо
введением большого числа параметров, либо параметризуя "стратегические
точки"; A6.5)
и
- экономией, которая требует не использовать слишком большого числа пара-
параметров; быть "бережливым" в отношении параметризации модели. A6.6)
Заключение такого компромисса можно описать формально как минимизацию
A6.4) по отношению к структуре модели.
Цена модели. Цена модели обусловлена усилиями по ее расчету, т.е. по миними-
минимизации G.120) или решению уравнения G.121). Уровень таких усилий сильно зависит
от структуры модели, которая в конечном счете определяет:
- вычислительную сложность алгоритма, в который, как мы видели в гл. 10,
входят расчет ошибок предсказания е(г, 0) и их градиентов ф(г, в) для ряда значе-
значений 0; объем соответствующих вычислений решающим образом связан cJC; A6.7)
- свойства критериальной функции, которые в виде таких характеристик фор-
формы, как наличие локальных минимумов, неединственность глобального минимума
и т.д., влияют на объем вычислительных работ при определении оценки dN , так как
от этих характеристик зависит необходимое количество вычислений значений самой
критериальной функции и ее градиентов; в свою очередь "форма" является резуль-
результатом выбора /( • ) и вида функциональной зависимости ошибки е(Г, 0) от 0 (т.е.
от структуры модели). A6.8)
Кроме того, имеется также цена, обусловленная приложением модели. Сложную
модель высокого порядка труднее использовать для решения задач моделирования
и управления. Если выигрыш от использования сложной модели по сравнению с прос-
простой моделью односторонен (в смысле A6.4)), то она может не оправдать более вы-
высокой цены. А следовательно, выбор структуры зависит также от
- характера использования модели. A6.9)
Общие соображения. Окончательное решение вопросов выбора структуры мо-
модели будет компромиссом между указанными характеристиками A6.5) -A6.9).
Используемые при этом приемы и соображения можно разбить на несколько групп.
350
Априорные соображения. Некоторые из характеристик не зависят от множества
текущих данных Z и могут оцениваться заранее. Эти характеристики будут рас-
рассматриваться в разделе 16.2,
Методы предварительного анализа данных. При наличии данных можно провести
предварительное изучение и оценку множества данных ZN, чтобы получить со-
содержательное представление о возможных и подходящих структурах модели. Эти
методы не предполагают окончательного расчета модели. Предварительный анализ
данных обсуждается в разделе 16.3.
Сравнение различных структур. Прежде чем окончательно выбрать структуру
модели, желательно посмотреть разные структуры и провести сравнение их ка-
качественных характеристик и цен. Это потребует проведения расчетов по несколь-
нескольким моделям и их сравнительного анализа; такие процедуры описываются в разде-
разделе 16.4.
Подтверждение полученной модели. Независимо от способа построения модели
множество ZN всегда можно использовать для того, чтобы оценить степень при-
пригодности модели для достижения поставленной цели. Если модель принимается,
то тем самым неявно оказывается одобрен и выбор соответствующей модель-
модельной структуры. Методы подтверждения моделей рассматриваются в гл. 16.5.
16.2. Априорные соображения
Тип модели. Процесс выбора типа используемой модели является достаточно
субъективным и в некотором плане не зависящим от множества данных ZN.
Обычно этот выбор является результатом компромисса между упоминавшимися
вариантами оценки, дополненными более иррациональными факторами типа го-
готовности (или обеспеченности) машинных программ и степенью знакомства (при-
(привычности) с некоторыми моделями. Прокомментируем кратко рациональные ас-
аспекты процесса выбора.
Сердцевиной задачи идентификации является компромисс между экономией и
гибкостью. Как получить хорошее согласие с данными при малом числе парамет-
параметров? Ответ обычно состоит в том, что нужно использовать априорные сведения
о системе, интуицию и изобретательность. Это как бы подчеркивает тот факт,
что идентификацию, по-видимому, не удается полностью автоматизировать. И по-
поэтому в задаче минимизации A6.4) более предпочтительны модели с физической
параметризацией. Насколько возможен выбор хорошо обоснованной физически
параметризованной модельной структуры, будет определяться нашей интуицией и
пониманием физики процесса. А это, конечно, зависит от характера прикладной
задачи.
Для физических систем, как правило, наилучшим способом отображения ап-
априорного знания является введение модели с непрерывным временем типа D.59).
А это приводит к тому, что и по программистским усилиями, и по машинному
времени расчет ошибок е(г, 0) и осуществление минимизации в G.120) становит-
становится трудоемкой задачей. И как в плане алгоритмической сложности, так и особен-
особенностей формы критериальной функции предпочтительными становятся модели
черного ящика. Под этим подразумевается модель типа D.33), в которой осу-
осуществляется настройка параметров под данные наблюдений без попыток дать им
физическую интерпретацию.
Общая рекомендация заключается в том, чтобы "начинать с простого". К бо-
более сложным структурам модели следует переходить только тогда, когда более
простые модели не прошли тестов на подтверждение. К особо простым и робаст-
ным схемам минимизации (метод наименьших квадратов, см. раздел 7.3) ведут
351
модели линейной регрессии типа D.12). Именно они часто образуют первый хо-
хороший выбор в задачах идентификации.
Следует отметить, что использование априорных физических соображений
вовсе не означает того, что будет выбрана какая-то причудливая структура мо-
модели с непрерывным временем. Некоторые размышления о природе связей между
наблюдаемыми сигналами могут служить хорошей подсказкой при выборе струк-
структур моделей. Это было продемонстрировано в примере 5.1, где на основе доста-
достаточно простых априорных соображений была построена "полуфизическая" мо-
модельная структура типа линейной регрессии. В общем случае следует подумать
над тем, не существует ли такого нелинейного преобразования данных (типа E.17)
или логарифмической шкалы), которое упростило бы подгонку линейной модели
к преобразованным данным. По этому поводу заметим, что полезные переопределе-
переопределения входо-выходных сигналов можно осуществить на основе имеющейся, быть
может, информации о характере нелинейности датчиков и приводов. Вопросы преоб-
преобразования данных рассмотрены в работах Кашьяпа и Рао [210], Бокса и Кокса [61],
Дэниела и Вуда [90] и Кэррола и Рапперта [77].
Порядок модели. Решение задачи A6.2) обычно требует подкрепления в виде
данных о функционировании. Однако нередко область возможных значений поряд-
порядков модели устанавливается на основе физической интуиции и особенностей раз-
сматриваемой прикладной задачи. Кроме того, еще до обработки данных удается
только по величине и качественным особенностям данных определить, сколько па-
параметров имеет смысл оценивать. При малых выборках неразумно пытаться искать
модель в классе моделей сложной структуры.
Родственная задача сводится к вопросу о том, сколько различных по темпу вре-
временных процессов можно реализовать на одной и той же модели. Как показало
решение задачи 14G.1, в чисто вычислительном плане трудно рассчитывать на адекват-
адекватное отображение более чем двух или трех декад частотного диапазона с использова-
использованием одной и той же модели. Все соображения об интенсивностях выборки, о подбо-
подборе соответствующих возбуждающих сигналов и продолжительности записей
данных будут говорить о том, что не следует ставить цель - охватить в одном экспе-
эксперименте более трех декад постоянных времени. Если система является настолько
жесткой, что в ее временных характеристиках представляют интерес существенно
различающиеся между собой постоянные времени, то нужно тогда ставить вопрос о
создании двух (или большего числа) моделей, каждая из которых относилась бы к
своему частотному диапазону и отличалась бы соответствующей правильно подобран-
подобранной частотой выборочных измерений. Во всех прикладных задачах при использовании
высокочастотных моделей низкочастотная часть динамических характеристик выгля-
выглядит как результат пропускания сигналов через набор интеграторов (их число опреде-
определяется избытком числа полюсов на низких частотах); подумайте о представлении
в виде диаграммы Боде. И это нужно твердо знать, используя высокочастотную
модель. Соответственно, высокочастотная часть динамики системы смотрится как
статическая (мгновенно действующая) связь на фоне низкочастотной модели.
В результате в модели появляется член без запаздывания bou(t).
Параметризация модели. Вопрос параметризации модели по существу относится
к вычислительному аспекту идентификации. Ищутся такие параметризации модели,
которые корректны, т.е. обладают тем свойством, что ошибки округления и другие
неточности в определении одного из параметров мало влияют на в хо до-выходные
характеристики модели. Эта проблема широко известна в области методов цифро-
цифровой фильтрации и менее изучена в литературе по идентификации. Действительно,
структуры моделей в хо до-выходных соответствий в виде стандартных разностных
уравнений типа D.7)-D.33) могут быть довольно чувствительными к численным
ошибкам. См., например, задачу 16Е.1 (сравните с задачей 14G.1). Выбор способа
352
параметризации линейной модели по сути дела означает выбор конкретного представ-
представления в пространстве состояний. Дифференциально-разностные модели соответ-
соответствуют канонической форме записи уравнения наблюдений из примера 4.2. Другие
способы выбора переменных состояния, например, цифро-волновые фильтры или
лестнично-решетчатые фильтры (сравните с разделом 10.1), дают более качественную
условную параметризацию (см. работы [301] и [310]). В работе [139] вместо qT1
предложено в связи с рассматриваемой задачей вести параметризацию по степеням
16.3. Выбор структуры модели на основе
предварительного анализа данных
Под предварительным анализом данных понимается вычислительная процедура,
которая не сводится к определению окончательной модели системы. Такой анализ
может оказаться полезен при отыскании подходящих модельных структур.
Оценивание типа модели. Вообще говоря, область ориентированных на данные
модельных структур представляется недостаточно разработанной. Исключение
составляет кратко обсуждаемая методология определения порядка в линейных
структурах. Понятно, что различные непараметрические методы могут оказаться
полезными при отыскании подходящих нелинейных преобразований данных или
при изучении вопроса о том, какие типы зависимостей между данными наблюдений
следует исследовать. В литературе по математической статистике такие процедуры
рассматриваются (например, Дэниел и Вуд [90] и Парзен [318]), однако они еще
не нашли применения в решении прикладных задач идентификации.
Одна частная задача составляет исключение: оценка степени нелинейности. Она
состоит в том, чтобы ответить на вопрос, можно ли объяснить наблюдаемые данные
в рамках линейной теории или нужны нелинейные структуры? Соответствующие
критерии проверки основаны на соотношениях между моментными и спектральными
характеристиками высоких порядков (выше второго), которые вытекают из ли-
линейной теории. (См. работы Биллингса и Вуна [49], Райбмана [333],Хабера [156]
и Варлаки, Тердика и Лотоцкого [413].)
Оценивание порядка. Порядок линейной системы можно оценить разными спо-
способами. Методы, основанные на предварительном анализе данных, распадаются на
следующие группы.
1. Исследование спектральных оценок передаточной функции.
2. Проверка рангов выборочных матриц ковариации.
3. Коррелирование переменных.
4. Изучение информационной матрицы.
О каждом из этих подходов будет кратко рассказано.
1. Спектрально-аналитические оценки. Непараметрическая оценка G^(etuJ) из
формулы F.82) будет определять значимую информацию о величине резонансных
пиков, высокочастотных срезов и фазовых сдвигов. Все это помогает при выборе
порядков моделей, которые необходимы, чтобы адекватно отобразить динамику
системы (интересующую нас часть ее). Хотя заметим, что по сравнению с непрерыв-
непрерывной во времени диаграммой Боде истолкование дискретной диаграммы Боде в тер-
терминах нулей и полюсов может оказаться недостоверным. Поэтому при использовании
наблюдений надо соблюдать осторожность.
2, Проверка рангов матриц ковариации. Пусть истинная система описывается
уравнением
A6.10)
12.Л.Лыонг 353
для некоторой последовательности значений шума {vo(t)}. Пусть также п - наимень-
наименьшее число, для которого такая запись возможна (л - "истинный" порядок). Пусть,
как обычно,
*,(')= [-y{t - 1),... ,-y(t - s),u(t - 1) u(t- s)\T. A6.11)
Предположим сначала, что vo(t) = 0. Тогда из A6.10) следует, что матрица
будет при s < /7 невырожденной (при условии, что сигнал {u(t)) является постоянно
возбуждающим) и вырожденной при s > п + 1. Таким образом, величину k{s) =
= det RS(N) можно было бы использовать в качестве статистического критерия
проверки гипотез о порядке модели. Впервые это было предложено в работе Вуд-
сайда [442]. Однако изучение связи между вырожденностью матрицы A6.12) и по-
порядком соответствующей модели восходит к работе Ли [230] и алгоритму реализа-
реализации из работы Хо и (Салмана [128] (см. также лемму 4А.1).
При наличии в уравнении A6.10) шума, вводя соответствующие пороги, по-
прежнему можно использовать матрицу A6.12), если только отношение сигнал/шум
достаточно большое. Для случая, когда это не так, Вудсайд [442] предложил ис-
использовать "усиленную" матрицу
Rs(N) = Rs(N)-o2Rv, A6.13)
где через o2Rv обозначена оценка влияния vo(t) на RS(N).
Если влиянием vo(t) нельзя пренебречь, то лучше использовать другие корреля-
корреляционные векторы. Если {vo(t)} и{ u(t)} некоррелированы, то можно было бы взять
Г,@= |и(Г- 1),и(Г -2) и(/ - 2s)J T A6.14)
и обнаружить, что
RJ(N) = fys(t)S?(t) A6.15)
является невырожденной при s <л и вырожденной при s > п + 1 (сравните с обсуж-
обсуждением состоятельности метода инструментальных переменных (8.99а)). Замена
if выборочным средним определяет приемлемый критерий. Если {vo(t)} - скользя-
скользящее среднее порядка г (при этом y(t -г - 1) и уо(/) некоррелированы), то можно
было бы ввести величины
?,(') = *,(' -*) A6.16)
или любые комбинации таких корреляторов с A6.14). Этот критерий определения
порядка рассмотрен Уэлстедом [425] и Уэлстедом и Ройасом [428] и был, очевидно,
впервые применен к многомерным структурам в работе Це и Винарта [409].
3. Коррелирование переменных. Задача определения порядка A6.2Ь) заключа-
заключается в том, чтобы решить: включать еще одну переменную в модельную струк-
структуру или не включать. Такой переменной для формулы A6.10) может быть
y(t - п - I) (задача определения истинного порядка) или наблюдаемые значения
возможной помехи w(t). В любом случае надо решить, добавляет ли эта новая
неременная что-нибудь к объяснению выходной величины y(t). Оценкой этого
служит корреляция между y(t) и w(t). Однако при оценке связи между y(t) и
wyt) необходимо учитывать, что при исследовании меньшей модельной структуры
эта связь уже до некоторой степени учтена, поэтому корреляцию следует^ счи-
считать только между vv(/) и "тем, что еще не объяснено" (т.е. невязкой е(Л0дг) =
-y(t)—y(t 10yv))- ^ регрессионном анализе такой подход получил название
354
метода канонических корреляций или частичной корреляции (см. Дрейпер и Смит
[101]). См. также обсуждение в разделе 16.5.
4. Информационная матрица. Из теоремы 4.1 следует, что если у некоторых мо-
модельных структур оценки порядка моделей окажутся завышенными, то свойства
глобальной и локальной идентифицируемости будут утрачены. Это означает, что
матрица i//(f, 0) не будет иметь полный ранг в точке 0=0* (предельное значение),
а следовательно, информационная матрица G.77) будет вырожденной. Поскольку
в алгоритме Гаусса- Ньютона используется обращение информационной матрицы,
то естественным критерием проверки того, не переоценен ли порядок модели, будет
число обусловленности этой матрицы. (См. работы Янга, Джскмэна и Макмюрти
[450], Мера [281], Седерстрема [366] и Стойки и Се дерет рема [395].)
При использовании метода инструментальных неременных происходит пример-
примерно то же самое. В этом случае при переоценке значений порядков оказывается вы-
вырожденной матрица из формулы G.104) :
(это видно из формул (8.99)). Таким образом, проверка степени обусловленности
этой матрицы является естественной особенностью инструментального подхода.
Многомерный случай: параметризация модели **'. Задача параметризации много-
многомерной модели черного ящика заключается в выборе мультииидекса в постановке
DА.16) —DА.18). В литературе предложены некоторые методы ее решения. Одни из
вариантов выбора vn представляют собой индексы наблюдаемости { az-}, определен-
определенные в доказательстве леммы 4А.2. Индексы { а,- } зависят от ранговой структуры
матрицы Wnp+pi которая, в свою очередь, в отсутствии помех связана с ранговой
структурой матрицы RS(N) из формулы A6.12). В работе [150] Гвидорци предло-
предложил использовать матрицу RS(N) для определения индексов наблюдаемости и при
наличии помех, аналог "усиленной" матрицы A6.13). Для той же цели Це и Винерт
[409] используют оценки A6.15) и О6Л6) (в отсутствии помех).
Другой способ рассмотрен в работе ван Овербэка иЛьюнга [312]. В этом случае
используется модельная структура с перекрытием DА33) и в процессе минимиза-
минимизации критерия при слабой обусловленности информационной матрицы происходит
переключение с одной параметризации на другую. Авторам удалось найти связь
между степенями обусловленности этой матрицы и матрицы ковариации состояний.
16.4. Сравнение модельных структур
Наиболее естественно при поиске подходящей структуры модели перебрать
несколько вариантов и сравнить полученные результаты. В этом разделе мы обсудим,
как осуществляется сравнение при разной степени формализации. Большое значение
при просмотре разных моделей имеют также методы подтверждения моделей из
раздела 16.5.
Сравнение моделей на новых данных: взаимное подтверждение. Нет ничего уди-
удивительного в том, что модель будет хорошо работать на том множестве данных,
которое использовалось для ее настройки. Настоящая проверка сосчоит в том, чтобы
убедиться в возможности применения модели ,игя описания полученной на объекте
повой информации. Достойным и привлекательным способом сравнения между
собой двух разных моделей, полученных в рамках двух разных модельных структур,
представляется оценка их функционирования на ;аком множестве данных, которое
не использовалось в настройке ни одной из них. В этом случае мы бы предпочли
модель, показавшую лучшие результаты. Такие процедуры известны под названием
12* 355
взаимного подтверждения, они известны в нескольких вариантах. См., например,
работы Стоуна [403] и Сни [363].
Критерием при сравнении могла бы быть, например, сумма квадратов ошибок
предсказания или рассогласования между фактическими выходными сигналами и
смоделированными ум (t) = GN(q)u(t). В разделе 16.5 представлено несколько
способов оценки качества модели. В процедурах взаимного подтверждения привле-
привлекает их практическая направленность: в процессе сравнения не используется вероят-
вероятностная аргументация и не делается каких-либо предположений об истинной системе.
Единственный их недостаток состоит в том, что часть данных следует сохранить в
виде "новых" для сравнения, а следовательно, ими нельзя пользоваться при по-
построении моделей.
Сравнение моделей на уже использованных множествах данных: предваритель-
предварительная оценка с позиций практики. Если возможность сохранить часть информацион-
информационного материала нетронутой в целях взаимного подтверждения отсутствует, то для
сравнения двух моделей приходится вновь воспользоваться теми же множествами
данных, на которых осуществлялась настройка моделей. Последнее существенно
усложняет процесс сравнения. Модель, которая строилась в рамках более широкой
структуры, будет автоматически придавать меньшее значение критерию согласия,
поскольку соответствующее значение получено как минимальное при минимизации
на множестве большего размера. Поэтому по мере расширения модельной структуры
(как вA6.2Ь)), минимальное значение критерия будет вести себя так, как показано
Рис. 16.1. Минимальное значение функции потерь как функ-
функции размера модельных структур A6.2b). VN = min Vjv(Q)
на рис. 16.1; это монотонно убывающая функция от гибкости структуры модели.
Начнем с того, что чем больше особенностей, присущих данным, учитывается в модели,
тем меньше становится значение VN% Однако даже после того, как структура модели
"захватывает" возможность описания истинных уравнений системы, величина V
продолжает убывать, так как теперь происходит подстройка дополнительных (не-
(ненужных) параметров под конкретные особенности конкретной реализации шума.
Этот эффект известен под названием "сверхсогласия", но, конечно, такое избыточное
согласие с данными не представляет никакой ценности, поскольку модель предпо-
предполагается использовать при работе с данными, включающими различные реализации
шумов. Разумно считать, что уменьшение величины критерия от "сверхсогласия"
должно быть менее существенным, чем уменьшение, связанное с учетом в модели
дополнительных особенностей объекта. В результате нас будет интересовать, нет
ли на кривой рис. 16.1 фрагмента типа "колена". Построение такой кривой, действи-
действительно, является хорошим практическим приемом для оценки значимости и цен-
ценности увеличения степени согласия.
Предложено несколько формализованных процедур, которые используются
для формальной регистрации "коленоподобных" фрагментов. Мы в данном разделе
эти процедуры опишем, но сначала прокомментируем их содержательный смысл.
356
Имеется две основные идеи. Первая состоит в том, чтобы проимитировать идею
метода взаимного подтверждения, т.е. использовать величину VN как основу для
оценки тех потенциальных возможностей, которые были бы связаны с приложением
модели к множеству новых данных. В результате нужно будет устранить и скоррек-
скорректировать эффект сверхсогласия. Этот метод будет рассматриваться в следующих
четырех подразделах. Другая процедура опирается на несколько иную философию,
когда делается предположение, что на меньшей информационной структуре уже
достигнуто правильное описание системы и осуществляется попытка расчета средней
величины выигрыша "сверхсогласия" при переходе к более широкой структуре.
После этого проводится проверка того, насколько наблюдаемый выигрыш больше
теоретического. Такая идея проверки гипотез будет описана в предпоследнем разде-
разделе. Оказывается, однако, что в функциональном отношении эти два подхода яв-
являются тесно связанными.
Критерий подтверждения модели. Рассмотрим скалярную меру подтверждения
),0, 0 = Urn EVN{B,ZN\ A6.17)
где VN(B, ZN) - критерии ошибки предсказания, который используется при пара-
параметрическом оценивании. Пусть 0%— оценка, полученная в рамках структуры JCk.
Возникает естественная мысль попробовать оценить "среднюю" эффективность
модельной структуры JC^7 подсчитав
A6.18)
На этом этапе функция V{в) и критерий J не известны пользователю, так как в
них входит вычисление математических ожиданий по распределениям фактических
данных. Следовательно, нужно заменить V(в) и У какой-то аппроксимацией или
оценкой. __
Пусть в* - точка минимума функции У(в), разложим эту функцию в ряд в
окрестности 0* :
V (9N)=V @*)+ -@д, -O')TV" (SN)@N-0*). A6.19)
Аналогично в силу того, что V'N (dN, ZN) = О,
e*). (I6.20)
Чтобы определить математические ожидания от этих двух выражений, используются
следующие асимптотические формулы:
Е \ $N - 0*)TV" (Ы(«* ~ П =
1 A6.21)
= -Etx{Vft(iN)(eN-e*)(eN-O*)T) *^trV"(e*)PN,
где Рдг = AIN)P$ — асимптотическая матрица ковариации оценки 6Ny как и в фор-
формуле (9.15). Заметим, что Р^ убывает как 1/Af.
Кроме того,
е ~(h- e*)Tv'b(?„,zN)(oN - е*)~ 1 tr V" {0*)PN A6.22)
357
Это при усреднении формул A6.19) и A6.20) соответственно дает
A6.23a)
A6.23b)
EV$N)»V
EVN(9N,ZN
Отсюда находим,
J(Jt) = EV(
1 _
@*)+-tr V
)« VF*)-
ЧТО
A
ъ, 1Г {С
« VN {V
ft
1
2
V»
N
@
tr
Z
P"(e*)/V-
w) + tr V" (e*)PN<*
TV
где последнее приближение состояло в том, что среднее значение VNF^, Z ) за-
заменяется единственным имеющимся наблюдением и берется PN = (I//V) Pq.
Используя это общее выражение, мы можем рассмотреть несколько частных
вариантов Кдг.
Информационный критерий Аканке (ИКА). Пусть критерий ошибки предска-
предсказания выбран в виде нормированной логарифмированной функции правдоподобия
(см. C.72)):
I
VN @, Z™) = — — (log-правдоподобие для задачи оценивания) =
— -?„(«. Z").
A6.25)
Для случая, когда:
— истинная система описывается вектором 0 * = в0 (т.е. 8 Е JI ) ;
- параметры идентифицируемы так, что матрица V"F0) является обратимой;
A6.26)
из асимптотического результата раздела 9.3 известно, что
Pn=IV"@o)]~1 . -J- -tfflj^o)] A6.27)
А^
(см. G.68), G.77) и (9.29)). Подстановка A6.27) в A6.24) позволяет записать
критерий в виде
/(.*) = - ^LN{0,ZN)+ ^-, A6.28)
поскольку
Это выражение совпадает с ИКА G.94). Таким образом, можно сформулировать
совместную задачу определения структуры модели и оценивания параметров как
= arg min min — [-1* (***. Z") + 4« L (! 6-29)
358
где LN - функция логарифмического правдоподобия, а верхний индекс JC обозна-
обозначает связь оценки 0J/ с модельной структурой^.
Пример 16.1. ИКА для гауссовых обновлений.
Предположим, что обновления процесса гауссовы с неизвестной дисперсией \. Тогда
д, 1 N e2(t,B') дг N
LN{BtZN)--- 2 r log Л--г-log 2 я,
2 г=\ Л 2 2
где 0 = @\ Л) (см. G.75) и G.17)). При осуществлении внутренней минимизации (в рамках
заданной структуры модели) в A6.29) имеем (см. задачу 7Е.7):
N
: arg min 2 e2(t, В).
t~\
Следовательно,
A ¦ ^ - H __ - Л N
2 2 2
а внешняя минимизация (по.$) в A6.29) реализуется в следующей записи:
Г I 1 1 Г | ^ Aywltf./1
.^= arg mm — + —Iog2ir+ -log — 2, e2(t, BN ) + —¦ .
M^M [22 2 [/Vf=i J/VJ
Существенный в процессе минимизации член имеет вид
[1 N лМ } ldu г/ Id ,\ 1 N Л ;М
- I e2(t,BN) + —^^ log (l+ -^) — S e2(f, e^) , A6.30)
N t = \ J ^ [\ дг / N f^! J
1дс последнее приближение получено из того, что dim В**1 < N.
Критерий финальной ошибки предсказания Акаике (ФОП). Вернемся к формуле
A6.24) и допустимою VN выбрано в виде
1 N 1
V (О ZN)= — 2 ~" € (л 0).
' N t=i 2
В предположениях A6.26) из формулы (9.17) известно, что
1
Р = _р A6.31)
где
Хо =Eel(t) = Ee2(tt во) = 2 V (в0).
Это дает в A6.24)
) A6.32)
В силу формул A6.23)
359
В результате пригодную оценку Хо можно получить, если определить
а _ 2VN@,ZN)
что при подстановке в A6.32) даст
f ]^f[ l
j l-<i//^ 1-<ц/ЛГ ^ r=i __ _ _ j
Критерий A6.33) впервые был описан Акаике [3] и назван им критерием финальной
ошибки предсказания (ФОП). Он отражает величину дисперсии ошибки предсказа-
предсказания, которая получается в усредненном варианте использования модели JC(BN)
в качестве предсказателя на множествах данных, не использовавшихся на этапе
идентификации. Отметим тесную связь ФОП-критерия с ИКА A6.30) при гауссовых
обновлениях и d^ <^ N.
Штраф за сложность модели.
С более практической точки зрения рассмотренные нами сейчас критерии могут
интерпретироваться как совместные критерии для определения структуры модели
и значений параметров в пределах фиксированной структуры. В принципе эти крите-
критерии можно было бы записать в виде
W% {в,Л ,ZN)=VN (в, ZN) + UN (M ), A6.34)
где Vn — критерий ошибки предсказания G.120) в рамках некоторых модельных
структур JC. a Un(JC) - функция, которой измеряется "сложность" модельной
структуры. До сих пор эта мера была связана с размерностью вектора в:
dim0
A635)
Эти критерии направлены на отыскание таких описаний систем, которые дают
наименьшую среднеквадратическую ошибку. Та модель, которая определит лучшее
согласие но заметно меньшей среднеквадратической ошибке (предсказания), может
быть выбрана, даже если она будет достаточно сложной. На практике может возник-
возникнуть желание ввести в функционал A6.35) добавок, штрафующий за увеличение
сложности и отражающий представления субъекта о плате за сложность: "Я соби-
собираюсь взять более сложную модель (по моей собственной мере сложности), она
должна оказаться существенно лучше!".
Что же такое сложная модель и какой штраф связывать с этой сложностью?
Такие вопросы обычно решаются субъективно. Интересный подход предложен Рис-
саненом [338]. Он утверждает, что главная цель идентификации состоит в форми-
формировании максимально короткого описания. Это ведет к критерию типа A6.34),
в котором
logAf
UN (Jt) = dim 0 - -=—. A636)
Критерии проверки статистических гипотез (*К Выбор между двумя модель-
модельными структурами Jt0 и М\, удовлетворяющими условию A6.2Ь), можно также
осуществить с помощью теории статистических критериев. Идея состоит в выдви-
выдвижении гипотезы
Но: данные порождены структурой *АС0 (Ojy0^ ). A6.37)
Эта гипотеза проверяется на фоне альтернативной гипотезы
Hi: данные порождены структурой J# i @fa1 *). A6.38)
360
Если теперь М\ "больше" JC0, нам следует придерживаться принципа предвзятости
против выбора Л1\. Это означает, что мы будем всегда выбирать *М0 за исключением
тех случаев, когда предъявляются "неопровержимые улики" истинности гипотезы
#i. В статистике это выражают тем, что называют Но "нулевой гипотезой".
Теперь нам хотелось бы принять решение о выборе между гипотезами Но и Нх
так, чтобы риск (вероятность) отвергнуть гипотезу //0, если она истинна, был мень-
меньше некоторого числа а (чем меньшее значение а выбрано, тем выше степень наст-
настроя "против" структуры Ji\). В то же время хотелось бы максимизировать вероят-
вероятность того, что при истинности гипотезы Hi гипотеза Но будет отвергнута. Последняя
вероятность известна под названием "мощности" статистического критерия.
Пусть 0^ обозначает предельную оценку в рамках модельной структуры J?k.
Если эта величина определяет правильное описание системы ( S ? *%к)> т0 ИРИ
самых общих условиях можно показать, что
VN@[k\ZN)- VN{6tf\ZN)
To есть случайная величина в левой части сходится по распределению к х2 -распре-
-распределению с d(k) = dim0^* степенями свободы. Для случая линейной регрессии
это доказано в лемме II.4, а для ARMAX-модели - в работе Острема и Бохлина
[27]. Отметим, что в случае § ? Мк при подстановке A6.23Ь) оценка A6.39)
оказывается состоятельной.
При нулевой гипотезе A6.37) из A6.39) следует, что
N А tAsx\d{\)-d@)). A6.40)
Таким образом, с помощью этого выражения нулевая гипотеза может быть прове-
проверена на любом желательном доверительном уровне а.
Если VN выбрана в виде функции логарифмического правдоподобия, то этот
критерии переходит в критерий отношения правдоподобия (см. Кендалл, Стюарт
[212]), который обладает максимальной мощностью. В работе [57] Бохлином
построен критерий максимальной мощности, который не требует расчета модели
на более широком множестве.
Использование A6.40) сводится к решению отвергнуть Но (и, следовательно,
выбрать структуру М\), если
VN(e%\ZN)-VN{eV\ZN)>VN{O%\ZN). l-'kd(a)y A6.41)
где kd (а) - а-квантиль х2"РаспРсДеления с d(l)~d@) степенями свободы. Для
d <N с точки зрения пользователя A6.41) совпадает с ИКА A6.30) или с ФОП-
критерием A6.33), если а выбрать из соотношения
A6.42)
Это соотношение в зависимости от значения разности d(l)—d(Q) (в разумном диапа-
диапазоне) удовлетворяется при выборе а от 7% до 1%. Таким образом, в плане практи-
практического использования между ФОП-методом, ИКА и проверкой статистических
гипотез имеется ясная связь.
Для малых jV можно привести формулу, более точную чем формула A6.40):
\ N N ^^ eAsF(N-d(l),d(l)-d@))
361
(сравните с леммой II.4). Опираясь на это асимптотическое F-распределение, можно
применять F-критерии.
Сравнение линейных регрессий <**. Использование критерия A6.33) или крите-
критериев проверки гипотез A6.40) требует проведения расчетов модели для каждой
из проверяемых структур. Это может оказаться трудоемкой работой. При этом
важно, что применительно к модельным структурам типа линейной регрессии эта
процедура существенно упрощается.
Пусть самая большая модельная структура, которая будет рассматриваться
в семействе М> задается соотношением
y(t \0) = *T(tH. A6.44)
Пусть в этой структуре минимальное значение функции потерь равно Vmin. Посмот-
Посмотрим, насколько увеличится это значение при отбрасывании в формуле A6.44) от-
отдельных параметров 0/ и соответствующих им регрессоров <Р/(О- С помощью A0.6)
можно переписать A6.44) в виде
Ф0 = У. A6.45)
Построим ортонормальную матрицу Т, которая приводит матрицу Ф к треугольному
виду (см. A0.8)), и пусть
¦-¦ i
1Y= . . A6.46)
In J
Тогда из A0.2b) известно, что
^min=- 2 ll, d = dim * (t). A6.47)
N k~d + l
Предположим теперь, что в формуле A6.44) удаляется последний регрессор ^<*(О
и в формулу A6.45) также вносятся соответствующие изменения. Ясно, что (NXN)-
матрица Т будет триангулировать и новую матрицу Ф (без последнего столбца).
Таким образом, A0.11) по-прежнему верно и минимальное значение V па меньшей
из структур равно
1 N
N k=d
т.е. оно возросло на lj/N. Очевидно, что такие рассуждения могут быть повторены.
Следовательно, имеет место следующий результат.
Лемма 16.1. Рассмотрим линейную регрессию A6.44). Пусть TY и 1{ опре-
определены, как и выше. Допустим, что под меньшей модельной структурой понимается
структура, которая будет получена из A6.44) удалением последних регрессоров
$s (О»• • • » Vd (О • Тогда минимальное значение функции потерь увеличится на
Наибольшие вычислительные трудности связаны с расчетом значений Т и /,• в
формуле A6.46). Значения этих величин зависят от порядка регрессоров. Поэтому
соответствующий порядок необходимо выбрать так, чтобы при устранении регрес-
регрессоров, начиная с последних, из формулы A6.44) получались интересные подструк-
подструктуры. После того, как /f- определены, проверка таких подструктур с использованием
362
обсуждавшихся в этом разделе критериев может быть выполнена на высоком уровне
эффективности. Характерным примером применения подобных методов к системной
идентификации является решение задачи оценивания порядков модели и временных
запаздываний. Соответствующее упорядочение регрессоров очевидно. Для общих
задач регрессии с упорядочением ясности меньше. Подробное обсуждение этих вопро-
вопросов можно найти в книгах Дрейпера и Смита [101] и Дэниела и Вуда [90].
В 1968 году Ивахненко [188] предложил особый способ перебора на множестве
возможных модельных структур (типа линейной регрессии), который ведется толь-
только на основе экспериментальных данных - это метод группового учета аргументов
(МГУА). Этот метод, который вызвал интерес, может быть представлен как проце-
процедура поиска на дереве всевозможных комбинаций регрессоров вида
где \рг - исходные переменные-регрессоры. Просмотр структур ведется с использо-
использованием критерия перекрестного подтверждения (отсюда "группы"), или ИКА,
или ФОП-критерия A6.33). Доскональное исследование МГУА проводится в работе
Фэрлоу [ИЗ].
16.5. Подтверждение модели
Процедура оценивания параметров сводится к выбору "наилучшей" модели
в пределах фиксированной модельной структуры. И наисущественнейший вопрос
заключается в том, "достаточно ли хороша" эта "наилучшая" модель. Это и есть
задача подтверждения модели. Поставленный вопрос имеет несколько аспектов.
1. Достаточно ли согласуется модель с данными наблюдений?
2. Насколько хороша модель в свете цели ее создания?
3. Описывает ли модель "истинную систему"?
В общем случае (см. [58]) метод получения ответов на эти вопросы состоит в том,
чтобы сопоставить с моделью Л @N) всю практически полученную информацию
об истинной системе. Сюда входит априорная информация, экспериментальные
данные и опыт использования модели. В прикладных задачах идентификации наибо-
наиболее естественным объектом для сопоставления с моделью являются сами данные.
В результате процедура перекрестного подтверждения сосредоточивается, в основ-
основном, на поиске ответа на первый вопрос. В этом разделе мы перечислим ряд полез-
полезных приемов, предназначенных как для отбрасывания моделей, так и для повышения
доверия к ним.
Перекрестное подтверждение по отношению к цели моделирования. Несмотря
на интригующий характер третьего вопроса, в философском плане он не имеет отве-
ответа. Практически важен ответ на второй вопрос. Процесс создания модели всегда
связан с попыткой достижения некоторой цели. Модель может предназначаться
для решения задачи проектирования регулятора, предсказания или имитационного
моделирования. Тогда основное подтверждение будет заключаться в том, чтобы
убедиться в возможности использования полученной модели для решения той задачи,
ради которого эта модель и строилась. Если основанный на моделях регулятор
определяет удовлетворительное управление процессом, то модель оказывается
"обоснованной", независимо от того, как это может пониматься формально. Мас-
Массовая проверка приемлемости всевозможных моделей по отношению к цели их
создания оказывается задачей неразрешимой, требующей чрезмерных затрат и по-
попросту опасной. Вместо этого используются другие способы повышения степени
доверия к модели.
Реализуемость физических параметров. Естественной и важной процедурой
подтверждения модельной структуры, параметризованной на основе физических
363
соображений, является сопоставление найденных оценок и оценок их дисперсий
с априорно приемлемыми значениями физических параметров. На практике хоро-
хорошо также оценить чувствительность входо-выходных характеристик к значениям
этих параметров, чтобы убедиться в их практической идентифицируемости (это
также должно отражаться на оценках дисперсий).
Состоятельность входо-выходных характеристик модели. При рассмотрении
моделей черного ящика мы сосредоточимся на их входно-выходных свойствах.
В линейном случае они обычно отображаются на диаграммах Боде. В случае не-
нелинейных моделей соответствующие характеристики проверяются посредством
имитационного моделирования (см, последующие подразделы). На практике всегда
хорошо провести оценку и сравнение разных линейных моделей по диаграммам
Боде с возможной заменой оценок дисперсий соответствующими доверительными
А А
интервалами для оценок G (и Я). Особенно полезно сравнение спектрально-анали-
спектрально-аналитических оценок F.46) и графиков Боде для параметрических моделей, поскольку
они формируются на базе достаточно разных систем предположений (т.е. разных
модельных структур, см. задачу 7G.2).
Вообще говоря, когда истинная система не принадлежит к множеству моделей,
характер полученной аппроксимации будет зависеть от условий эксперимента, ис-
используемых предварительных фильтров и структуры модели (гл. 8). Таким образом,
сравнение диаграммы Боде, полученной для разных структур и разных предвари-
предварительных фильтров с применением ФОП-метода, метода инструментальных перемен-
переменных и методов спектрального анализа, даст по-настоящему ощутить, какие из
существенных особенностей динамики системы оказались схвачены.
Редукция модели. Одна из процедур проверки того, достаточно ли модель проста
и насколько описание соответствует системе, заключается в применении некоторых
методов редукции модели. Если можно, не меняя заметно входо-выходных свойств
модели, понизить ее порядок, то исходная модель была "неоправданно сложной".
Эта идея применена Седерстремом [367] для взаимной компенсации полюсов и
нулей.
Доверительные интервалы для параметров. Другая процедура проверки того,
не содержит ли текущая модель слишком большого числа параметров, состоит в
том, чтобы оценить величину соответствующих стандартных отклонений (см. раз-
раздел 9.6). Если значение нуль входит в доверительный интервал, то можно подумать
над тем, не стоит ли этот параметр из модели исключить. Обычно этот прием пред-
представляет интерес только тогда, когда соответствующий параметр отражает физи-
физическую характеристику системы тина порядка модели или временной задержки.
Если все оценки стандартных отклонений велики, то информационная матрица
является почти вырожденной. Это также свидетельствует о слишком большой ве-
величине порядков модели (см. раздел 16.3).
Имитационное моделирование. При подтверждении пригодности модели для
решения задачи имитационного моделирования широко применяется процедура
сравнения выходного сигнала модели, на вход котор ш подается фактический вход-
входной сигнал реальной системы, и наблюдаемого на выходе системы выходного сигна-
сигнала. Для общей модели E.33) смоделированный выходной сигнал ум (?) порождает-
порождается соотношениями:
A6.48)
ZmX ={Ум (Г- 1)," (Г- 1), Ум (*-2),и (Г- 2), . .., ум A),и A)) A6.49)
(не путайте Ум (О и y(t\0N), они совпадают только для модели выходной
ошибки).
364
О 250 500 750 ^
Рис. 16.2. Измеряемые значения температуры .У (сплошная линия) и предсказанные но линейной
модели с опережением на один шаг значения температуры (штриховая линия)
Рис. 16.3. Измеряемые значения температуры у (сплошная линия) и имитированные на линейной
модели E.13) значения температуры (штриховая линия)
у(°С)
О 250 500 750 t.MUH
Рис. 16.4. То же, что на рис. 16.3, но для нелинейной модели E-17) и E.18)
Теперь качество модели JC{BN) можно оценить путем сравнения ум (г) и y(t)
либо непосредственно на графике (визуально), либо вводя некоторую формальную
меру расстояния между сигналами. Такое сравнение предпочтительнее проводить
на основе новой информации, отличной от того множества данных, которое исполь-
А
зовалось в процессе оценивания 0N (перекрестное подтверждение).
Пример 16.2. Моделирование дома с солнечным подогревом.
Рассмотрим дом с солнечным подогревом, описанный в примерах 1.1 и 5.1. Отрезки реали-
реализаций были показаны на рнс. 1.4. Сначала с использованием метода наименьших квадратов была
проведена подгонка к данным линейной модепи. Это дало следующий результат:
*! = - 0,834, а2 = 0,06, Ьх = - 0,0002,
Ь2 = 0,41, cj = - 0,018, с2 = - 0,19.
365
На рис. 16.2 предсказанное значение выходного сигнала y(t | 0дг) сравнивается с наблю-
наблюдаемым значением выходного сигнала y(tL а на рис. 16.3 y(t) сравнивается с имитацией вы-
выходного сигнала ум (О- которая рассчитывается с использованием формул A6.48) и A6.49).
Ясно, что модель не очень хорошая. Она не отражает существенных особенностей процесса из-
изменения температуры. Это проще разглядеть на рис. 16.3, чем на рис. 16.2.
Согласование с теми же данными нелинейной модельной структуры E.17) и E.18) дает
0yv= [0,97 -0,015 0,019 0,35 -0,34 О,О93]Г,
а результаты сравнения между собой наблюдаемой и смоделированной реализаций выходного
сигнала приведены на рис. 16.4. Эта модель определяет приемлемое описание системы. Если
интенсивность солнечной радиации J(t) и скорость поддува u(t) в течение суток нам известны,
то можно предсказать температуру теплового аккумулятора со средней точностью до 3°С.
Этого достаточно, чтобы дать оценку стратегий управления и произвести расчет свойств термо-
нагрсва и тепло сбережения для достаточно больших временных интервалов.
Подтверждение модели в терминах невязок. Конкретный способ расчета прогно-
прогноза y(t \0) может опираться на какие-то гипотезы о характере возбуждающих шумов
и тому подобные предположения. В гл. 4 мы обсуждали различные "оправдания"
л
использованию конкретных предсказателей. Если уж некоторая модель JC FN)
выбрана и имеется множество данных ZN, то можно "проверить алиби" модели,
произведя расчет получающихся ошибок предсказания^
Это означает, что в соответствии с выбором JC{0N) источником данных пред-
предполагается уравнение типа G.74):
J A6.50)
А
где е(Г, вN) обладает свойствами взаимной независимости и независимости от прош-
прошлых данных, отмеченными в G.69). По отношению к этим данным вопрос о под-
подтверждении модели ставится как вопрос о правдоподобии вывода о том, что реали-
реализация данных ZN действительно может быть порождена соотношением A6.50).
Это эквивалентно утверждению, что последовательность
e(t, 6N)± у (f) -g (r, Z'-1;^)- у (г) -у (t \ 6N)9 A6.51)
вероятно, представляет собой последовательность независимых между собой слу-
случайных величин с плотностью вероятности fe (x, t; 0дг).
К поиску ответа на вопрос, поставленный проверкой выполнимости соотношения
A6.51), можно подойти используя статистические методы разной степени слож-
сложности. Можно построить график ошибок предсказания {e(t, 0N)} и решить вопрос
A6.51) на основе визуальной инспекции. Известны также несколько статистических
критериев проверки белизны невязок. Стандартный критерий белизны сводится
к вычислению оценки ковариации
R?(r)=z 2 e(t)e(t + T)9 A6.52)
где e(t) = e(f, 6N). Если последовательность {е(г)> — действительно белый шум, то
iV M A
Knm^— Г ? (/^(т)J A6.53)
tfe@J '=I
будет в асимптотике иметь распределение х2 (М) (см. задачу 16G.1). Тогда факт
взаимной независимости невязок может быть подтвержден выполнением неравен-
неравенства f N%M < xl (Л/), где а - уровень значимости распределения х2 (Ю-
Независимость невязок от прошлых данных. Невязки e(r) = e(f, 0N) будут
(почти) белым шумом, если модель
366
находится в хорошем согласии с истинной системой
Часто более важна не корректность всей модели, а точность описания динами-
А
ческой части системы G0(q) с помощью модельной оценки G(q). Особенно, если
используются метод выходной ошибки или метод инструментальных переменных.
Тогда интересно знать, зависит ли е(г) от прошлых данных о входном сигнале.
Если такой зависимости нет, то выходной сигнал определяется динамическим преоб-
преобразованием входного сигнала в большей степени, чем полной записью текущей мо-
модели. Независимость между и и б обычно проверяется на основе расчета выборочных
коьариаций
Л?м(т)=— 2 e{t)u(t-r). A6.54)
N t-^т
Если {e(t)} и {u(t)} независимы,то
A6.55)
Р= 2_J?e (*)*„(*)
со стандартными обозначениями R€(k) = Ee(t)e(t — к), Ru(k) = Eu(t)u(t - к),
см задачу 16Т.1. Если Na - а«квантиль распределения N@, 1), то это можно было бы
подтвердить, проверив выполнением неравенства
ГУ
N - A656)
Если это неравенство не выполнено, то гипотезу о взаимной независимости e(t)
и u(t - т) следует отвергнуть. Наглядным способом проверки является построение
графика зависимости R€U(t) от т. Поскольку величина Р из формулы A6.55) не
зависит от г, то доверительные границы будут горизонтальными линиями. Построе-
Построение такого графика определяет значимое ощущение корректности выбранной струк-
структуры модели. См. рис. 17.4 и 17.6. Если, например, истинное запаздывание между
выборочными значениями двух последовательностей равно 1, по, как неизвестная,
эта величина является параметром модели, то при проверке будет обнаружена оче-
очевидная корреляция между и(Г - 1) и е(г). При изучении графиков R€U(t) нужно
иметь в виду следующее:
1. Наличие корреляций между значениями u(t - т) и е(?) при отрицательных г
не свидетельствует об ущербности модели, а означает наличие обратной связи от
выхода ко входу.
2. При использовании метода наименьших квадратов оценка 0дг определяется
так, чтобы величины е(/, 0дг) были некоррелированы с регрессором. Отсюда для
А
модельной структуры D.7) равенства R€U(t) для г = 1, . . ., п оказываются вы-
выполненными автоматически.
Независимость между и и б может быть измерена в других величинах. Наличие
неучтенных в модели нелинейных эффектов можно, например, заметить по диаграм-
диаграммам рассеивания пар (e(r), u(t - т)). См., в частности, гл. 3 в книге Дрейпера и
Смита [101], а также книги Кука и Уисберга [84] и Энскомба и Тьюки [18], где
содержится подробное изложение вопросов статистической проверки невязок.
Если для построения модели \le (q) передаточной функции
= Ge[q)u(t) A6.57)
367
используется спектральный анализ, то мы получаем картину того, в каких частот-
частотных диапазонах модель не отражает особенностей входо-выходного соответствия.
Причем, если ошибки возникают в "неопасных" для предполагаемого использова-
использования модели частотных диапазонах, то модель можно было бы принять даже при невы-
невыполнении A6.56).
Критическая оценка данных. Подстановка в функцию влияния A5.12) значений
невязок е(/\ bN) позволит нам также определить, какие из точечных данных наи-
наибольшим образом влияют на оценки. Оценка надежности этих точек должна быть
включена в процедуру подтверждения модели. Во всех практических случаях хоро-
хорошим способом контроля налички выбросов и "плохой информации" в множестве
данных является построение графиков е(?, 6N).
16.6. Заключение
"Истинная система" - это та "вещь в себе", которую нельзя получить в про-
процессе практического моделирования. Мы должны довольствоваться теми частичны-
частичными описаниями, которые являются значимыми в плане решения прикладных задач.
Это иногда означает, что может понадобиться несколько разных моделей одной
и той же системы, которые будут использоваться в разных режимах, при разном
масштабе измерения времени и т.д.
В этой главе описаны разные методы, с помощью которых можно найти модель,
отвергнуть модель или повысить степень доверия к конкретным моделям. В пла-
плане априорных соображений мы можем выделить принцип "начинать с простого".
Обычно это означает, что сначала следует опробовать простые модели линейной
регрессии тина ARX-моделей для линейного случая, а уже потом, если понадобит-
понадобится, различные варианты нелинейных преобразований над данными, вытекающими
из физических представлений об объекте.
Дапо описание целого арсенала различных методов подтверждения правиль-
правильности моделей. Разумно некоторые из них включать в число активных рабочих
средств. В частности, можно отметить следующие методы:
— сравнение линейных моделей, полученных для разных условий в разных мо-
модельных структурах (включая спектрально-аналитические оценки), на диаграммах
Б оде;
— сравнение наблюдаемых и имитированных выходных сигналов;
- сравнение критериев согласия с данными для различных модельных структур;
- наблюдение за доверительными интервалами оценок параметров с целью вы-
выявления и фиксации нулей многочленов, входящих в передаточную функцию, а
также для регистрации возможной утраты свойства локальной идентифицируемости.
В залючение следует подчеркнуть неизбежный субъективизм процедур подтверж-
подтверждения моделей. Представленные здесь методы нужно рассматривать только как ре-
рекомендуемые пользователю. Только пользователь принимает окончательное решение.
По словам Дрейпера и Смита [101, стр. 273], "решение вопросов проверки никогда
не следует полностью передоверять каким бы то ни было статистическим процеду-
процедурам".
16.7. Комментарии к библиографии
Общим вопросам исследования задач определения структур моделей динами-
динамических систем посвящены работы Бохлина [58] и Седерстрема [371]. Общее рас-
рассмотрение этих задач можно также найти в работе Хоглина, Мостеллера и Тьюки
[170]. Экспериментальное сравнение разных методов проведено ван ден Боомом
и ван ден Энденом в работе [59], а также Унбехауном и Герингом [411 ] и Фримэ-
368
ном [122]. Подробное обсуждение этой задачи проводится в книге Кашьяпа и
Рао [210].
Общие вопросы проверки гипотез, мощности критериев и пр. изложены в кни-
книге Кендалла и Стюарта [212]. Бохлин [57] разработал общий наиболее мощный
статистический критерий для динамических систем. Широко используется информа-
информационный критерий Акаике [6, 8]. Метод перекрестного подтверждения и его связь
с ИКА изучены в работах Стоуна [403-405] и еще в одном варианте в работе Хэн-
нана и Куина [172]. Риссанен придумал критерий минимальной длины описания
в очень интересном контексте теоретико-информационного рассмотрения вопро-
вопросов кодирования, предсказания и оценивания, см., в частности, [339-341 ].
Серьезное внимание уделено вопросам определения порядка модели при опи-
описании временных рядов. См., например, работы Хэннана [170], Шибаты [357, 358]
и Файна и Хванга [115].
Статистические критерии проверки независимости невязок рассматриваются
во многих учебниках (например, Дрейпер и Смит [101], Дженкинс и Уотте
[193], Бокс и Дженкинс [62]). В работе Льюнга и ван Овербэка [260] описы-
описывается, как использовать зависимость построенной модели от характера идентифи-
идентификационного эксперимента для организации процедуры подтверждения модели.
16.8. Задачи
16G.I. Пусть {e(t)} - дискретный белый шум с дисперсией Д.. С помощью леммы 9А.1
получить, что
1 а ,
e\t - г)
Используя этот факт, доказать слабую сходимость A6.53) к распределению \2(М). Привести
также выражение для асимптотического доверительного интервала величины Я^(т).
16G.2. Ср-критерий Маллоуса. В работе [2751 предложен следующий критерий для выбора
на множестве модельных структур
N
2 е2(Г, 0N)
Ср= ?^Цг - (N- 2/7).
Здесь р - число оцениваемых параметров, a s2 - это оценка дисперсии обновлений, которая
обычно принимается равной нормированной сумме ошибок предсказания для наибольшей из рас-
рассматриваемых модельной структуры. Критерий Ср минимизируется но р. Обсудить связь меж-
между Ср и ИКА.
16ЕЛ. Рассмотрим дискретную систему вида
S: A - 049$q-l)*y(t) = uit - 1)
и модель, параметризованную но тину ARX-структуры:
Jl\ y{t)+axy(t- 1) + . . . +a5y(t - 5) = и(t ~ 1).
Таким образом, истинное значение as равно (-0,95M s -0,77378. Допустим, что построена мо-
модель с точными значениями д,, д2, аЪУ я4, но аъ = -0,77379. Где находятся полюса этой моде-
модели? Предложить другую модельную структуру для идентификации S\ которая была бы не так
чувствительна к численным ошибкам.
16Е.2. Рассмотрим ARMAX-модель
A(q)y(t) = B(q)u(t) + C(q)e(t).
Обсудить, как проверить гипотезу о том, что A{q) = C(q), т.е. что ошибки наблюдений опи-
описываются белым шумом.
16Е.З. Рассмотрим модельную структуру
A(q)y(t) = B(q)u(t) + C(q)c(t)
с fc-тактным временным запаздыванием. Обсудить, как можно, используя описанные в этой
главе разные методы, определить хорошую оценку величины к.
П.Л.Лыонг 369
16Т.1. Пусть {e(r)} - процесс скользящего среднего порядка т с функцией ковариа-
ции Re (к). Используя лемму 9 А. 1, показать, что если {е@} и{м(Г)} независимы, то
1 "
тГ,- , e(t)u(t-T) e AsN@,P) при jV-+~,
N * ~ 1
при
т
Р = 2 R€{k)Ru{k).
к = —т
Применить метод, описанный в Приложении 9А, чтобы распространить этот результат на про-
произвольный процесс (е(Г)}, который получается иронуеканием белого шума через "достаточ-
"достаточно устойчивую" систему.
16Т.2. Пусть {e(f) } - процесс, не зависящий от процесса и (г), и такой, что процесс
e(t) = H-l(q)e{t)
является дискретным белым шумом с дисперсией X. Пусть
и {t- s- 1)
Г (О
г uit-s- 1) 1
I u(t-s-M) \%
а также
l " т
Ru = — 1 Г(/)Г (О,
/V f= i
1 ^
г - - fZ ^ [//-l(^)c(O]f(r).
Используя задачу 16Т. 1, показать, что
— ? Ли1? е 4sx2(Af).
X "•¦•¦•.
16S.1. Написать макро1фоцедуру • .. '.
е = RES1D0', м. ТН, М),
которая осуществит расчет невязок, связанных с ТН-моделью (строится методом ошибки пред-
предсказания), а также ковариаций A6.52) и A6.54) при \т \ < М. Включить также расчет дове-
А N
рительных интервалов A6.56) и соответствующего интервала для R€ (см. задачу 16G. 1).
Глава 1 7
ИДЕНТИФИКАЦИЯ СИСТЕМ НА ПРАКТИКЕ
В этой книге рассматривалась теория идентификации систем. Практическое
решение вопросов идентификации вносит в предмет "элемент искусства". Начи-
Начинают играть важную рель опыт, интуиция и содержательные соображения, В этой
главе мы обсудим методы идентификации систем как набор инструментов иссле-
исследования, осмысления и создания реальных систем. В разделе 17.1 мы начнем с
описания одного из доступных пользователю средств системной идентификации
интерактивных вычислений. В разделе 17.2 рассматривается хотя реальный, но ла-
лабораторный процесс, на котором демонстрируются реализуемость и полезность
предложенных методов. В разделе 17.3 описывается прикладная задача о динами-
динамике корабля. Наконец, в разделе 17.4 мы делаем попытку дать ответ на главный во-
вопрос: что же все-таки теория идентификации, как часть прикладной науки, дает
для решения практических задач?
370
17.1. Инструмент идентификации:
интерактивное программное обеспечение
Для процесса идентификации характерно проведение поиска: поиска приемле-
приемлемой модельной структуры, поиска представительной модели в рамках структуры
и т.д. По существу процесс является итеративным — прежде чем сформировать
приемлемую модель, несколько моделей приходится, перебрав, отбросить. Этот
процесс не может быть полностью автоматизирован; решения, принимаемые че-
человеком, будут переплетены с формальными выкладками, строгими численны-
численными расчетами. Таким образом, в целях достижения достаточной эффективности
процесса идентификации необходимо процесс вычислений осуществлять в диа-
диалоге.
Можно указать следующие типовые составляющие пакета прикладных про-
программ для идентификации:
1. Обработка данных, фильтрация, построение графиков и т.д. A7.1)
2. Непараметрические методы идентификации: расчет корреляций, спектров,
быстрого преобразования Фурье. A7.2)
3. Методы параметрической идентификации для различных модельных струк-
структур. A7.3)
4. Отображение свойств модели: диаграммы Боде, имитационное моделиро-
моделирование. A7.4)
5. Процедуры подтверждения. A7.5)
В процессе проведения идентификации может совершаться много переходов
между программными средствами пп. 3—5 и необходимо, чтобы вопросы, связан-
связанные с заменами и проверкой различных модельных структур, решались просто.
Кроме того, нужно отметить проблему реализации программных средств п. 3. Здесь
хотелось бы иметь полный набор средств в виде многомерных моделей, моделей
черного ящика, физически параметризованных модельных структур. Но это стоит
больших средств.
Решения разбросанных но этой книге S-задач образуют простой интерактивный
пакет, концентрирующийся вокруг общей входо-выходной модели D.34). Заме-
Заметим, однако, что со структурой модели связаны только макропроцедуры РЕ,
GRAD и TRF. А, стало быть, модифицировав или переписав эти три макроироцеду-
макроироцедуры, можно без особого труда распространить этот пакет на новые, более специаль-
специальные структуры моделей.
Пакет ГОРАС. Сейчас имеется много интерактивных пакетов программ. В ос-
основном, они различаются структурой команд и меню, предлагаемыми пользова-
пользователю по и. 3. Здесь мы раскажем об интерактивном пакете программ 1DPAC, пред-
предназначенном для решения задач идентификации и разработанном на факультете ав-
автоматического управления Института технологии университета Лунда. Это один
*из самым первых и широко используемых пакетов. Подробности можно найти
в работах Висландера [435] и Острема [24].
В рамках пункта A7.3) пакет ЮР АС предлагает структуры ARMAX-моделей
по типу черного ящика с одним выходным и несколькими входными сигналами,
причем для согласования с данными наблюдений используется "робастизирован-
ный" квадратичный критерий ошибки предсказания. Рассматривается также част-
частный случай ARX-моделей при таком способе применения алгоритмов метода наи-
наименьших квадратов, что удается организовать эффективную проверку различных
подструктур (см. раздел 16.4). Процедуры подтверждения моделей A7.5) исполь-
используют корреляционные критерии для ошибок предсказания и сравнения значений
функции потерь (см. раздел 16.5). Пакет командно управляем, что великолеп-
великолепно иллюстрируется следующим примером.
13* 371
Рис. 17.1. Графики выходного и входного сигна-
сигналов
30 60 90 t
Рис. 17.2. Диаграмма Боде спектралы *§,
ной оценки частотной характеристики Е
(сплошная линия - амплитуда, штри- §
ховая линия - фаза) §
С
0,7
— — hi"'~'N
\ ^
\
\
\
\
\
\
\
-
«.
\
\
V
И
Ma
•v
. -
1
-0"
-90"
0,07
0W
-780"
со,рад/с
20 г
-25
25*
Рис. 17.3. Критерий проверки белизны невязок {е(Г, 0дг)} для модели первого порядка. Гори-
Горизонтальные линии отмечают 95%-доверительные уровни
Рис. 17А. Проверка наличия корреляций между {и (Г)} и {e(f,
ка. Горизонтальные линии отмечают 95%-доверительные уровни
для модели первого поряд-
поряд0,5
Уч,-Лл \у
0,5
0,25
О
-0,25
-25
О 10. 20 Г
Рис. 17.5. То же, что и на рис. 17.3, но для модели второго порядка
Рис. 17.6. То же, что и на рис. 17.4, но для модели второго порядка
25*
Рис. 17.7. Сопоставление имитированного выход-
выходного сигнала модели (тонкая линия) и измерен-
измеренного выходного сигнала (толстая линия)
О 30
60 90 i
Рис. 17.8. Диаграммы Боде передаточ-
передаточной функции модели второго порядка
(толстые линии) и спектральная мо-
модель (тонкие линии). Сплошные ли-
линии: амплитуда. Штриховые линии:
фаза
1 а),
\рад/с
Даны входо-выходные данные в виде двух последовательностей U и Y длины
500 каждая. Сначала строится график данных
PLOTY/(HP)U,
показанный на рис. 17.1 (здесь (HP) означает построение гистограммы). После
этого команды
ASPFC FIUU «- U50
CSPEC FIYU +- UY50
FROP GHAT «- FIYU/FIUU
BODE GHAT
осуществляют оценку спектральных характеристик методами раздела 6.4, резуль-
результаты - на рис. 17.2. FROP - это акроним функционирования в частотной области,
а число 50 обозначает число лагов, использованных в окнах для расчета спектров
и взаимных спектров. Затем данные собираются в двухстолбцовый файл данных
DAT с помощью команд
MOVE DAT(l) «- U
MOVE DATB) «- Y
Команда
ML PI ¦- DAT1
производит расчет ARMAX-модели первого порядка, параметры которой хранят-
хранятся в файле Р1, представленном в табл. 17.1. Ошибки предсказания, или невязки,
связанные параметрами модели из файла Р1, вычисляются по команде
RESID EPS1 «- PI DAT 25
Эта команда, по которой создается файл EPS1 невязок, осуществляет также рас-
расчет и демонстрацию на экране значений автокорреляционной функции невязок
и взаимной корреляционной функции невязок и входного сигнала при 25 лагах.
Результаты приведены на рис. 17.3 и 17.4. Невязки оказываются коррелирован-
коррелированными и тогда подаются команды на проверку моделей более высокого порядка
MLP2 «- DAT 2
PESID EPS2 «- Р2 DAT 25
MLP3 «- DAT3
RESID EPS3 *- РЗ DAT 25
Параметры различных моделей приводятся в табл. 17.1 вместе с соответствую-
соответствующими значениями функций потерь VNFN, ZN) и информационного критерия Акаи-
ке A6.29). Проверка невязок EPS2 показана на рис. 17.5 и 17.6. Из приведенных
картинок ясно, что можно принять модель второго порядка Р2. В качестве следую-
следующей проверки проводится расчет имитированного на модели Р2 выходного сигнала
при подаче реального входного сигнала U. Это делается командой
DETER YD2 «- Р2 U
с последующей командой
PLOTYYD2/(IIP)U
которая осуществляет сравнение с истинным выходным сигналом системы. Это при-
приводит к картинке, показанной на рис. 17.7 (сравните с A6.48)). Частотная харак-
374
Таблица 17Л
PI Al
m
c\
LAMBDA
LOSS I ( N
AIC
P2 Al
A2
Bl
Cl
C2
LAMBDA
LOSS I-CN
AIC
= -0,8258 ± 0,0254
= 0,6634 ± 0,0800
= 0,3845 + 0,0371
= 1,801 ±0,0569
= 810,611
= 2013,10
= - 1,4830 ± 0,0156
= 0,6875 ± 0,0131
= 1,0469 ±0,0462
= -0,9021 ± 0,0462
= 0,0789 ± 0,0451
= 1,02515 ±0,0324
= 262,735
= 1455,78
P3 Al
A2
A3
Bl
B2
B3
Cl
C2
C3
LAMBDA
LOSS I'CN
AIC
= -0,5060 ±0,0350
= - 0,7598 ± 0,0445
= 0,6696 ±0,0241
= 1,0524+0,0458
= 1,5093 ±0,0540
= 0.4737 ± 0,0667
= 0,0843 ± 0,0567
= -0,7793 ± 0,0436
= 0,0402 ± 0,0477
= 1,01907 ± 0,032225
= 259,627
= 1455,83
теристика модели рассчитывается но команде
SPTRF GP2 +- Р2 В/А
а ее сравнение со спектральной оценкой осуществляется командой
BODH GHAT GP2
в результате которой воспроизводится картинка рис. 17.8.
Замечание. Приведенные данные были сгенерированы в результате моде-
моделирования системы вида
-2) = u(t- 1) +
где { eo(t) } - белый шум с единичной дисперсией.
Дальнейшее развитие. Очевидно, что в будущем по мере развития вычислитель-
вычислительных систем, средств отображения и программного обеспечения мы будем получать
все более тонкие и сложные средства для решения задач идентификации. Особый
интерес представляют попытки автоматизировать на основе экспертных систем субъ-
субъективные компоненты, связанные с принятием решений в процессе идентификации.
17.2. Применение к лабораторной системе ..
Чтобы продемонстрировать применение методов идентификации к реальным
данным, рассмотрим лабораторную систему тренажер обратной связи РТ326, пока-
показанный на рис. 17.9. Она работает примерно как фен для сушки волос: воздух на-
нагнетается в трубку и у впускного отверстия подвергается нагреву. Температура
воздуха измеряется с помощью термопары, установленной у выпускного отвер-
отверстия. Входным сигналом является напряжение, подаваемое на нагревательный
прибор, который представляет собой обычную резисторную спиральную сетку.
Выходной сигнал -- температура воздуха у выходного отверстия. Следует сказать,
что рассматриваемый процесс является хорошо обусловленным: он имеет простую
динамику при достаточно низком уровне помех. Он допускает также проведение
измерений при хорошем отношении сигнал/шум.
Переходная и частотная характеристики. Реакция этого объекта на единичный
скачок приводится на рис. 17.10. Она показывает, что динамика объекта проста,
375
• 0 0,3 0,9
Рис. 17.9. Объект
Рис. 17.10. Реакция объекта на единичный скачок
осцилляторные полюса отсутствуют, ведущая постоянная времени составляет при-
примерно 0,4 с, а чистое временное запаздывание примерно равно 0,16 с.
Приложение разночастотных синусоидальных сигналов в качестве входных и
расчет амплитудной и фазовой характеристики с помощью корреляционного мето-
метода F.18) дает диаграмму Боде, показанную кружками на рис. 17.14.
Планирование экспериментов. Чтобы организовать сбор данных для последую-
последующего анализа, нужно принять несколько решений. Следуя схеме из раздела 14.5,
частота выборочных измерений была принята равной одному измерению каждые
0,08 с, поскольку из рис. 17.10 ясно видно, что основная постоянная времени не
намного меньше 0,4 с. Кроме того, более короткий выборочный интервал породил
бы несколько временных сдвигов между (выборочными) входной и выходной по-
последовательностями. В качестве входного был выбран бинарный случайный сигнал
со значениями 3,5 и 6,5 В. Вероятность изменения значения сигнала при очередном
выборочном замере равна р. Таким образом, случаю белого шума соответствует
выбор р = 0,5. Были записаны две реализации по 1000 измерений в каждой для
случаев р = 0,2 и р = 0,5 соответственно. Отображаемые на экране фрагменты дан-
данных показаны на рис. 17.11 и 17.12. С этого момента для подгонки модели мы бу-
Рис. 17JL Фрагмент входо-выходных данных из первого эксперимента (р = 0,2). Эти данные ис-
используются для идентификации .
Рис. 17.12. фрагмент входо-выходных данных из второе эксперимента (р = 0,5). Эти данные
используются только для подтверждения модели
376
Рис. 17.13. Амплитуда эмпирической оценки
передаточной функции
Ю со, рад/с
Рис. 17.14. Спектральная оценка передаточ-
передаточной функции. Ширина окна лагов = 25. Кру-
Кружочками помечены оценки, полученные из
частотного эксперимента (сплошная линия -
амплитуда, штриховая линия - фаза)
о,т
72,5 и>,рад/с
дем пользоваться только множеством данных рис. 17.11 (р = 0,2), резервируя дру-
другое множество данных для проверок по подтверждению модели. В качестве перво-
первого шага было произведено вычитание выборочных средних входной и выходной по-
последовательностей (см. обсуждение в разделе 14.6).
Спектральный анализ. Эмпирическая оценка передаточной функции F.24) для
реализации данных изображена на рис. 17.13. При спектральном анализе оценок пе-
передаточной функции F.51) и F.55) были проверены разные окна для временных
лагов 57 и оказалось, что результаты весьма чувствительны к выбору й7. Па
рис. 17.14 показана оценка для 57 = 25 (окно Парзена). На этом рисунке показан
также результат частотного анализа, который находится в хорошем согласии со
спектральной оценкой. Частотная характеристика демонстрирует двухдекадный спад
в пределах изменения частоты в одну декаду, это свидетельствует о том, что система
по меньшей мере второго порядка. Величина сдвига но фазе убывает гораздо
быстрее, подтверждая ту характеристику постоянной запаздывания, которая выте-
вытекает из реакции на единичный скачок из рис. 17.10.
Предварительное исследование структуры модели. В результате непараме-
непараметрической идентификации возникло ощущение, что в описании следует ожидать нали-
наличия временного запаздывания, а порядок модели должен быть, как минимум, 2.
377
Ограничимся случаем модели ARMAX-структуры по типу черного ящика:
b\) + ...+cnee(t-nc). A7.6)
Таким образом, выбор модельной структуры сводится к обнулению некоторых
элементов ai% bj и С\. Для параметров at- и с,- будет рассматриваться только зада-
задача поиска их значений, а для параметров Ъг — поиска и целенаправленного выбо-
выбора (чтобы учесть временное запаздывание).
В качестве предварительной была выбрана ARX-модель шестого порядка (па =
= пь = 6, пс = 0). Результат представлен в табл. 17.3 и соответствует модели LS6.
Обнаруживается, что особенно важны коэффициенты Ьъ и b4i хотя по поводу пара-
параметров at- такой ясности нет. Очевидно наличие запаздывания в 2 единицы {Ьх = 0).
но уже третья единица (b2 = 0?) может быть под вопросом.
Значения функции потерь и ИКА для разных модельных структур
Таблица 17.2
Множество обнуляемых
параметров
Ни один
Ъх =0
Ъх =Ь2 =0
Ьх =/>2 =Ь3 =0
bx =b2 =/>3 =Ь4 =0
Множество обнуляемых
параметров
Ни один
Ь6 = а6 = 0
^6 =Сб =*5 =*5 =Л4 =«4 =0
Множество обнуляемых
параметров
Ни один
а5 =о4 =0
«5 =fl4 =fl3 =«2 =<>
Табл. 17.2a
na = 8, Wft = 8, wc = 0
0,6742
0,6744
0,6942
3,7421
4,5663
Табл. 17.2b
"a = 6, wb = 6, nc = 0; ^t = г?2 = 0
0,7265
0,7266
0,7791
1,2685
7Ьбл. /7.2 c
»a = 5» wft " 4> wc " 0; ^, = b2 0
1
i
0,7756
0,7791
0,7981
0,8241
2,1840
ИКА
-3683
-3687
-3662
-1981
-1786
ИКА
-3556
-3664
-3602
-3123
ИКА
-3603
-3602
-3582
-3554
-2584
378
Таблица I 7.3
Оценки параметров и оценки соответствующнх днспсрсин, значения функции потерь и ИКА
для частного случая модельной структуры A7.15)
Модель al a2 \ аъ а4 as : а6
LS6
LS23
ML23
ML22
ML33
LS22
LS33
LS32
ML32
LSI
-0,9639
(±0,032)
-1,2885
(±0,011)
-1,3177
(±0,0091)
-1,3161
(±0,0089)
-1,7701
-1,2893
(±0,011)
-0,9865
(±0,0302)
-1,1639
(±0,0237)
-1,4840
(±0,0407)
-0,9055
(±0,0047)
0,0360
(±0,043)
0,4065
(±0,010)
0,4332
(±0,0082)
0,4322
(±0,0081)
1,0579
0,4074
(±0,0099)
0,0254
(±0,040)
0,2006
(±0,036)
0,6881
(±0,0604)
0,0220
(±0,042)
0,1186
(±0,041)
-0,0586
(±0,032)
0,0067
(±0,012)
-0,2212
0,1180
(±0,015)
0,0926
(±0,0157)
-0,1032
(±0,0238)
Модель
LS6
LS23
ML23
ML22
ML23
LS22
LS33
LS32
ML32
LSI
-0,0384
(±0,101)
-
_
—
—
—
_
0,568
(±0,119)
—
0,557
(±0,102)
-
0,529
(±0,108)
_
0,544
(±0,106)
0,548
(±0,110)
_
6,407
(±0,120)
6,555
(±0,109)
6,689
(±0,102)
6,1414
(±0,141)
6,762
6,227
(±0,127)
6,721
(±0,104)
6,291
(±0Л25)
6,142
(±0,148)
11,30
(±0,0026)
6,161
(±0,236)
4,383
(±0,165)
3,991
(±0,167)
- 4,177
(±0,166)
0,7478
4,381
(±0,163)
6,011
(±0,224)
5,181
(±0,210)
2,869
(±0,168)
2,119
(±0,299)
_
—
-1,275
—
1,876
(±0,204)
—
—
_
0,0260
(±0,267)
—
_
-
—
—
—
_
379
Таблица 173 (окончание)
Модель
LS6
LS23
ML23
ML22
ML33
LS22
LS33
LS32
.. ML32
,:
LSI
с,
-
-0,3656
(±0,0349)
-0,3673
(±0,0340)
-0,8183
--
-
-
-0,535
(±0,052)
—
С7 ¦
0,0985
. (±0,0322)
0,1130
(±0,0317)
0,2406
-
-
-
0,158
(±0,043)
—
¦ ¦ '
-.
—
0,0637
-
—
0,0906
(±0,031)
—
VN(°N)
0,7060
0,8241
0,7385
0,7172
0,7142
0,8047
0,7364
0,7776
0,6961
6,947
ИКА
-3676
-3554
-3677
-3695
-3695
-3573
-3659
-3604
-3721
-1430
Затем некоторые параметры в уравнении A7.6) были обнулены и в соответ-
соответствии со схемой из раздела 16.4 был произведен расчет значений функции потерь
и соответствующих значений ИКА. Эти результаты в табл. 17.2.
Из табл. 17.2а видно, что время запаздывания равно 2 или 3 {pi = 0, b2 может
быть нулем, но Ъъ точно не нуль). Табл. 17.2Ь и 17.2с показывают подходящую
модель порядка 2-3. Все это согласуется с нашими выводами, основанными на
рис. 17.10и 17.14.
Оценивание модели. Тем не менее, сначала мы пробуем структуру, соответствую-
соответствующую модели первого порядка па = 1, пс = 0, пъ ~ 3, Ъх = Ь2 = 0 (хотя бы для того,
чтобы продемонстрировать процедуры подтверждения модели). Это приводит к мо-
модели LSI из табл. 17.3. Взаимная корреляционная функция невязок и входного сиг-
сигнала показана на рис. 17.15. Корреляция очевидна и модель LSI принимать не сле-
-0,25 -
-25
25*
со у рад/с
0,125 1,25 12,5
Рис. 17.15. Проверка невязок для модели LSI. Взаимная корреляция между {"(О} и {е(Г,
Горизонтальные линии отмечают 95%-доверительные уровни
Рис. 17.16. Диаграмма Боде для модели LSI (тонкие линии) и спектральная оценка (толстая ли-
линия) . Сплошные линии: амплитуда. Штриховые линии: фаза
380
Рис. 17.17. Имитированный выходной chiv
нал для модели LSI (тонкая линия) в срав-
нении с измеренным выходным сигналом
(толстая линия)
Рис. 17.18. Проверка невязок для модели
LS23. Горизонтальные линии отмечают 95%-
доверительные уровни
5 -
0,5
0,25
О
-0,25
О 10 20
-25
25 Г
дует. Диаграмма Б оде для модели LSI показана на рис. 17.16 вместе со спектраль-
спектральной оценкой. В то время, как фазовые диаграммы находятся в хорошем согласии,
коэффициент усиления в области высоких частот для модели LSI оказывается вы-
выше, чем в случае непараметрической модели. Модель была также проимитирована
со входным сигналом, взятым из другого множества данных (р = 0,5), чем то, что
использовалось на этапе подгонки модели. Имитированный и замеренный вы-
выходные сигналы сравниваются на рис. 17.17. Эти графики подтверждают, что коэф-
коэффициент усиления в области высоких частот у модели выше, чем у реальной систе-
системы.
Отбросив модель первого порядка, переходим к модели второго порядка па =
= 2, пъ = 4, Ь\ = Ь2 = 0, пс = 0. Это дает модель LS23из табл. 17.3. Проверка соот-
соответствующих невязок выполняется на рис. 17.18. Очевидно, что при лаге 1 невяз-
невязки имеют четко отрицательную корреляцию. Более существенна небольшая, но
заметная корреляция между невязкой и входным сигналом при лаге 2, см.
рис. 17.18. Введение двух с-параметров дает модель ML23, в которой отрицатель-
отрицательная корреляция R€(l) снижена, но, как показывает рис. 17.19, корреляция меж-
между е и и остается. Это указывает на то, что время запаздывания переоценено (срав-
381
0.5V
?
70 ?0 Г • .-25 0
Яыс. 17.19. Проверка невязок для модели ML23
25 Г
ните с задачей 16Е.З). В результате мы вводим в число оцениваемых параметров
величину Ь2 и получаем модель ML22. Соответствующая ей корреляция между и
и е показана на рис. 17.20, который наглядно демонстрирует, что величины и и е
оказываются в достаточной степени корреляционно развязанными. Был проведен
также расчет нескольких моделей третьего порядка, результаты представлены в
табл. 17.3. Количество информации в этой таблице так велико, что сбивает с тол-
толку и не позволяет просто прийти к какому-то определенному выводу о том, какая
структура лучше. Судя по величине ИКА модель ML32 несколько лучше, хотя вы-
вывод этот не вполне надежен.
В этом месте полезно для. каждой из модели построить частотную характеристи-
характеристику. До некоторой степени удивительным оказывается тот факт, что все модели из
табл. 17.3, кроме LSI, приводят к неразличимым между собой диаграммам Воде.
Эта общая диаграмма Боде вместе со спектральной оценкой показана на рис. 17.21.
Совпадение оказывается поразительным. Это также означает практическую идентич-
идентичность сигналов, воспроизводимых на выходе различных моделей, которые исполь-
используются в имитационном эксперименте с данными рис. 17.12. Этот модельный вы-
выходной сигнал сравнивается с наблюдаемым выходным сигналом на рис. 17.22.
Модель оказывается вполне пригодной для описания системы, если не считать того
обстоятельства, что проверка велась на множестве входных данных статистически
неоднородных с данными, которые были использованы при настройке модели.
Поскольку все модели из табл. 17.3 работают примерно одинаково, мы могли
бы выбрать любую из них, а тогда уж лучше самую простую LS23,
Выводы. Простая линейная модель дает удивительно хорошее описание фи-
физической системы. Все методы идентификации привели к результатам, которые на-
находятся в хорошем взаимном согласии. Один из уроков, преподанных этим при-
примером, заключается в том, что оказалось более полезным прибегнуть к таким со-
содержательным способам описания, как диаграммы Боде и имитационные модели,
вместо того, чтобы подсчитывать единички в десятичных дробях оценок параметра,
382
0,5
0,25
О
-0,25
-25
10
а
^ 1
3
с:
0,1
%. \
\
\
\
>
1 1
-
-
Л"
0
25
0,125
Рис. 17.20
Рис. 17.20. Взаимная корреляция между
{ы(О} и {t{t,dN)} для модели ML22
Рис. 17.21. Диаграмма Боде для всех моде-
моделей (тонкие линии) на таблицы 1 7.3, кроме
модели LSI , и спектральная оценка (толс-
(толстые линии). Сплошные линии: амплитуда,
штриховые линии: фаза
Рис. 17.22. Имитированный выходной сиг
пал для всех моделей из таблицы 17.3
(тонкая линия) , кроме модели LSI, в срав-
сравнении с измеренным выходным сигналом
(толстая линия). Данные с рис. 17.12
-о1-
--18П
--360е
U 25 17,5 со, рад/с
Рис. 17.21
1,7 t,c
Рис. 17.22
точность оценок и значения функции потерь. Изученный "скромный" лаборатор-
лабораторный объект, конечно, прост. При работе с системами промышленного масштаба,
как правило, встретится больше трудностей.
17.3. Идентификация рулевой динамики корабля
В качестве примера прикладной задачи кратко опишем применение развитых
методов к идентификации динамики корабля. Сравните с примером 1.2. Материал
этого раздела основан на результатах работ Острема и Чэлстрема [29], Чэлстрема
[200| и Чэлстрема и Острема [2011. Здесь мы рассмотрим это приложение в самых
общих чертах, предлагая за всеми необходимыми разъяснениями, подробностями
и числовыми характеристиками ооращаться к указанным работам.
Мотивы разработки. Математическая модель рулевой динамики корабля, т.е.
математическое описание влияния положения рулей на курс корабля полезна по мно-
многим причинам. Она может быть использована для имитационного моделирования, для
прогнозирования того, насколько легко маневрировать кораблем и для проектиро-
проектирования автонавигаторов. Если вспомнить только о том, что годовые затраты на топли-
топливо для обеспечения плавания большого нефтеналивного судна составляют около
383
10 млн. долларов, то станет понятным, какой существенный выигрыш может обес-
обеспечить эффективное управление кораблем.
Априорное физическое знание. Движение корабля в основном подчиняется
законам Ньютона. Рассмотрим его как движение по двухмерной горизонтальной
плоскости, т.е. пренебрежем вертикальной, продольной и килевой качкой (теми
компонентами этих движений, которые относятся к вертикальной оси). См. рис. 1,5,
на котором введены курсовой угол ф и угол поворота рулей 6, и добавим к ним
скорость курсовой качки и (вдоль оси х, направления движения корабля), ско-
скорость бортовой качки v (вдоль оси у, перпендикулярно курсу корабля) и скорость
поворота носа корабля (рыскание) г.
Тогда законы Ньютона для движения корабля в горизонтальной плоскости
запишутся в виде
1 ) = X + Wx (в направлении осих),
У+Wy (в направлении оси у),
N (угловое движение),
A7.7)
т(и - vr -
т(Ь
Izr+mxG(i)+ur)
ф = г.
Здесь т - масса корабля, Хс ~ координата центра тяжести по оси х,ъ!2 - момент
инерции. Символами X и У обозначены гидродинамические силы, а Л^— гидродинами-
чекий момент. Wx, Wy и W^ обозначают возмущающие воздействия (помехи),
связанные с течением, ветром и волнами. Если тух<у и Iz — это хорошо известные
коэффициенты, то главный вопрос в изучении динамики судна состоит в том, что
гидродинамические силы являются сложной функцией от характера движения судна:
X = Х(и, и, г, й, м, v, г)у
Y = У(м, и, г, в,и, i)fr), A7.8)
TV = N(u, vf r, fi, м, i), r).
Ситуация достаточно близка к динамике самолета. Производные функций X, Y и
N по соответствующим аргументам известны под названием гидродинамических
производных, на определение которых эксперты в области морской гидродинами-
гидродинамики тратят немало времени. Функции A7.8) привязаны к конкретному судну, по-
поэтому в обычную практику входит проведение натурных экспериментов с физи-
физической моделью судна и попытка последующего пересчета полученных экспери-
экспериментальных результатов в характеристики реального корабля.
Предполагая, что скорость курсовой качки постоянна и равна и0, а величи-
величины и, 8 иг малы, можно линеаризовать уравнения A7.7) и A7.8) в окрестно-
окрестности точки v = г = 5 = 0. Это даот
Y(u, vf rt Я, w, 6, г) * У,' • v + Y; . г + Yi ¦ & + У/ • v + Y! -г, A7.9)
аналогично для N. Здесь штрихи в сочетании с нижними индексами обозначают
дифференцирование но соответствующим переменным. Таким образом, из A7.7)
находим
тх„ - Y!
О'
о
0
-ти0
- mxGu0
1
А
0 .
й +
.0
+
' WY'
WN
. 0 .
A7.10)
384
Здесь возмущения от ветра и волн могут быть представлены в форме аддитивной
смеси компонент постоянного сноса Y09 No и турбулентных частей Wy, WN типа
белого шума.
Замечание. Обычно в качестве единиц измерения расстояний и времени
в описании A7.10) принимаются длина судна L и L/u0 соответственно. Это должно
было бы приводить к несущественному в плане рассматриваемой задачи изменению
масштабов.
Эксперименты. В работе Чэллстрема [200] описан ряд экспериментов с раз-
разными нефтяными танкерами. В этих экспериментах управление велось командным
сигналом u(t) на рулевую машину (привод руля). Из-за наличия у рулевой машины
собственной динамики этот сигнал отличается от угла поворота Й (t). Кроме u(t)
измерялись еще четыре сигнала: Ui.(f) — скорость качки у носа судна, v2 (f) — ско-
скорость качки у кормы судна, rm (J) — скорость рыскания (поворота носа судна),
ФтО) ~ курсовой угол. Эти наблюдаемые величины связаны с переменными состоя-
состояния u(r),r(r) и \p{t) из A7.10) следующим образом:
МО
rm(f)
- 1
1
0
-0
-Li
1
0
0^
0
0
1-
v(t)
r(t)
A7.11)
Здесь L i и L 2 - расстояния от начала координат до датчиков скорости качки на носу
и на корме судна соответственно. Через7?(г) обозначены ошибки измерений.
Постоянная времени реакции на повороты руля у больших танкеров составляет
величину порядка 0,5-1 мин. Как объект управления танкеры, как правило, "слег-
"слегка" неустойчивы с временем нестабильности, превышающим 5 мин. В связи с этим
выборочный интервал в большинстве экспериментов был выбран равным 10 сек, а
стандартная продолжительность эксперимента по разомкнутому контуру управления
составляла 30 мин. В таких экспериментах положение руля обычно изменялось меж-
между нулем и ± 10 градусами с помощью командного сигнала, устроенного по типу
псевдослучайной бинарной последовательности. Проводились также некоторые
эксперименты в замкнутом контуре, когда уставка в автоновигаторе задавалась как
псевдослучайная бинарная последовательность. По этим экспериментам допускалось
увеличение продолжительности. В экспериментах угловая скорость рыскания из-
изменялась в пределах ± 0,2 град/сек, что можно было бы сопоставить со степенью
разрешения гироскопического измерителя скорости, которая составляет
±0,001 град/сек.
Доступные программы для идентификации. В процессе анализа исследователи
располагали компьютерной программой LISPID для минимизации ошибок предска-
предсказания, возникающих в произвольным образом параметризованной непрерывной
во времени модельной структуре D.93) и D.49). Выборочное измерение, расчет к-
шагового предсказателя и минимизация многомерного критерия G.84) методом
численного поиска на множестве значений функции проводились только с приме-
применением .LIPSID.- Подробное описание этой программы можно найти в работе Чэллст-
Чэллстрема, Эссебу и Острема [202]. В распоряжении исследователей был также пакет
IDPAC (см.раздел 17.1).
Возможные варианты подтверждения модели. Для сравнения и различения
модельных структур использовалось несколько разных процедур:
— критерии белизны невязок (см. раздел. 16.5);
— информационный критерий Акаике (см. раздел 16.4);
— построение диаграмм наблюдаемых и имитированных на модели выходных
сигналов (см. раздел 16.5);
385
— сопоставление оценок физических параметров с априорными представлениями
о величине параметров;
- сравнение между собой оценок физических параметров на основе разных мно-
множеств данных для одного и того же судна.
Особо отметим последнюю процедуру. В рамках этого исследования она оказа-
оказалась особо ценной, поскольку для каждого судна имелось несколько наборов дан-
данных, соответствующих неременным погодным условиям.
Структура моделей. Дадим сначала комментарии относительно модельных пред-
предположений о динамике приводов и ошибках измерения. Для простоты динамика ру-
рулевой машины аппроксимировалась звеном запаздывания с неизвестной постоян-
постоянной г:
й(Г) = м(г- г). A7.12)
Предполагалось, что ошибки измерения ~e(t) в формулах A7.11) состоят из суммы
сдвига (смещения) е0 и аддитивного белого шума?(г):
e{t) = e0 +e(t). A7.13)
Из описания A7.10) ясно, что даже при известных т,ха ufz все гидродинами-
гидродинамические производные не могут быть определены но входо-выходным данным (см.
задачу 4Е.5). Это означает, что могут быть определены только некоторые из комби-
комбинаций производных Y\,Y^9 Y*v и др. Эта задача была решена посредством априор-
априорной фиксации производных по ускорениям У1., Y\,N9^ и Л^^, которая осуществля-
осуществлялась морскими экспертами. Все это, вместе с A7.12) и A7.13), привело к модель-
модельной структуре 1:
02 01 Г v(t)
04 0 r(t)
1 OjLiKOJ
(MS1):
О
а2
0
v(t)
КО
- Ts | sin 0, 7
01
о
vi(tk)
L *«('*)-
1
1
0
L0
<*в 0
-a7 0
1 0
0 U
|0nl
07
L0
v(tk)
r(tk)
+W@,
08"
09
010
LO .
e(tk),
A7.14a)
A7.14b)
l2\
0
.3 0
0
0 J
A7.14c)
Здесь ai,..., a8 — фиксированные числа, а величины 0,
A7.14d)
l 7 образуют вектор
р р
параметров в. В частности, выбор параметризации времени запаздывания т в форме
определялся желанием обеспечить положительность т и малость т по сравнению
с выборочным интервалом 7^. Аналогично, параметризация A7.14с) обеспечивает
положительную полуопределенность матрицы R,.
386
/:-шаговый предсказатель дня уравнений A7.14) определяется калмановским
предсказателем. Приравнивая вектор усилений фильтра Калмана (А(г,0) из D-91))
к нулю, мы получим множество моделей выходной ошибки. Это можно было бы
выразить иначе как частный случай
*,(*)= О,
ИЛИ
к = °°.
Это множество моделей мы называем MS2.
В качестве третьей модельной структуры использовались стандартные ARMAX-
модели второго и третьего порядков:
-2TS) =
- 2TS). A7.15)
Эта модельная структура будет названа MS3.
Результаты, Подробно результаты идентификации обсуждаются и интерпрети-
интерпретируются в упомянутых выше источниках. Перечислим некоторые важные выводы:
— Оказалось довольно несложно построить хорошую входо-выходную модель.
Иначе говоря, измеренные реализации выходного сигнала оказывались в неплохом
согласии с имитированным выходным сигналом для всех рассмотренных модель-
модельных структур.
— Оценки гидродинамических производных могли существенно меняться от
эксперимента к эксперименту для одного и того же судна. Поскольку при этом вхо-
до-выходные характеристики оставались приемлемыми, то, как отсюда следует,
чувствительность передаточных функций к значениям физических параметров неве-
невелика. Однако вариации оценок оказались больше оценок стандартных отклонений.
Это указывает на то, что изменение погодных условий действительно сказывается
на модели, свидетельствуя о том, что модельные структуры могли быть выбраны
слишком простыми.
— Наилучшая устойчивость оценок физических параметров была достигнута для
модельной структуры MS1 при горизонте предсказания около 40 сек (т.е. при прог-
прогнозировании на 4 шага вперед, к = 4). Метод выходной ошибки (к = °°), как и метод
максимального правдоподобия (к = 1), дали гораздо худшее согласие с оценками,
полученными в разных экспериментах. Как уже говорилось в гл. 14, объяснение,
возможно, заключается в том, что при к = 4 хорошее согласие с данными наблюде-
наблюдений достигается в той части частотного диапазона, где очень резкие и очень медлен-
медленные возмущающие воздействия со стороны волн и ветра влияют минимально.
— Полученные для модельных структур MSI hMS3 оценки передаточной функ-
функции от и к ф находились в хорошем взаимном согласии.
Оценивание.
— Оценивание параметров по входо-выходным данным при определении гидро-
гидродинамических производных не стало пока стандартным инструментом морской
гидродинамики. Вариации оценок от одного эксперимента к другому были для
этого слишком велики.
— Однако в результате цитируемого исследования получили коммерческое
хождение разработанные для решения соответствующих задач имитационного моде-
моделирования входо-выходные модели ARMAX-типа, идентифицированные при физи-
физических экспериментах над танкерами для перевозки нефти.
— На основе собранного в процессе исследований содержательного материала
было также разработано устройство автонавигации, основной частью является рекур-
рекуррентный идентификатор. Подробное описание можно найти в работах Чэллстрема
[300] и Чэллстрема с соавторами [203].
387
17.4. Что же может дать идентификация систем?
Методы идентификации систем являются гибким средством решения многих
задач науки и техники. Ценность такого инструментария подтверждена многочис-
многочисленными приложениями из различных областей. В этом последнем разделе мы про-
прокомментируем возможности и ограничения в практическом применении методов
идентификации. См. также интересное обсуждение этих вопросов в работах Гевер-
са и Бастэна [132] и Бохлина [58].
Возможности. Методы, рассматриваемые в этой книге, как таковые, не зави-
зависят от приложений. Любой объект, обладающий динамическими свойствами, сос-
составляет потенциальное приложение. В самом деле, сообщалось об успешном приме-
применении методов идентификации к решению задач и таких разных областях, как управ-
управление (Густавссон [153]) , медико-биологические системы (Эйкхофф [112]), сейс-
сейсмология (Мендель [289]), экология и окружающая среда (Джекмэн [189].), дина-
динамика самолета (Грюбель [142]), эконометрика (Мера [282]), обработка сигналов
(Фридландер [124]) и многих других. Ключ к успеху в том, чтобы получить качест-
качественные данные и иметь хорошее представление о типе модельной структуры, кото-
которую следует использовать.
Адаптивные и робастные системы: делают ли они математическое описание не-
ненужным? Как говорилось в разделе 1.3, модели динамических целей являются вспо-
вспомогательным (инструментальным) средством при решении многих задач: предска-
предсказания, управления, имитационного моделирования, проектирования фильтров, вос-
восстановления наблюдений и др. Иногда говорят о том, что потребность в модели мо-
может быть поставлена под сомнение введением более тонких решений: механизмов
адаптации, когда осуществляется непосредственная настройка параметров принимае-
принимаемых решений, или робастных схем, которые нечувствительны к корректности ис-
используемой модели. Однако нужно отметить, что адаптивные схемы, как правило,
могут быть истолкованы как рекуррентные алгоритмы идентификации, описанные
в гл. 11 и применяемые к модельной структуре специального вида (например, пара-
параметризация модели в терминах соответствующего оптимального регулятора), см.
гл. 7 в книге Льюнга и Седерстрема [262]. Таким образом, процедура построения
модели оказывается по существу встроенной в механизм адаптации.
Робастное проектирование основано на номинальной модели и определяется
так, чтобы гарантировать нормальное функционирование даже при отклонениях от
номинальной модели. Обычно можно ввести некоторую окрестность вокруг номи-
номинальной модели, в рамках которой соответствующее ухудшение качества считается
допустимым. И здесь важен тот факт, что модели, полученные в процессе системной
идентификации, могут быть снабжены этикеткой с указанием их качества: оценок
отклонений от истинного описания в параметрической или частотной области. В ре-
результате такие модели хорошо подходят для робастного проектирования.
Ограничения: качество данных. Очевидно, что ограничения на применимость ме-
методов идентификации связаны с наличием хороших данных и хороших модельных
структур. Без приемлемых реализаций данных мало что можно сделать, а имеется
несколько причин, по которым в некоторых приложениях такие данные получить
не удается. Первая и наиболее очевидная причина состоит в том, что ход времени на
объекте настолько медлен, что по необходимости соответствующие отрезки инфор-
информации оказываются короткими. От этого недостатка заметно страдают экологичес-
экологические и экономические системы. Другая причина заключается в том, что вход может
быть недоступен либо в силу естественного устройства системы, либо по соображе-
соображениям безопасности и обеспечения качества. В этом случае отношение сигнал/шум
может стать настолько низким, что идентифицируемость (информативность множест-
множества данных) уже нельзя будет гарантировать. Теоретически снижение отношения
388
сигнал/шум можно компенсировать удлинением записей данных. Но даже если на
самом объекте допускаются долгие эксперименты, это не всегда может быть выхо-
выходом из положения в силу неоднородности процессов во времени, дрейфа, медленно
действующих помех и т.д.
Наконец, даже когда разрешено манипулировать значениями входных сигналов,
возможны длительные измерения и величина отношения сигнал/шум приемлема,
то все равно может оказаться, что получить хорошую реализацию данных трудно.
Основная причина в том, что встречаются такие ненаблюдаемые помехи, которые не
укладываются в стандартную схему "стационарных случайных процессов". Мы уже
говорили о том, что делать с такими медленными помехами, в разделе 14.6 и о том,
как, вводя робастные нормы, справляться со случайными "вспышками" — в раз-
разделе 15.2, и соответствующие меры часто могут приводить к успеху. Но факт оста-
остается фактом: в прикладных задачах идентификации вопрос о качестве данных иг-
играет самую важную роль. Этим также определяются затраты на идентификацию.
Ограничения: структуры моделей. Тривиальный факт — независимо от качества
и количества информации хорошую модель нельзя получить но плохой модельной
структуре. Так, например, модельная структура E.13) никогда не даст хорошего
описания механизма теплообменных процессов в доме с солнечным подогревом, да-
даже если для построения модели собрать данные за несколько лет. Решающим факто-
фактором является необходимость встраивания нелинейного механизма, а это требует
усвоения физического смысла процесса.
Таким образом, первая из задач состоит в том, чтобы понять, возможно ли ти-
типовое, готовое описание системы (в окрестности интересующего нас режима) или
необходимо провести разработку специального множества моделей. В первом слу-
случае наши шансы на успех велики, во втором - прежде чем можно будет оценивать
модель, нужно вникнуть в физическую сущность процесса. Ясно, что решение этой
задачи определяется приложением, поэтому она не слишком часто обсуждается в
литературе по идентификации. Некоторые общие рекомендации была даны в гл. 16.
Однако необходимо отчетливо понимать, что ключ к успеху лежит в осознании
того, что никакая автоматизация процедур построения моделей не отменит размыш-
размышлений, интуиции и постижения сути рассматриваемых процессов.
17.5. Комментарии к библиографии
Имеется много интерактивных пакетов программ, пригодных для решения задач
идентификации систем. Эти пакеты часто интегрированы с имитационным модели-
моделированием и проектированием. См. Острем [26]. Среди широко распространенных па-
пакетов IDPAC, MATRIX*, CTRL-C и другие. Решение S-задач этой книги образуют фун-
фундамент для операционной схемы MathWork's SYSTEM WIDENTIFICATION TOOLBOX
("набор инструментов для идентификации систем"), который может использо-
использоваться вместе с PC-MATLAB или PRO-MATLAB.
Неполный список источников по идентификации систем и ее приложениям мог
бы включить что-то порядка 104 наименований. В качестве указателя к этой лите-
литературе можно использовать труды периодических симпозиумов по идентификации
и оцениванию параметров, организуемых Международной федерацией по автомати-
автоматическому управлению.
Приложение I. Некоторые понятия теории вероятностей
В этом приложении приводится список основных понятий и положений теории
вероятностей, используемых в книге. Подробное изложение см., например, в учеб-
учебниках Папулиса [316] или Чамга [79].
389
Случайная величина е описывает возможные численные результаты эксперимен-
экспериментов, которые невозможно предсказать заранее. Вероятность попадания ее численной
реализации в некоторый интервал выражается при этом через плотность распределе-
распределения вероятностей fe (х):
P(a<e<b) = / fe(x)dx. (I.I)
а
Если е может принимать некоторое значение с ненулевой вероятностью, будем счи-
считать, что /е содержит соответствующую этому значению 5-функцию. При этом в
A.1) подразумевается интеграл Стилтьеса, однако для нас это не существенно.
Для случайного вектора
•¦п
определяется соответствующая плотность вероятности fe(x) = fe(xl9 . . . , хп)
(функция из Rn в R), и
Р(ееВ)= f fe(x)dx. A.2)
х е в
Здесь В — подмножество в R", а Р(А) означает "вероятность события А". Функцию
fe (х) называют также совместной плотностью вероятности для ех, . . . , еп. Матема-
Математическое ожидание или среднее значение случайной величины определяется как
/Ге= / xfe(x)dx, A.3)
а матрица ковариации
Cove = E(e - m)(e - m)T\ m~Ee. A.4)
Говорят, что случайный вектор имеет гауссово или нормальное распределение,
если
ехр [- \ {x-m f
Тогда среднее значение равно /я, а матрица ковариации — Р. Это записывается сле-
следующим образом:
ееЩпг.Р). . A.6)
Для двух случайных величин у и z можно определить совместную плотность вероят-
вероятности как f(xy, xz). Вероятности, связанные только с реализациями у, игнорируя z,
задаются при этом плотностью вероятности для у, fy (xy):
P(a<y<b) = f fy(xy)dxy.
а
Поскольку
<b) P(<<b и -«> <z <+)
390
I I
Xy = a xz = -
находим, что
Теперь можно определить условную плотность распределения вероятностей z при
данному как
f(xv>xz)
fz\y<xz\xy)= / . A.8)
Тогда имеем
ь
= f fz{y(xz\xy)dxz. A.9)
а
Здесь /^ | ,5) - условная вероятность события Л при данном событии В. Интуитив-
Интуитивно ясно, что можно рассматривать A.9) как вероятность того, что z примет значение
между а и Ь, если уже известно, что реализация у была равна ху. Отметим, что фор-
формальные определения этих понятий требуют большего внимания, и по этому поводу
читателю следует обратиться к учебнику но теории вероятностей. Выражение (J.8)
может рассматриваться, как вариант формулы Байеса:
Р(А и В)
в)- A10)
Две случайные величины у nz независимы, если
f(Xy,xz)=fy(xy).fzQcx). A.11)
Тогда
fz\y{xz\xy)=fz(xg). (I.12)
В этой книге иногда возникают комплекснозначные случайные величины. Если е
может принимать комплексное значение, матрица ковариаций определяется как
Cov е = /:'(<?-т) ( е ~ m)r, (L13)
где верхняя черта означает комплексное сопряжение. Заметим, что это понятие не
дает полной информации о ковариаций между действительной и мнимой частями е.
Для комплексно-значного случайного вектора е обозначение
eeNc(m,P) A.14)
будет означать, что
1. Действительная и мнимая части совместно нормальны.
2*Ее-т (комплексное число).
3. Cov e = P (определяется как в A.13)).
А.Кее и Ime независимы.
5. Cov Re e = Cov Im e = Р/2.
Пусть у (t) (t = 1, 2, . ..) - последовательность случайных векторов (случайный
процесс в дискретном времени). Тогда ее реализацией будет последовательность
векторов. Допустим, что событие, состоящее в сходимости этой последовательности
к пределу у* (возможно зависящему от реализации) при t стремящемся к беско-
бесконечности, имеет вероятность 1. Тогда говорят, что {у (О) сходится к у* (случайный
встор) с вероятностью 1 (или "почти наверное'*, п.н., или ^почти всюду", п.в.):
y(t)-+y* п.н. при /->«>. (Ы5)
Часто и наших приложениях у* фактически не будет зависеть от реализации.
391
Если соответствующая последовательность плотностей вероятности fy(t) (*)
сходится (слабо) к плотности вероятности /*
. 0.16)
говорим, что {y(t) } сходится по распределению к плотности распределения вероят-
вероятностей /*. В частных случаях, когда /* является гауссовой плотностью A.5),
говорим, что {у (г)} асимптотически нормальна со средним значением m и матрицей
ковариации Р, и обозначаем это
y(t)EAsN(m,P). (I.17)
Полезные теоремы, предназначенные для доказательства результатов типа A.17),
представлены в задаче 11.3 и в леммах 9А.1, 9А.2. Они известны как центральные
предельные теоремы (ЦПТ). Для доказательства сходимости с вероятностью 1 хоро-
хорошим инструментом является лемма Бореля — Кантелли:
"Если f P(\y(t)\ >e)<°o для всехе>09 то
k= i
y(t)->Q п.н. при r->oo» (U8)
(доказательство см. в [78]).
Для оценки вероятностей такого рода полезно неравенство Чебышева:
Е\у
\\
Приложение П. Некоторые статистические методы
линейной регрессии
Цель этого приложения двоякая: первая — напомнить о статистических
методах как о теоретическом фундаменте части II этой книги, вторая - рассмотре-
рассмотрение методов, алгоритмов, теоретического анализа и статистических свойств оценок
линейной регрессии как прототипов более сложных структур, обсуждаемых в час-
части IL Это приложение можно рассматривать, таким образом, как предварительное
ознакомление с идеями и анализом, максимально свободными от технических дета-
деталей. Приложение составлено так, что его можно читать независимо от остальной
части книги (и наоборот).
П.1. Линейные регрессии и оценка МНК
Линейные регрессии относятся к наиболее часто употребляемым в статистике,
а метод наименьших квадратов уходит корнями в классическую работу Гаусса 1809
года [128]. Эти методы изложены во многих учебниках, из которых упомянем
книги Рао [335, гл.4] ,Дрсйпера и Смита [101] и Дениела и Вуда [90].
Понятие регрессии. Статистическая теория регрессии связана с задачей предска-
предсказания величины у на основе информации, полученной при измерении других величин
Ч>\ у • • • ><Pj- Например, зависимая переменная у могла бы представлять собой величи-
величину урожая, в то время как независимые переменные </?/ (регрессоры) давали бы ин-
информацию о количестве выпавших осадков, солнечных дней, качестве почвы и т.п.
Известно огромное количество таких ситуаций во всех областях человеческой дея-
деятельности. Динамические системы, рассмотренные в части 1, образуют, очевидно, дру-
другой пример применения понятия регрессии, в которому - выходная величина систе-
392
мы (в данное время) , а </?,- содержат информацию о прошлом поведении. Обозначим
Задача состоит в нахождении функции регрессоров
У -
такой, чтобы разность
была мала (т.е. чтобы у = g (<p) было хорошим предсказанием для у) . Если у и </? опи-
описываются как случайные величины, можно, например, стремиться к минимизации
Хорошо известно, что функция g, минимизирующая A1.1), представляет собой
условное математическое ожидание у при данных <pi,... , <pj:
Эта функция известна также как функция регрессии или регрессия у на </?.
Другой подход состоит в поиске функции g (</?), имеющей максимальную корре-
корреляцию су. По существу ответом является функция регрессии. См. задачу II.2.
Линейные регрессии. Если свойства величин у и </? неизвестны, определить функ-
функцию регрессии g($) априори невозможно. Ее приходится оценивать по данным и,
следовательно, она должна быть удобным образом параметризована. Наиболее интен-
интенсивно изучался случай линейной параметризации. При этому приближается линейной
комбинацией величин </з^:
«2*2
(И.З)
Обозначая вектор
в =
е2
Led -*
A1.3) можно переписать в виде
(UA)
Замечание. Конечно, можно также рассмотреть "близкую" функцию
¦<ртв. (IL5)
Однако, расширяя регрессоры константой </?J+1 = 1 и, соответственно, вектор пара-
параметров в, случай (И.5) сводим к (II.4).
Оценки наименьших квадратов. Обычно мы не располагаем точной априорной
информацией относительно соотношения между у (Г) и </? (г). Вместо этого мы имеем
"данные истории", набор предыдущих наблюдений соответствующих друг другу
величину и \р. Удобно перенумеровать эти величины, используя аргумент t:
yif\ <p(t)9 r = 1,...,М (II.6)
Используя эти данные, можно заменить дисперсию (II. 1) выборочной
N t = 1
393
В линейном случае (II.4) имеем, таким образом, вместо (II. 1)
VNF) = -J- 2
N
t = i
(H.7)
и теперь 0 удобно выбирать как аргумент, минимизирующий (II.7) :
0yv = argmin VN(O). (Н.8)
Это — оценка наименьших квадратов. В качестве функции предсказания, основан-
основанного на предыдущих наблюдениях, можно, таким образом, использовать
Отметим, что этот метод выбора 0 имеет смысл независимо от того, рассматри-
рассматриваем ли мы задачу в рамках стохастического подхода. Параметр 6# является вели-
величиной, дающей наилучшее предсказание по полученным данным. Эту "прагматичес-
"прагматическую" интерпретацию оценки наименьших квадратов дал еше ее автор К.Ф. Гаусс:
В заключение принцип, по которому сумма квадратов разностей между наблю-
наблюдаемыми и вычисляемыми величинами должна быть минимальна, может рас-
рассматриваться следующим образом независимо от исчисления вероятностей
[128].
Важной чертой (П.7) является то, что эта функция квадратична по в. Следова-
Следовательно, ее можно минимизировать аналитически (см. задачу 7D.2). Находим, что лю-
любая оценка 0N, удовлетворяющая уравнению
-J- 2 ^O/V)]^ = т~ 2 <p(t)y(t), (П.9)
[ N t = i J N t = \
доставляет глобальный минимум функции VN{6). Эта система линейных уравне-
уравнений известна как нормальные уравнения. Если матрица в левой части этого уравне-
уравнения обратима, получаем выражение оценки наименьших квадратов
1 N I I
2 (г@
N
2
N t= l
Формирование матрицы. Иногда выражения (П.6)—A1.10) более удобно записы-
записывать в матричной форме. Определимых 1-вектор-столбец
A1.11)
A1.12)
A1.13)
и Л^Х^-матрицу
Тогда критерий (II.7) можно переписать как
N N
Нормальные уравнения принимают вид
394
а оценка
В A1.15) можно выделить псевдообратную к Ф^ (по Муру-Пенроузу) матрицу:
Таким образом, уравнение A1.15) даст псевдообратное решение для переопреде-
переопределенной (TV > d) системы линейных уравнений
' YN = Ф„в. (П.17)
Геометрическая интерпретация. Решению наименьших квадратов можно дать
геометрическую интерпретацию, которая полезна для определения некоторых
свойств. Положим
и рассмотрим YN и ф1 ...фа как векторы в пространстве R^. Задача, выражен-
выраженная соотношением A1.17), состоит в нахождении линейной комбинации векторов
Рис. ILL Оптимальное среднеквадратическос решение как
ортогональная проекция (d = 2 и N = 3)
ф( (/ = 1, .. . , d), приближающей YN наилучшим образом. Пусть Dd - ^-мерное
подпространство, натянутое на векторы фг. Если оказывается, что вектор YN при-
принадлежит этому подпространству, его можно описать как единственную линей-
линейную комбинацию векторов ф{. В противном случае, наилучшим приближением YN
в подпространстве Da является такой вектор в Dd, который имеет наименьшее
расстояние от YN, т.е., как хорошо известно, ортогональная проекция YN на ?>j.
См. рис. H.I. Л
Обозначим эту проекцию YN. Так как это ортогональная проекция, имеем
(YN - YN) 1 ф§.
Это значит, что
(YN - YN^t = 0, / =. l,...,df
и, поскольку YN G Ddy имеем для некоторых координат
/=
395
Отсюда
i = 1,..., d,
A1.18)
i =
что в матричной форме имеет вид A1.14) .
Взвешенные наименьшие квадраты. В критерии A1.7) различным наблюде-
наблюдениям придан одинаковый вес. Иногда приходится рассматривать взвешенный
критерий
VNF) = 2 ott[y{t) - <pT(tN]2. (И.19)
г = i
Это может иметь две причины.
1. Наблюдения у могут быть различной надежности. Некоторые наблюдения
могут, например, содержать большие возмущения и, следовательно, долж-
должны иметь меньшие веса. A1.20)
2. Наблюдения могут быть изменяющейся информативности. Возможно, нет
уверенности, что линейная модель имеет место во всей области изменения
</?. Наблюдение, относящееся к такой подозрительной области, даже если
оно точное, должно, следовательно, иметь меньший вес A1.21)
Обозначив диагональную матрицу
pi о
Qn = ''
I 0 "ад
критерий A1.19) можно переписать в виде
Vn@) = (Vn ~ <
Нетрудно проверить, что минимум достигается при значении аргумента
(И.22)
й | YN -
t - i
N
2
A1.23)
A1.24)
По некоторым причинам можно также использовать критерий A1.23) для произ-
произвольной симметрической, положительно определенной матрицы QN. При этом
предыдущая формула A1.24) по-прежнему верна. Чтобы понять, что происходит,
в терминах исходных измерений, удобно произвести факторизацию QN:
Bn = L ]\j D ]\j L jsj 1 A1.25)
A1.26)
A1.27)
A1.28)
где LN - нижняя треугольная матрица с единицами на диагонали:
Г1 0 ... 0
/21 1 ... 0
LN = . .
L Ы\ lN2 • - 1 _
a DN - диагональная матрица, как в A1.22) . Тогда A1.23) принимает вид
VN@) = \YN - Ф„0 1Ьлм
396
Элементы этих матриц равны
y(t)= 2 lt(t.k)y{t - к),
к = О
к = О
- к). (П.29Ь)
Таким образом, имеем
Kjv(9)= Г в,[у(О - ^(Ов]2, (Н.30а)
t - 1
^ = f 2 a^(rMfr(f)]-! 2 а,*@3К0- (".30b)
г = i t = \
Следовательно, влияние общей нормы QN в (Н.23) сводится к тому, что исход-
исходные наблюдения должны обрабатываться фильтром (П.25)- (П.29).
Невязки и ошибки предсказания. Разность
с (Л 0) = y(t) - spT{tN A1.31)
представляет собой ошибку, соответствующую значению в. Будем называть эту
ошибку ошибкой предсказания, соответствующей параметру в. Вектор ошибок
предсказания равен
A1.32)
а критерии A1.7) и A1.23) являются квадратичными нормами этого вектора. Нор-
Нормы Byv* не являющиеся диагональными, соответствуют суммам квадратов про-
профильтрованных ошибок предсказания, аналогично (П.29).
Будем называть
Л
невязками ("остатками"), связанными с моделью В^.
Рассмотрим теперь для простоты случай Bлг = /• Обозначим вектор невязки
) (и.зз)
а предсказание выходной величины
YN = Фд,вд,. A1.34)
Л Л
Из геометрической интерпретации известно, что Ejsj и YN ортогональны. Значит,
\YN\2 = (YN + EN)T(YN +4)= \Vn\2 + \En\\ (H.35)
что также можно записать в виде
2 y\t) = Z ?(/)+ Z ^@, 01.36)
показывающем, каким образом сумма квадратов наблюдений расщепляется на
суммы квадратов предсказаний
397
и невязок
$t,(t) = e(t, dN). A1.37)
Идеальной представляется ситуация, когда по предсказанным значениям выход-
выходной величины ум можно описать и изменение большей части действительных вы-
выходных величин. Отношение
N N
5fr
01.38)
= 1 г = i
является мерой доли общего изменения у, описываемого регрессией. Оно известно
как множественный коэффициент корреляции (квадратичный) и часто выража-
выражается в процентах. Иногда прежде, чем вычислять R2yi среднее значение у вычитают
из у и у.
Качество оценки параметров. Чтобы исследовать свойства оценки 6N, допус-
допустим, что действительные измерения у(t) (t = 1,.. . , TV) могут быть описаны ра-
равенством
y(t) = <pT{tHo + wo(r), A1.39)
где (wo(/)} - некоторая последовательность возмущений или ошибок пока еще
неуказанной природы. Если эта последовательность имеет некоторые "приятные"
(описанные ниже) свойства, естественно называть 00 "истинным параметром".
Если обозначить
можно записать A1.39) как
YN = Фл,б0 +WN. (II.41)
Подставляя это выражение в (П.24), получаем
6n = [ФлгЙуФлгГ'Ф^^во + Щ\ = Go + °n, (П.42)
где
что в случае Byv = I/N записывается также в виде
1 N ух Г 1 N
2 Л ^ (H.43)
г =
Это выражение для ошибки по параметру имеет чисто алгебраическую природу
и справедливо для произвольных последовательностей {wo(/)} ._ Если <р и w
квазистационарны, видно, что при TV стремящемся к бесконечности, Bjsj стремится к
где использовано обозначение B.62). Если матрица R^ @) обратима (это соот-
соответствует предположению, что последовательность </?(О имеет полный ранг), а
^w@) равна нулю (что соответствует определенной "независимости" между
398
рсгрессорами и возмущением), то 6N будет стремиться к истинному значению 00
с ростом числа наблюдений.
Для того чтобы можно было сказать большее относительно свойств BN, есте-
естественно описывать последовательность возмущений с вероятностных позиций.
Это будет сделано в следующем разделе.
И.2. Статистические свойства оцеики иаименьших квадратов
Вероятностная структура. Чтобы получить дальнейшие результаты относи-
относительно свойств оценки наименьших квадратов, введем несколько более специфич-
специфичные предположения о генерации наблюдений у. Обычно это следующие предпо-
предположения:
— последовательность регрессоров {</>(/)} является детерминирован-
детерминированной; A1.45)
- y(t) = урт(tN0 + vv0 (Г), где vv0 (/) - последовательность независимых слу-
случайных величин с нулевыми средними значениями и дисперсией Aq. A1.46)
Сразу укажем на существенную ограничительность предположения A1.45) для
большинства приложений к идентификации систем, поскольку в этом случае рег-
рессоры обычно содержат прошлые значения выходной величины. Это означает,
что анализ не будет применим к методам идентификации систем. Однако A1.45)
сильно облегчает анализ, в то же время результаты являются прототипом тех,
которые имеют место в общем случае. Содержание данного раздела может, сле-
следовательно, рассматриваться как упрощенное предварительное изложение ма-
материала гл»8 и 9.
В этом разделе предположение A1.46) будет несколько ослаблено. Будут до-
допускаться более общие возмущения {w0 (t)} , а также иногда будет предпола-
предполагаться, что истинная функция регрессии не соответствует данной линейной мо-
модели. Таким образом, будем рассматривать описание
У (О = StdPiO) + wo(O, (".47а)
где
\р (t) — детерминированные величины, A1.47Ь)
EwQ(t) = 0, A1.47с)
Ewo(t)wo(s) = rrj. (H.47d)
В матричной форме, используя A1.11), (И.12), A1.40) и
Cjv(*jv) = : , A1.48)
имеем
Yn = GN(pN) + WN% (ll.49a)
EWN = 0, (H.49b)
I-:WnWjH = RN. (II.49c)
Часто будет рассматриваться
Ф^о (Н.50)
RN = Хо/. A1.51)
399
Сходимость и состоятельность. Рассмотрим случай (НЛО) (т.е. Qn =
Тогда,если имеет место A1.50), то можно аналогично A1.43) записать
Г1 Г 1 N 1
(Н.52)
Г 1 N ^ Г1 Г 1 N 1
- Go = — 2 ^@/@ — 2 ^(r)wo(f)
IN r= l J L Л^ / = l J
Первая сумма состоит из детерминированных величин. Допустим, что она сходится
к обратимой матрице R^ @) :
1 N
— 2 <p(f)</(/) -> ДД0) при TV -> «>, /? (О) обратима. A1.53)
N t= \
Вторая сумма состоит из случайных величин с нулевыми средними значениями,
причем выполняются предположения (П.47Ь, с, d). Различные варианты "усилен-
"усиленного закона больших чисел" описывают условия, при которых такие суммы схо-
сходятся к нулю с вероятностью 1. Это будет зависеть от свойств {vv0 (/)} • Подроб-
Подробное изложение таких результатов см., например, в [78] и [160]. Теорема 2.3 по-
показывает, что
1
— 2 *(г)и>о(О ~* 0 п-н- ПРИ N ~>оо> (П.54)
N t = \
если последовательность {wo(f)} может быть описана как профильтрованный
белый шум аналогично B.86) и {ip(t)} — ограниченная последовательность. При
выполнении A1.53) и A1.54) имеем
6N -* 0О п.н. при Л^ -> ов. A1.55)
л
Это означает, что 6N — сильно состоятельная оценка 0О.
Смещение и дисперсия. Рассмотрим общую оценку взвешенных наименьших
квадратов
On = [^nQnOnV^nQnYn. • (И.56)
Так как Фдг и <2yv — детерминированные, легко вычислить математическое ожида-
ожидание A1.56) :
E6N = в* = [ФЯйуФлГЧЯелгСлКФлг). A1.57)
При выполнении A1.50) имеем
E6N = в0. A1.58)
Л
Это равенство означает, что оценки 6N являются несмещенными при истинном опи-
описании A1.50).
Для отклонения оценки параметра от среднего получаем из A1.56), A1.57)
и (П.49а)
O <> EB = V^Q*Y1*JQWn, A1.59)
откуда получаем матрицу ковариаций
= pN = EeNeJf =
^nV1^nQnRnQn^n[4Qn^nV1 • (П.60)
Отметим, что это выполняется, независимо от формы Gn($n)-
Для оценки невзвешенных наименьших квадратов (QN = //ЛО и независимых
возмущений, случай (П.51), находим, что
Pn = Хо[Ф&ФлгГ! = Хо[ ? ^(О^)]'1. ("-61)
г = 1
400
Матрица ковариации оценки 0дг определяется, таким образом, дисперсией невязок
и свойствами регрессоров. Если <р(?) можно менять в процессе сбора данных, по-
появляется важная возможность планирования эксперимента с целью "уменьшения"
обратной матрицы в A1.61) с учетом имеющихся ограничений.
Отметим, что для вычисления Р^ требуется знать \0. Поскольку эта величина
может быть не известна пользователю, важно оценивать ее по данным.
Оценивание дисперсии шума. Имеем следующий результат:
Лемма II. 1. Пусть задан критерий (II.7) и допустим, что выполняются со-
соотношения A1.49)- A1.51). Тогда
\N = ——г VN@N) = —[— 2 [у{t) - <pT{tNN]2 (A1.62)
N - d N ~~ a t = i
является несмещенной оценкой \0. (Напомним, что d = dim0.)
Доказательство. Имеем
= \I - *nI*^*nV1*nU*n0o + WN] = (H.63)
n = FNWN.
Заметим, что F^FN = FN. Значит,
tm\ YN - Ф^12 = EW$F$FNWN = EW$FNWN = E\xFNWNW$ =
Далее
UFN = tr[/ - Ф^^лгФлг]^! = tr/ - 1гФлг[ФлгФлг]Флг =
= tr/ - 1г[Ф^ФЛгГ1ф1;Флг = N - d. A1.64)
Напомним, что FN -NX jV-матрица, а Ф^Фдг ~ d X с/-матрица. Здесь использовано
равенство trAB = trBA.
Таким образом,
E\N = Е— ri YN - <PNdN\2 = Хо,
N - d
и лемма доказана.
Отметим важность обоих предположений A1.50) и A1.51) для справедливости
этого результата. Оценить всю матрицу ковариации RN по данным не представ-
представляется возможным. Аналогично, если истинное описание имеет общую форму
(И.47а),оценка \N будет содержать член
Ц 2 feM) /2
Ц 2
N - d t = \
который не будет стремиться к нулю. Это приводит к систематическому завыше-
завышению оценкой Лдгвеличины Хо, и в результате уровень шума переоценивается.Такая
ситуация свидетельствует о наличии типичной дилеммы во многих приложениях:
отличать шумовые эффекты от эффектов смещения. Л
Минимизация дисперсии. Из A1.60) видно, что дисперсия 6N зависит от вы-
выбора нормы QN. Возникает вопрос о наилучшем выборе (?лг в смысле малости мат-
матрицы ковариации. На него отвечает следующая лемма:
Лемма II.2. Пусть RN - положительно определенная матрица. Определим
Н.Л.Лыонг
Тогда для любой симметрической, положительно полуопределенной матрицы Q
Доказательство. Матрица
Y [
положительно гкшуопредслена по построению. Значит, в соответствии с задачей 7D.8
Обращение обеих частей этого неравенства доказывает лемму.
Оценка A1.24), получающаяся при Q = fi^1 известна также как оценка Мар-
Маркова или наилучшая линейная несмещенная оценка. Заметим, что для ее реали-
реализации требуется знать матрицу Rjv, что, как правило, не реально.
В случае независимых шумов в (И.47) с различными дисперсиями,
l:w20(t) = Х„
лемма утверждает, что дисперсия оценки минимизируется, если критерий (И. 19)
используется с
at = -1-. A1.65)
л?
Другими словами, наблюдения должны быть взвешены обратно пропорционально
их дисперсиям. Такой выбор весов является, следовательно, оптимальным в смыс-
смысле A1.20). Заметим, однако, что если A1.50) не выполняется, веса а, также будут
влиять на смещение оценки dN, а это может привести к противоречию с A1.65).
Распределение оценок. Оценки 6N и \N параметров 0О и \0 соответственно
являются случайными величинами, поскольку они формируются по случайным
величинам {y(t)} . Таким образом, интересно определить их распределение. Для
того чтобы это сделать, введем следующее дополнительное предположение:
вектор возмущений И^дг имеет гауссово распределение. A1.66)
Это предположение приводит к гауссовости распределения YN со средним значе-
значением С7дг(Флг) и дисперсией /?дг:
YN ?N(Gv(<!>h), Rn). (И.67)
Л А
Так как 6N в A1.56) является линейной комбинацией величин YN, оценка 0N
также будет гауссовой:
BN 6 Щв\ PN), AI.68)
где 0* и PN задаются соотношениями A1.57) и (И.60) соответственно. Это отве-
Л.
чает на вопрос о распределении 6N при условии A1.66).
Даже если наблюдения не являются нормально распределенными, часто слу-
случается, что распределение оценки 6N приближается к нормальному распределению
при N, стремящемся к бесконечности. Это следует из центральной предельной тео-
теоремы при ее применении к сумме случайных величин, формирующих оценку. См.
задачу 11.3.
Определить распределение Хуу в (И.62) несколько сложнее. Рассмотрим опять
частный случай A1.50) и A1.51), и пусть VNF) определяется соотношением A17).
Тогда
N- VN(d0)= 2 \y(t) - *т@в0]2 = 2 w20(t). A1.69)
t - i t - i
402
Теперь из A1.51) и A1.66) следует, что {wo(r)}7 является последовательностью
независимых гауссовских величин с дисперсией Ло. Следовательно,
N
— Vn@o) e X2W. A1.70)
Ao
Другими словами, левая часть этого соотношения имеет х2-распределение с N сте-
степенями свободы, чтол непосредственно следует из определения х2-распределения.
Если 0О 'заменить на 0N, получим соответствующий результат:
Лемма 11.3. Предположим, что выполняются соотношения A1.49)-A1.51)
и (Г 1.66). Тогда
— VN@N) = — I {у(t) - *r(tHN]2 6 X2(/V). AI.71)
Ло л0 t - i
Доказательство. Сравните с доказательством леммы II. 1. Положим
FN = I - Фн[Ф7„Ф„\-1Ф%9
что представляет собой симметрическую N X /V-матрицу. Тогда, как и в A1.63),
Fn ~ FNFN, откуда следует, что все собственные значения/^ равны либо 0, либо 1.
Поскольку tr/'д- = N — d, в силу A1.64), находим, что существует N — d собст-
собственных значений, равных Кис/, равных 0. Так как F^ является симметрической,
ее можно диагонализовать посредством ортогональной матрицы U^:
где DN состоит из /V — d единиц и d нулей но диагонали. Как и при доказательстве
леммы 11.1,
Ло ^о ^о Ло
= — W$FnWn = — WnVNDnUnWn = — i w2N(t),
A© Ao Ло г - i
где й"'д'(/) - компоненты вектора V^WN. Но так как компоненты W/y являются
независимыми и нормальными, с дисперсией Ло, это же справедливо и в отноше-
отношении UisfW/s! в силу ортогональности матрицы UN. Это доказывает лемму.
Из леммы следует, что оценка Лдг дисперсии Ло подчиняется соотношению
А
(Л' - d) G х (N - d\ (H.72)
что обеспечивает равенство
ЛоJ =
N -d
Доверительные интервалы, В случае A1.50), когда истинный параметр 0О суще-
существует, результат (Н.68) но распределению оценки показывает, как распределено
отклонение оценки 0N от ^0:
вд, - 0о G Л^@, PN). (F1.74)
>\\я /-й компоненты имеем, таким образом,
Удг - Уо Ь /V@. Г;у ),
14* 403
или
6 N@9 1).
A1.75)
Здесь Руу означает /*-й диагональный элемент Рдт- Следовательно, вероятность
того, что 0о1 отклоняется от 0Nl более, чем на ос • yP^f* , представляет собой
A - а)-уровень нормального распределения, которое присутствует во всех стан-
стандартных таблицах по статистике.
Соотношение A1.68) фактически дает больше, чем распределение вероятностей
каждой компоненты BN. Поскольку PN .- матрица ковариаций совместного
Рис. 11.2. Заштрихованная область: \0 - 0О |* ,
constant
| ,
распределения вектора 0N, мы также имеем полезную информацию о ковариаций и
корреляции между различными компонентами QN. Наиболее просто использовать
это следующим образом. Из A1.74) имеем
(On - 0o)rPf,l@N - 0o) 6 xV), A1.76)
что непосредственно следует из определения х2-распределения. Вероятность того, что
I0JV -во \2pki = (Олг - Oo)TPn(Pn ~ 0о) > а A1.77)
равна, таким образом, xl(d), а-уровню x2(d)-распределения. Выражения A1.77)
задают эллипсоиды в R , поверхности которых определяются матрицей PN.
См. рис. 11.2.
В случае QN = I и RN = / выражение для PN принимает вид A1.61):
1. A1-78)
В то время как матрица [Фуу^] известна пользователю, \0 обычно не известна,
что затрудняет использование результатов A1.75) и A1.76). Следует попытаться
заменить \0 оценкой \N. В соответствии с A1.73) это является хорошей аппрок-
аппроксимацией при больших TV, а использование предыдущих доверительных границ
представляется разумным. По лемме И.2, однако, можно достичь более точного
результата. Имеем
-х-(On 0o)T[<t>b<t>N\@N ~-во) =
(On - 0oyPjjlFN - в0) 6 F(d, N - d),
(Н.79)
404
где последний шаг следует из определения F-распределения как распределения
отношения двух х2-распределенных величин. Самое левое выражение доступно
пользователю, и, таким образом, вероятность того, что 0О отклоняется от 6N на
столько, что
A1.80)
может быть вычислена как а-уровень F{dy N - d)-распределения. Заметим, что
F{d,N - d) стремится к х2(^0 *фи N-+o°. Следовательно, использование \^ вместо
Хо в (П.77) часто разумно. Аналогично использование \N вместо \0 в A1.75) заме-
заменяет нормальное распределение г-распределением Стьюдента.
ИЗ. Некоторые другие вопросы оценивания
по наименьшим квадратам
Выбор регрессоров. Основной проблемой при применении регрессионного анали-
анализа к практическим задачам является назначение хорошего набора регрессионных пе-
переменных. Это означает, что необходимо определить, какие из переменных ^@
могут влиять на выходную величину y(t) в (Н.З). Очевидно, это существенно за-
зависит от прикладной задачи и требует хорошего понимания описываемого процесса.
При выборе \pt можно, однако, учитывать некоторые формальные процедуры, опи-
описанные в литературе по статистике.
Определение регрессоров в (II.3) соответствует выбору структуры модели при
постановке задачи идентификации. Более детально эта проблема обсуждается в
гл. 16, а здесь дается лишь краткое изложение.
Основное средство состоит в исследовании последовательности невязок
{?jv(O)^> определенных (IF.37). Если выполняются соотношения (Н.49)-(И.51),
a 9N даст правильное описание процесса, то eN(t) должна равняться wo(r) в A1.46)
и быть, таким образом, последовательностью случайных величин. Такая гипотеза
может быть проверена различными способами. Кроме того, последовательность
невязок не должна коррелировать со всеми потенциально возможными регрессо-
рами. Если это не так, потенциальный регрессор может внести свой вкладе предска-
предсказание y(t), и его следует включить в число регрессоров. Этот путь может
быть плодотворным в проведении поиска информативных регрессоров. В [90]
содержится описание практического прибора для этих целей.
Другой способ определения, следует ли включать потенциальный регрессор в
множество регрессоров, состоит в проверке того, приводит ли это к значительному
уменьшению критериальной функции Куу@^). Должно быть ясно, что минималь-
минимальное значение критериальной функции будет автоматически уменьшаться при добав-
добавлении нового регрессора независимо от того, действительно ли он коррелирует с
выходом. Это следует из того, что минимизация проводится но более широкому
множеству. В качестве простого примера рассмотрим процесс A1.49)- A1.51) при
0О = 0. Критериальная функция
\ N \ n
К„@) = - 2/@ = - 2 wo(f)
N r = i /V r = i
имеет среднее значение Хо- Если минимизация проводится по с/-мерному регрессион-
регрессионному пространству в, получаем
=- 2 е^@,
N t=\
405
а в соответствии с леммой II. 1 среднее значение этой величины равно [(N - d)jN] /\0.
Таким образом, наблюдается среднее уменьшение критериальной функции на
(d/N)\o, несмотря на то, что в y(t) не зависел от регрессоров. Улучшенная
подгонка является ложной и может рассматриваться как сверхподгонка под частную
реализацию {wo(r)}^.
Следовательно, наблюдаемое уменьшение значения VN при добавлении новых
регрессоров должно сопоставляться с этой сверхподгонкой. Различные пути осу-
осуществления этого обсуждаются в гл. 16. Здесь приведем следующий формальный
результат.
Лемма U А, Допустим, что данные могут быть описаны уравнением
где { eo(t) } - белый гауссовский шум с дисперсией \0. Положим
^ 2 [y(t)-*T(tN]2. (И.82)
Рассмотрим другую регрессию с некоторыми дополнительными регрессорами
(FI.83)
и положим
уB) =mir
Пусть
d =
Тогда
(а)
(b)
(с)
dimd,
N
y(i)
N
3
^°-
t(d9r,
N
г = dim ??.
ex\N--d-
_ j/B)
e v2
- yB) и у(
-0.
2^ независимы,
-r yN -- vN
- G /*'(Л ^ d r).
(FF.84)
Доказательство, (а) является переформулировкой леммы 11.2, a (d) -
следствие (a), (b) и (с) по определению F-распрсделения. Доказательства (b) и
(с) аналогичны доказательству леммы II.2.
Лемма означает, что если выполняется (И.81) и включение т? "не является не-
необходимым", то нормализованное уменьшение критерия распределено в соответ-
соответствии с A1.84). Если наблюдаемое уменьшение значительно больше (т.е. если
t(d,r,N) > Fa(r,N - d - г)), то следует сделать вывод, что включение т\ полезно
и что, следовательно, A1.81) не выполняется. Напомним, что F-раснределение часто
может быть аппроксимировано х2 -распределением для больших N.
Множественная регрессия.
Иногда исследуются вопросы одновременного предсказания нескольких,
скажем р, переменных. Это означает, что переменная y(t) будет р-мерным векто-
вектором. На языке теории систем управления это соответствует многомерным систе-
системам. Большая часть того, что было сказано здесь относительно линейной регрессии,
406
будет справедливо также и для многомерного случая, хотя некоторые алгебраиче-
алгебраические выражения принимают несколько другую форму.
Удобно различать два случая:
1. Для каждой компоненты y(t) используется один и тот же набор регрессоров.
Обозначим регрессоры r-мерным вектор-столбцом $(?)- Затем запишем регрессию
в виде
A1.85)
где теперь в - г X р-мерная матрица с /-м столбцом, состоящим из коэффициентов,
соответствующих /*-й компоненте у. Число оцениваемых параметров, таким обра-
образом, d = rp. Критерий наименьших квадратов принимает вид
Д )-0 М 012 (И.86)
и достигает минимума при
0N = [ 1- 2 *@*г(о1 - 2 v(t)yT(t) (IL87)
[N r=i J N r i
2 *@*(о1 2
[N r=i J N r =
(см. задачу 7D.2).
2. Разные наборы регрессоров для различных компонент у. В случае, когда раз-
различные выходы связаны с различными наборами регрессоров, приходится вводить
с/Хр-мерную матрицу <p(t), /*-й столбец которой содержит регрессоры, соответ-
соответствующие /-му выходу, и, зачастую, несколько нулей. Тогда регрессия записыва-
записывается в виде
T (П-88)
где в с/-мерный вектор-столбец. Критерий наименьших квадратов принимает вид
'"' AL89)
2 f
Здесь можно использовать квадратичные нормы обшего вида, чтобы придать разные
веса различным компонентам y(t). Аргумент, минимизирующий (FI.89), имеет вид
1
2 1Т \ 2 ^ (IF.90)
N t \ } [N t =
(см. задачу 7D.2).
Сравнивая A1.90) с A1.87), видим преимущество структуры A1.85): чтобы опре-
определить р X г оценку dN в A1.87), достаточно обратить г X r-матрицу. В A1.90) в -
рг-вектор и нужно обращать рг X рг-матрицу.
Корреляционная интерпретация и метод инструментальных переменных. Суще-
Существует следующая полезная интерпретация метода наименьших квадратов. Пусть
задано описание
умножим обе части на ^(г) и просуммируем по t = 1,.. ., N. Приходим к соотно-
407
¦ Мнению
Г 1 N
= - 2
\ N
- 2
При условии некоррелированности возмущения {wo(t)} и регрессионного вектора
<р(О , означающего малость последнего слагаемого правой части, находим, что оценка:
наименьших квадратов
0N=\ - 2 *{t)vT(t)\ - 2 *(r)j4O (Н.92)
является разумной оценкой 60. Таким образом, используя последовательность
регрессоров, получили "декоррелированный" из шума параметр 0о.
В некоторых случаях можно ожидать наличие корреляции между шумом и рег-
рессорами. Тогда естественным развитием предыдущей корреляционной идеи было
бы использование J-мерной векторной последовательности {f(O}, не коррелирую-
коррелирующей с шумом, но коррелирующей с регрессором. Умножение на f (г) и суммирова-
суммирование по t приводит к равенству
J 2 Ч Д 2 «т * Ло@. D.93).
7Д «0*@]0 Z
N t=i N t=
Если { f (/)} имеет два указанных выше свойства, находим, что разумной оценкой
0О является
~ 2 №У@. (Н.94)
V
Эта оценка была введена Рейерсьюлом [336], а некоторые связанные с ней детали
обсуждались в [212]. Она известна как оценка инструментальных переменных, а
f (г) называются инструментальными переменными или инструментами. Остается
обсудить способы выбора f (г), и это делается в разделе 7.4 в связи с приложением
к динамическим системам.
Нелинейные регрессии.
Характерной чертой модели линейной регрессии (FI.3) является то, что функция
регрессии линейна по параметру в. Часто приходится рассматривать более общие
способы параметризации функции регрессии:
*(*,»). (Н.95)
Таким образом, получаем нелинейную регрессию
J40 =*(*('), в). (П.96)
Можно по-прежнему использовать взвешенный критерий наименьших квадратов
VN{0)=7r 2 *f\y(t)-g(v{t),0)]2 A1.97)
как меру близости, и оценкой становится
BN =argniin VNF)
е
(в точности как в (II.7) и (II.8)). Важное отличие состоит в том, что может оказаться
невозможным точное определение выражения для 6Ny как в A1.10), но можно при-
применить численные итеративные процедуры.
408
Дальнейшее обобщение связано с использованием пеквадратичной меры бли-
близости в (FI.97). Пусть /(в) - функция, принимающая положительные значения и
измеряющая "размерах" в,и возьмем
VN@)= - 2 /(;Ч0-*(*(').*)),
N t=i
On =argmin VN@). A1.98)
о
Величина (FF.96) и (IF.98) является, очевидно, более обшей и более сложной, чем
(II.7) и A1.8), но она основана на тех же идеях. Прагматическая интерпретация
Гауссом критерия наименьших квадратов как меры близости данных истории доста-
достаточно хорошо применима и к A1.98). Этот способ выбора оценки имеет смысл
также вне вероятностного подхода.
II.4. Задачи
ИЛ. Покажите, что
минимизирует
t'ly-g{*)\2
относительно g (см. (II.1) и (II.2)). Указание: прибавьте и отнимите ~g (^) в последнем
выражении.
И.2. Пусть р{а, Ь) - коэффициент корреляции двух случайных величии а и Ъ\
Соу(д, Ь)
(Уаг(д) • Vv{b)I/Z
Пусть g{ip) определяется, как в задаче П.1. Покажите, что
для любой функции g(*p) [335].
Н.Э. Центральная предельная теорема Ляпунова утверждает: "Пусть
N
Zyv= I ot{k,N)w{k),
k = l
где (w(A)} - лоследовательность независимых случайных величин с
Допустим, что
N
lim X а2(к,
7V-+oo л = 1
N
lim I <у3(
Тогда
/yveAsN@, Л)".
Используйте этот результат для доказательства асимптотической нормальности оценки A1.10)
при соответствующих предположениях относительно { wo(/)}.
СПИСОК ЛИТЕРАТУРЫ*)
1. L V. AHLFORS A979). Complex Analysis. McGraw-Hill. New York.
2. H. Akaike A968). On the use of a linear model for the identification of feedback systems.
Ann. fnst. Stat. Math., vol. 20, pp. 425-439.
3. H. Akaike A969). Fitting autoregressive models for prediction. Ann. Inst. Stat. Math., vol.
21, pp.243-347.
4. H Akaike A972). Information theory and an extension of the maximum likelihood prin-
principle. Proc. 2nd Int. Symp. Information Theory, Supp. to Problems of Control and Infor-
Information Theory, pp. 267-281.
5. H. AKAiKfc A973). Maximum likelihood identification of Gaussian autoregressive moving
average models. Biometrika, vol. 60. pp. 255-265.
6. H. AKAIKfc A974a). A new look at the statistical model identification. IEEE Trans. Autom.
Control, vol. AC-19. pp. 716-723.
7. H. Akaike A974b). Stochastic theory of minimal realization. ШЕЕ Trans. Autom. Control,
vol. AC-19. pp. 667-674.
8*. H Akaike A981). Modern development of statistical methods. In P. Eykhoff. ed.; Trends
and Progress in System Identification, Pergamon Press. Hlmsford. N.Y.
9. В D. О Anderson A985). Identification of scalar errors-in-variables models with dynamics.
Automatica, vol. 21, pp. 709-716.
10. B. D. O. Anderson, and M. R Oevlrs A982). Identifiability of linear stochastic systems
operating under linear feedback. Automatica, vol. 18. pp. 195-213.
11. В D. О Andi-rson and J. В Moorf A979). Optimal Eiltering. Prentice-Hall. Englewood
Cliffs. N.J.
12. В D О Anderson. J B. Moori:. and R. M Hawkfs A978). Model approximation via
prediction error identification. Automatica, vol. 14. pp. 615-622.
13. T. W Andfrson A959). On asymptotic distributions of estimated parameters of stochastic
difference equations. Ann. Math. Stat., vol. 30, pp. 676-687.
14. T. W ANDERSON A971). The Statistical Analysis of Time Series. Wiley, New York.
15. T W Andi-rson A975). Maximum likelihood estimation of parameters of autoregressive
processes with moving average residuals and other covariance matrices with linear struc-
structure. Ann. Stat., vol. 3. pp. 1283-1304.
16. T W Andlrson and J B. Taylor A979). Strong consistency of least-squares estimates in
dynamic models. Ann. Stat., vol. 7, pp. 484-489.
17. P Andi:rsson A985). Adaptive forgetting in recursive identification through multiple
models. Int. J. Control, vol. 42, pp. 1175-1194.
*) Номера, отмеченные звездочкой, см. в Списке литературы на русском языке.
18. F J Anscombe and J W Tlkfy A%3). The examination and analysis of residuals. Tech-
nometrics, vol. 5, pp. 141-160.
19. К J. Astrom A%8). Lectures on the identification problem—the least squares method.
Report 6806. Division of Automatic Control, Lund Institute of Technology, Lund,
Sweden.
20 К J Astrom A969). On the choice of sampling rates in parametric identification of time
series. Inf. Set., vol. 1, pp. 273-278.
2i*. К J Astrom A970). Introduction to Stochastic Control Theory. Academic Press, New York.
22. K. J Astrom A972). Unpublished notes.
23. К J Astrom A975). Lectures on system identification. Chapter 3. Frequency response
analysis. Report 7504, Dept. of Automatic Control, Lund Institute of Technology,
Sweden.
24. К J AstrOm A980). Maximum likelihood and prediction error methods. Automatica, vol.
16, pp. 551-574.
25. К J Astrom A983a). Theory and applications of adaptive control—A survey, Automatica,
vol. 19, pp. 471-486.
26. К J Astrom A983b). Computer-aided modelling, analysis and design of control systems—
A perspective, IEEE Control Systems Magazine, vol. 3, No. 2, pp. 4-16.
27*. К J Astrom andT Bohlin A965). Numerical identification of linear dynamic systems from
normal operating records. It AC Symposium on Self-Adaptive Systems, Teddington, Eng-
England; also in P. H. Hammond, ed.. Theory of Self-Adaptive Control Systems, Plenum
Press. New York.
28. К J Astrom and P Lykhoff A971). System identification—a survey. Automatica, vol. 7,
pp.123-167.
29. К J Astrom and С G Kau.strom A976). Identification of ship steering dynamics. Auto-
Automatica. vol. 12, pp. 9-22.
30. К J Astrom and T Sodfrstrom A974). Uniqueness of the maximum likelihood estimates
of the parameters of an ARMA model. IEEE Trans. Automatic Control, vol. AC-19, pp.
769-773.
31. К J Astrom and B. Wittenmark A971). Problems of identification and control. J. Math.
Analysis and Applications, vol. 34. pp. 90-113.
32. К J Astrom and В Wittenmark A984). Computer Controlled Systems. Prentice-Hall,
linglewood Cliffs, N.J.
H. К J Astrom, E I Jury, and R G Agnmi A970). A numerical method for the evaluation
of complex integrals. IEEE Trans. Automatic Control, vol. AC-15. pp. 468-471.
34. E W Ваг and S S Sastry A985). Persistency of excitation, sufficient richness and param-
parameter convergence in discrete time adaptive control. System and Control Letters, vol. 6, pp.
153-163.
35. H T. Banks, J M Crowi.fy, and K. Kl'Nisch A983). Cubic spline approximation tech-
techniques for parameter estimation in distributed systems. IEEE Trans. Automatic Control,
vol. AC-28.pp. 773-786.
36. S. BARNETT A975). Introduction to Mathematical Control Theory. Oxford University Press.
New York.
37. M. B. Bf.CK and G. van Stratf.N. eds. A983). Uncertainty and Forecasting of Water Quality.
Springer-Verlag. New York.
38. S. Bf.ghelm and R. P Gupor/i A983). Transformations between mpiit-output multi-
structural models—properties and appiicaiions. Int. J. Control, vol. 37. pp. 1385-1400.
39. P. R. BELANGER A985). Model-based tuning of controllers, in On-line Precess Simulation
Techniques in Industrial Control (E. J. Kompass ami T. J. Williams, eds.) Proceedings of
the 11th Annual Advanced Control Conference. Purdue University. Lafayette. Ind., pp.
11-27.
40. R. Bf.llman and K. J Astrom A970). On structural id -ntifiabihty. Math. Biosci.. vol. 7. pp.
329-339.
411
41. J. S. BENDAT and A. G. Pilrsol A980). Engineering Applications of Correlation and Spectral
Analysis. Wiley, New York.
42. A. BENVENiSTt and G. Ruget A982). A measure of the tracking capability of recursive
stochastic algorithms with constant gains. IEEE Trans. Automatic Control, vol. AC-27. pp.
639-649.
43. A. Benveniste, M. Goursat and G Ri'Gi-.T A980). Robust identification of a nonminimum
phase system: Blind adjustment of a linear equalizer in data communication. IEEE Trans.
Automatic Control vol. AC-25, pp. 385-399.
44. K. N. Berk A974). Consistent auto regressive spectral estimates. Ann. Stat.. vol. 2, pp.
489-502.
45. D. P. BERTSEKAS A982). Constrained Optimization and Lagrange Multiplier Methods. Aca-
Academic Press, New York.
46. G. Bethoux A976). Approche unitaire des methodes d'identification et de commande
adaptive des procedes dynamiques. These de 3eme cycle, Universite de Grenoble.
47. G. J. BiERMAN A977). Factorization Methods for Discrete Sequential Estimation. Academic
Press, New York.
48. S. A. Billings A980). Identification of nonlinear systems—A survey. lEEProc. D, vol. 127,
pp. 272-285.
49. S. A. Billings and W S. F. Voon A983). Structure detection and model validity test in the
identification of nonlinear systems. 1EE Proc. D.. vol. 130, no. 4, pp. 193-199.
50. S. A Billings and W. S F. VOON A984). Least-squares parameter estimation algorithms for
nonlinear systems. Intern. J. Systems Science, vol. 15, pp. 601-615.
51. P. BiLLiNGSLtY A965). Ergodic Theory and Information. Wiley, New York.
52. A. BjOrck A967). Solving least squares problems by Gram-Schmidt orthogonalization. BIT,
vol. 7, pp. 1-27.
53. R. В Blackman and J W Tukey A958). The measurement of power spectra from the point
of view of communications engineering. BellSyst. Tech. J., vol. 37, Part I pp. 183-282, Pan
II pp. 485-569.
54. T. Bohlin A970). Information pattern for linear discrete time models with stochastic co-
coefficients. IEEE Trans. Automatic Control, vol. AC-15. pp. 104-106.
55. T. Bohlin A971). On the problem of ambiguities in maximum likelihood identification,
Automatica, vol. 7, pp. 199-210.
56. T. Bohlin A976). Four cases of identification of changing systems. In System Identification:
Advances and Case Studies (R. K. Mehra and D, G. Lainiotis, eds.). Academic Press, New
York.
57. T. Bohlin A978). Maximum-power validation without higher-order fitting. Automatica vol.
14, pp. 137-146.
5g T. Bohlin A987). Model validation. In Encyclopedia of Systems and Control (M. Singh, ed.)
Pergamon Press, Oxford.
59. A J van den Boom and А К. М. van den Enden A974). The determination of the orders of
process and noise dynamics. Automatica, vol. 10, pp. 244-256.
60. W. M. BOOTHBY A975). An Introduction to Differentiable Manifolds and Riemannian
Geometry. Academic Press, New York.
61. G.E.P. Box and D R. Cox A964). An analysis of transformation. Л Roy. Statist. Soc, Ser
B, vol. 26, pp. 211-252.
62*. G. E P. BOX and G M. Jenkins A970). Time Series Analysis, Forecasting and Control.
Holden-Day, San Francisco.
63*. D. R Brillinghr A981). Time Series: Data Analysis and Theory. Holden-Day, San
Francisco.
64. D R BrillingeR A983). The finite Fourier transform of a stationary process. In Handbook
of Statistics, vol. 3 (D. R. Brillinger and P. R. Krishnaiah, eds.), North-Holland, Am-
Amsterdam, pp. 21-37.
65. D. R BRiLLiNGtR and P. R. Krishnaiah, eds. A983). Handbook of Statistics 3: Time Series
in the Frequency Domain. North-Holland, Amsterdam.
412
66. R. W. BROCKETT A970). Finite Dimensional Linear System. Wiley, New York.
67. В. М. Brown A971). Martingale central limit theorems. Ann. Math. Stat., vol. 42, pp. 59-66.
68. J. P. Burg A967). Maximum entropy spectral analysis. Paper presented at the 37th Annual
International Meeting, Soc. of Explor. Geophys., Oklahoma City.
69. С I. Byrnes A976). A brief tutorial on calculus on manifolds, with emphasis on applications
to identification and control. In Nonlinear Stochastic Problems. (R. S. Bucy and J. M. F.
Moura. eds) NATO ASI Series No. СЮ4, Reidel, Boston.
70. C.I Byrnes and N. E. Hurt A979). The moduli of linear dynamical systems. Adv. in Math.,
vol. 4, pp. 83-122.
71. J. A CadzOw A980). High performance spectral estimation—A new ARMA method, IEEE
Trans. Acoustics, Speech and Signal Proc, vol. ASSP-28, pp. 524-529.
72. P. E. Caines A976a). Prediction error identification methods for stationary stochastic pro-
processes. IEEE Trans. Automatic Control, vol. AC-21, pp. 500-505.
73. P. E. Caines A976b). On the asymptotic normality of instrumental variable and least squares
estimators. IEEE Trans. Automatic Control, vol. 21, pp. 598-600.
74. P. E. Caines A978). Stationary linear and nonlinear system identification and predictor set
completeness. IEEE Trans. Automatic Control, vol. AC-23, pp. 583-594.
75. P. E. Caines and C. W. Chan A975). Feedback between stationary stochastic processes.
IEEE Trans. Autom. Control, vol. AC-20, pp. 498-508.
76. G. Carayannis, D. Manolakis, and N. Kalouptsidis A983). A fast sequential algorithm
for least squares filtering and prediction. IEEE Trans. Acoustics, Speech and Signal Pro-
Processing, vol. ASSP-31, pp. 1394-1402.
77. R. J. Carrol and D. Rlppert A984). Power transformations when fitting theoretical models
to data. J. American Statistical Assoc., vol. 79. pp. 321-329.
78. K. L. CHUNG A974). A Course in Probability Theory, 2nd ed. Academic Press, New York.
79. K. L. CHUNG A979). Elementary Probability Theory with Stochastic Processes. 3rd ed.
Springer-Verlag, New York.
80. J Cioffi and T. Kailath A984). Fast recursive least-squares transversal filters for adaptive
filtering. IEEE Trans. Acoustics, Speech and Signal Processing, vol. ASSP-32, pp. 304.
81. J. M. С Clark A976). The consistent selection of parametrizations in systems identification.
Proc. Joint Automatic Control Conference (JACC), Purdue University, Lafayette. Ind.,
pp.576-580.
82. D W. Clarke A967). Generalized least squares estimation of parameters of a dynamic
model. First IFAC Symposium on Identification in Automatic Control Systems, Prague.
83. D. CoCHRANE, and G. H Orcutt A949). Application of least squares regression to re-
relationships containing autocorrelated error terms. J. Amer. Statist. Assoc. vol. 44, pp.
32-61.
84. DR. Cook and S. Weisberg A982). Residuals and Influence in Regression. Chapman and
Hall, New York.
85. J- W. Cooley and J. W. Tukey A965). An algorithm for the machine calculation of complex
Fourier series, Math. Comput., vol. 19, pp. 297-301.
86- G. O. Correa and K. Glover A984). Pseudo-canonical forms, identifiable parametrizations
and simple parameter estimation for linear multivariable systems. Automatica, vol. 20, pp.
429-452.
87*. H. Cramer A946). Mathematical Methods of Statistics. Princeton University Press, Prince-
Princeton, N.J.
88. G. Cybenko A980). The numerical stability of the Levinson-Durbin algorithm for Toeplitz
systems of equations, SIAMJ. Science, 1C), pp. 303-319.
89. G. Cybenko A984). The numerical stability of the lattice algorithm for least squares linear
prediction problems. BIT, vol. 24, pp. 441-455.
90. C. Daniel and F. S. Wood A980). Fitting Equation to Data, 2nd ed. Wiley, New York.
91. P. J. Daniell A946). Discussion of paper by M. S. Bartlett. J. Roy. Statist. Soc, suppl. 8:27.
413
92. W. D. Т. Davies A970). System Identification for Self-Adaptive Control. Wiley-Interscience,
New York.
93. M. M. A. Davis and R. B. Vinter A985). Stochastic Modelling and Control, Chapman and
Hall, London.
94. D. F. Delchamps and C. I. Byrnes A982). Critical point behavior of objective functions
defined in spaces of multivariable systems. Proc. 21st IEEE Conference on Decision and
Control, Orlando, Fla., pp. 919-924.
95. A. P. Dempster, N. M. Laird, and D. B. Rubin A977). Maximum likelihood from incom-
incomplete data via the EM algorithm. Ann. Royal Stat. Soc, vol., pp. 1-38.
96. D. G. Denery A971). Simplification in computation of sensitivity function for constant
coefficient linear systems. IEEE Trans. Automatic Control, vol. AC-16, pp. 348.
97. J. E. Dennis, Jr. and R. B. Schnabel A983). Numerical Methods for Unconstrained Opti-
Optimization and Nonlinear Equations. Prentice-Hall, Englewood Cliffs, NJ.
98. J. E. Dennis, Jr. D. M. Gay, and R. E. Welsch A981). An adaptive nonlinear least-squares
algorithm, ACM T. Math. Software, vol. 7, 348-368, 369-383.
99. P. H. Diananda A953). Some probability limit theorems with statistical applications. Proc.
Cambridge Philos. Soc, vol. 49, pp. 239-246.
100. B. W. Dickinson, T. Kailath, and M. Morf A974). Canonical matrix fraction and state-
space descriptions for deterministic and stochastic linear systems. IEEE Trans. Automatic
Control, vol. AC-19, pp. 656-667.
101. N. R. Draper and H. Smith A981). Applied Regression Analysis, 2nd ed. Wiley, New York.
102. D. G. Dudley A983). Parametric identification of transient electro-magnetic systems. Wave
Motion, vol. 5, pp. 369-384.
103. L. Dugard and I. D. Landau A980). Recursive output error identification algorithms.
Automatica, vol. 16, pp. 443-462.
104. W. Dunsmuir and E. J. Hannan A976). Vector linear time series models. Advances in
Applied Prob., vol. 8, pp. 339-364. See also M. Deistler, W. Dunsmuir, and E. J. Hannan,
Vector Linear Time Series Models, Corrections and Extensions, in Advances in Applied
Prob. vol. 10, pp. 360-372, 1978.
105. J. Durbin A959). Efficient estimators of parameters in moving average models. Biometrica,
vol. 46, pp. 306-316.
106. J. Durbin A960). The fitting of time-series models, Rev. Inst Int. Stat., vol. 28, no. 3, pp.
233-243.
107. A. Dvoretzky A972). Asymptotic normality for sums of dependent random variables.
Proc. 6th Berkeley Symp. on Math Statist., Berkeley, Calif., pp. 513-535.
108. K. O. Dzhaparidze and A. M. Yaglom A983). Spectrum parameter estimation in time
series analysis. In Developments in Statistics (P. R. Krishnaiah, ed.). Academic Press, New
York.
109. J. H. Eaton A967). Identification for Control Purposes. IEEE winter meeting, New York.
110*. P. Eykhoff A974). System Identification. Wiley, New York.
111*. P. Eykhoff (ed.) A981). Trends and Progress in System Identification. Pergamon Press,
Elmsford, N.Y.
112. P. Eykhoff A985). Biomedical identification: Overview, problems and prospects. Proc 7th
IFAC Symposium on Identification System Parameter Estimation, York, U.K., pp. 37-45.
113. S. J. Farlow A984). Self-organizing Methods in Modelling -GMDH type Algorithms, Mar-
Marcel Dekker, New York.
114*. V. V. Fedorov A972). Theory of Optimal Experiments. Academic Press, New York.
115. T. L. Fine and W. G. Hwang A979). Consistent estimation of system order. IEEE Trans
Automatic Control, vol. AC-24, pp. 387-402.
116. В. М. FInigan and I. H. Rowe A974). Strongly consistent parameter estimation by the
introduction of strong instrumental variables. IEEE Trans. Automatic Contra! vol.
AC-19, pp. 825-930.
414
117. R A. Fisher A912). On an absolute criterion for fitting frequency curves. Mess. Math. vol.
41, p. 155.
118. F. Fnaiech and L. Ljung A986). Recursive identification of bilinear systems, Int. J. Control,
to appear.
119. E. Fogel and Y. F. Huang A982). On the value of information in system identifica-
identification—bounded noise case. Automatica, vol. 18, pp. 224-238.
120. T. R. Fortesque, L. S. Kershhnbaum and В. Е. Ydstie A981). Implementation of
self-tuning regulators with variable forgetting factors. Automatica. vol. 17, pp. 831-835.
121. D. K. Frederick and С. М. Close A978). Modelling and Analysis of Dynamic Systems,
Houghton Mifflin, Boston.
122. T. G. Freeman A985). Selecting the best linear transfer function model. Automatica, vol. 21,
no. 4, pp. 361-370.
123*. B. FRIEDLANDER A982a). Lattice filters for adaptive processing. Proc. IEEE, vol. 70, pp.
829-867.
124. B. Friedlander A982b). System identification techniques for adaptive signal processing.
IEEE Trans. Acoustics, Speech and Signal Processing, vol. ASSP-30, pp. 240-246.
125. B. FRIEDLANDER, M. Morf, T. Kailath and L Ljung A979). New inversion formulas for
matrices classified in terms of their distance from Toeplitz matrices, Linear Algebra and Its
Applications, vol. 27, pp. 31-60.
126. B. P. FUHRT A973). New estimator for the identification of dynamic processes. IBK Report,
Institut Boris Kidric Vinca, Belgrade, Yugoslavia.
127. M. M. Gabr and T. Subba Rao A984). On the identification of bilinear systems from
operating records. Int. J. Control, vol. 40, pp. 121-128.
128. K. F. Gauss A809). Theoria motus corporum celestium. English translation: Theory of the
Motion of the Heavenly Bodies. Dover, New York A963).
129. A. Gauthier and I. D. Landau A978). On the recursive identification or multi-input,
multi-output systems. Automatica, vol. 14, pp. 609-614.
130. N. C. Gecklini and D. Yavlz A978). Some novel windows and concise tutorial comparison
of window families. IEEE Trans. Acoustics, Speech, and Signal Processing, ASSP-26, pp.
501-507.
131. J. Gertler and Cs. BAnyasz A974). A recursive (on-line) maximum likelihood identifica-
identification method. IEEE Trans. Automatic Control, vol. AC-19, pp. 816-820.
132. M. Gevers and G. Bastin A982). What does system identification have to offer? Proc 6th
IFAC Symposium on Identification and System parameter Estimation. Washington, D.C.
133. M. Gevers and L. Ljung A986). Optimal experiment designs with respect to the intended
model application. Automatica, vol. 22 (Sept) to appear.
134. M. Gevers and V. Wertz A984). Uniquely identifiable state-space and ARMA parametri-
zations for multivariable systems. Automatica, vol. 20, pp. 333-347.
135. K. Glover and J. С Willems A974), Parametrizations of linear dynamical systems—
canonical forms and identifiability. IEEE Trans. Automatic Control, vol. AC-19, pp.
640-646.
136. K. R. Godfrey A980). Correlation methods. Automatica, vol. 16, pp. 527-534.
137. K. R. Godfrey A983). Compartmental Models and Their Applications. Academic Press,
New York.
138. K. R. Godfrey and J. J. Distefano, III A985). Identifiability model parameters. Proc. 7th
IFACSymp. on Identification Systems and Parameter Estimation, York, U.K., pp. 89-114.
139. G. С Goodwin A985). Some observations on robust estimation and control. Proc. 7th IFAC
Symp. on System Identification, York, U.K., pp. 853-860.
140. G. C. Goodwin A987). Experiment design for system identification. In Encyclopedia of
Systems and Control (M. Singh, ed.). Pergamon Press, Oxford.
141. G. C. Goodwin and R. L. Payne A977). Dynamic System Identification: Experiment Design
and Data Analysis, Academic Press, New York.
142. G. C. Goodwin and K. S. Sin A984). Adaptive Filtering, Prediction and Control. Prentice-
Hall, Englewood Cliffs, N.J.
415
143. G С. Goodwin, R J. Evans, R. Lozano Leal and R Feik A986). Sinusoidal disturbance
rejection with application to helicopter flight data. IEEE Trans. Acoustics, Speech and
Signal Proc, vol. ASSP-34, pp. 479^84.
144. C.W.J. Granger A964). Spectral Analysis of Economic Time Series. Princeton University
Press, Princeton, N.J.
145. C. W. J. Granger and P. Newbold A977). Forcasting Economic Time Series. Academic
Press, New York.
146. D. Graupe, V. K. Jain, and J. Salahi A980). A comparative analysis of various least-
squares identification algorithms. Automatica, vol. 16, pp. 663.
147. U. Grenander and M. Rosenblatt A957). Statistical Analysis of Stationary Time Series.
Chelsea, New York Bnd ed., 1984).
148. L. J Griffiths A977). A continuously adaptive filter implemented as a lattice structure.
Proc. 1977 IEEE Intern. Conf. Acoustics, Speech and Signal Processing, pp. 683-686.
149. G. GrCbel A985). Uncertainty and Control—some activities at DFVLR, in Lecture Notes
in Control and Information Sciences, vol. 70 (J. Ackermann, ed.), Springer Verlag, New
York, pp. 1-47.
150. R- Guidorzi A975). Canonical structures in the identification of multivariable systems.
Automatica, vol. 11, pp. 361-374.
151. R Guidorzi A981). Invariants and canonical forms for systems structural and parametric
identification. Automatica, vol. 17, pp. 117-133.
152. N. K. Gupta and R. K. Mehra A974). Computational aspects of maximum likelihood
estimation and reduction in sensitivity function calculations. IEEE Trans. Automatic Con-
Control, vol. AC-19, no. 6, pp. 774-783.
153. I. Gustavsson A975). Survey of application of identification in chemical and physical pro-
processes. Automatica, vol. 11, pp. 3-25.
154. I. Gustavsson, L. Ljung, and T. Soderstrom A977). Identification of processes in closed
loop—Identification and accuracy aspects. Automatica, vol. 13, no. 1, pp. 59-75.
155. I. Gustavsson, L. Ljung, and T. Soderstrom A981). Choice and effect of different feed-
feedback configurations. In Trends and Progress in Systems Identification (P. Eykhoff, ed.).
Pergamon Press, Oxford, pp. 367-388.
156. R. Haber A985). Nonlinearity tests for dynamic processes. Proc. 7th IFACSymp. on System
Identification, York, U.K., pp. 409-413.
157. R. Haber and L. Keviczky A976). Identification of nonlinear dynamic systems. Proc. 4th
IF AC Symposium on Identification and System Parameter Estimation, Tbilisi, North-
Holland, Amsterdam, paper S-4, pp. 62-112.
158. B. Hagberg and N. H. Schoon A974). Kinetic aspects of the acid sulfite cooking process.
Part 3: Mathematical simulation of cooks. Svensk Papperstidning, vol. 72, pp. 557-562.
159. T. Hagglund, A984). Adaptive control of systems subject to large parameter changes.
Proc. 9th IFAC World Congress, Budapest Hungary, pp. 993-998.
160. P. Hall and С С. Heyde A980). Martingale Limit Theory and Its Applications. Academic
Press, New York.
161. F. R. Hampel A974). The influence curve and its role in robust estimation. J. Am. Stat.
Assoc, vol. 69, pp. 383-394.
162. E. J. Hannan A969). The identification of vector mixed autoregressive moving average
systems. Biometrika, vol. 56, pp. 223-225.
163*. E. J. Hannan A970). Multiple Time Series. Wiley, New York.
164. E. J. Hannan A971a). The identification problem for multiple equation systems with moving
average errors. Econometrica, vol. 39, pp. 751-766.
165. E. J. Hannan A971b). Nonlinear time series regression. J. Appl. Prob., vol. 8, pp. 767-780.
166. E. J. Hannan A973). The asymptotic theory of linear time series models. J. App. Prob., vol.
10, pp. 135-145.
167. E. J. Hannan A976). The identification and parametrization of ARM AX and state space
forms. Econometrica, vol. 44, pp. 713-723.
416
168. E. J. Hannan A979). The statistical theory of linear systems. In Developments in Statistics,
vol. 2 (P. Krishnaiah, ed.). Academic Press, New York.
169. E. J. Hannan A980a). Recursive estimation based on ARM A models. Ann. Statis. vol. 8,
pp. 762-777.
170. E. J. Hannan A980b). The estimation of the order of an ARM A process. Ann. Statis., vol. 8,
pp. 1071-1081.
171. E. J. Hannan and L Kavaueris A984). Multivariate linear time series models. Adv. Appl.
Prob. vol. 16, pp. 492-561.
172. E. J. Hannan and B. G Quinn A979). The determination of the order of an autoregression.
7. Royal Stat. Soc. Ser. В., vol. 41, pp. 71Л-723.
173. E. J. Hannan, P. R. Krishnaiah, and M. M. Rao, eds. A985). Handbook of Statistics 5:
Time Series in the Time Domain. North-Holland, Amsterdam.
174. R. Hastings-James and M. W. Sage A969). Recursive generalized least squares procedure
for on-line identification of process parameters. IEE Proc., vol. 116, pp. 2057-2062.
175. M. Hazewinkel and R. E. Kalman A976). On invariants, canonical forms and moduli for
linear constant, finite-dimensional dynamical systems. In Lecture Notes, Econo-Math.
Systems Theory, vol. 133, pp. 48-60, Springer-Verlag, New York.
176. S. D. Hill A985). Reduced gradient computation in prediction error identification. IEEE
Trans. Automatic Control, vol. AC-30, pp. 776-778.
177. Y. С Ho A963). On the stochastic approximation method and optimal filtering theory. J.
Math. Analysis and Applications, vol. 6, pp. 152-154.
178. B. L. Ho and R. E. Kalman A965). Effective construction of linear state-variable models
from input-output functions. Regelungstechnik, vol. 12, pp. 545-548.
179. D. С Hoaglin, F. Mosteller, and J. W. Tukey, eds. A983). Understanding Robust and
Exploratory Dam Analysis. Wiley, New York.
180. A Holmberg and J. Ranta A982). Procedures for parameter and state estimation of
microbial growth processes. Automatica, vol. 18, pp. 181-193.
181. ML. Honig and D G. Messerschmitt A984). Adaptive Filters: Structures, Algorithms and
Applications. Kluwer, Boston.
182. A. S. Householder A964). The Theory of Matrices in Numerical Analysis, Blaisdell, New
York.
183. Т. С Hsia A977). Identification: Least Squares Methods. Lexington Books, Lexington,
Mass.
184*. P J HuBhR A981). Robust Statistics. Wiley, New York.
185. I A Ibragimov and Yu. V. Linnik A971). Independent and Stationary Sequences of
Random Variables. Amsterdam: Groningen, Wolters, Noordhoff.
186. R. Isermann A980). Practical aspects of process identification, Automatica, vol. 16, pp.
575-587.
187. R iSHRMANN, ed. A981). Automatica, vol. 17, no. 1, Special Issue on System Identification.
188*. A. G Ivakhnenko A968). The group method of data handling—A rival of stochastic ap-
approximation. Sov. Autom. Control, vol. 3, p. 43.
189. A. J Jakeman A985). Application of identification and system parameter estimation to
environmental problems: Some recent examples. Proc. 7th IFAC Symp. on Identification
and System Parameter Estimation, York, U.K., pp. 445-450.
190. A. Jakeman and P. C. Young A979). Refined instrumental variable methods of recursive
time-series analysis. Part II. Multivariable systems. Intern. J. Control, vol. 29, pp.
621-644.
191. H M James, N. B. Nichols, and R. S. Phillips A947). Theory of Servomecnanisms.
McGraw-Hill, New York.
192. A H. Jazwinski A970). Stochastic Processes and Filtering Theory. Academic Press, New
York.
193*. G M Jenkins and D G. Watts A968). Spectral Analysis and Its Applications. Holden-Day,
San Francisco.
417
194. R I Jennrich A969). Asymptotic properties of nonlinear least squares estimators. Ann.
Math. Statis., vol. 40, no. 2, pp. 633-643.
195. P. V. Kabaila A983). On output-error methods for system identification. IEEE Trans.
Autom. Control, vol. AC-28, pp. 12-23.
196. P. V. Kabaila and G. C. Goodwin A980). On the estimation of the parameters of an
optimal interpolator when the class of interpolators is restricted, SI AM J. Control and
Optimization, vol. 18, no. 2, pp. 121-144.
197. T. Kailath A974). A view on three decades of linear filtering theory. IEEE Trans. Informa-
Information Theory, vol. IT-20, pp. 146-181.
198. T. Kailath A980). Linear Systems. Prentice-Hall, Englewood Cliffs, N.J.
199. T. Kailath, R K. Mehra, and D Q. Mayne, eds. A974). IEEE Trans. Automatic Control,
vol. AC-19, no. 6, Special Issue on System Identification.
200. C. G. KallstrOm A979). Identification and adaptive control applied to ship steering;
CODEN:LUTFD2(/(TFRT-1018)/1-192. Dept. of Automatic Control, Lund Institute of
Technology, Lund, Sweden.
201. C. G. KallstrOm and K. J. AstrOm A981). Experiences of system identification applied to
ship steering. Automatica, vol. 17, pp. 187-198.
202. C. G. KallstrOm, T Essebo, and K. J. Astrom A976). A computer program for maximum
likelihood identification of linear multivariable stochastic systems. Proc. 4th IFAC Symp.
on Identification and System Parameter Estimation, Tiblisi, USSR. North-Holland,
Amsterdam, pp. 508-521.
203. С G. KallstrOm, K. J. AstrOm, N. E. Thorell, J. Eriksson, and L. Sten A979). Adap-
Adaptive autopilots for tankers. Automatica, vol. 15, pp. 241-254.
204. R. E. Kalman A960). On the general theory of control systems. Proc. First IFAC Congress,
Moscow. Butterworths, London, vol. I, pp. 481-492.
205. R. E. Kalman A974). Algebraic geometric description of the class of linear systems of
constant dimensions. 8th Ann. Princeton Conf. Information Sciences and Systems, Prince-
Princeton, N.J., pp. 189-191.
206. R. E. Kalman A983). Identifiability and modelling in econometrics. In P. R. Krishnaiah
(eds.), Developments in Statistics, vol. 4, Academic Press, New York.
207. R. E. Kalman and R. S. Blcy A961). New results in linear filtering and prediction theory.
Trans. ASME, J. Basic Engineering (ser. Dl vol. 83, pp. 95-108.
208. R. L. Kashyap A970). Maximum likelihood identification of stochastic linear system. IEEE
Trans. Automatic Control, vol. AC-15, pp. 25.
209. R. L. Kashyap and R. E. Nasburg A974). Parameter estimation in multivariable stochastic
difference equations. IEEE Trans. Automatic Control, vol. AC-19, pp. 784-797.
210. R. L. Kashyap and A. R Rao A976). Dynamic Stochastic Models from Empirical Data.
Academic Press, New York.
211*. S. M. Kay and S L. Marple A981). Spectrum analysis—A modern perspective. Proc. IEEE,
vol. 69, pp. 1380-1419.
212*. M G. Kendall and A Stuart A961). Advanced Theory of Statistics. Griffin, London.
213*. R. Z. Khasminski A966). On stochastic processes defined by differential equations with
small parameter. Theory of Probability and Its Applications, vol. 11, pp. 211-288.
214*. A. N. Kolmogorov A941a). Interpolation und Extrapolation von stationaren zufalligen
Folgen. Bull. Acad. Set. deVU.R.S.S., vol. 5, pp. 3-14.
215*. A. N. Kolmogorov A941b). Stationary sequences in Hilbert Space (in Russian). Bull.
Moscow State U. Math., vol. 2, pp. l^tt).
216. W. S. Krasker and RE. Welsch A982). Efficient bounded influence regression estimation.
J. Am. Stat. Assoc, vol. 77, pp. 595-605.
217. C. S. Kubrusly A977). Distributed parameter system identification—A survey. Int J.
Control, vol. 26, pp. 509-535.
218. V. Kucera A979). Discrete Linear Control. Academia, Prague.
219* S. Kullback A959). Information Theory and Statistics. Wiley, New York.
418
220. s. Kullback and R. A. Leibler A951). On information and sufficiency. Ann. Math. Statis.,
vol. 22, pp. 79-86.
221. В. С Kuo A982). Automatic Control Systems. Prentice-Hall, Englewood Cliffs, N J.
222. H. J. KusHNER and D. S. Clark A978). Stochastic Approximation Methods for Constrained
and Unconstrained Systems. Springer-Verlag, New York.
223. H. J. Kushner and H. Huang A979). Rates of convergence for stochastic approximation
type algorithms. SI AM J. Control and Optimization, vol. 17, pp. 607-617.
224. H. J. Kushner and H. Huang A981). Asymptotic properties of stochastic approximations
with constant coefficients. SI AM J. Control and Optimization, vol. 19, pp. 87-105.
225. T. L. Lai and C. Z. Wei A982). Asymptotic properties of projections with applications to
stochastic regression problems. J. Multivariate Analysis, vol. 12, pp. 346-370.
226. i D. Landau A976). Unbiased recursive identification using model reference techniques.
IEEE Trans. Automatic Control, vol. AC-21, pp. 194-202. See also I. D. Landau, an
addendum to "Unbiased recursive identification using model reference adaptive tech-
techniques," IEEE Trans. Automatic Control, vol. AC-23, pp. 97-99.
227. I. D Landau A979). Adaptive Control. The Model Reference Approach. Marcel Dekker,
New York.
228. C. L. Lawson and R J. Hanson A974). Solving Least Squares Problems. Prentice-Hall,
Englewood Cliffs, NJ.
229. D T. Lee, M. Morf, and B. Friedlander A981). Recursive least squares ladder estimation
algorithms. IEEE Trans. Acoustics, Speech and Signal Processing, vol. ASSP-29, pp.
627-641.
230*. R С. К. Lee A964). Optimal Estimation, Identification and Control. MIT Press, Cambridge,
Mass.
231. B. Leden, M H. Hamza, and M. A. Sheirah A976). Different methods for estimating
thermal diffusivity of a heat process. Auto matica, vol. 12, pp. 445-456.
232. C. L. Leondes, ed. A987). Advances in Control, Vol. 24. Academic Press, New York.
233. I. J. Leontaritis and S. A. Billings A985). Input-output parametric models for nonlinear
systems. Intern. J. Control, vol. 41, pp. 303-344.
234. K. Levenberg A944). A method for the solution of certain nonlinear problems in least
squares. Quart. Appl. Math., vol. 2, pp. 164-168.
235. N. Levinson A947). The Wiener rms (root mean square) error criterion—filter design and
prediction./. Math. Phys., vol. 25, pp. 261-278.
236. D. W. Lin A984). On digital implementation of the fast Kalman algorithm. IEEE Trans,
Acoustics, Speech and Signal Processing, vol. ASSP-32, pp. 918.
237. B. L. Lindgren A976). Statistical Theory, 3rd Ed. Macmillan, New York.
238. L. LJUNG A971). Characterization of the concept of "persistently exciting" in the frequency
domain. Report 7119, Division of Automatic Control, Lund Institute of Technology,
Lund, Sweden.
239. L. Ljung A974). On consistency for prediction error identification methods. Report 7405,
Division of Automatic Control, Lund Institute of Technology, Lund, Sweden.
240. L. Ljung A976a). On consistency and identifiability. Mathematical Programming Study No.
5, North-Holland, Amsterdam, pp. 169-190.
241. L. Ljung A976b). Consistency of the least-squares identification method. IEEE Trans.
Automatic Control, vol. AC-21, pp. 779-781.
242. . L. Ljung A976c). On the consistency of prediction error identification methods. In System
Identification, Advances and Case Studies (R. K. Mehra and D. G. Lainiotis, eds.).
Academic Press, New York, pp. 121-164.
243. L. Ljung A977a). On positive real transfer functions and the convergence of some recursive
schemes. IEEE Trans. Automatic Control, vol. AC-22, pp. 539-551.
244. L. Ljung A977b). Analysis of recursive stochastic algorithms. IEEE Trans. Automatic
Control, vol. AC-22, pp. 551-575.
245. L. LJUNG A978a). Convergence analysis of parametric identification methods. IEEE Trans.
Automatic Control, vol. AC-23, pp. 770-783.
419
246. L. Ljung A978b). Strong convergence of a stochastic approximation algorithm. Ann. Statis.,
vol. 6, pp. 680-6%.
247. L. Ljung A979a). Asymptotic behavior of the extended Kalman filter as a parameter esti-
estimator for linear systems. IEEE Trans. Automatic Control, vol. AC-24, pp. 36-50.
248. L. Ljung A979b). Convergence of recursive estimators. Proc. 5th IF AC Symp. on Identifica-
Identification and System Parameter Estimation, Darmstadt, FRG (Pergamon Press, Elmsford,
N.Y.), pp. 131-144.
249. L. Ljung A981). Analysis of a general recursive prediction error identification algorithm.
Automatica, vol. 17, pp. 89-100.
250. L. Ljung A984). Analysis of stochastic gradient algorithms for linear regression problems.
IEEE Trans. Information Theory, vol. IT-30, no. 2, pp. 151-160.
251. L. Ljung A985a). On the estimation of transfer functions. Automatica, vol. 21, pp. 677-6%.
252. L. Ljung A985b). Asymptotic variance expressions for identified black-box transfer function
models. IEEE Trans. Automatic Control, pp. 834-844.
253. L. Ljung A985c). Asymptotic variances of transfer function estimates obtained by the
instrumental variable method. Proc. 7th IF AC Symp. on Identification and System Param-
Parameter Estimation, York, U.K., pp. 1341-1344.
254¦ L. Ljung A985d). Asymptotic properties of the least squares method for estimating transfer
functions and disturbance spectra. Report LiTH-ISY-I-0710, Department of Electrical
Engineering, Linkdping University, Linkoping, Sweden.
255. L. Ljung A985e). A nonprobabilistic framework for signal spectra. Proc. 24th IEEE Conf.
on Decision and Control, Fort Lauderdale, Fla., pp. 1056-1060.
256. L. Ljung A986a). Parametric methods for identification of transfer functions of linear
systems. In Advances in Control, vol. 24 (C. L. Leondes, ed.). Academic Press, New York.
257. L. Ljung A986b). System Identification Toolbox: Manual, The MathWorks, Inc., Sherborn,
Mass.
258. L. Ljung and P. E. Caines A979). Asymptotic normality of prediction error estimation for
approximate system models. Stochastics, vol. 3, pp. 29-46.
259. L. Ljung and K. Glover A981). Frequency domain versus time domain methods in system
identification. Automatica, vol. 17, no. 1, pp. 71-86.
260. L. Ljung and A. J. M. van Overbeek A978). Validation of approximate models obtained
from prediction error identification, Proc. 7th IFAC Congress, Helsinki, paper 45 A.3, pp.
1899-1980.
261. L. Ljung and J. Rissanen A976). On canonical forms, parameter identifiability and the
concept of complexity. Proc. 4th IFAC Symposium on Identification and System parameter
estimation. Tbilisi, USSR, (North-Holland, Amsterdam), paper 13.6, pp. 58-69.
262. L. Ljung and T Soderstrom A983). Theory and Practice of Recursive Identification. MIT
Press, Cambridge, Mass.
263. L. Ljung and Z D Yuan A985). Asymptotic properties of black-box identification of
transfer functions. IEEE Trans. Autom. Control, vol. AC-30, pp. 514-530.
264. L. Ljung , M. Morf, and D Falconer A978). Fast calculation of gain matrices for recursive
estimation schemes. Intern. J. Control, vol. 27, pp. 1-19.
265. L. Ljung, T. SoderstrOm, and I. Gustavsson A975). Counterexamples to general
convergence of a commonly used recursive identification method. IEEE Trans. Automatic
Control, vol. AC-20, no. 5, pp. 643-652.
266. S. Dung and L. Ljung A982). Fast numerical solution of Fredholm integral equations with
stationary kernels, BIT, vol. 22, pp. 54-72.
267. S Ljung and L. Ljung A985). Error propagation properties of recursive least-squares
adaptation algorithms. Automatica, vol. 21, no. 2, pp. 157-167.
268. D G. Luenberger A967). Canonical forms for linear multivariable systems. IEEE Trans.
Automatic Control, AC-12, p. 290.
269. D. G. Luhnberger A971). An introduction to observers. IEEE Trans. Automatic Control,
vol. AC-16. pp. 596-603.
420
270. D. G Luenberger A973). Introduction to Linear and Nonlinear Programming. Addison-
Wesley, Reading, Mass.
271. O. Macchi and E. Eweda A983). Second order convergence analysis of stochastic adaptive
linear filtering. IEEE Trans. Automatic Control, vol. AC-28, pp. 76-85.
272. J. Makhoul A977). Stable and efficient lattice methods for linear prediction. IEEE Trans.
Acoustics, Speech and Signal Processing, vol. ASSP-25, pp. 423-^28.
273. J. Makhoul and J. Wolf A972). Linear prediction and the spectral analysis of speech,
NTIS, No. AD-749066. ВBN Report No, 2304. Bolt, Baraneck and Newman, Inc., Cam-
Cambridge, Mass.
274. E. Malinvaud A980). Statistical Methods of Econometrics. North-Holland, Amsterdam.
275. С L. Mallows A973). Some comments on Cp. Technometrics, vol. 15, pp. 661-676.
276. H. B. Mann and A. Wald A943). On the statistical treatment of linear stochastic difference
equations. Econometrica, vol. 11, pp. 173-220.
277. J. D. Markel and A. H. Gray, Jr A976). Linear Prediction of Speech. Springer- Verlag, New
York.
278. D. W. MarOUARDT A963). An algorithm for least squares estimation of nonlinear param-
parameters. J. SI AM, vol. 11, pp. 431^41.
279. D. Q. Mayne A967). A method for estimating discrete time transfer functions. In Advances
in Computer Control, Second UKAC Control Convention, University of Bristol.
280. D. Q. Mayne and F. FiROOZAN A982). Linear identification of ARMA processes. Auto-
matica, vol. 18, pp. 461-466.
281. R- K. Mehra A974a). Optimal input signals for parameter estimation in dynamic systems—
A survey and new results. IEEE Trans. Automatic Control, vol. AC-19, pp. 753-768.
282. R. К Mehra A974b). Identification in control and econometrics: Similarities and
differences. Ann. Economic and Social Measurement, vol. 3, p. 21.
283. R. K. Mehra A979). Nonlinear system identification. Proc. 5th IFAC Symp. Identification
and System Parameter Estimation, Darmstadt, FRG, (Pergamon Press, New York) paper
S-4, pp. 77-85.
284. R- K. Mehra A981). Choice of input signals. In Trends and Progress in Systems Identifica-
Identification (P. Eykhoff, ed.). Pergamon Press, Elmsford, N.Y.
285. R- K. Mehra and D. G. Lainiotis, eds. A976). System Identification-Advances and Case
Studies. Academic Press, New York.
286. R. K. Mehra and J. S. Tyler A973). Case studies in aircraft parameter identification. Proc.
3rd IFAC Symposium on Identification and System Parameter Estimation. North-Holland,
Amsterdam, pp. 117-144.
287.. J. M. Mendel A973). Discrete Techniques of Parameter Estimation. The Equation Error
Formulation. Marcel Dekker, New York.
288. J. Mendel A983). Optimal Seismic Deconvolution: An Estimation-based Approach. Aca-
Academic Press, New York.
289. J. Mendel A985). Some representation, measurement, estimation and validation problems
in reflection seismology. Proc. 7th IFAC Symp. on Identification and System Parameter
Estimation, York, U.K., pp. 115-124.
290. M. Metivier and P. Priouret A984). Applications of t Kushner and Clark lemma to
general classes of stochastic algorithms. IEEE Trans. Infor. Theory, vol. IT-30, pp.
140-151.
291. M. Milanese and R. Tempo A985). Optimal algorithms theory for robust estimation and
prediction. IEEE Trans. Autom. Control, vol. AC-30, pp. 730-738.
292. M. Milanese, R. Tempo, and A. Vicino A986). Strongly optimal algorithms and optimal
information in estimation problems. J. of Complexity, vol. 2, pp. 78-94.
293. R. R. MohlerA973). Bilinear Control Processes. Academic Press, New York.
294. J. B. MOORE A983). Persistence of excitation in extended least squares. IEEE Trans.
Automatic Control, vol. AC-28, pp. 60-68.
421
295. J В. Moore and G. Ledwicii A980). Multivariable adaptive parameter and state estimators
with convergence analysis. J. Australian Math. Soc, vol. 21, pp. 176-197.
296. J B. Moore and H. Weiss A979). Recursive prediction error methods for adaptive esti-
estimation. IEEE Trans. Systems, Man and Cybernetics, vol. SMC-9, pp. 197-205.
297. M. Morf A974). Fast algorithms for multivariable systems. Ph.D. dissertation, Stanford
University, Stanford, Calif.
298. M. Morf and T. Kailath, A975). Square-root algorithms for least squares estimation. IEEE
Trans. Automatic Control, vol. AC-20, pp. 487-497.
299. M. Morf, B. Dickinson, T. Kailath and A. Vieira A977). Efficient solution of covariance
equations for linear prediction. IEEE Trans. Acoustics, Speech and Signal Processing, vol.
ASSP-25, pp. 429-433.
300. M. S. Mueller A981). Least square algorithms for adaptive equalizers. BellSyst. Tech. J.,
vol. 60, pp. 1905.
301. С. Т. Mullis and R. A. Roberts A976). Synthesis of minimum round-off noise in fixed point
digital filters. IEEE Trans. Circuits and Systems, vol. CAS-23, pp. 551-562.
302. B. Musicus A982). Iterative algorithms for optimal signal reconstruction and parameter
identification given noisy and incomplete data. Ph.D. Thesis. Tech. Report 496, MIT,
Research Laboratory of Electronics, Cambridge, Mass.
303. K. S. Narendra and P. G. Gallman A966). An iterative method for identification of
nonlinear systems using a Hammerstein model. IEEE Trans. Automatic Control, vol.
AC-ll,p.546.
304. A. Nehorai and M. Morf A984). Recursive identification algorithms for right matrix
fraction description models. IEEE Trans. Automatic Control, vol. AC-29, pp. 1103-1106.
305. C. D. Neuman and A. K. Sood A972). Sensitivity functions for multi-input linear time-
invariant systems. Part 2: Minimal order models. Intern. J. Control, vol. 15, p. 451.
306. V. V. Nguyen and E. G. Wood A982). Review and unification of linear identifiability
concepts. S1AM Rev., vol. 24, pp. 34-51.
307. H. Nicholson, ed. A981). Modelling of Dynamical Systems, vol. 2. IEE Control En-
Engineering Series 13, Peter Peregrinus Ltd., Stevenage, U.K.
308 A. Niederlinski A984). Convergence of least squares dynamic system identification with
finite-accuracy data. Intern. J. Control, vol. 15, pp. 479-486.
309. A V. Oppenheim and R. W. Schafer A975). Digital Signal Processing. Prentice-Hall,
Englewood Cliffs, N.J.
310. A. V. Oppenheim and A. S. Willsky A983). Signals and Systems. Prentice-Hall, Englewood
Cliffs, N.J.
311. S. Orey A958). A central limit theorem for m-dependent random variables. Duke Math. J.t
vol. 25, pp. 543-546.
312. A. J. M. van Overbeek and L. Ljung A982). On-line structure selection for multivariable
state space models. Automatica, vol. 18, no. 5, pp. 529-543.
313. R. E. A. C. Paley and N. Wiener A934). Fourier transforms in the complex domain. Am.
Math. Soc. Colleq., Publ. Col. 19, New York.
314. R. N. Pandya A974). A class of bootstrap estimators and their relationship to the gen-
generalized two stage least squares estimators. IEEE Trans. Automatic Control, vol. AC-19,
pp. 831-835.
315. V. Panuska A968). A stochastic approximation method for identification of linear systems
using adaptive filtering. Joint Automatic Control Conference, Ann Arbor, Mich., pp.
1014-1021.
316. A. Papoulis A965). Probability, Random Variables and Stochastic Processes. McGraw-Hill,
New York.
317. A. Papoulis A973). Minimum-bias windows for high-resolution spectral estimates. IEEE
Trans. Inform. Theory, vol, IT-19, pp. 9-12.
318. E. PaRZEN A985). Time series model identification and quantile spectral analysis. Proc. 7th
IFACSymposium on System Identification, York, U.K., Pergamon Press, Elmsford, N. Y.,
pp. 731-736.
422
319. R. L. Payne, G С Goodwin, and M. ZarROP A975). Frequency domain approach for
designing sampling rates for system identification. Automatica, vol. 11, pp. 189-191.
320. L. Pernebo A981). An algebraic theory for the design of controllers for multivariable
systems—Part I: Structure matrices and feedforward design and Part II: Feedback realiza-
realizations and feedback design. IEEE Trans. Automatic Control, vol. AC-26, pp. 171-82 and
183-94.
321. V. Peterka A981a). Bayesian approach to system identification. In Trends and Progress in
System Identification (P. Eykhoff, ed.). Pergamon Press, Elmsford, N. Y.
322. V. Peterka A981b). Bayesian system identification. Automatica. vol. 17, pp. 41-53.
323. R. L. Plackf.it A950). Some theorems in least squares. Biometrika, vol. 37, p. 149.
324. M P. Poi.is and R. E Goodson A976). Parameter identification in distributed systems—A
synthesizing overview. Proc. IEEE, vol. 64, pp. 45-61.
325. В. Т. Polyak and Ya. Z Tsypkin A980). Robust identification. Automatica, vol. 16, pp.
53-63.
326. K. R. Popper A934). The Logic of Scientific Discovery. Basic Books, New York.
327. J. E. Potter A963). New statistical formulas. Memo 40, Instrumentation Laboratory,
Massachusetts Institute of Technology, Cambridge. Mass.
328. M. J. D Powell A964). An efficient method for finding the minimum of a function of several
variables without calculating derivatives. Comput. /., vol. 7, pp. 155-162.
329. M. В Priestlly A981). Spectra! Analysis and Time Series. Academic Press, New York.
330. Z H. Qureshi, T. S Ng. and G С Goodwin A980). Optimum experimental design for
identification of distributed parameter systems. Intern. J. Control, vol. 31, pp. 21-29.
331. L. R. Rabiner and R. W Schaflr A978). Digital Processing of Speech Signals. Prentice-
Hall, Englewood Cliffs, N.J.
332. W. S. Rajbman A976). The application of identification methods in the USSR—A survey.
Automatica, vol. 12, pp. 73-95.
333* N S. Rajbman A981). Dispersional Identification (in Russian). Nauka, Moscow.
334. H. Rake A980). Step response and frequency response methods. Automatica, vol. 16, pp.
519-526.
335*. C. R Rao A973). Linear Statistical Inference and Its Applications. Wiley, New York.
336. O. Rf.iersol A941). Confluence analysis by means of lag moments and other methods of
confluence analysis. Econometrica, vol. 9, pp. 1-23.
337. J. RissANtN A974). Basis of invariants and canonical forms for linear dynamic systems.
Automatica, vol. 10, pp. 175-182.
338. J Rissanen A978). Modelling by shortest data description. Automatica, vol. 14, pp.
465-^71.
339. J Rissanen A984). Universal coding, information, prediction and estimation. IEEE Trans.
Inform. Theory, vol. IT-30, pp. 629-636.
340. J. Rissanen A985). Minimum description length principles. In Encyclopedia of Statistical
Sciences, vol. V, (S. Kotz and N. L. Johnson, eds.), Wiley, New York.
341. J. Rissanen A986). Prediction minimum description length principles. Ann. Statist. To
Appear.
342. J. Rissanen and L. Bar bos a A969). Properties of infinite covariance matrices and stability
of optimum predictors. Inform. Sci., vol. 1, pp. 221-236.
343. J. Rissanen and P. E. Caines A979). Strong consistency of maximum likelihood estimators
for ARMA process. Ann. Statist., vol. 7, pp. 297-315.
344 E. A. Robinson A967). Multichannel Time Series Analysis with Digital Computer Programs.
Holden-Day, San Francisco.
345. E. A. Robinson and S. Treitel A980). Geophysical Signal Analysis. Prentice-Hall, Engle-
Englewood Cliffs, N.J.
346. H. Rootzen and J. Sternby A984). Consistency in least-squares estimation—A Bayesian
approach. Automatica, vol. 20, pp. 471-777.
423
347. В. Rosen A967). On the central limit theorem for sums of dependent random variables. Z.
Wahrsch verw. Geb., vol. 7, pp. 48-82.
348*. Yu. A. Rozanov A967). Stationary Random Processes. Holden-Day, San Francisco.
349. D Ruppert A984). Private Communication.
350*. A. P Sage and J. L Melsa A971). System Identification. Academic Press, New York.
351 С Samson A982). A unified treatment of fast algorithms for identification. Int. J. of Control,
vol. 35, pp. 909-934.
352. С Samson and V. К Rfddy A983). Fixed point error analysis of the normalized ladder
algorithm. IEEE Trans. Acoustics, Speech and Signal Processing, vol. ASSP-31, p. 1177.
353. A SCHL'STI-K A894). On interference phenomena. Phil. Mag., vol. 37, pp. 50^-545.
354. G. Schwarz A978). Estimating the dimension of a model. Ann. Statist., vol. 6, pp. 461-464.
355. G. ScHWARZh A964). Algoritmische Bestimmung der Ordnung und Zeitkonstanten bei P-, I-
und D-gliedern mit zwei underschiedlichen Zeitkonstanten und Verzogerung bis 6. Or-
dnung. Messen., Steuern., Regeln., vol. 7, pp. 10-19.
356. F. C. Schweppe A973). Uncertain Dynamic Systems. Prentice-Hall, l;.nglewood Cliffs, N.J.
357. R. Shibata A976). Selection of an autoregressive model by Akaike's information criteria.
Biometrica, vol. 63, pp. 117-126.
358. R Shibata A980). Asymptotically efficient selection of the order of the model for estimating
parameters of a linear process. Ann. Statist., vol. 8, pp. 147-164.
359. J E. Shore and R W Johnson A980). Axiomatic derivation of the principle of maximum
entropy and the principle of minimum cross-entropy. IEEE Trans. Inform. Theory, vol.
IT-26, pp. 26-27.
360. К S. Sin and G С Goodwin A980). Checkable conditions for identifiability of linear
systems operating in closed loop. IEEE Trans. Autom. Control, vol. AC-25, pp. 722-729.
361. S. Sinha and P E Caines A977). On the use of shift register sequences as instrumental
variables for the recursive identification of multivariable linear systems. Intern. J. Systems
Sciences, vol. 4, pp. 131-138.
362. E. Slutsky A929). Sur l'extension de la theorie de periodogrammes aux suites des quanties
dependentes. Comptes Rendues, vol. 189, pp. 722-733.
363. R D. Snee A977). Validation of regression models. Methods and examples. Technometrics,
vol. 19, pp. 415-^*28.
364. T. Soderstrom A973). An on-line algorithm for approximate maximum likelihood
identification of linear dynamic systems. Report 7308, Department of Automatic Control,
Lund Institute of Technology, Lund, Sweden.
365. T. Soderstrom A974). Convergence properties of the generalized least squares identifica-
identification method. Autotnatica, vol. 10, pp. 617-626.
366. T. Soderstrom A975a). Comments on order assumption and singularity of information
matrix for pulse transfer function models. IEEE Trans. Automatic Control, vol. AC-20,
pp. 445-447.
367. T. SOderstrOm A975b). Tests of pole-zero cancellation in estimated models. Automation,
vol. 11, pp. 537-541.
368. T Soderstrom A975c). On the uniqueness of maximum likelihood identification. Auto-
matica, vol. 11, pp. 193-197.
369. T. SODERSTROM A977). On model structure testing in system identification. Intern. J.
Control, vol. 26, pp. 1-18.
370. T. SOderstrOm A981). Identification of stochastic linear systems in presence of input noise.
Autotnatica, vol. 17, pp. 713-725.
371. T. SOderstrOm A987). Model structure determination. In Encyclopedia of Systems and
Control (M. Singh, ed.), Pergamon Press, Elmsford, N.Y.
372. T. SOderstrOm and P Stoica A981). Comparison of some instrumental variable methods.
Consistency and accuracy aspects. Automatica, vol. 17, pp. 101-115.
373. T SOderstrOm and P. Stoica A982). Some properties of the output error method. Auto-
matica, vol. 18, pp. 93-100.
424
374. Т. Soderstrom and P. Stoica A983). Instrumental Variable Methods for System Identifica-
Identification. Lecture Notes in Control and Information Sciences, Springer-Verlag, New York.
375. T. Soderstrom and P. Stoica A987). System Identification. Prentice-Hall, Englewood
Cliffs, N.J. (in press).
376. T. Soderstrom, I. Gustavsson, and L. Ljung A975). ldentifiability conditions for linear
systems operating in closed loop, Intern. J. Control, vol. 21, no. 2, pp. 56-60.
377. T. Soderstrom, L. Ljung, and I. Gustavsson A976). ldentifiability conditions for linear
multivariable systems operating under feedback. IEEE Trans. Automatic Control, vol.
AC-21,no. 6, pp. 837-840.
378. T. Soderstrom, P. Stoica, and E. Trulsson A987). Instrumental variable methods for
closed loop systems. Proc 10th IFAC Congress, Munich. To appear.
379. G. Solbrand. A. Ahlen, and L. Ljung A985). Recursive methods for off-line identifica-
identification. Int. J. Control, vol. 41, pp. 177-191.
380. V. Solo A978). Time series recursions and stochastic approximation. Ph.D. dissertation,
Australian National University, Canberra.
381. V. Solo A979). The convergence of AML. IEEE Trans. Automatic Control vol. AC-24, pp.
958-963.
382. V. Solo A981). The second order properties of a time series recursion. Ann. Statist., vol. 9,
pp. 307-317.
383. V. Solo A984). Adaptive spectral factorization, Preprint, Harvard University, Cambridge,
Mass.
384. J. A. Spriet and G. C. Vansteenkiste A982). Computer Aided Modelling and Simulation.
Academic Press, New York.
385. R M. Staley and P. C. Yue A970). On system parameter ldentifiability. Inform. Sci., vol. 2,
pp. 127-138.
386. K. Steiglitz and L. E. McBride A965). A technique for the identification of linear systems.
IEEE Trans. Automatic Control, vol. AC-10, pp. 461-464.
387. P. Stoica A976). The repeated least squares identification method. Journal A, vol. 17, pp.
151-156.
388. P. Stoica A981). On multivariable persistently exciting signals. Bui. Inst. Politechnic, "Gh.
Gheorghiu-dej" Bucuresti, seria Electrotechnica, vol. XLIII. pp. 59-64.
389. P. Stoica and T. Soderstrom A981a). The Steiglitz-McBride identification algorithms
revisited—convergence analysis and accuracy aspects. IEEE Trans, on Automatic Control,
vol. AC-26, pp. 712-717.
390. P. Stoica and T. Soderstrom A981b). Asymptotic behavior of some bootstrap estimators.
Intern. J. Control, vol. 33, pp. 433-454.
391. P. Stoica and T. Soderstrom A982a). A useful parametrization for optimal experimental
design. IEEE Trans. Automatic Control, vol. AC-27, pp. 986-989.
392. P. Stoica and T. Soderstrom A982b). Instrumental variable methods for identification of
Hammerstein systems, Intern. J. Control, vol. 35, no. 3, pp. 459-476.
393. P. Stoica and T. Soderstrom A982c). Uniqueness of the maximum-likelihood estimates of
ARMA-model parameters—An elementary proof. IEEE Trans. Automatic Control, vol.
AC-27, pp. 736-738.
394. P. Stoica and T. Soderstrom A982d). Uniqueness of prediction error estimates of multi-
variable moving average models. Automatica, vol. 18, pp. 617-620.
395. P Stoica and T. Soderstrom A982e). On nonsingular information matrices and local
identifiability. Intern. J. Control, vol. 35, pp. 323-329.
396. P. Stoica and T. Soderstrom A983). Optimal instrumental variable estimation and
approximate implementation. IEEE Trans. Automatic Control, vol. AC-28, pp. 757-772.
397. P. Stoica and T. Soderstrom A984). Uniqueness of estimated k-step prediction models of
ARM A processes. Systems and Control Letters, vol. 4, pp. 325-331.
398. P. Stoica, B. Friedlander and T. Soderstrom A986). Instrumental variable methods for
ARM A models. In Control and Dynamic Systems—Advances in Theory and Applications.
vol. XXIV (С. Т. Leondes, ed.), Academic Press, New York. To appear.
425
399. P. Stoica, J. Holst, and T. SOderstrOm A982). Eigenvalue location of certain matrices
arising in convergence analysis problems. Automatica, vol. 18, pp. 487-491.
400. P. Stoica. T. Soderstrom, and B. Friedlander A985). Optimal instrumental variable
estimates of the AR-parameters of an ARMA-process. IEEE Trans. Automatic Control,
vol. AC-30, pp. 1066-1074.
401. P Stoica, T. Soderstrom, A. Ahlen and G. Solbrand A984). On the asymptotic accu-
accuracy of pseudo-linear regression algorithm. Intern. J. Control, vol. 39, pp. 115-126.
402. .P. Stoica. T. Soderstrom, A. Ahlen and G. Solbrand A985). On the convergence of
pseudo-linear regression algorithms. Intern. J. Control, vol. 41, pp. 1429-1444.
403. M. Stone A974). Cross-validity choice and assessment of statistical predictors. /. Royal Stat.
Soc.t ser. B. vol. 36, pp. 111-147.
404. .M. Stone A977a). Asymptotics for and against cross-validation. Biometrika, vol. 64, pp.
29-35.
405. M. Stone A977b). An asymptotic equivalence of choice of model by cross-validation and
Akaike's criterion. J. Royal Stat. Soc, ser. B, vol. 39, pp. 44-47.
406. J. L. Talmon and A. J. W. van den Boom A973). On the estimation of transfer function
parameters of process and noise dynamics using a single-stage estimator. Proc. 3rd IFAC
Symposium on Identification and System Parameter Estimation, The Hague (North-
Holland, Amsterdam), pp. 929-938.
407. J. F. Traub and H. Wozniakowski A980). A General Theory of Optimal Algorithms, Aca-
Academic Press, New York.
408. E. Tse and J. J. Anton A972). On the identifiability of parameters. IEEE Trans. Automatic
Control, vol. AC-17, pp. 637-646.
409. E. TSF and H. L. Weinkrt A975). Structure determination and parameter identification for
multivariable stochastic linear systems. IEEE Trans. Automatic С ontrol, vol AC-">0 no 5
pp. 603-613.
410*. Ya Z Tsypkin A984). On the Foundations of Information and Identification Theory (in
Russian), lzd., Nauka, Moscow.
411. H. Unbeiiaui-n and В Conking A974). Test for determining model order in parameter
estimation. Automatica. vol. 10. pp. 233-244.
412. H UNBF.HAUfcN, В GOHRING, and В Baui-.k A974). Parametcrschdtzvcrfahren zur System-
identification. R. Oldenburg Verlag, Munich.
413. P. Vari.aki, G. Ti-kdik. and V A. Lototsky A985). Tests for linearity and bilinearity oi
dynamic systems. Proc. 7th IFAC Symp. on Svstem Identification, York, U.K. Pergamon
Press. New York, pp. 731-736.
414. Ci WahbaA980). Parameter estimation in linear dynamic systems. IEEE Trans. Automatic
Control, vol. AC-25, pp. 235-238.
415. В Wahl.BEKG A985). On model simplification in system identification. Linkoping Studies in
Science and Technology. Thesis no. 47. LiU-Tek-Lic-1985; 12. Linkoping University. Link-
oping, Sweden.
416. В Wahlui-ko A986). On model reduction in system identification. Proc. Americ. Control
Conf, Seattle, Wash.
417. В Wahlbhrg and L Ljung A986). Design variables for bias distribution in transfer func-
function estimation. IEEE Trans. Automatic Control, vol. AC-31. pp. 134-144.
418. A Wald A949). Note on the consistency of the maximum likelihood estimate. Ann. Math.
Statis., vol. 20, pp. 595-601.
419. V M. Walker A961). Large-sample estimation of parameters for moving-average models.
Biometrika, vol. 48, pp. 343-357.
420. A. M. Walker A964). Asymptotic properties of least-squares estimates of parameters of the
spectrum of a stationary non-deterministic time-series. J. Aust Math. Soc vol 4 pp
363-384.
421. G Walklr A931). On periodicity in series of related terms. Proc. Roy Soc. London ser A
vol. 131, pp. 518-532.
422. E Walter A982). Identifiability of State Space Models. Springer-Verlag, New York.
426
423. D. W. Webb and E D. Soderstrom A985). TUNES—A tool for estimating dynamic param-
parameters via non-linear regression. In On-line Process Simulation Techniques in Industrial
Control (E. J. Kompass and T. J. Williams, eds.). Proc. of the llth Annual Advanced
Control Conference, Purdue University, Lafayette, Ind., pp. 37-44.
424. A. Weiss and P. Mitra A979). Digital adaptive filters: Conditions for convergence, rates of
convergence, effect of noise, and errors arising from the implementation. IEEE Trans.
Inform. Theory, vol. IT-25, pp. 637-652.
425. P. E. Wellstead A978). An instrumental product moment test for model order estimation.
Automatica, vol. 14, pp. 89-91.
426. P E. WELLSTEAD A979). Introduction to Physical System Modelling. Academic Press, New
York.
427. P. E. Wellstead A981). Non-parametric methods of system identification. Automatica, vol.
17, pp. 55-69.
428. P E. Wellstead and R. A. Rojas A982). Instrumental product moment model-order
testing: Extensions and applications. Intern. J. Control, vol. 35, no. 6, pp. 1013-1027.
429. S. White A975). An adaptive recursive digital filter. Proc. 9th Annual Asilomar Conference
on Circuits, Systems and Computers, pp. 21-25.
430. P. Whittle A951). Hypothesis Testing in Time Series Analysis, thesis, Uppsala University,
Almqvist and Wiksell, Uppsala. Hafner, New York.
431. P. Whittle A963). Prediction and Regulation by Linear Least Square Methods, English
University Press, London.
432. B. WiDROW and S. Stearns A984). Adaptive Signal Processing. Prentice-Hall, Englewood
Cliffs, N.J.
433. N. Wiener A930). Generalized harmonic analysis. Acta. Math., vol. 55, pp. 117-258.
434. N. Wiener A949). The Extrapolation, Interpolation and Smoothing of Stationary Time Series
with Engineering Applications. Wiley, New York.
435. J. Wieslander A980). IDPAC commands—User's guide. Report CODEN: LUTFD2
2/(TFRT-3l57)/l-108. Department of Automatic Control, Lund Institute of Technology,
Lund, Sweden.
436. R. A. Wiggins and E A. Robinson A965). Recursive solution to the multichannel filtering
problem,/. Geophys. Res,, vol. 70, pp. 1885-1891.
437. J. С Willems A985). Modelling, approximation and complexity of linear systems. Proc. of
MTNS-85, Stockholm, Sweden (C. I. Byrnes, A. Lindquist, eds.), North-Holland, Am-
Amsterdam, pp. 277-285.
438. A. Willsky A976). A survey of design methods for failure detection in dynamic systems.
Automatica, vol. 12, pp. 601-611.
439. C. S. Withers A981). Central limit theorems for dependent variables 1. Z. Wahrsch. verw
Gebiete, vol. 57, pp. 509-534.
440. H. Wold A938). A Study in the Analysis of Stationary Time Series. Almqvist and Wiksell,
Uppsala, Sweden.
441. K. Y. Wong and E. Polak A967). Identification of linear discrete time systems using the
instrumental variable approach. IEEE Trans. Automatic Control, vol. AC-12, pp.
707-718.
442. С. М. Woodside A971). Estimation of the order of linear systems. Automatica, vol. 7, pp.
727-733.
443. DC Youla A961). On the factorization of rational matrices. IEEE Trans. Inform. Theory,
vol. ГГ-7, pp. 172-189.
444. P. С Young A965). On a weighted steepest descent method of process parameter esti-
estimation. Report, Cambridge University, Engineering Laboratory, Cambridge, England.
445. P. C. Young A968). The use of linear regression and related procedures for the identification
of dynamic processes. Proc. 7th IEEE Symposium on Adaptive Processes, San Antonio,
Tex. pp. 501-505.
446. P. С Young A976). Some observations on instrumental variable methods of time series
analysis. Intern. J. Control, vol. 23, pp. 593-612.
427
447. Р. С. Young A981). Parameter estimation for continuous-time models—A survey. Auto-
ma tic a, vol. 17, pp. 23-39.
448. P. C. YotNG A984). Recursive Estimation and Time-Series Analysis. Springer-Verlag, New
York.
449. P. С Young and A J Jakeman A979). Refined instrumental variable methods of recursive
time-series analysis. Part 1: Single input, single output systems. Intern. J. Control vol. 29,
pp. 1-30.
450. P. С Young, A. J Jakeman, and R McMurtrie A980). An instrumental variable method
for model order identification. Automatica, vol. 16, pp. 281-294.
451. Z D. Yuan and L. Dung A985). Unprejudiced optimal open loop input design for
identification of transfer functions. Automatica, vol. 21, pp. 697-708.
452. G U Yule A927). On a method for investigating periodicities in disturbed series with
special reference to Wolfer's sunspot numbers. Philos. Trans. Roy. Soc. London, ser. A,
vol. 226, pp. 267-298.
453. M. В Zarrop A979). Optimal Experimental Design for Dynamic System Identification.
Springer-Verlag, New York.
454. G. A. van Zee and О Н. Bosgra A982). Gradient computation in prediction error
identification of linear discrete-time systems. IEEE Trans. Automatic Control, vol. AC-27,
pp. 738-739.
455. J. G. Ziegler and N. B. Nichols A942). Optimum settings for automatic controllers. Trans.
ASME. vol. 64, pp. 759-768.
СПИСОК ЛИТЕРАТУРЫ НА РУССКОМ ЯЗЫКЕ
1. БОКС ДЖ., ДЖЕНКИНС Г. Анализ временных рядов. Прогноз и управление. - М.:
Мир. 1974.
2. БРИЛЛИНДЖГР Д. Временные ряды. Обработка данных и теория. - М.: Мир, 1980.
3. ДЖКНКИИС Г., ВАТТС Д. Спектральный анализ и его приложения. В 2-х т. - М.:
Мир, 1972.
4. ИВАХНЕНКО А.Г. Метод группового учета аргументов конкурент метода стоха-
стохастической аппроксимации // Автоматика. № 3. - 1968. - С. 72 - 87.
5. КЕЙ С\Т., МАРПЛ CJ1. Современные методы спектрального анализа // ТИИЭР. -
1981. Т. 69, № И. С. 5-51.
6. ККНДАЛЛ М.ДЖ., СТЬЮАРТ А. Теория распределений. - М.: Наука, 1966.
7. КОЛМОГОРОВ А.Н. Интерполирование и экстраполирование стационарных слу-
случайных последовательностей // Изв. АН СССР. сер. матем. Т. 5, № 1. - С. 3 - 14.
8. КОЛМОГОРОВ А.Н. Стационарные последовательности в гильбертовом пространст-
пространстве // Вестник МГУ, сер. матем. - Т. 2, № 1. - С. 1 - 40.
9. КРАМЕР Г. Математические методы статистики. - М.: Мир, 1975.
10. КУЛЬБАК С. Теория информации и статистика. М.: Наука, 1967.
11. ЛИ Р. Оптимальные оценки, определение характеристик и управление. - М.: Наука,
1966.
12. ОСТРЕМ К.Ю. Введение в стохастическую теорию управления. М.: Наука, 1973.
13. ОСТРГ!М К., БОЛИН Т. Цифровая идентификация динамических систем на основе
данных о нормальном режиме работы // Труды II Международного симпозиума
ИФАК по самонастраивающимся системам. — М.: Наука, 1969. - С. 99 - 116.
14. РАЙБМАН Н.С. и др. Дисперсионная идентификация. - М.: Наука, 1981.
15. РАО СР. Линейные статистические методы и их применение. - М.; Наука, 1968.
16. РОЗАНОВ Ю.А. Стационарные случайные процессы. - М.: Физматгиз, 1963.
17. Современные методы идентификации систем / Под ред. П. ЭЙкхоффа. - М.: Мир,
1983.
18. СЭЙДЖ Э., МГ.ЛСА Д. Идентификация систем управления. - М.: Наука, 1974.
19. ФЕДОТОВ В.В. Теория оптимального эксперимента. М.: Наука, 1971.
20. ФРИДЛАНДЕР Б. Решетчатые фильтры для адаптивиой обработки данных // ТИИЭР.-
1982. - Т. 70, № 8. - С. 54 - 97.
21. ХАСЬМИНСКИЙ р.З. О случайных процессах, определяемых дифференциальными
уравнениями с малым параметром // Теория вероятностей и ее применения. -
1966. - Т. XI, вып. 2. - С. 240 - 259.
22. ХЕННАН Э. Многомерные временные ряды. - М.: Мир» 1974.
23. ХЬЮБЕР П.ДЖ. Робастность в статистике. - М.: Мир, 1984.
24. ЦЫПКИН Я.З. Основы информационной теории идентификации. - М.: Наука, 1984.
25. ЭЙКХОФФ П. Основы идентификации систем управления. - М.: Мир, 1975,
26. ЭЙКХОФФ П., ВАНЕЧЕК А., САВАРАГИ F.. Современные методы идентификации
систем / Под ред. И. Эйкхоффа: - М.: Мир, 1983.
429
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Адаптивное управление 264, 283
Алгоритм быстрый 243, 245, 284
- Гаусса Ньютона 248, 257, 261, 262, 274,
276,279,347, 355
- квадратного корня 240
- Левипеоиа 243, 259, 261
- Левинсона - Дурбина 257
- многошаговый 345
- рекуррентный метод инструментальных пе-
переменных 270
максимального правдоподобия 272
наименьших квадратов 265, 286
ошибки предсказания 270, 272, 288
— Гаусса - Ньютона 272, 286
псевдолинейной регрессии 275, 290
- решетчатый 281, 282, 284
Амплитудный спектр (характеристика) 38
Анализ корреляционный 1 32, I 33
- частотный 133, 207
Л-оптимальность 318
Аппроксимация Эйлера 31
Асимптотическая дисперсия 213,218
- нормальность 212, 231, 392
- теория "черного ящика*' 221, 226
Быстрое преобразование Фурье (БПФ) 147,
151
Вектор исевдорегрессионный 173
- регрессионный 74, 160
Горизонт предсказания 302, 306, 329, 338,
387
Декомпозиция (разложение) Холсикого 240,
280
Диаграмма Боде 33, 134, 202, 302, 303, 352,
353, 364, 382
- Пайквиста 33
Дискретизация 26, 82, 88
Дискретное преобразование Фурье (ДПФ) 33
Дифференцируемые многообразия 93
Доверительный эллипсоид 227, 364, 404
/^оптимальность 318
Дрейф 332, 334, 389
ЕМ-алгоритм 258,259
Е-опти мал ьность 318
Идентификация непрямая 317
- робасгная 332
Идентифицируемость 96, 97, 98, 100, 104,
111,190,195,335.355,364,388
структурная 104
Индекс наблюдаемости 117, 119
Информационное расстояние 170
Квазилинеаризация 248
Критерий Акаике информационный 171, 172,
358, 368, 380
- идентификации 294, 338
- планирования 318, 323
проектирования 295
QR-факторизация 241, 257, 281
Ко вариация взаимная 37
Когерентность спектров 148
Коэффициент множественной корреляции
398
- отражения 246
• чувствительности 258
Лемма Кронеккера 49
- об обращении матрицы 266
Линеаризация 121
Матрица Ганкеля 116
-информационная 167, 169, 317-319, 353-
355
- наблюдаемости 114
- Сильвесгра 184
- Теплина 242
Метод автокорреляционный 242, 243
- адаптивный 263
- бутстрепа 252
- входной ошибки 1 78
- выходной ошибки 178
430
- группового учета аргументов 362
- двухэтапный 251
- идентификации по ошибке предсказания
156-172, 177, 206, 211, 347, 357
-инструментальных переменных 174-176,
203, 224, 225, 251, 256, 338, 344, 354,
364,367
- ковариационный 242
- максимального правдоподобия 164- 172,
198,339
рекуррентный 272
условный 168
- максимума энтропии 150
- наименьших квадратов (МНК) обобщенный
261
(-) расширенный 275, 299
- — (-) с повторением 164
- наискорейшего спуска 248
- накопления 248
- Ньютона 248
- Ньютона - Рафсона 248
- Стейглица - Макбрайдта 259
М-зависимыс последовательности 233
Множество моделей 20, 72, 92, 93, 293
Моделирование 57, 1 87, 228, 296, 364
М-оцснка минимаксная 341
Модель 18
- авторсгрсссии (AR) 42, 61, 73
- Бокса - Дженкинса 77, ПО, 197
- в пространстве состояний 48, 81, 84, 101,
ИЗ
- ARARMAX75,275
- ARARX 75, 253, 255, 261, 275
- ARIMA(XO4, 332, 334
- ARMA 42, 47,56, 254, 255
-ARMAX 74,101, 109, ПО, 113, 222, 232,
249, 256, 262, 275, 292, 361, 371, 374,
387
- ARX 73, 94, 99, 106, 109, 160, 183, 202,
241, 253, 254, 259*275, 329, 368
- Гаммерштейна 123
- компарментальная 107
-NARMAX 129
- ошибки 286, 290
- - выходной 76, 92, 99, 105, 108, 197, 208,
348
уравнения 72
- прогнозирующая (предсказания) 72, 92,
125
- системы с конечной памятью (импульсной
реакцией, FIR) 73, 230, 337
- скользящего среднего (МА) 42, 59, 74
- с распределенными параметрами 89
- стационарная L26
- "черного ящика" 88, 98, 102, 128, 219, 231,
256,322,351
-шума 157, 307, 333,338
Мэллоу Ср-критсрий 369
Наблюдатель 63
Нелинейный МНК 247
Не параметрические методы 13 L -
142
Неравенство (граница) Крамера - Рао 167,
169, 183,215,228,230,318,339
Нормальные уравнения 240, 394
Обновление 62, 86, 109
Окно Бартлстта 143, 152
- временное 142, 152
- Парзсна 143
- Хэмминга 143
- частотное 142, 143, 152
Оценивание параметров последовательное
264
Оценка Кули - Тьюки спектральная 151
максимума апостериорной вероятности 60,
166,180
- Маркова 402
- МНК 161-164, 392, 393
- - взвешенная 163, 396
-передаточной функции эмпирическая 135,
139,159
~ псевдолинейной регрессии 74-75, 173, 224
- Уиттла 160
Пакет IDPAC 371, 385, 389
- PC-MATLAB 49, 229, 389
Параметризация 93, 98
- билинейная 1 29, 1 30, 252, 262
- каноническая 113-114
Парссваля равенство 34
Периодограмма 33- 35, 39, 138, 142
Планирование экспериментов 293, 308, 322,
376,401
Подход байесовский L66, 320
- корреляционный 173, 177, 203, 223, 347
Преобразование Фурье 35, 45, 46
Лапласа 31, 90
- Хаусхолдсра 240, 261, 280
z-преобразованис 30
Принудительный выбор полюсов 297, 324
Прогнозирование (предсказание) 57-63,296
Процедура Блэкмана - Тьюки 141
- Грама - Шмидта 240
-- Лсвснберга - Марквардта 249, 261
Разложение Лорана 32
Регрессия линейная 73, 122, L60, 240, 279,
362,392, 393
Регрессор 362, 392,405
Регуляризация 249, 281
Сигнал кр гзи стационарный 37, 41, 45, 48
-постоянно возбуждающий 162. 191, 311,
313, ::36
- эталонный 66
Система замкнутая 67
истинная 19, 189,294, 368
- нестационарная 49, 269, 277
- неустойчивая 92
Смещение 144, 147, 194, 260, 298, 300, 310,
329,339
Спектр взаимный 38
- шума 67,148
431
Спектральная плотность 37
- факторизация 41, 42
Спектральный анализ 139-14L, 353
Структура модели 72, 9L, 93, 102, 293, 349,
388,389
Сходимость 39, 187-199
Тренд 308, 332, 334
Управляемость 102
Уравнение Риккати68, 85, 280
- Юла - Уокера 242
Условия перемешивания 230
Устойчивость 32, 48, 49, 190
U-D факторизация 280
Фазовый спектр (характеристика) 38
Фактор забывания 269, 276-279, 282
Фильтр Калмана 62, 85, 87, 269
расширенный 273
- лестничный 246, 353
-- монический 32
- предварительный 150, 157, 259, 303, 306,
308, 325-327, 330
- прогнозирующий 65
- решетчатый 245, 246, 257
- с положительной действительной частью
276
Формула Тастина 31
Функция весовая (весов) 25, 119, 296, 301,
302
- передаточная 30
- правдоподобия 165, L68, 180-182, 259, 361
- предсказания 394
- регрессии 393
Частота дискретизации 325
- среза (Найквиста) 325
Частотное взвешивание 157
Шум наблюдений (измерений) 27, 86, 104
Эксперимент с замкнутой системой 314, 321
- информативный 310, 311
Энтропия 170
- взаимная 178