Автор: Васильев Ф.П.
Теги: вычислительная математика численный анализ математика решение задач дифференциальные уравнения численные методы издательство наука учебное пособие для вузов чеб
ISBN: 5-02-013796-0
Год: 1988
Текст
Ф.П.ВАСИЛЬЕВ
ЧИСЛЕННЫЕ
МЕТОДЫ РЕШЕНИЯ
ЭКСТРЕМАЛЬНЫХ
ЗАДАЧ
Ф. П. ВАСИЛЬЕВ
ЧИСЛЕННЫЕ
МЕТОДЫ РЕШЕНИЯ
ЭКСТРЕМАЛЬНЫХ ЗАДАЧ
Издание второе, переработанное и дополненное
Допущено Государственным комитетом СССР
по народному образованию
в качестве учебного пособия
для студентов вузов, обучающихся
по специальности ((Прикладная математика»
ББК 22.19
В19
УДК 519.6 (075. 8)
Васильев Ф. П. Численные методы решения экстремальных задач:
Учеб, пособие для вузов.— 2-е изд., перераб. и доп.— М.: Наука. Гл. ред.
физ.-мат. лит., 1988,— 552 с.— ISBN 5-02-013796-0.
Содержит основные численные методы решения экстремальных задач.
Приводятся теоретическое обоснование и краткие характеристики этих ме-
тодов. Рассматриваются задачи минимизации функций конечного числа пе-
ременных и задачи оптимального управления процессами, описываемыми
системами обыкновенных дифференциальных уравнений.
Сохранена структура первого издания, но содержание некоторых глав
существенно переработано и дополнено.
1-е издание — в 1980 г.
Для студентов вузов по специальности «Прикладная математика»*
а также для специалистов, связанных с решением задач оптимизации.
Табл. И. Ил. 42. Библиогр. 343 назв.
Рецензент
член-корреспондент АН СССР Л. Д. Кудрявцев
1702070000—191 оп
В 053 (02)-88 68’88
ISBN 5-02-013796-0
ательство «Наука»,
ная редакция
ико-математической
ературы, 1980;
вменениями, 1988
ОГЛАВЛЕНИЕ
Предисловие ко второму изданию................................... 5
Предисловие .................................................... 6
Глава 1. Методы минимизации функций одной переменной . . 9
§ 1. Постановка задачи...................................... 9
§ 2. Классический метод....................................15
§ 3. Метод деления отрезка пополам........................17
§ 4. Метод золотого сечения. Симметричные методы ... 19
§ 5. Об оптимальных методах...............................22
§ 6. Метод ломаных .......................................28
§ 7. Методы покрытий......................................33
§ 8. Выпуклые функции одной переменной....................38
§ 9. Метод касательных....................................45
§ 10. Метод поиска глобального минимума.....................53
§11. Метод парабол..........................................59
§ 12. Другой метод поиска глобального минимума .... 62
§ 13. О методе стохастической аппроксимации.................66
Глава 2. Предварительные сведения о задачах на экстремум . . 68
§ 1. Постановка задачи минимизации. Теорема Вейерштрасса 68
§ 2. Классический метод..............................78
§ 3. Вспомогательные предложения.....................91
Глава 3. Элементы линейного программирования....................101
§ 1. Постановка задачи..............................101
§ 2. Геометрическая интерпретация. Угловые точки .... 106
§ 3. Симплекс-метод.................................113
§ 4. Антициклин.....................................126
§ 5. Выбор начальной угловой точки..................136
§ 6. Об условии разрешимости канонической задачи .... 145
Глава 4. Элементы выпуклого анализа.............................148
§ 1. Выпуклые множества..................................148
§ 2. Выпуклые функции....................................162
§ 3. Сильно выпуклые функции.............................181
§ 4. Проекция точки на множество.........................188
§ 5. Отделимость выпуклых множеств.......................193
§ 6. Субградиент. Субдифференциал........................206
§ 7. Равномерно выпуклые функции . 218
§ 8. Правило множителей Лагранжа.........................223
§ 9. Теорема Куна — Танкера. Двойственная задача . . . 234
Глава 5. Методы минимизации функций многих переменных . . 260
§ 1. Градиентный метод...................................260
§ 2. Метод проекции градиента............................277
§ 3. Метод проекции субградиепта.........................285
4
ОГЛАВЛЕНИЕ
§ 4. Метод условного градиента...... 291
§ 5. Метод возможных направлений...299
§ 6. Метод линеаризации...............................309
§ 7. Квадратичное программирование.314
§ 8. Метод сопряженных направлений.........................320
§ 9. Метод Ньютона.............................329
§ 10. Метод Стеффенсена................................338
§11. Метод покоординатного спуска...........................................................342
§ 12. Метод поиска глобального минимума....347
§ 13. Метод модифицированных функций Лагранжа .... 356
§ 14. Метод штрафных функций......................................363
§ 15. Метод барьерных функций....384
§ 16. Метод нагруженных функций................................396
§ 17. О методе случайного поиска..............................410
§ 18. Общие замечания........................................................................415
Глава 6. Принцип максимума Понтрягина............................................................421
§ 1. Постановка задачи оптимального управления .... 421
§ 2. Формулировка принципа максимума. Примеры .... 435
§ 3. Доказательство принципа максимума......................................................461
§ 4. О методах решения краевой задачи принципа максимума 480
§ 5. Связь между принципом максимума и классическим вариа-
ционным исчислением........................................485
Глава 7. Динамическое программирование...........................................................490
§ 1. Схема Веллмана. Проблема синтеза для дискретных систем 490
§ 2. Схема Моисеева.........................................................................505
§ 3. Проблема синтеза для систем с непрерывным временем . 513
§ 4. Достаточные условия оптимальности......................................................522
Список литературы................................................................................531
Основ ная литература........................................................................531
Допол нительная литература..................................................................532
Предметный указатель.............................................................................546
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
Во втором издании книга существенно переработана. Добав-
лен новый материал, посвященный методу линеаризации, методу
Стеффенсена, геометрическому и квадратичному программирова-
нию, изложены некоторые новые варианты градиентного метода,
метода покрытий. Существенно переработаны параграфы, по-
священные элементам выпуклого анализа, методу штрафных
функций. Приведено простое доказательство принципа максиму-
ма Понтрягина для задачи оптимального управления с гранич-
ными условиями достаточно общего вида. Из книги исключены
параграфы, содержащие доказательство оптимальности метода
Фибоначчи. Исправлены замеченные ошибки, неточности.
Автор глубоко признателен С. М. Алиакбарову, А. С. Анти-
пину, А. В. Арутюнову, С. С. Ахиеву, Е. Г. Белоусову, А. И. Ве-
никову, В. А. Березневу, Н. С. Васильеву, О. В. Васильеву,
Г. С. Ганшину, Ю. М. Данилину, Д. В. Денисову, Я. И. Заботи-
ну, С. К. Завриеву, В. С. Ижуткину, А. С. Ильинскому, А. Д. Ис-
кендерову, А. 3. Ишмухаметову, А. Г. Коваленко, А. И. Кораб-
леву, Е. В. Лямину, М. Д. Марданову, Ю. Е. Нестерову,
В. Н. Нефедову, В. И. Плотникову, М. М. Потапову, Т. Л. Руд-
невой, А. Г. Сухареву, А. Г. Тетереву, А. В. Тимохову,
А. А. Третьякову, В. Р. Фазылову, Р. Ф. Хабибуллину, Ю. Н. Че-
ремных, Н. Т. Чиричу, которые своимп советами, предложе-
ниями, замечаниями способствовали улучшению второго издания
книги.
ПРЕДИСЛОВИЕ
Первые задачи геометрического содержания, связанные
с отысканием наименьших и наибольших величин, появились
еще в древние времена. Развитие промышленности в XVII—
XVIII веках привело к необходимости исследования более слож-
ных задач на экстремум и к появлению вариационного исчис-
ления. Однако лишь в XX веке при огромном размахе произ-
водства и осознании ограниченности ресурсов Земли во весь
рост встала задача оптимального использования энергии, мате-
риалов, рабочего времени, большую актуальность приобрели
вопросы наилучшего в том или ином смысле управления раз-
личными процессами физики, техники, экономики и др. Сюда
относятся, например, задача организации производства с целью
получения максимальной прибыли при заданных затратах ресур-
сов, задача управления системой гидростанций и водохранилищ
с целью получения максимального количества электроэнергии,
задача о космическом перелете из одной точки пространства
в другую наибыстрейшим образом или с наименьшей затратой
энергии, задача о быстрейшем нагреве или остывании металла
до заданного температурного режима, задача о наилучшем га-
шении вибраций и многие другие задачи.
Потребности развития самой вычислительной математики
также привели к необходимости исследования таких задач на
максимум и минимум, как, например, задачи наилучшего при-
ближения функций, оптимального выбора параметров итерацион-
ного процесса или узлов интерполирования, минимизации не-
вязки уравнений и т. д.
На математическом языке такие задачи могут быть сформу-
лированы как задачи отыскания экстремума (максимума или
минимума) некоторой функции или функционала J(u), выража-
ющего собой качество (цену) управления и из заданного мно-
жества U некоторого пространства. Требование принадлежности
управления и некоторому множеству U выражает собой ограни-
чения, обычно вытекающие из законов сохранения, ограничен-
ности наличных ресурсов, возможностей технической реализации
управления, нежелательности каких-либо запрещенных (аварий-
ных) состояний и т. п. Задачи отыскания экстремума функции
J (и) на множестве U принято называть экстремальными зада-
ПРЕДИСЛОВИЕ
7
нами. Заметим, что задача максимизации функционала J (и) на
множестве U эквивалентна задаче минимизации функционала
—/(и) на том же множестве С7, поэтому можно ограничиться
рассмотрением задач минимизации.
В настоящее время теория экстремальных задач обогатилась
фундаментальными результатами, появились ее новые разделы,
такие как линейное, выпуклое, стохастическое программирова-
ние, оптимальное управление и др. Потребности практики спо-
собствовали бурному развитию методов приближенного решения
экстремальных задач. Появление быстродействующих электрон-
ных вычислительных машин (ЭВМ) сделало возможным эффек-
тивное решение многих важных прикладных экстремальных за-
дач, которые ранее из-за своей сложности представлялись недо-
ступными.
В настоящей книге излагаются элементы теории экстремаль-
ных задач, а также основы наиболее часто используемых на
практике методов приближенного решения экстремальных задач,
теоретическое обоснование и краткая характеристика этих ме-
тодов. Книга написана как учебное пособие для студентов фа-
культетов и отделений прикладной математики университетов,
технических вузов. В основу книги положен курс лекций по чис-
ленным методам решения экстремальных задач, который автор
в течение ряда лет читает на факультете вычислительной мате-
матики и кибернетики Московского университета.
В главе 1 излагаются методы минимизации функций одной
переменной, в главах 2—5 рассматриваются задачи минимиза-
ции функций конечного числа переменных, в главах 6, 7 — за-
дачи оптимального управления процессами, описываемыми си-
стемами обыкновенных дифференциальных уравнений. Часть
текста, которая содержит материал, дополняющий и расширяю-
щий основное содержание книги, напечатана петитом и при
первом чтении может быть опущена.
Заманчиво было бы изложить теорию и методы минимизации
сразу в общем виде на языке функционального анализа, охватив
при этом как частный случай многие методы минимизации
функций конечного числа переменных. Однако такой способ из-
ложения, несмотря на свою привлекательность и удобства для
читателя-математика, видимо, все же труден для первого зна-
комства с предметом, не говоря уже о том, что он не может
отразить всю специфику конечномерных задач. Поэтому автор,
стремясь сделать книгу доступной читателям, владеющим мате-
матикой в объеме программ технических вузов и впервые знако-
мящихся с теорией и методами решения экстремальных задач,
в настоящей книге отобрал материал, не требующий для своего
понимания знаний функционального анализа.
За пределами книги остались такие важные разделы теории
и методов экстремальных задач, как задачи оптимального уп-
8
ПРЕДИСЛОВИЕ
равления процессами, описываемыми уравнениями с частными
производными, некорректные экстремальные задачи, аппрокси-
мация и устойчивость экстремальных задач, методы минимиза-
ции в функциональных пространствах. Этим разделам теории и
методам экстремальных задач, требующим для математически
строгого изложения использования аппарата функционального
анализа, автор предполагает посвятить отдельную книгу.
По рассматриваемым в книге проблемам имеется обширная
библиография, насчитывающая много тысяч названий. Список
литературы, который приведен в конце книги, содержит лишь
некоторые работы, которые были непосредственно использованы
в книге или близко примыкают к ней, дополняя ее содержание.
Нумерация формул, теорем, лемм, определений, упражнений
в каждом параграфе самостоятельная; ссылки на материалы,
расположенные в пределах данного параграфа, нумеруются од-
ним числом, вне данного параграфа, но в пределах данной гла-
вы— двумя числами, вне данной главы — тремя числами. Так,
например, теорема 3 из § 2 главы 4 в пределах этого параграфа
именуется просто теоремой 3, в других параграфах 4-й главы —
теоремой 2.3, в других главах — теоремой 4.2.3. Аналогично па-
раграфы при ссылках на них в пределах данной главы нумеру-
ются одним числом, а вне этой главы — двумя числами: первое
число означает номер главы, второе — номер параграфа.
Автор выражает глубокую благодарность академикам
А. Н. Тихонову и А. А. Самарскому за внимание и поддержку
при написании книги, С. М. Цидилпну п Ю. Н. Черемных, про-
читавшим книгу в рукописи и сделавшим ряд ценных замеча-
ний, Н. Л. Григоренко, взявшему на себя труд по научному
редактированию книги и устранившему многочисленные погреш-
ности изложения, а также Н. С. Бахвалову, И. С. Березину,
В. И. Благодатских, В. Г. Карманову, М. Ковач, В. Л. Кулагину,
М. С. Никольскому, М. М. Потапову, Н. А. Прохорову,
В. Г. Сушко, В. В. Федорову, Б. М. Щедрину, М. Ячпмовичу за
многочисленные полезные дискуссии и советы, способствовавшие
улучшению содержания книги.
В столь бурно развивающейся области, как теория и методы
решения экстремальных задач, очень трудно создать учебное по-
собие, которое обладало бы определенной завершенностью и бы-
ло бы свободным от недостатков, и поэтому автор будет при-
знателен читателям за критические замечания по содержанию
книги.
Ф. /7. Васильев
Глава 1
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ
ОДНОЙ ПЕРЕМЕННОЙ
С задачами минимизации функций одной переменной мы впервые стал-
киваемся при изучении начальных глав математического анализа и ре-
шаем их методами дифференциального исчисления. Может показаться, что
эти задачи относятся к достаточно простым и методы их решения хорошо
разработаны и изучены. Однако это не совсем так. Методы дифференциаль-
ного исчпсления находят ограниченное применение и далеко не всегда
удобны для реализации на современных ЭВМ. Хотя в последние десятиле-
тия появились другие методы, более удобные для использования на ЭВМ,
требующие меньшего объема вычислительного труда, но тем не менее эту
область экстремальных задач никак нельзя считать завершенной. Работы,
посвященные новым методам минимизации функций одной переменной,
продолжают появляться на страницах математических книг и журналов
(см., например, [11, 90, 95, 106, 128, 241, 246, 266, 279, 282, 288, 291, 314,
328, 332]). Мы здесь остановимся на некоторых наиболее известных мето-
дах, достаточно хорошо проявивших себя на практике.
§ 1. Постановка задачи
Пусть R — {и: —с» < и < оо} — числовая ось, U — некоторое
множество из R, J (и)—функция, определенная на множестве U
и принимающая во всех точках и U конечные значения. При-
мерами множеств из R являются: отрезок [a, b] = {u^R:
^и^Ь}, интервал (a, b) ~ {u^R: &<и<Ь}, полуинтервалы
[а, Ь) = {u.gR: а^и<Ь}, (а, &] = {^^R: a<u^b}, тдр a, b —
заданные числа. Будем рассматривать задачу минимизации
функции Ци) на множестве U. Начнем с того, что уточним
постановку этой задачи. Для этого сначала напомним некоторые
определения из классического математического анализа.
Определение 1. Точку и* е U называют точкой мини-
мума функции J (и) на множестве £7, если J (u*)^ J (и) для
всех и <= U* величину J (и^) называют наименьшим или мини-
мальным значением J(u) на U и обозначают min J (и) = J(u*).
u=U
Множество всех точек минимума J(u) на U будем обозначать
через U*.
В зависимости от свойств множества U и функции J(u)
множество 17* может содержать одну, несколько или даже бес-
конечно много точек, а также возможны случаи, когда £7* пусто.
10
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Пример 1. Пусть J{и) = sin2(л/u) при и#=0 и 7(0) = 0.
На множестве U = {их 1 С и 2} минимальное значение J (и)
равно нулю, множество U* состоит из единственной точки
и* = 1. Если U = {и: 1/3 то U* содержит три точки:
1/3, 1/2, 1; если U = {и: 0 < и 11, то U* = {и: и = 1/п, п =
= 1,2, —счетное множество. В случае U = {их 2<^<°°}
функция 7 (и) не имеет наименьшего значения на U. В самом
деле, какую бы точку и е U ни взять, найдется точка v е U (на-
пример, и = к при достаточно большом к) такая, что 7(u)>7(v).
Это значит, что U* тзуслю.
Пример 2. Функция 7(u) = |u| + |и —11 — 1 на U =*
= {их |п|^1} принимает свое наименьшее значение, равное ну-
лю, во всех точках отрезка U* = {ux O^u^l}. Если U =
= {и: 1 2}, то U* содержит одну точку и* = 1; если U =
~{и: 1<^<2}, то U* = 0.
Пример 3. Пусть 7(u) = u при и¥=0 и 7(0)= 1. На мно-
жествах U = {их 0 и 1} или U = {их 0 < и 1} эта функция
не имеет наименьшего значения, т. е. U* = 0.
Пример 4. Пусть 7{и) = In и, U = {ux 0 < и 1). Здесь
U* = 0, так как во всех точках из U функция принимает ко-
нечные значения, а для последовательности ик~1/к (& =
= 1, 2, ...) имеем lim J (uk) = — оо.
fc->OO
Определение 2. Функция 7(и) называется ограниченной
снизу на множестве 77, если существует такое число М, что
J(u)>M для всех U&U. Функция 7(и) не ограничена снизу
на (7, если существует последовательность {щ) U, для которой
lim J (uk) = — оо.
fe-юо
В примерах 1—3 функции ограничены снизу на рассмат-
риваемых множествах, а в примере 4 функция не ограни-
чена.
В тех случаях, когда 77* = 0, естественным обобщением по-
нятия наименьшего значения функции является понятие нижней
грани функции.
Определение 3. Пусть функция 7(и) ограничена снизу
па множестве U. Тогда число 7* называют нижней гранью ]{и)
на 77, если: 1) 7* ^7 (и) при всех и ^U; 2) для любого сколь
угодно малого числа с > 0 найдется точка ut е 77, для которой
J (ие) < 7* + 8. Если функция 7{и) не ограничена снизу на 77,
то в качестве нижней грани 7(и) на U принимается 7*=— оо.
Нижнюю грань 7 (и) на 77 обозначают через inf J {и) = J*.
u^U
В примерах 1—3 7$ = 0, а в примере 47* = — оо.
Если U* =# 0, то, очевидно, нижняя грань 7(и) на 77 совпа-
дает с наименьшим значением этой функции на 77, т. е.
inf 7 (и) = пип 7 (и). В этом случае говорят, что функция J(u)
u~U w=U
ПОСТАНОВКА ЗАДАЧИ
11
§ И
на U достигает своей нижней грани. Подчеркнем, что inf J (и) ~
u^U
= всегда существует, a min J (и), как мы видели из приме-
u^U
ров 1—4, не всегда имеет смысл. Введем еще два определения.
Определение 4. Последовательность {иJ е U называется
минимизирующей для функции J(u) на множестве 17, если
lim J (uk) = inf J (и) = J*.
fc-»oo uslZ
Из определения и существования нпжней грани следует, что
минимизирующая последовательность всегда существует.
Определение 5. Скажем, что последовательность {uk}
сходится к непустому множеству 17, если lim р (ukl U) = 0, где
&->оо
Р U) = inf | uk — и | — расстояние от точки uh до множества U.
u^U
Заметим, что если t7^=H=0, то всегда существует минимизи-
рующая последовательность, сходящаяся к £7*; например, мож-
но взять стационарную последовательность uh = u* (/с = 1, 2, ...),
где и* — какая-либо точка из U*. Однако не следует думать,
что при £7* =/= 0 любая минимизирующая последовательность
будет сходиться к U*.
и м е р 5. Пусть J (и) =------U = R. Очевидно, здесь
1 + иг
J* = 0 и множество U* состоит из единственной точки и* — О*
Последовательность uk = k (& = 1, 2, ...) является минимизиру-
ющей, так как lim J (к) = 0, но р(г/&, U*) = к не стремится
&-»оо
к нулю.
Теперь можем перейти к формулировке задачи минимиза-
ции функции J (и) на множестве U. В дальнейшем будем раз-
личать задачи двух типов. К первому типу отнесем задачи,
в которых требуется определить величину J* = inf J (и). Сразу
пег/
же подчеркнем, что в задачах первого типа неважно, будет ли
множество U* точек минимума J(u) на V непустым или оно
пусто. Ко второму типу задач отнесем те задачи, у которых мно-
жество U* непусто и требуется наряду с J* найти какую-либо
точку u*^U*.
Заметим, что получить точное решение задачи первого или
второго типа удается лишь в редких случаях. Поэтому на прак-
тике при решении задач первого типа обычно строят какую-либо
минимизирующую последовательность {щ) для функции J(и) на
U и затем в качестве приближения для J* берут величину J(uh)
при достаточно большом к. Аналогично для приближенного ре-
шения задач второго типа достаточно построить минимизирую-
щую последовательность {uj, которая сходится ко множеству
[7* в смысле определения 5, и в качестве приближения для 7*
12
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
и точки и* е [7* взять соответственно величину J(uh) п точку ик
при достаточно большом к.
Как показывает пример 5, в отличие от задач первого типа
не всякая минимизирующая последовательность может быть ис-
пользована для получения приближенного решения задач второ-
го типа. Построение минимизирующих последовательностей, схо-
дящихся ко множеству U*. в общем случае требует привлече-
ния специальных методов [6, 22]. В настоящей главе будем рас-
сматривать лишь такие задачи второго типа, у которых любая
минимизирующая последовательность сходится к U*. Один та-
кой класс задач дается следующей теоремой, называемой теоре-
мой Вейерштрасса.
Теорема 1. Пусть U — замкнутое ограниченное множество
из R, функция Ци) непрерывна на U. Тогда J(u) ограничена
снизу на U, множество U* точек минимума J(u) на U непусто,
замкнуто и любая минимизирующая последовательность {uk}
сходится к U*.
Доказательство этой теоремы можно найти, например, в [10,
160, 165, 233]. Несколько более общий факт будет установлен
в § 2.1, из которого также будет следовать теорема 1. Предла-
гаем читателю вернуться к примерам 1—5 и выяснить, в каких
случаях и какое из условий теоремы 1 нарушено п к чему это
приводит.
Возможна и более широкая постановка задач минимизации
второго типа — когда ищутся не только точки минимума в смыс-
ле определения 1, но и точки так называемого локального ми-
нимума.
Определение 6. Точка е U называется точкой локаль-
ного минимума функции J(и) на множестве U со значением
с= J (у*), если существует такое число а>0, что J (и)
для всех и е U П {и\ | и — v* | < а} = Оа (и*). Если при некотором
сс>0 равенство J (и*) === J (и) для и(=Оа(у*) возможно только
при и — v*. то v* называют точкой строгого локального ми-
нимума.
Для функции, график которой изображен на рис. 1.1, точки
и0, и2, щ являются точками строгого локального минимума,
а в точках, удовлетворяющих неравенствам и5 < и С uQ и и8
и < и9, реализуется нестрогий локальный минимум. Функция
из примера 1 в точках uh — ljk (7с = ±1, ±2) имеет строгий
локальный минимум на C7 = R, а в точке zz* = O— нестрогий ло-
кальный минимум.
Точки локального минимума, в которых минимум до-
стигается в смысле определения 1, часто называют точками
глобального или абсолютного минимума функции J(u) на мно-
жестве U.
Выделим класс функций, у которых все точки локального
минимума являются точками глобального минимума.
§ И
ПОСТАНОВКА ЗАДАЧИ
13
Определение 7. Функцию J(и) назовем унимодальной на
отрезке U = [а, 6], если она непрерывна на [а, Ь] и существуют
числа а, р такие, что: 1) Ци) строго монотонно
убывает при а^и^а (если а<а); 2) J(u) строго монотонно
возрастает при р и Ъ (если р < Ь); 3) J (и) = J* — inf J (и)
u~U
при так что U* = [а, р]. Случаи, когда один пли два
иг иъ Uk U5 и5и7
Рис. 1.1
из отрезков [а, а], [а, р]. [р, Ь] вырождаются в точку, здесь не
исключаются. В частности, если сс = р, то J(п) назовем строго
унимодальной на отрезке [а, Ь].
Функция пз примера 2 унимодальна на любом отрезке [а, Ь];
функция пз примера 1 строго унимодальна на [2/3, 2], но не бу-
дет унимодальной на [1/2, 2].
Нетрудно видеть, что если функция J(u) унимодальна на
[а, Ь], то она остается унимодальной и на любом отрезке [с, d] s
— [я, Ь].
В заключение кратко остановимся на задаче максимизации
функции.
Определение 8. Функция J(u) называется ограниченной
сверху на множестве Е7, если существует такое число 5, что
J(u)^B при всех u^U. Функция J (и) не ограничена сверху
на Е/, если существует последовательность {и^ е С7, для которой
limJ(ufe) = oo. Функцию J(и) называют ограниченной на Е/,
если она ограничена на U сверху и снизу.
Определение 9. Если функция J(u) ограничена сверху
на Е7, то число 7* называется верхней гранью J(и) на U в том
случае, когда: 1) 7(и)=с7* для всех u^U; 2) для любого числа
8>0 найдется такая точка us^U, что 7(иа)>7* —8. Если J (и)
не ограничена сверху на Е/, то по определению принимается
7* = оо. Последовательность {uh} е U называется максимизирую*
щей для 7 (и) на U, если lim J (uk) = J*. Если существует такая
h->OO
точка u* U, что 7(и*) = 7*, то и* называется точкой максиму-
14
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
ма J(u) на U, а величина J(u*)—наибольшим или максималъ*
ным значением J(u) на U. Множество точек максимума J (и) на
U будем обозначать через 17*, верхнюю грань — через /* ~
= sup J (и).
и&и
Заметим, что верхняя грань и максимизирующая последова-
тельность всегда существуют, а максимальное значение может
не существовать. Если выполнены условия теоремы 1, то 7* < °°,
{7* =5^ 0 и любая максимизирующая последовательность {uh} схо-
дится к U*.
В задачах максимизации также можно различать задачи двух
типов: в задачах первого типа ищется величина 7*, а в задачах
второго типа ищется 7* и какая-либо точка u* С7*. Нетрудно
видеть, что
sup J (и) = — inf (— J (и)),
иеП и^и
причем любая точка максимума и любая максимизирующая по-
следовательность для J (и) на U являются точкой минимума и
соответственно минимизирующей последовательностью для функ-
ции —7 (и) на U. Это значит, что любая задача максимизации
функции Ци) на U равносильна задаче минимизации функции
—J(u) на том же множестве U. Поэтому мы можем ограничиться
изучением лишь задач минимизации.
Наконец, немного о точках локального максимума.
Определение 10. Точка v*^U называется точкой ло-
кального максимума функции J (и) на множестве 77, если суще-
ствует такое число а>0, что 7 (у*) >7 (и) для всех u^Uft
П {zz: \и — и*| < а) = Оа(у*). Если при некотором а>0 равен-
ство J(и*) = 1 (и) для u^Oa(v*) возможно только при М = У*, то
у* называют точкой строгого локального максимума.
Для функции, график которой изображен на рис. 1.1, точки
п3, п7, п10 являются точками строгого локального максимума,
а в точках, удовлетворяющих неравенствам и5 и < п6 и и3 <
<u<u9, реализуется нестрогий локальный максимум; и3~ точка
глобального максимума.
Множество всех точек локального минимума и максимума
функции на множестве V принято называть точками локального
экстремума функции на этом множестве или, проще, точками
экстремума.
Упражнения. 1. Построить минимизирующую и максимизирующую
последовательности для функции Ци) == arctg и на U = R. Достигает ли
функция своих нижних и верхних граней на R?
2. Пусть /(и) = |и2—1| при и ф 1 и 7(1) = 1. Найти множество 77*
точек минимума /(и) на U = R. Можно ли утверждать, что любая мини-
мизирующая последовательность для этой функции будет сходиться к 77*?
3. Найти все точки локального экстремума функции 7 (и) = 11 |и2 — 1| —
— 11 — 11 на отрезке [а, Ь] при различных а, Ь. При каких а, Ъ эта функ-
ция будет унимодальной на [а, &]?
КЛАССИЧЕСКИЙ МЕТОД
15
§ 2]
4. Выяснить, на каких отрезках будут унимодальными функции Ци) =
= еи, Ци) = и2, Ци) — —и2, Ци) = f|u|, Ци) — cos и.
5. Если функция G(v) унимодальна на отрезке [с, d], то функция
Ци) = G((d — с) (и — а)ЦЬ —- а) + с) унимодальна на отрезке [а, 6]. До-
казать.
6. Доказать, что линейная функция Ци) = Аи + В, где Л, В — посто-
янные, А =/= 0, достигает своего минимума и максимума на отрезке [а, 61
только при и = а или и = 6.
7. Найти минимум функции J (и) = max | i2 — ut | на множествах U =
= R и U = {и: 1 и < оо}.
§ 2. Классический метод
Под классическим методом будем подразумевать тот подход
к поиску точек экстремума функции, который основан на диф-
ференциальном исчислении и подробно описан в учебниках по
математическому анализу [10, 160, 165, 233]. Мы здесь лишь
вкратце остановимся на этом методе.
Пусть функция J(u) кусочно непрерывна и кусочно гладка
на отрезке [а, Ь]. Это значит, что на [а, Ь] может существовать
лишь конечное число точек, в которых J(u) либо терпит разрыв
первого рода, либо непрерывна, но не имеет производной. Тогда,
как известно, точками экстремума функции J(u) на [а, &] могут
быть лишь те точки, в которых выполняется одно из следующих
условий: 1) либо J(u) терпит разрыв; 2) либо /(и) непрерывна,
но производная J'(и) не существует; 3) либо производная J'(и)
существует и равна нулю; 4) либо и = а пли и = Ъ. Такие точки
принято называть точками, подозрительными на экстремум.
Поиск точек экстремума функции начинают с нахождения
всех точек, подозрительных на экстремум. После того как такие
точки найдены, проводят дополнительное исследование и отби-
рают среди них те, которые являются точками локального мини-
мума или максимума. Для этого обычно исследуют знак первой
производной J' (и) в окрестности (или соответствующей полуок-
рестности граничных точек и = а или и = Ъ) подозрительной
точки. Для того чтобы подозрительная точка vt=[a, b] была точ-
кой локального минимума, достаточно, чтобы lim J (u)^J (у),
u->v—0
lim J (и) J (р) и при некотором а > 0 на множествах
и-мН-о
[а, Ь] П (у, v + а) = Ot (р), [а, f| (р — а, р) = (р) суще-
ствовала производная J' (и), причем J' (и) > 0 при и е 0^ (р) и
Jf (и) < 0 при и s Оа (р). Если же lim J(u)^J(p)> lim J
И J'(iz)<;0 при U GE Oa (tf), ]' (l?)>0 При U^O& (v), TO
v — точка локального максимума.
В тех случаях, когда удается вычислить в подозрительной
точке производные второго и более высокого порядков, то их
также можно использовать для исследования поведения функции
16
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
в окрестности этой точки. А именно, пусть известны производи
ные J' (р), ..., причем J(i)(v) = O (i = l, ..ft —1),
а 7(n)(p)=#0 (ft^l). Если ft — четное число, то в случае
J(n)(p)>0 в точке v реализуется локальный минимум, а в слу-
чае J(n)(p)<0— локальный максимум. Если п нечетно, то при
а < v < Ъ в точке и не может быть локального минимума или
максимума; при и = а (р = &) в случае 7(п)(р)>0 в точке v
имеем локальный минимум (максимум), а в случае J(n)(p)<0—
локальный максимум (минимум).
Чтобы найти глобальный минимум (максимум) функции J(ft)
на [ft, &], нужно перебрать все точки локального минимума (мак-
симума) на [ft, Ь] и среди них выбрать точку с наименьшим
(наибольшим) значением функции, если таковое существует.
Если вместо отрезка [ft, b] имеем дело со множеством U = {и\
С и < оо}? или U = {и: — оо < и &}, или U = R, то наряду с вы-
шеописанными исследованиями нужно также изучить поведение
функции при и -> оо ПЛИ и — оо.
Классический метод исследования функции на экстремум
следует использовать во всех тех случаях, когда достаточно
просто удается выявить все подозрительные на экстремум точки
и реализовать описанную выше схему отбора экстремальных то-
чек. К великому сожалению, классический метод имеет весьма
ограниченное применение. Дело в том, что вычисление производ-
ной J' (и) в практических задачах зачастую является непростым
делом. Например, может оказаться, что значения функции J (и)
определяются из наблюдений или каких-либо физических экспе-
риментов, и получить информацию о ее производной крайне
трудно. Но даже в тех случаях, когда производную все же уда-
ется вычислить, решение уравнения J'(ft) = 0 и выявление дру-
гих точек, подозрительных на экстремум, может быть связано
с серьезными трудностями. Поэтому важно иметь также и дру-
гие методы поиска экстремума, не требующие вычисления про-
изводных, более удобные для реализации на современных ЭВМ.
Упражнения. 1. Найти точки экстремума функции Ци) — sin3 и +
+ cos3 и на отрезках [0, Зл/4], [0, 2л].
2. Пусть Ци) — (1 + е1/и)~х при и =Н= 0 и 7(0) = 0. Найти точки экст-
ремума этой функции на отрезках [0, 1], [—1, 0], [—1, 1], [1, 2] и на R.
3. Пусть непрерывная на отрезке [а, &] функция J(и) в точке v
(а < v < Ь) имеет строгий локальный минимум. Можно ли утверждать,
что существует число а >» 0 такое, что Ци) монотонно убывает при и —
— а < и < v и монотонно возрастает при v <Z u<Z v + а? Рассмотреть
функцию Ци) — 2и2 + и2 sin(l/u) (zz =/= 0), 7(0) = 0 на [—1, 1]. Исследо-
вать случай, когда 7(zz) имеет на [а, Ь] конечное число точек локального
экстремума.
4. Пусть функция Ци) определена на [а, &] и дважды дифференцируе-
ма в точке i-'G [а, &]. Доказать, что если а <С v <С Ъ и в точке и реализу-
ется локальный минимум 7(zz), то необходимо, чтобы J"(v) 0. Будет ли
верным это утверждение, если v = а или и — Ь? Будет ли оно верным,
если и = а или v = b и, кроме того 7/(у)=0? Рассмотреть функции
7(и) = —и2, Ци) — coszzna [—л, л].
§ 3]
МЕТОД ДЕЛЕНИЯ ОТРЕЗКА ПОПОЛАМ
17
5. Пусть функция Ци) определена на [а, Ь] и в точке [а, Ь] име-
ет п производных (п^2), причем известно, что =0 при i = 1, ...
..п — 1 и 7(п) (р) #= 0. Доказать, что если р — точка локального миниму-
ма и а < р < 6, то п — четное число и 7(п>(р) >» 0. Что изменится, если
р = а или р — Ъ1
6. Пусть функция Ци) аналитична на отрезке [а, &], т. е. ряд Тейлора
этой функции сходится к J(u) во всех точках [а, &]. Может ли эта функ-
ция иметь на [а, Ь] бесконечное число точек локального экстремума?
7. Пусть функция J(p) определена на отрезке [я, &] и в точке р имеет
производные всех порядков. Можно ли утверждать, что если р — точка ло-
кального минимума, то 7(п)(р)=Н=0 при каком-либо п 1? Рассмотреть
функцию J (и) = е~^и (iz^=0), 7(0) = 0,в точке р = 0. Что изменится, ес-
ли функция Ци) аналитична на [а, &]?
8. Пусть функция 7 (и) дифференцируема на отрезке [а, &] и в точке
р е [а, 6] достигает своей нижней грани на [а, &1. Доказать, что тогда не-
обходимо, чтобы J'(p)(iz—р) ^5 0 при всех и е [а, &]. Будет ли выпол-
нения этого условия достаточно для того, чтобы в точке р достигалась ниж-
няя грань Ци) на [а, 6]?
§ 3. Метод деления отрезка пополам
Простейшим методом минимизации функции одной перемен-
ной, не требующим вычисления производной, является метод
деления отрезка пополам. Опишем его, предполагая, что мини-
мизируемая функция J(и) унимодальна на отрезке [а, Ь]. Поиск
минимума J (и) на [а, Ь] начинается с выбора двух точек щ =
=Ца+Ь — б)/2 и и2 = (а + Ъ + б)/2, где б — постоянная, являю-
щаяся параметром метода, 0 < б < b — а. Величина б выбирается
вычислителем и может определяться целесообразным количе-
ством верных десятичных знаков при задании аргумента и.
В частности, ясно, что б не может быть меньше машинного нуля
ЭВМ, используемой при решении рассматриваемой задачи. Точ-
ки Ui, и2 расположены симметрично на отрезке [а, Ь] относи-
тельно его середины и при малых б делят его почти пополам —
этим и объясняется название метода.
После выбора точек и2 вычисляются значения 7(щ), J(u2)
и сравниваются между собой. Если J(ui)^J(u2)1 то полагают
щ = Ь{ = и2; если же 7(щ)> J(zz2), то полагают ai==ui, b^b.
Поскольку J (и) унимодальна на [а, Ь], то ясно, что отрезок
[<7b &i] имеет общую точку с множеством U* точек минимума
J(u) на [а, Ь] и его длина равна
&1-а1=(Ь-а-б)/2 + б.
Пусть отрезок имеющий непустое пересечение
с уже известен, и пусть Ък_^ — ak-Y = (Ъ — а — 6)/2ft”1 + б > б
(к >2). Тогда берем точки u2k-i = (ak~i + bk-i — б)/2, и2к = (ак_1 +
+ bfe_4 + 6)/2, расположенные на отрезке [щ-i, симметрич-
но относительно его середины, и вычисляем значения J(u2k_i),
J(u2k). Если J(u2k), то полагаем ак = ак_^ Ьк = и2к;
если же 7(^-1)>/(^), то полагаем ак = и2к-^ Ък=Ьк-^ Длина
18
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
получившегося отрезка [ак, ЬА] равна bk — ak = (b — a — б)/2* + б>
>6 и [аь, bh] П ^*#=0-
Если количество вычислений значений минимизируемой
функции ничем не ограничено, то описанный процесс деления
отрезка пополам можно продолжать до тех пор, пока не полу-
чится отрезок [ак, Ьк] длины bh — ak<z, где 8 — заданная точ-
ность, 8 > б. Отсюда имеем, что к > log2 ((Ь — а — б)/(е — 6)).
Поскольку каждое деление пополам требует двух вычислений
значений функции, то для достижения точности Ък — ак < 8 тре-
буется всего n = 2fc>21og2((b —а —б)/(8 —б)) таких вы-
числений.
После определения отрезка [ак, 6J в качестве приближения
ко множеству U* можно взять точку кп = ^-1 при J(u2fe-i)^
и йп = ^2* при /(u2A-i)>/(и20, а значение 7(йп) может
служить приближением для J* = inf J (и). При таком выборе
и~[а,Ъ] _
приближениЯ-Для^ U* будет допущена погрешность р (wn, U*)
^max {bh — ип; ип — ak} = (b — a — 6)/2\ Если не требовать того,
чтобы значение функции, принимаемое за приближение к
было вычислено непременно в той же точке, которая служит
приближением к U*, то вместо ип можно взять точку vn~
=-(ak+bk)/2 с меньшей погрешностью p(^n, U*)^.(bk —
— ak)/2 = (b — а — 6)/2fe+1 + 6/2 (здесь к = п/2 и б достаточ-
но мало).
Конечно, и в этом случае можно бы провести еще одно до-
полнительное вычисление значения функции в точке vn и при-
нять J (vn) ~ J*- Однако заметим, что на практике нередко встре-
чаются функции, нахождение значения которых в каждой точке
связано с большим объемом вычислений или дорогостоящими
экспериментами, наблюдениями,— понятно, что здесь приходится
дорожить каждым вычислением значения минимизируемой функ-
ции. В таких ситуациях возможно даже, что число п, опреде-
ляющее количество вычислений значений функции, заранее
жестко задано и превышение его недопустимо.
Из предыдущего следует, что методом деления отрезка попо-
лам с помощью п = 2к вычислений значений функции можно
определить точку минимума унимодальной функции на отрезке
[а, 6] в лучшем случае с точностью ~ (6 — а) 2-1~п/2. Возникает
вопрос, не существует ли методов, позволяющих с помощью того
же числа вычислений значений функции решить задачу мини-
мизации унимодальной функции поточнее? Оказывается, такие
методы есть. Один из них будет описан в § 4.
В заключение отметим, что метод деления отрезка пополам
без изменений можно применять для минимизации функций, не
являющихся унимодальными. Однако в этом случае нельзя га-
рантировать, что найденное решение будет достаточно хорошим
приближением к глобальному минимуму.
§ 4] МЕТОД ЗОЛОТОГО СЕЧЕНИЯ. СИММЕТРИЧНЫЕ МЕТОДЫ 19
§ 4. Метод золотого сечения. Симметричные методы
Перейдем к описанию метода минимизации унимодальной
функции на отрезке, столь же простого, как метод деления от-
резка пополам, но позволяющего решить задачу с требуемой
точностью при меньшем количестве вычислений значений функ-
ции. Речь пойдет о методе золотого сечения.
1. Как известно, золотым сечением отрезка называется деле-
ние отрезка на две неравные части так, чтобы отношение длины
всего отрезка к длине большей части равнялось отношению дли-
ны большей части к длине меньшей части отрезка.
Нетрудно проверить, что золотое сечение отрезка [а, Ь] про-
изводится двумя точками щ = а + (3 — V5) (& — а)/2 = а +
+ 0,381966011 ... (Ь-а) и и2 = а + (V5 — 1) (& — а)/2 = а +
+ 0,618033989 ... (Ь —а), расположенными симметрично относи-
тельно середины отрезка, причем a<Ui<u2<b, (Ь — а)/(Ъ —
— (b — Ui)/(Ui — a) = (& — а)/(и2 — а) = (и2 —а)/(b — и2} =
= (V5 + 1)/2 = 1,618033989 ...
Замечательно здесь то, что точка щ в свою очередь произво-
дит золотое сечение отрезка [а, и2], так как и2 — щ щ — а ==
= 6 — и2 и (п2 —a)/(ui —a) = (ui —a)/(u2“-Ui). Аналогично точ-
ка и2 производит золотое сечение отрезка [и^ Ь]. Опираясь на
это свойство золотого сечения, можно предложить следующий
метод минимизации унимодальной функции J(u) на отрез-
ке [а, 6].
Положим «1 = я, bi = b. На отрезке [ah 6J возьмем точки uit
и2, производящие золотое сечение, и вычислим значения /(uj,
J(u2). Далее, если J(ui)^J(u2), то примем a2 = ai, b2 = u2, й2 =
= иг, если же J(iii)> J(iz2), то примем a2 = u19 b2 = blt, й2^=и2.
Поскольку функция Ци) унимодальна на [а, &], то отрезок \а2, Ъ2\
имеет хотя бы одну общую точку с множеством £7* точек ми-
нимума 7(н) на [а, Ь]. Кроме того, Ъ2 — а2 = (У5 — 1) (Ъ — а)/2 и
весьма важно то, что внутри [а2, Ь2] содержится точка й2 с вы-
численным значением Цй2) = min{/(iZi)i; Ци2)}, которая произ-
водит золотое сечение отрезка [а2, Ь2].
Пусть уже определены точки .., un-i, вычислены значе-
ния 7(^1), ..., J(nn-i), найден отрезок [an-h bn-i] такой, что
[an-i, bn-i] Л £7*#= 0, bn-i — an-i = ((У5 — 1)/2)п"2(Ь — а), и извест-
на точка wn-i,-Производящая золотое сечение отрезка [an_i9 bn-i] и
такая, что J (ип_^ = min J (iZj)(n^2). Тогда в качестве следу-
ющей точки возьмем точку ип = ап_{ + &n-i — wn-i, также произ-
водящую золотое сечение отрезка [<2n_19 вычислим значе-
ние Цип).
Пусть для определенности an-i <ип< un-t < &n-i (случай
un-i<un рассматривается аналогично). Если Цип)^ 7(wn-i), то
20
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
полагаем ап = ап-^ bn = un-i, ип = ип; если же J (ип) > J(un-i), то
полагаем ап = ип, Ъп = Ъп-^ йп = wn-i. Новый отрезок [ап, Ьп]
таков, что fan, bn] A U* Ф 0, Ьп — ап= ((75 — 1)/2)п-1 (Ь — а),
точка ип производит золотое сечение fan, bn] и J (ип) = шш{/ (un);
J fan-1)} = min /fai)-
Если число вычислений значений J(u} заранее не ограничено,
то описанный процесс можно продолжать, например, до тех пор,
пока не выполнится неравенство Ъп — ап < е, где г — заданная
точность. Если же число вычислений значений функции J fa)
заранее жестко задано и равно п, то процесс на этом заканчи-
вается и в качестве решения задачи второго типа (см. § 1)
можно принять пару 7fan), un, где /fan) является приближе-
нием для J* — inf J fa), а точка йп служит приближением для
множества U* с погрешностью
р (ип, U*) шах {Ъп — ип', ип — ап} =
=(/5 - о - «>.) = (ЖЖ-Г (& -«) = Ап.
£ \ £ J
Вспомним, что с помощью метода деления отрезка пополам
за п = 2к вычислений значений функции J(u) в аналогичном
случае мы получили точку йп с погрешностью
р (йп, и*) < 2-п/2 (Ь - а - 6) < 2“"/2 (Ъ — а) = Вп.
Отсюда имеем An/7?n ==(272/(75 + 1) )п ~ (0,87 .. .)п— видно, что
уже при небольших п преимущество метода золотого сечения
перед методом деления отрезка пополам становится ощутимым.
2. Обсудим возможности численной реализации метода золо-
того сечения на ЭВМ. Заметим, что число 75 на ЭВМ неизбежно
будет задаваться приближенно, поэтому первая точка = а +
+ (3 — 75) (Ъ — а)/2 будет найдена с некоторой погрешностью.
Посмотрим, как повлияет эта погрешность на результаты после-
дующих шагов метода золотого сечения. Обозначим ДП = ЬП —
— ап==((75 —1)/2)п-1(Ь —а) fa = l, 2, ...). Нетрудно проверить,
что Ап является решением конечно-разностного уравнения Ап-г =
e An-i + Ап, или
Ап = Ап-2 “ Ап-1, п = 3, 4, ..., (1)
с начальными условиями Ai = Ъ — а, \2 = Ъ —
Как известно [4, 54], линейно независимые частные решения
этого__ уравнения имеют вид т™ и fa = 1, 2, ...), где Ti =
= (75 — 1)72, т2 = —(75 + 1)72 —корни характеристического урав-
§ 4] МЕТОД ЗОЛОТОГО СЕЧЕНИЯ. СИММЕТРИЧНЫЕ МЕТОДЫ 21
нения т2 + т — 1 = 0, а любое решение уравнения (1) представи-
мо в виде
Ап = Лтд + Бт2, п=1, 2, .... (2)
где постоянные А и В однозначно определяются начальными ус-
ловиями из линейной системы
Ах± + Вх2 = Д1? Ах\ + Бтз = ^2- (3)
При Ai = b —а, Д2 = из (3) имеем А = 2(6 — а)/(Т5 — 1),
Б = 0, и понятно, что формула (2) в этом случае дает уже из-
вестное нам решение Дп = Ti-1 (6 — а). Однако точка щ задана
с погрешностью, поэтому в системе (3) вместо точного значе-
ния Д2 придется взять приближенное Д2 = Д2 + 6. Тогда постоян-
ные А, В из (3) определятся с соответствующими погрешностя-
ми: А = А+ 51, В = В + 62, и вместо (2) с точными А, В будем
иметь Дп = ЛТ1 + Вх2 (п = 1, 2, ...). Поскольку 0 < Tt = 0,6 ...
<..<1, |т2| = 1,6 ... > 1, то погрешность | Дп — An| = |8j5i +
+ 6ат21 с возрастанием п будет расти очень быстро. Это зна-
чит, что уже при не очень больших п отрезок \ап, Ьп] и точки ип,
Un+1 = ап + Ъп — йп будут сильно отличаться от тех, которые по-
лучились бы при работе с точными данными. Численные экспе-
рименты на ЭВМ также подтверждают, что метод золотого се-
чения в описанном выше виде практически неприменим уже
при небольших п.
Как же быть? К счастью, имеется достаточно простая моди-
фикация метода золотого сечения, позволяющая избежать слиш-
ком быстрого возрастания погрешностей при определении точек
ип (тг^2). А именно, на каждом отрезке [ап, 6П], содержащем
точку йп с предыдущего шага, при выборе следующей точки ип+1
нужно остерегаться пользоваться формулой ип+1 = ап+ Ъп~ йп,
и вместо этого лучше непосредственно произвести золотое сече-
ние отрезка [ап, Ьп] и в качестве ип+1 взять ту из точек ап +
+ (3 — Т5) (6n —а)/2, an + (V5 — 1) (Ьп —а„)/2, которая наиболее
удалена от ип (здесь под V5 подразумевается какое-либо подхо-
дящее приближение этого числа). Конечно, после такой моди-
фикации метод золотого сечения, вообще говоря, теряет свойство
симметричности и, быть может, уже не так красив, но зато
вполне годится для приложений. Нетрудно видеть, что этот ме-
тод может применяться и без априорного знания о том, что
минимизируемая функция унимодальна, но в этом случае полу-
ченное решение может оказаться далеким от глобального
минимума.
3. Метод золотого сечения относится к классу так называемых силс-
метричных методов. Дадим краткое описание произвольного симметрично-
го метода минимизации функции /(и) на отрезке [а, &].
22
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Первый шаг: на [а, Ь] задается точка щ (а < щ < &), полагается ai ==
= а, = &, Hi = щ и вычисляется J(wi). Пусть уже сделано п — 1 шагов
(п>2) и найдены отрезок [an-i, bn-i] и точка йп-1 (an-i < йп-i < bn-i)
с вычисленным значением J(wn-i), причем йп-\ =£ (ап-\ + &n-i)/2. Тогда на
следующем n-м шаге берется точка ип = ап-\ + Ъп-\ — йп-ь расположенная
внутри jan-i, frn-i], симметрично точке йп-\ относительно середины этого
отрезка — отсюда происходит название методов. Затем вычисляется значе-
ние J(un) и сравнивается с Пусть для определенности йп-\ <Z ип
(случай ип < йп-i рассматривается аналогично). Тогда при J(un-i)
полагается dn — an— i, bn — и-п, Un == Un-il если же У(iin—i) J(wn), то ап ==
= йп-\, Ьп = Ъп-х, йп = ип. Если* йп (ап + Ьп)/2, то процесс может быть
продолжен дальше. Может оказаться, что йп = (ап 4- Ьп)/2,— в этом случае
процесс заканчивается; при необходимости на [лп, Ьп] можно продолжать
поиск минимума аналогичным методом, начиная с выбора новой начальной
точки йп Ф (ап + &п)/2.
Из описания симметричного метода видно, что всякий симметричный
метод полностью определяется заданием отрезка [а, Ь] и первой точки щ
Отсюда следует, что в качестве другой характеристики сим-
метричного метода можно взять длины Дп отрезков [аП1 bn] (п = 1, 2, ...),
где Д1 = b — а, Д2 = шах{Ь — щ; щ — а}. Очевидно, An+i Дп/2 при всех
п 1. Как видим, симметричные методы весьма просты и, пожалуй, даже
изящны. Однако все эти методы страдают тем же недостатком, что и метод
золотого сечения: погрешность, допущенная в задании первой точки щ,
приводит к быстрому накапливанию погрешностей на дальнейших шагах*
и уже при не очень больших п результаты будут сильно отличаться от тех,
которые могли бы получиться при точной реализации симметричного ме-
тода с точными исходными данными.
Если симметричный метод таков, что для Дп = Ьп — ап выполнено
условие
Дп/2 < Дп+1 2Дп/3, п = 1, .., N, (4)
при некотором N > 1, то Дп будут удовлетворять конечно-разностному урав-
нению (1) при п — 2, ..., 7V, и исследование поведения погрешностей в этом
случае может быть проведено так же, как это было сделано выше для ме-
тода золотого сечения. Чтобы избежать слишком быстрого роста погреш-
ностей в симметричных методах со свойством (4), на каждом отрезке [ап>
Ъп] (n = 2,...,iV), содержащем точку йп с предыдущего шага, следующую
точку ип+\ нужно определять не по формуле un+i = ап + Ъп — ип, а лучше
принять за un+! ту из точек ап + ъ(Ьп —- а«), ап+(1— т)(Ьп — ап)(х*=
— (Д2 + 6)/Д1), которая наиболее удалена от йп»
Упражнения. 1. Найти наименьшее п, начиная с которого точность
метода золотого сечения больше точности метода деления отрезка пополам
в 2 раза; в 10 раз.
2. Написать конечно-разностные уравнения для длин Дп отрезков
[ап, Ьп], получаемых симметричным методом, для случая, когда на каких-
то шагах метода нарушается условие (4).
§ 5. Об оптимальных методах
1. В тех случаях, когда вычисление значений функции свя-
зано со значительными затратами, большую ценность приобре-
тают экономичные или, как их еще называют, оптимальные
методы, позволяющие решить задачу минимизации с требуемой
точностью на основе вычислений значений минимизируемой
функции как можно в меньшем числе точек, а также тесно свя-
занные с ними методы, гарантирующие наилучшую точность
при жестко заданном количестве вычислений значений миними-
§ 5] ОБ ОПТИМАЛЬНЫХ МЕТОДАХ 23
зируемой функции. В связи с этим возникают вопросы, что та-
кое оптимальные методы, существуют ли такие методы, как их
строить? Абсолютно наилучший метод, пригодный для миними-
зации всех функций, вряд ли существует, и на поставленные
вопросы можно попытаться ответить лишь при определенных
ограничениях на рассматриваемые методы, функции и поста*
новки задач минимизации.
Предположим, что нам задан некоторый класс функций Q,
зафиксирована какая-либо постановка задачи минимизации
функций из этого класса (например, задача первого или второ-
го типа из § 1) и указано множество методов Р, позволяющих
решить поставленную задачу минимизации. Пусть Д(/, р)—по-
грешность решения рассматриваемой задачи минимизации для
функции J с помощью метода р Р. Ясно, что, ми-
нимизируя одним и тем же методом р различные функции из Q,
мы будем получать, вообще говоря, различные погрешности: для
некоторых «хороших» функций из Q эта погрешность может
сказаться равной нулю, а для других «плохих» функций из Q
погрешность может быть значительной. Имеет смысл считать
метод pi Р лучше метода р2 е Р, если погрешность метода Pi
даже для самых «плохих» (для /л) функций из Q будет мень-
ше погрешности метода р2 для «плохих» (для р2) функций из
Q. В связи с этим представляется разумным ввести величину
ё(р) = sup Д (/, р), выражающую собой погрешность метода
JeQ
р прп минимизации самой «плохой» (для р) функции из Q.
Определение 1. Величину 6(р) = sup Д (/, р) назо-
jgq
вем гарантированной точностью метода р^Р на классе функ-
ций Q. Скажем, что метод Pi^P лучше метода р2^Р на классе
Q, если 6(pi)<S(p2). Метод р*ре Р назовем оптимальным ме-
тодом на классе Q, если 6(p*) = inf 6(р) = 6*, а величину
реР
в* — наилучшей гарантированной точностью методов Р на
классе Q. Если для некоторого метода ре е Р выполняется нера-
венство 6 (ре) 6* + 8, то метод р8 назовем ^-оптимальным на
классе Q.
Вопросы существования оптимальных и 8-оптимальных ме-
тодов, возможности их построения для различных множеств
методов Р, классов функций Q и постановок задач минимиза-
ции, а также другие возможные подходы к проблеме выбора оп-
тимальных методов изучались, например, в [11, 21, 81, 83, 95,
106, 109, 228, 241, 266, 282, 288, 291, 298, 328, 332].
2. Здесь мы кратко остановимся на оптимальных методах решения за-
дачи минимизации функций из класса Q, состоящего из всех унимодаль-
ных функций на отрезке [а, Ь]. Ограничимся рассмотрением множества Р
методов минимизации, использующих лишь значения функции, считая при
этом, что число п вычислений значений минимизируемой функции заранее
задано. Будем предполагать, что в описание каждого метода рп из Р входит
24
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. i
задание правила выбора точек щ, ..., ип из отрезка [а, &], вычисление
значений 7(щ), ..., J(un) минимизируемой функции J(u)<=Q, выделение
из точек ui, ип такой точки йп, для которой J (иЛ = min J (wA, и
определение отрезка [ап, Ъп], где в качестве ап, Ьп берутся ближайшие
слева или справа к йп точки среди щ, ..., un, а, Ь (возможности ип = а или
ип = Ь пе исключаются).
Таким образом, применяя конкретный метод рп<=Р к конкретной
функции Ци) Е?, в результате получаем отрезок [а п, &п] И ТОЧКУ Un ЕЕ
е [аП1 &п] с вычисленным значением J (иЛ — min J (иЛ. Из ©пределе-
ния унимодальной функции и построения отрезка [ап, &п] следует нера-»
венство Ци) Цйп) при всех и е [а, \ [ап, &п], так что
= inf J (ч) = inf J (u), U* П [ап, Ъп] #= 0. (1)
а-^u^b ап<си^Ъп
В качестве приближения для обычно берут величину Цйп), а в качест-
ве приближения к множеству U* можно взять любую точку из отрез-
ка [ап, Ьп] — на практике часто принимают ип* — ип или ип* = (яп + Ьп}/2.
Отрезок [ап, &п] принято называть отрезком локализации минимума
функции Ци) на отрезке [а, &]. Из (1) следует, что расстояние от любой
точки ип* е [ап, Ьп] до множества £7# не превышает длины отрезка лока-
лизации Ьп — ап:
P(«n*>U*) = i_nrt lwn»-M|<bn-an- (2)
u~U *
Величину А (7, рп) = Ьп — ап можно принять за погрешность решения
задачи минимизации функции J(u) е Q методом рп^Р* Согласно (2) чем
меньше погрешность А (7, рп), тем точнее будет определено приближение
ип* к £7* и, следовательно, тем лучше метод рп» Для точного определения
наилучшего или близкого к нему метода нам остается еще уточнить пра-
вило выбора точек щ, ..., ип, в которых вычисляются значения миними-
зируемой функции. Здесь принято различать два типа методов: пассивные
методы и последовательные методы.
Если все точки щ, ..., ип метода рп выбираются одновременно до на-
чала вычислений и в дальнейшем уже не меняются, то такой метод назы-
вают пассивным. Если в методе рп точки ..., ип выбираются последо-
вательно отдельными порциями, причем при выборе каждой очередной пор-
ции учитываются результаты предыдущих вычислений и проводится уточ-
нение отрезка локализации минимума, то такой метод называется после-
довательным.
Примером пассивного метода является метод равномерного перебора.
В этом методе точки щ, ..., ип выбираются по правилу: щ = щ +
(i = 1, ..., я), где h >> 0 — шаг метода, щ— заданная точка из [а, &],
ui — а h (например, и\ — а или щ = а + й/2), и, кроме того, nh
b — щ <Z (п + l)h.
Примерами последовательного метода служат методы деления отрез-
ка пополам, золотого сечения.
Пассивный метод является частным случаем последовательного мето-
да, когда все п точек выбираются сразу в первой же порции. Поэтому не-
трудно понять, что последовательные методы, вообще говоря, обладают
большей гибкостью и гораздо точнее пассивных методов. Однако отсюда
не следует, что пассивные методы вовсе не находят применения. Такие
методы весьма полезны, когда можно вести параллельные вычисления, ис-
пользуя, например, многопроцессорные ЭВМ. В тех случаях, когда значе-
ния минимизируемой функции определяются из физического эксперимента,
условия проведения таких экспериментов также могут сделать необходи-
мым применение пассивных методов.
§ 5)
ОБ ОПТИМАЛЬНЫХ МЕТОДАХ
25
Таким образом, n-точечные (т. е. использующие вычисление значений
функции в п точках) последовательные п пассивные методы описаны. Ес-
лп теперь в определении 1 принять, что Q — класс унимодальных функций
на отрезке [а, 6], Р = Рп — множество всех n-точечных последовательных
(или пассивных) методов, Д(/, рп) = Ьп — ап— длина отрезка локализации
минимума, полученного методом рп для функции J = J(u) е(?, то придем
к определениям гарантированной точности, оптимального и 8-оптимального
последовательного (пассивного) метода для унимодальных функций. Крат-
ко рассмотрим вопросы существования и построения оптимальных методов
для таких функций.
3. Сначала остановимся на пассивных методах. Пусть рп — {щ...., ип} —
какой-либо пассивный метод, а — щ и\ С.. .< ип b = ип+\. Применяя
его к какой-либо функции J (и) ^Q, получаем отрезок [щ-i, щ+il локали-
зации минимума этой функции, так что погрешность метода рп здесь бу-
дет равна Д(/, рп) = Ui+i — Ui-i. Поэтому 6 (рп) = sup Д (J, рп)
JeeQ
< max Пусть max ~ uk-r Возьмем
функцию Jk = h(u) — \и — Uh\. Это строго унимодальная функция дости-
гает своей нижней грани на отрезке [а, 6] в точке w* = s
причем Д(Л, pn) = ^k+i — Wft-i. Следовательно, гарантированная погреш-
ность метода рп на классе Q равна 6(рп) == шах (и., 1 — iuA. Для полу-
чения оптимального пассивного метода остается выяснить, достигается ли
нижняя грань inf 6 (рп) = 6*, где Рп — множество всех пассивных мето-
Рп^рп
дов, и если достигается, то на каком методе рп е Рп. Оказывается, здесь
нужно различать случаи четного и нечетного п.
Теорема 1. При всех нечетных п — 2m 4- 1 (т^О) существует
бесконечно много оптимальных пассивных методов на классе Q\ наилучшая
гарантированная точность пассивных методов P2m+i на этом классе равна
(Ъ-а)1(т + 1).
Доказательство. Возьмем пассивный метод рп* — {р1, ..., где
v2i = а 4- i(b — а)/(т + 1) G = 1, ..•, гп), а точки i?2i+i (i = 0, 1, ..., т)
расположены на отрезке [а, &] произвольно, лишь бы p2£-i < < ^гг+ь
i>2i + i — р2г-_1 (Ь — а)/(т 4- 1). Очевидно, 6 (рп*) = (Ь — а)/(т 4- 1). С дру-
гой стороны, для любого пассивного метода рп = {щ, ..ип} (щ — а^.
ui < ... < ип = Wn+i, п — 2т 4- 1) имеем 6 (pn) = max —
— Wi-1) > max {Ь — u2m< U2m~ U2m-V • • • > “4 ~ M2’ M2~ a}> ~ + *)•
Следовательно, методы pn* оптимальны и 6* = (& — a)l(m 4- 1).
Теорема 2. При всех четных п — 2т (т^1) оптимального пас-
сивного метода на классе Q не существует] наилучшая гарантированная
точность пассивных методов Р2п на этом классе равна (Ь — а)/(т-[-!).
В качестве е-оптимального метода можно взять Pn&—{vi, ..., ип}, где
— а 4- i(b — a)/(m 4- 1) — е, v2i = а 4- i(b — a)/(m 4- 1) + 8 (i = 1, ...
..., m, 0 < 8 < (b — a)/(2(zn 4- 1))).
Доказательство. Сначала убедимся в том, что 6(дп) > (&—«)/
J(m 4- 1) для любого пассивного метода рп = {щ. ..., ип} (uQ= а щ <...
... < ип Ъ = Un+i, п = 2m). Обозначим й = а + (Ь— а)/(т-}-1). Име-
ются две возможности: либо и2 > й, либо и2 й. Если и2 S> щ то о(рп) =
== max (Ui t ! — и- A — а > и — а = (& — а)!(т + 1). Если же и
<11, то 6 = max — мг-1) > иг — а' ® самом деле, если бы
max (u-+1 — 1) м2 — то W2i+* — u2i-\ и2 — a (j = 1, ..., т) и,
26
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
кроме того, щ — а < и2 — а. Сложив эти неравенства, придем к противоре-
чивому неравенству Ъ — а < (тп -J- 1) (u2 — а) (т + 1) (й — а) == Ь — а.
Таким образом, при и2 < й имеем 6 (рп) = max ==
*= 6 (pn—i), где рп-1—пассивный метод на отрезке [щ, Ь], составленный
из точек ^2, ..ип метода рп. Но п — 1 = 2т — 1 — нечетное число, поэто-
му, применяя теорему 1 к отрезку [щ, &], имеем б(р^1__1)^
> (Ь — и^/т. Тогда 6 (рп) = 6 (р'п_^ > (Ь — > (Ь — и)!т = (Ь — а)/
/(тп + 1). Тем самым доказано, что б(рп) > (Ь— а)/(тп + 1) при всех рп^
е Р2т. С другой стороны, б(рпе) = (b — а) / (т 4-1)4- е для всех е (0 < е <
< (Ь — а)/(2(т 4- 1)). Следовательно,б* = (б — а)/(т-\- 1).
Из теорем 1, 2 вытекает, что предпочтительнее пользоваться пассивны-
ми методами с четным числом п = 2т точек, поскольку в случае п = 2т 4-
4-1 наилучшая гарантированная точность остается такой же, как и при
п = 2т.
4. Перейдем к рассмотрению последовательных методов минимизации
унимодальных функций на [а, Ь]. Здесь нам понадобятся знаменитые
числа Фибоначчи, которые, как известно [95], определяются соотношениями
Fn+2 — Fn+\ 4" Fn, n = 1, 2, ...; FI = F2 = 1.
С помощью индукции легко показать, что п-е число Фибоначчи предста-
вимо в виде
Уп=[(цтг)”_(цй)”]л_, (3>
Используя числа Fn, построим n-точечный последовательный метод, ко-
торый принято называть методом Фибоначчи. Этот метод относится к клас-
су симметричных методов, описанных в § 4, и определяется заданием на
отрезке [а, &] точки щ — а 4- (Ь— a)Fn-ilFn+i или симметричной ей точки
и2 = а4-&--И1 = а4- (&*— a)FnlFn+i. С помощью индукции нетрудно по-
казать, что такой симметричный метод обладает свойством (4.4) и на Л-м
шаге (к < тг), когда проведены вычисления значений функции в точках
ui, ..., и^ приводит к отрезку локализации минимума [аь, 6&] длиной
Дь = bh — dh = (b — a)Fn-k+z/Fn+i,
причем точка йл (аь < йк < bh) с вычисленным значением J (и^ =»
= min J (иЛ совпадает с одной из точек
. F т]_ь F
u» = ek + (W^ = e» + (&-‘)^,
в F (4>
п X ti V П—fe+1 t /7 ч П—fe+1 , t_ f
Uh = ah+ (Ь„- ak) p—- = ah + (b - a) =ak + bh- uk,
расположенных на отрезке [a&, bh] симметрично относительно его
середины.
Как видно из (4), при к — п — 1 точки ип_3, совпадают. Это оз-
начает, что при к = п — 1 первая часть процесса заканчивается вычисле-
нием значения функции в точке un-i и определением отрезка локализации
минимума [an-i, 5n-i] длины bn^ — an^i= (Ь — a)F3/Fn+i = 2(Ь — a)Fn+u
причем точка = иПж1 == wn_x совпадает с серединой отрезка [ап-ь
Ьп-i]. В заключение, несколько нарушая симметричность процесса, послед-
нее n-Q вычисление значения минимизуемой функции Ци) проводится в
3 5]
ОБ ОПТИМАЛЬНЫХ МЕТОДАХ
27
точке ип = + 8 (или ип = йп-1 — 8), где 0 < 8 < (b — a)/Fn+1, и от-
резок [ап, &п] локализации минимума определяется по формулам ап =
=jzn_b Ъп = ип-i + 8 при /(izn-i) 7(йп-1 + 8) и ап = йп-ь Ъп = Ьп-\ при
7(un-i) > 7(un-i + е), так что в худшем случае Ъп — ап = (Ь — a)/Fn+i + 8.
Описанный метод обозначим через Фп.
Теорема 3. При всех п > 1 оптимального последовательного мето-
да на классе унимодальных функций не существует^ наилучшая гаранти-
рованная точность последовательных методов на этом классе равна (Ь — а)/
IFn+ь В качестве ъ-оптимального метода можно взять метод Фибоначчи Фп.
Доказательство этой теоремы можно найти в [И, 15, 83, 291]. Заметим,
что число Fn-i/Fn+i, вообще говоря, является бесконечной периодической
десятичной дробью, поэтому первая точка щ метода Фп будет задаваться
на ЭВМ приближенно. Во избежание быстрого роста погрешности из-за не-
точности задания первой точки на практике нужно пользоваться модифи-
кацией метода Фп, описанной в § 4 для симметричных методов в общем
«случае.
Следует подчеркнуть, что метод Фп для своей реализации требует, что-
бы число п вычислений значений минимизируемой функции было задано
заранее — выбор первой точки в этом методе невозможен без знания п,
В тех случаях, когда число п по каким-либо причинам не может быть за-
дано заранее, можно применять метод золотого сечения, не требующий для
своей реализации априорного значения п.
Для сравнения вспомним, что методом золотого сечепия за п вычисле-
ний значений функции мы получали отрезок [ап, &п] локализации ми-
нимума длины Ъп — ап = ((V 5 —- 1)12)п~1(Ъ.— а) = (2/(У5 + 1))п-1(& — а).
С учетом формулы Fn+i ~ ((}'5 + 1)/2)п+1/У5, вытекающей из (3) при боль-
ших п, для метода Фп получаем отрезок локализации минимума, длина ко-
торого близка к (b — a)/Fn+i ж (2/(У5 + 1))п+1(& — л)/У5. Отсюда следует,
что метод золотого сечения хуже метода Фп при больших п всего в
((У5 + 1)/2)2/У5 = 1,1708... раз, т. е. на классе унимодальных функций ме-
тод золотого сечения близок к оптимальным методам. Интересно также за-
метить, что
^п—1 3-1/5 1/5-1
lim rt —- « , lim гт — Q >
П-*оо П^ооГп+1 &
т. е. при достаточно больших п начальные точки щ, u2 методов Фибоначчи
и золотого сечения практически совпадают.
Упражнения. 1. Найти гарантированную на классе унимодальных
функций точность последовательного (или пассивного) w-точечного метода
рп, если в качестве погрешности метода рп при минимизации функции J =
= J(и) принята величина Д (/, рп) = | — J (и^) |.
2. Сравнить оптимальные и е-оптимальпые пассивные методы на клас-
се унимодальных функций с методом деления отрезка пополам.
3. Указать все точки метода Фп на отрезке [0, 1] при п = 2, 3, 4, 5.
4. Применить метод Ф5 к функциям J(u) = u, /(и) = |ц-1| на от-
резке [0, 2].
5. Найти наименьшее и, для которого точность метода золотого сече-
ния хуже точности метода Фибоначчи в 2 раза.
6. Доказать, что число Фибоначчи Fn является ближайшим целым чис-
лом к ((1 +У5)/2)П/У5.
7. Доказать, что решение уравнения (4.1) представимо в виде Дл =
= (—l)nFn-iA2+ (—l)n-I^n-2Ai (п = 3, 4, ...). Отсюда вывести закон из-
менения погрешности величины Дп, если Дь Д3 заданы неточно.
8. _Доказать, что последовательность {F2m/F27n+i} сходится к та =
= (У5 — 1)/2 монотонно возрастая, a {F2m_i/F2m} сходится к Т|. монотон-
но убывая.
28
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
9. Используя утверждения упражнений 7, 8, доказать, что метод зо-
лотого сечения является единственным симметричным методом, удовлет-»
воряющим условию (4.4) при всех п = 1, 2, ...
10. Пусть дан симметричный метод с начальными отрезками At, А2<
пусть N 2 — заданное натуральное число. Используя утверждения упраж-
нений 7, 8, указать промежуток изменения отношения Д2/Д1, чтобы метод
удовлетворял условию (4.4) при всех п = 1, ...,7V.
11. Пусть дан некоторый симметричный метод, удовлетворяющий ус-
ловию (4.4) при п — 1. Используя утверждения упражнений 7, 8, указать
максимальное число 7V, при котором условие (4.4) выполняется для всех
п = 2, ..., N.
§ 6. Метод ломаных
Описанные выше методы часто приходится применять без
априорного знания о том, что минимизируемая функция явля-
ется унимодальной. Однако в этом случае погрешности в опре-
делении минимального значения и точек минимума функции
могут быть значительными. Например, применение этих мето-
дов к минимизации непрерывных на отрезке функций приведет,
вообще говоря, лишь в окрестность точки локального минимума,
в которой значение функции может сильно отличаться от иско-
мого минимального значения на отрезке. Поэтому представля-
ется важной разработка методов поиска глобального минимума,
позволяющих строить минимизирующие последовательности и
получить приближенное решение задач минимизации первого и
второго типов (см. § 1) для функций, не обязательно уни-
модальных.
Здесь мы рассмотрим один из таких методов для класса
функций, удовлетворяющих условию Липшица.
Определение 1. Говорят, что функция J(u) удовлетво-
ряет условию Липшица на отрезке [а, Ь], если существует по-
стоянная L > 0 такая, что
| J (и) — J (у) | | и — v\ \fu,v^[a,b]. (1)
Постоянную L называют постоянной Липшица функции J(u)
на [а, 6].
Условие (1) имеет простой геометрический смысл: оно озна-
чает, что угловой коэффициент (тангенс угла наклона)
1/(и) — У(у) I • \и — р|-1 хорды, соединяющей точки (н, /(&)) и
(у, J(у)) графика функции, не превышает постоянной L для
всех точек и, v [а, Ь]. Из (1) следует, что функция Ци) не-
прерывна на отрезке [а, Ь], так что по теореме 1.1 множества
U* точек минимума J(u) на [а, 6] непусто.
Теорема 1. Пусть функция J(и) непрерывна на отрезке
[а, 6] и на каждом отрезке [ah ai+1] (i = 1, ..., тп), где Ui — a,
am+i = Ь, удовлетворяет условию (1) с постоянной Lit Тогда
Ци) удовлетворяет условию (1) на всем отрезке с постоянной
L = max
§ 6]
МЕТОД ЛОМАНЫХ
29
Доказательство. Возьмем две произвольные точки
и, v е [а, Ь]. Пусть ap-i ^и^ар, as^v as+l при некоторых
р, s. Тогда
S—1
J (и) — J (Яр) + 2 (J (®i) — J («i+l)) + J (as) —
г—р
|J(W)-J(P)| =
Lp_-i j и dp | +
s-1
Li di)
i=p
+ Ls \ as —v\.
Теорема 2. Пусть функция J (и) дифференцируема на
отрезке [а, 6] и ее производная J' (и) ограничена на этом отрез-
ке. Тогда J (и) удовлетворяет условию (1) с постоянной
L — sup J J' (и) |.
ие[а,Ь]
Доказательство. По формуле конечных приращении
для любых и, v^[a, b] имеем J(u) — J(v) = J'(v +
+ 0(н— p))(u— v) (0 < 0 < 1). Отсюда и из ограниченности
(и) следует утверждение теоремы.
Пусть функция J(u) удовлетворяет условию (1) на отрезке
[и, 6]. Зафиксируем какую-либо точку v е \а, 6] и определим
функцию g(u, v) = J(v)—L\u — и\ переменной u(a^u^b).
Очевидно, функция g(u, v) кусочно линейна на [а, Ь] и график
ее представляет собой ломаную линию, составленную из отрез-
ков двух прямых, имеющих угловые коэффициенты L и —L и
пересекающихся в точке (и, J (и)). Кроме того, в силу усло-
вия (1)
7(h) — g(u, v)>(L — \J(и) — J(у)\ \и — к|-1) \ и — v\ > О, и¥=р,
т. е.
g (u, v) = J (у) — L1 и — v К J (и) Уи^ [а, 6], (2)
причем g(p, v) = J(y). Это значит, что график функции J(u)
лежит выше ломаной g(u, и) при всех и^[а, 6] и имеет с ней
общую точку (н,
Свойство (2) ломаной g(w, v) можно использовать для по-
строения следующего метода [246], который назовем методом
ломаных. Этот метод начинается с выбора произвольной точки
Uq е [а, 6] и составления функции g(и, и0) = J(и0)— L\u — uol ==
^Ро(и). Следующая точка ui определяется из условий р0 (их) =
= min Ро (и) (нх е [а, 6]); очевидно, иг = а или щ = Ъ.
ue[a,b]
Далее берется новая функция Pi(u) = max{g(u, Wj); р0(и)}, и
очередная точка и2 находится из условий рх (н2) = min рх (и)
ue[a,b]
(и2<= [а, Ь]) и т. д. (рис. 1.2).
Пусть точки ио, щ, ..., ип (n > 1) уже известны. Тогда со-
ставляется функция
рп (и) — max {g (u, un), Pn-i (w)} = max g (и, щ),
30
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
и следующая точка wn+i определяется условиями
Pn(^n+i)= min рп(и), ип+1(=[а, Ь].
и~ [а,Ь]
(3)
Pn-i (и) = max g (u, щ) СС max g (и,
Кроме того, согласно (2) g(u,
Если минимум рп(и) на [а, Ь] достигается в нескольких точ-
ках, то в качестве un+i можно взять любую из них.
Метод ломаных описан. Очевидно, рп(и) является кусочно
линейной функцией и график ее представляет собой непрерыв-
ную ломаную линию, состоящую из отрезков прямых с угловы-
ми наклонами L или —L. Из теоремы 1 следует, что рп(и)
удовлетворяет условию (1) с той же постоянной L, что и функ-
ция J(u). Ясно также, что
ч) = Рп(^), и$=[а,Ь]. (4)
[и) (и [а, &]) для всех
i = 0, 1, ..., м, поэтому
рп(и) Ци), и^ [а, Ь],
лг = 0, 1, ... (5)
Таким образом, на
каждохМ шаге метода ло-
маных задача минимиза-
ции функции Ци) заме-
няется более простой за-
дачей минимизации ку-
сочно линейно!! функции
рп(и), которая приближа-
ет Ци) снизу, причем со-
гласно (4) {рп(и)} моно-
тонно возрастают. Дока-
жем, что при неограни-
ченном увеличении п ме-
тод ломаных сходится.
Теорема 3. Пусть
Ци) —произвольная функ-
ция, удовлетворяющая на отрезке [а, 6] условию (1). Тогда
последовательность {ип}, полученная с помощью описанного
метода ломаных, такова, что: 1) lim J (ип) = lim pn(Un+i) = J* =
n~»oo П-»оо
= inf J (u), причем справедлива оценка
u=[a,b]
0 J (un_|-i) J * J (un+i) — pn (iZn4-i), n = 0, 1, ...; (6)
2) {un} сходится к множеству U* точек минимума J(и) на
[а, 6], т. е. lim р (ип, U*) = 0.
П—>оо
Доказательство. Возьмем произвольную точку и* е
el/*. С учетом условий (3) и неравенств (4), (5) имеем
МЕТОД ЛОМАНЫХ
31
§ 6]
Pn-i(wn)= min /?n-i(^X/?n-i(^n+iX^n(^n+i) = min
uG[o,b] ue[a,b]
^Pn(u*) (^*) = J*, т. e. последовательность {pn(^n+i)} мо-
нотонно возрастает и ограничена сверху. Отсюда сразу следует
оценка (6) и существование предела lim pn(un+i) = По-
кажем, что р* = J*.
Последовательность {пп} ограничена и по теореме Больца-
но — Вейерштрасса обладает хотя бы одной предельной точкой.
Пусть v* — какая-либо предельная точка последовательности
{ип}. Тогда существует подпоследовательность сходящаяся
к v*, причем можем считать, что тъ < ... < пк_^ < nk < ...
Заметим, что J(щ) = g(uh pn(Ui)^J(Ui), т. е. J(ui) = рп(щ)
при всех f = 0, 1, ..., п. Тогда 0^рп(щ)— min рп(ц) —
u=[a,b]
= J (щ) — Рп (un+1) = Рп (щ) — рп (ип+1) < LI щ — ип+11 при лю-
бом п и i = 0, 1, ..п. Принимая здесь п = пк— 1, i = nft_1:C
nh — 1, получаем 0 J (ип^) — Pnk-i (unh) L — unk |
(Zc^2). Отсюда при имеем J* J (v*) = lim =
fe-»oo
= lim pnh-i(unh) =P*<J*, t. e. lim J (unA = lim рПк-г (unh) =
fe-»oo 4 7 fc-»oo fc-»oo
=== p* == J
Пользуясь тем, что рассуждения проведены для произволь-
ной предельной точки v* последовательности {z^n}, убеждаемся
в справедливости первого утверждения теоремы. Второе утверж-
дение следует из теоремы 1.1.
Таким образом, с помощью метода ломаных можно получить
решение задач минимизации первого и второго типов для функ-
ций, удовлетворяющих условию (1). Проста и удобна для
практического использования формула (6), дающая оценку не-
известной погрешности J (ип+1)— J* через известные величи-
ны, вычисляемые в процессе реализации метода ломаных. Этот
метод не требует унимодальности минимизируемой функции, и
более того, функция может иметь сколько угодно точек локаль-
ного экстремума на рассматриваемом отрезке. На каждом шаге
метода ломаных нужно минимизировать кусочно линейную функ-
цию pn(u), что может быть сделано простым перебором извест-
ных вершин ломаной pn(w), причем здесь перебор существенно
упрощается благодаря тому, что ломаная pn(w) отличается от ло-
маной Pn-i(tf) не более чем двумя новыми вершинами. К досто-
инству метода относится и то, что он сходится при любом выбо-
ре начальной точки п0. В работе [128] показывается, что метод
ломаных близок к оптимальным методам на классе функций,
удовлетворяющих условию (1). Оптимальные методы поиска
минимума строго унимодальных функций, удовлетворяющих ус-
ловию (1), рассмотрены в [328].
К недостаткам метода ломаных следует отнести то, что с
увеличением числа шагов п растет требуемый объем памяти
32
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
ЭВМ для хранения координат вершин ломаной рп(и). В § 7 бу-
дет рассмотрен другой метод, по своей идее близкий к методу
ломаных, но предъявляющий менее жесткие требования к объ-
ему памяти и более удобный для реализации на ЭВМ.
Следует также отметить, что метод ломаных невозможно
реализовать без знания постоянной L из условия (1). На прак-
тике оценку для L получают, вычисляя угловые коэффициенты
некоторого числа хорд, соединяющих точки графика минимизи-
руемой функции. Здесь полезно иметь в виду, что если
и < и < ш, то
|7(ш) — J(u) \f(w — и)^
тах{| 7(ш) — J(v)\/{w — v); J (и) \/(y — &)}, (7)
т. e. при добавлении новой точки на отрезке [и, w] появляется
новая хорда с неменьшим угловым коэффициентом.
Для доказательства (7) нужно рассмотреть два случая, ког-
да неравенство
/ (и)) (v — u)/(w — и) + J(u) (8)
выполняется и когда оно не выполняется. Если 7(гр)>7(п) и
(8) выполняется, то (7 (и)— J(u))/(v — u)^(J(w) — J (и))/
J{w — и)^0; если /(w)>/(iz) и (8) не выполняется, то
(7(гр)— J(p))/(u? — р)>(7(ш) — J(u))/(w — и)^ 0. Аналогич-
но доказывается (7) в случае J(w)<J(u).
Пусть а == v0 < Vi < ... < vm = b; обозначили Lm =
= max | J (vi) — J (Vi-J |-| vi — Ясно, что Lm^L. Пусть
при каждом m > 1 величина Lm+i вычисляется по точкам а =
= Wo < Wi < ... < wm+i = Ь, полученным добавлением к точкам
Vo, v^ ..., vm одной новой точки. Тогда согласно (7) имеем
Lm Lm+l L Это значит, что с возрастанием т ве-
личины Lm все лучше и лучше приближают L снизу. Если
шах | Vi — Vi^t | -> 0 при т—>оо, то lim Lm = L, Приведенные
соображения могут помочь в получении оценки для L. При оп-
ределении L мъгут быть полезны теоремы 1, 2.
Следует заметить, что использование завышенной оценки
для L ухудшает скорость сходимости метода ломаных, приводит
к излишне большому количеству вычислений значений миними-
зируемой функции. Если же пользоваться заниженной оценкой
для L, то метод может привести к неправильному определению
приближения минимального значения.
Упражнения. 1. Привести пример функции, удовлетворяющей ус-
ловию (1), но не являющейся унимодальной.
2. Можно ли утверждать, что всякая унимодальная на отрезке [а, &]
функция удовлетворяет условию (1) на [а, &]? Рассмотреть пример функ-
ции /(и) = }и на [0, 1].
МЕТОДЫ ПОКРЫТИЙ
33
§ 7]
3. Рассмотреть первые шесть шагов метода ломаных для функции
Ци) = ||и2—1|—1| на отрезке [—2, 2] при различном выборе началь-
ной точки Uq.
4. Выяснить, как ведет себя метод ломаных при минимизации функ-
ции Ци) == 1 на отрезке [0, 1].
5. Пусть Ци) = апип + ... + а^и + aQ — многочлен n-й степени на от-
резке [а, &], где 0 < а < Ь. Обозначим
А+ = {i: 0 i п, сц > 0}, Л~ = {i: 0 i тг, сц <Z 0},
/+(«) = У, «i“l, Л_(“) = У, | «j | «*.
Доказать, что Ци) = Ц(и)—J-(u), а в качестве постоянной L из усло-
вия (1) для функции Ци) на [а, 6] можно взять величину max {J (b) —
-Л(«); |4(«)-<(&)]) [Ю6].
§ 7. Методы покрытий
1. Обозначим через Q(L) класс функций, удовлетворяющих
условию Липшица (6.1) на отрезке [а, Ь] с одной и той же для
всех функций этого класса постоянной L > 0. Для функций
J = J(u)^ Q(L) будем рассматривать задачу минимизации пер-
вого типа, когда ищется величина J* = inf J (и). Для решения
u=[a,b]
этой задачи будем пользоваться методами рп, которые заключа-
ются в выборе точек ., ип (а < ut < ... < ип Ь), вычис-
лении значений функции J(ui), ..., J(ип) и определении вели-
чины J (uk) = min У(и^), принимаемой за приближение к «7*.
Возникает вопрос: как выбрать метод рп .., ип}, чтобы
min + 8 XfJ (и) е Q(L), (1)
Кг^п
где 8 > 0 — заданная точность? Ниже будет изложено несколь-
ко методов решения поставленной задачи (1). В каждом из этих
методов определенным образом строится некоторая система от-
резков, покрывающих исходный отрезок [а, Ь], и вычисляются
значения функции в подходящим образом выбранных точках
этих отрезков. Поэтому излагаемые ниже методы принято на-
зывать методами покрытий.
2. Простейшим методом рп для решения задачи (1) может
служить метод равномерного перебора, когда точки щ, ..., ип
выбираются по правилу
щ — a A- h/2, u2=-Ui + h, .... ui+l = iii + h = щ + th, ...,
(2)
ип-^ = uL + (n — 2)h, un = minfoi + (n — l)fe; b}, v 7
где h — 2s/L — шаг метода, а число n определяется условием
un-i <b- h/2 < iii + (n — l)h.
Те op ема 1. Метод равномерного перебора (2) решает за-
дачу (1) на классе Q(L). Если h'>2s/L, то существует функ-
ция J(u)^Q(L), для которой метод (2) не решает задачу (1).
34
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Доказательство. Пусть J — J(u)—произвольная функ-
ция из Q(L). С учетом неравенства (6.2) для любого не
е [ггг- — h/2, + h/2] имеем J (и) J (щ) — L\u — Ui\^J (щ) —
— Lh/2^ min J (щ)— 8 при всех i = 1, ..., n. Поскольку си-
стема отрезков — fc/2, Ui + h/2] (г = 1, ..., и) покрывает весь
отрезок [я, £], т. е. всякая точка и из [а, Ь] принадлежит
одному из отрезков этой системы, то из предыдущего неравенст-
ва следует, что/(н)^ min J (щ)— 8 для всех и е [а, Ь]. По-
1<г<п
этому min J (щ)— 8 для любой функции 7 = 7(н)е ()(£),
l^i^n
что равносильно неравенству (1). Если h>2&/L, то, напри-
мер, для функции J(u)=Lu метод (2) дает min (Ьщ) — La =
l<i<n
~ Lh/2 > 8.
3. Метод равномерного перебора (2) относится к пассивным
методам, когда точки щ, ..., ип задаются все одновременно до
начала вычислений значений функции. На классе Q(L) можно
предложить такой же простой, но более эффективный последо-
вательный метод перебора, когда выбор точки щ при каждом
I > 2 производится с учетом вычислений значения функции в
предыдущих точках щ, .. ., ut-i, и задачу (1) удается решить,
вообще говоря, за меньшее количество вычислений значений
функции, чем методом (2). А именно, следуя работе [139], по-
ложим
iii = а + /г/2, = щ + h — F/)/L, i = 1, ..., и — 2,
(3)
un = minhvi + /i + (7(un_i)— Fn^)/L\ fo},
где h = 2s/Z/, Ft = min J (uj), а число n определяется условием
un~i < b — h/2 iznH + 7г + (7(нп_1)— Fn_i)/L.
Теорема 2. Метод последовательного перебора (3) реша-
ет задачу (1) на классе Q(L).
Доказательство. Пусть —произвольная функ-
ция из Q(L). С учетом неравенства (6.2) для всех и <= [нй щ +
+ h/2 + (J(и/)— Fi)/L] имеем J(u)^ J(Ui)— L(h/2 + (7(ц<)—
— F/)/U)~Fi— Lh/2^Fn — 8. Аналогично для всех и^[иг —
— h/2, и/] получим J(u)^J(ui)—Lh/2>Fn— 8. Поскольку си-
стема отрезков [щ — h/2, щ+ h/2 + (/(и/)—F^/L] (i = 1, ..n)
покрывает весь отрезок [a, &], то из предыдущих неравенств
следует, что J(u)^Fn — 8 при всех и [а, &]. Тогда
^Fn — 8 при всех J = Ци) Q (L), что равносильно неравен-
ству (1).
В худшем случае, когда, например, функция 7 (и) постоянна
или монотонно убывает на [а, &] и, следовательно, Fi =
= min J (щ) = J (и/), метод (3) превращается в метод (2), и
§ 7]
МЕТОДЫ ПОКРЫТИЙ
35
для решения задачи (1) тогда потребуется — a)L/(2&)
вычислений значений функции. В самом лучшем случае, когда
/(п) = Л + А(и— В), где А, В — постоянные и, следовательно,
77'г = 7(1г1), щr = + (21-1 — l)h (t = 1, ..., п — 2), для решения
задачи (1) понадобится всего N2 ~ 1 + log2(6 — a)L/(2e) вы-
числений значений функции. И вообще, если при ка-
ком-либо г, то ui+i — щ > h, и поэтому число п вычислений
значений функции, необходимое для решения задачи (1), бу-
дет, вообще говоря, меньше и больше ДГ2.
Заметим также, что метод (3) идейно примыкает к методу
ломаных из § 6, но метод (3) выгодно отличается простотой
реализации и не требует большой машинной памяти. Недостат-
ком метода (3), как и метода ломаных, является необходимость
априорного знания постоянной L из условия (6.1).
4. Следуя [141, 231], изложим еще один метод покрытий для
решения задачи (1). Сначала определим минимальное целое
число п из условия
(Ь-а)/2”+1^Е/£, (4)
и на отрезке [а, Ь] введем точки cik = а + i(b — а)/2к (1 =
= О, 1, ..., 2ft), где О^к^п. Систему отрезков {[c/ft, сг+1Л], i =
= 0, 1, ..., 2к—1} будем называть разбиением отрезка [а, 6]
к-го уровня. Таким образом, исходный отрезок будет иметь ну-
левой уровень. Отрезками первого уровня являются две полови-
ны исходного отрезка. И вообще, отрезки к + 1-го уровня полу-
чаются из отрезков Л-го уровня делением пополам.
На первом шаге метода берем исходный отрезок [лъ =
= [а, Ь], полагаем //!=(&! — а^/2, и{ =(ai + Ь{)/2, вычисляем
J(ui) = Fl. Если тг = О, то процесс закончен и, как увидим ни-
же, число Fi — искомое приближение для Допустим, что
п > 0. Тогда на втором шаге метода рассматриваем отрезок
]я2, &2], представляющий собой одну из половин отрезка [ab fej.
Полагаем fc2=(&2— а2)/2, и2 = (а2 + fe2)/2, вычисляем J(u2),
F2 = min{/\; J(u2)}. Если п = 1, то отрезок \а2, ЪД исключаем
из дальнейшего рассмотрения и на третьем шаге переходим к
отрезку [а3, Ь3] = [аъ &i]\[a2, Ь2]. Если же п > 1, то еще про-
веряем неравенство F2^J(u2)—Lh2 + z. В случае выполнения
этого неравенства отрезок \а2, Ь2] исключаем из дальнейшего
рассмотрения и на третьем шаге переходим к отрезку [а3, Ь3] =
= [ab &i]\[a2, Ь2]; если же это неравенство не выполняется, то
в качестве [а3, Ь3] берем одну из половин отрезка [а2, Ь2] п т. д.
Пусть уже сделано к—1 шагов (к ^2), определена вели-
чина Fk—! = min J (Ui) и выделен отрезок [щ, bk] некоторого
-<i <k—1
/-го уровня (/ п) для рассмотрения па следующем fc-м шаге.
Положим кк = (Ьк — ak)/2, uk=(ak+bk)/2, вычислим 7(wft),
36
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Fk= тш^^; J (uk)} = min J (щ). Если j = 77, то отрезок [ak, bk]
l^i^h
исключаем из дальнейшего рассмотрения и на к + 1-м шаге пе-
реходим к одному из отрезков [nA+i, bh+i] какого-либо уровня,
еще не исключенного из рассмотрения (например, за [аА+1, &А+1]
можно принять один из оставшихся отрезков с возможно мень-
шим уровнем; возможны и другие варианты перебора оставших-
ся отрезков [141, 231]). Если же у < 77, то проверяем еще одно
неравенство
Fk^J(uk)— Lhh + е. (5)
Если оно выполняется, то отрезок [ah, bh] исключаем из даль-
нейшего рассмотрения, а в качестве следующего отрезка
[ал+1, &А+1] берем один из оставшихся отрезков какого-либо уров-
ня (например, самого меньшего уровня). Если (5) не выполня-
ется, то за |&А+1, Ьк+1] берем одну из половин отрезка [nA, и
т. д. Процесс исключения продолжается до тех пор, пока не бу-
дет исчерпан весь отрезок [а, Ь].
Теорема 3. Для каждой функции J(u)^Q(L) описанный
процесс закончится за N^2n— 1 шагов, где п взято из (4),
исчерпанием всего отрезка [а, Ь], причем F^= min J(Ui)^
l<i^N
•£* + e.
Доказательство. Из описания метода видно, чдо от-
резки [ал, &*] гс-го уровня дальше не дробятся и исключаются
из рассмотрения без проверки условия (5). Исключение отрезка
ЬД i-ro уровня при i < п производится лишь при выполне-
нии условия (5), в противном случае отрезок \ah, ЬД дробится
пополам. Таким образом, в самом худшем случае, когда усло-
вие (5) не выполнится ни для одного отрезка i-ro уровня
(i<n), процесс превратится в последовательное исключение
всех отрезков 77-го уровня и завершится на шаге N = 2п — 1.
Если же хотя бы на одном шаге благодаря условию (5) будет
исключен отрезок у-го уровня (у<77), то процесс закончится за
N < 2п — 1 шагов. Покажем, что Fy^ZJ* + 8. Поскольку от-
резки 77-ГО уровня [сгп, Ci+i.n] (i = О, 1, . .., 2п—1) покрывают
весь отрезок [а, Ь], то найдется такой номер ш (0 m < 2п — 1),
ЧТО [£fnn? £тп+1,п] Г) U* 0 •
Пусть отрезок [cWn, cw+i,n] оказался исключенным на &-м
шаге как часть отрезка [ал, bk] у-го уровня (у < п). Имеются две
возможности: у < п или у = п. Если у < 77, то исключение произ-
ведено из-за выполнения условия (5). Отсюда и из условия
Липшица следует, что J(u)>J(t7/1)—Lhk > Fk — 8 > FN—8
для всех u^[ak, foj. Тогда, учитывая, что [cmn, em+1,J A
cz [ak, bh] П £/*7^=0, имеем J* = inf J(u)Z^FN— 8, т. e.
Fn<J*+ e. Если у = 77, то отрезок [аА, bk] = [cwn, cm+l n] на
/с-м шаге исключен из рассмотрения как отрезок 77-го уровня.
§ 7]
МЕТОДЫ ПОКРЫТИЙ
37
В этом случае в силу (4) имеем bh — ah = cm+it„ — стп =
= (b— a)/2n^2e/L, и из условия Липшица получим
/(щ) — L(b — a)/2n+1 J(uk) — 8> FN — e для всех ue
e [a*, M* Отсюда снова имеем J* = inf J (u) FN — 8.
[ak>bk]
Как видим, описанный метод на классе Q(L) в худшем слу-
чае превращается в метод простого перебора отрезков {cin, Cf+i,n]
(i = 0, 1, 2п— 1) с шагом h = (b — а)/2п = 2&/L с вычисле-
нием значений функции в средних точках этих отрезков. В то
же время ясно, что для многих функций J(u)^Q(L) этот ме-
тод гораздо эффективнее метода простого перебора.
5. Метод последовательного перебора, аналогичный методу (3), можно
предложить и для некоторых других классов функций. Остановимся на
классе функций, дважды дифференцируемых на отрезке [а, Ь], у которых
sup J" (и) М, где М—некоторая фиксированная постоянная. Обозна-
ue[«,b]
чим этот класс функций через R(M). Заметим, что если М 0, то J"(u) О
и, следовательно, J'(u) монотонно убывает на [а, Ь]. Это значит, что тогда
функция достигает своей нижней грани при и = а или и = Ъ. Таким об-
разом, задача минимизации функций из класса R (М) в случае М 0 ре-
шается просто. Поэтому имеет смысл рассматривать класс R (М) при М > 0.
Тогда для решения задачи минимизации первого типа на классе функций
R(M) можно предложить следующий метод последовательного перебо-
ра [106]:
щ = а, = Ui + ]2&/М + hi, i — 1, ..., п — 2, ип = b, (6)
где hi — }2(б + J(ui} — Fi)IM, F:~ min J (u.\, а число n определяется
условием un-i < b un-\ + У2&/М + hn-\.
Теорема 4. Применяя метод (6), задачу минимизации первого типа
для любой функции J(u) ^R(M) можно решить с заданной точностью 8 >•
> 0, т. е.
0< min У(^) —Уф^8. (7)
l<Un
Доказательство. Пусть м*•— какая-либо точка минимума J(и) на
[а, Ь]. Если и* = а или и*=Ь, то У* = min (У J и неравенст-
во (7) очевидно справедливо. Поэтому пусть а < и* < Ь. Тогда J' (w*) =0 и
используя разложение по Тейлору в точке и*, для J(u) ^R(M) получаем
J («) = + J" © (к - *©2/2 < J. + М (и - и„)2/2, (8)
где £ = и* + 0 (и — и*) (0 < 0 < 1). Система отрезков [щ — }2г/М, щ + hi]
(i = 1, ..., п) покрывает отрезок [а, Ь], поэтому и попадает в один из от-
резков этой системы при некотором i. Если ui — ~]/2ъ1М и* и^ то из
(8) при и — иг имеем J (и^ — У* < (М/2) (2e/Af) = 8. Если иг < и* < иг -f
+ h^, то аналогично J (и.) — У* Mh2/2 = е + У или F^ — У*
^8. Объединяя оба случая, получаем требуемое неравенство (7).
В худшем случае (например, если Ци) = М(и — Ъ)2/2) может оказать-
ся, что Fi — J(ui) и тогда метод (6) превратится в метод равно-
мерного перебора с шагом h = 2У2е/М. Если же Fi < J(ui) при некото-
рых i (например, для J(u) = М(и — а)2/2), то методом (6) удается полу-
чить неравенство (7), вообще говоря, при меньшем п, чем методом равно-
мерного перебора. Метод (6) можно несколько улучшить, приняв Fi =
38
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИИ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
— min f J (6);
min ЦиХ\.
Kjci v A
Недостатком метода (6) является требование
знания постоянной М^> sup J" (и).
ие[а,Ы
Упражнения. 1. Пусть одним из вышеописанных методов покры-
тий найден min J (и= J (г^). Можно ли принять Uk за приближение к
множеству СЛ/? Оценить погрешность p(wfe>^*) для метода (2) па классе
Q(L); рассмотреть функцию Ци) — L(u— а)—е/2 при а и а + еЩ
Ци) — е(Ъ— и)1(2(Ь — а — ъ/L)) при а 4- e/L сС и 6, где е Д> О— малое
число. Оцепить р (uk, U^) для методов (3), (6) на классах Q(L) и R(M)
соответственно.
2. Найти оптимальный пассивный и оптимальный последовательный
методы па классе функций Q(L) [109, 282].
§ 8. Выпуклые функции одной переменной
Рассмотрим класс функций, для которых существует более
эффективный вариант метода ломаных, когда ломаные составля-
ются из отрезков касательных и лучше аппроксимируют мини-
мизируемую функцию. Речь идет о выпуклых функциях, играю-
щих важную роль в теории экстремальных задач.
Определение 1. Функция 7(н), определенная на отрез-
ке [«, Ь], называется выпуклой на этом отрезке, если
7 (ап +(1 —-- a)v)^ aJ(u)~r(l — a)J(v) (1)
при всех и, v [а, Ь], а [0, 1].
Когда а пробегает отрезок [0, 1], точки (ан + (1— а) г,
а7(^) + (1— a)J(v)) на плоскости переменных (и, 7) пробега-
ют хорду АВ, соединяю-
щую точки Л = (щ 7(и))и
В— (v, 7(h)) на графике
функции 7 = 7(н). Поэто-
му неравенство (1) имеет
простой геометрический
смысл: график выпуклой
функции на любом отрез-
ке [и, г] s [н, Ь] находит-
ся не выше хорды, соеди-
няющей точки графика
(и, 7(h)) и (р, 7(р))
(рис. 1.3). Примерами
функций, выпуклых на
любом отрезке, могут служить функции J{и)== и2, J(и)= \и\,
J(u)= и.
Наряду с выпуклыми функциями в литературе рассматри-
вают вогнутые функции.
Определение 2. Функция 7(и) называется вогнутой на
отрезке [а, Ь], если
7(ан +(1 — а)р)> а7(н)4-(1 — а)7(р)
при всех и, v е [а, Ь], а [0, 1].
ВЫПУКЛЫЕ ФУНКЦИИ ОДНОЙ ПЕРЕМЕННОЙ
39
§ 8]
Между выпуклыми и вогнутыми функциями существует тес-
ная связь: если J(u) вогнута на [а, &], то —7(п) выпукла на
этом же отрезке. Учитывая эту связь, достаточно ограничиться
изучением свойств выпуклых функций.
Теор ем а 1. Для выпуклости функции J(u) на отрезке
{а, Ь] необходимо и достаточно, чтобы
(7(и)~ J(и))./ (и — v) (J(w) — J(v))/ (w — v)
^(J(w)-J(u))/(w-u) (2)
при всех и, v, w (a^v<u<w^b).
Доказательство. Необходимость. Пусть функция
J(u) выпукла на [а, Ь]. Нетрудно проверить, что и =
= ап +(1 a)w, где а = (w — u)/(w — v) (0<&<1). Отсю-
да с учетом выпуклости функции J (и) имеем 7(п)<
(ш — u)J(n)/(w — п) + (1 — (ш — и)/(in — u))J(w), или
(ш — р)7(н)^(ш — и) J(n) + (u — n)J (w).
Последнее неравенство можно переписать в двоякой форме:
(ш — п) (J(u) — J(n))^(u - п) (J (w)—~ J (п)),
или
(ш — и) (J(w)- J(n))^(u? — п) (J(iv)~ / (и)),
откуда будет следовать (2).
Достаточность. Пусть J(u) удовлетворяет одному из
неравенств (2). Отправляясь от этого неравенства и проделав
предыдущие преобразования в обратном порядке, убеждаемся
в том, что J(u) выпукла на [а, Ь].
Нетрудно понять геометрический смысл неравенств (2) (см.
рис. 1.3), если вспомнить, что (J(u)—J(n))/(u—n) представ-
ляет собой угловой коэффициент хорды АВ, соединяющей точ-
ки А=(и, J(u)) и В=(п, 7(к)) на графике функции J = J(u).
Теорема 2. Выпуклая на отрезке [а, 6] функция J(и) в
каждой внутренней точке и отрезка [а, Ь] непрерывна и имеет
конечную правую производную lim (J (и + h)— J (и)) ’h = J' (и + 0),
4~0
конечную левую производную lim (J (и)— J(u—t))/t=J'(u—0),
т-*4~0
причем 7х (к — 0) 7' (и + 0) при всех и (а, Ь).
Доказательство. Из теоремы 1 следует, что
(7(н)- 7(и — т))/т^(7(п)- 7(п- /г))А^
(7(и + h) — J(u))/h (7(u + т)-— 7(п) )/т (3)
при всех т, h, лишь бы 0 < h < т и точки и, u±h, и±х
^(а, Ь) (рис. 1.4). Неравенства (3) означают, что величина
(J(u + h)—J(u))/h монотонно убывает при убывании h и ог-
раничена снизу, например, величиной (7(и)—J(u—x))/x, не
зависящей от h. Отсюда следует существование правой произ-
40 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. I
водной J'(u + O). Аналогично доказывается существование ле-
вой производной J' (и— 0). Из (3) при h -* +0 получаем нера-
венство Jr (и — 0) Jf (и + 0). Из существования левой и пра-
вой производных следует непрерывность 7(н)при всех и е (а, Ь).
Заметим, что на концах отрезка [a, fe] выпуклая функция
может не иметь соответствующей односторонней производной и,
более того, здесь она
может терпеть разрыв.
Пример 1. Пусть
J(u)=u при 0<и<1,
7(0) = 7(1) = 2. Оче-
видно, эта функция
выпукла на [0, 1], но
на концах отрезка тер-
пит разрывы.
Пример 2. Функ-
ция J(u) =—VI — и2,
выпукла и непрерывна
на отрезке [—1, 1], но
на концах отрезка не
имеет конечных производных J' (1 — 0), Jf (— 1 + 0).
Теорема 3. Пусть функция J(и) выпукла на отрезке [а, &]
и имеет конечные производные Jf(a + Q), J'(b — 0). Тогда
J' (а + 0) (и — v) J(и) — J(г) Г (Ъ — 0) (и — v) (4)
при всех и, v (a^v^u^b), так что J(и) на [а, Ь] удовлет-
воряет условию Липшица (6.1) с постоянной L =
= max{|7' (а + 0) I; \J'(Ъ — 0)1).
Доказательство. Из теоремы 1 имеем
(J(a + h) — J(a))/h^(J(v)~ J(a))/(v-a)^
(u)~ J(»))/(u - p)^(7(b)~ J(u))/(b - u)^
^(J(b)~-J(b — h))/li
для всех h > 0, a + h<v<u<b — h. Отсюда при h -> +0
получаем
J' (a + 0) (7(u) - J (v)) / (u - v) J' (b - 0),
что равносильно (4) при любых u, и (a<v<u<b). Неравен-
ства (4) остаются верными также и при v = а или и=-Ь, так
как при выполнении условий теоремы функция J(и) непрерыв-
на во всех точках отрезка [а, Ь] и в (4) можно совершить пре-
дельный переход при v -> а + 0 или и Ъ — 0.
Пример 2 показывает, что конечность величин 7'(а + 0),
7'(Ь —0) существенна для выполнения условия Липшица (6.1).
Теорема 4. Пусть функция J (и) выпукла на отрезке [а, 6],
a l(v)—любая функция, удовлетворяющая неравенствам
J'(v — 0)^ Z(p)< J'(у + 0) при a<v<b. Тогда 1(у) не у бы-
ВЫПУКЛЫЕ ФУНКЦИИ ОДНОЙ ПЕРЕМЕННОЙ
41
§ 8]
вает при v (а, Ъ) и справедливо неравенство
](и)> J(v) + Z(p) (и — р), и & [я, Ь]. (5)
Если, кроме того, J(u) дифференцируема во всех точках отрезка
[а, Ь], то
J (и)^ J (v) +J'(v) (и— р), и е [а, Ь], (6)
при любом v е [а, 6]. Если неравенство (5) {или (6)) обраща-
ется в равенство при некотором и = с ^[а, Ь] (с¥=р), то J(u)^=
= J(и)+ Z(p) {и — р) при всех и из отрезка [с, р].
Д оказательство. Перепишем неравенство (1) в виде
У(р + а(п — р)) — 7(р)=^ а(7(р) — 7(р)) (0 < а < 1). Разделив
обе части этого неравенства на а и перейдя к пределу при
а +0, получим J (и)— J(v)^ Z'(p + 0) {и — Z(p) {и — v)
при р>р и J (и) — Z(p)> /'(р — 0) (и — р)^ Z(p) (и — р) при
и < р. Неравенство (5) доказано. Заметим, что при а < и < b
переменные и, v в (5) входят равноправно, поэтому, меняя их
ролями, получаем Z(p)> J(u) + l(u) (v— и) при всех ре[я, Ь].
Сложим последнее неравенство с (5) почленно. Будем иметь
(Z(u)—Z(p))(u—р)>0 при всех и, ре(а, 6), что равносильно
монотонному возрастанию Z(p).
Пусть теперь J (и) дифференцируема во всех точках ре
е [а, Ь]. Тогда Г (и + 0) = Г {и — 0) = J' (и) при всех ае[а, Ь].
Полагая в (5) Z(p)=J'(p), убеждаемся в справедливости нера-
венства (6) при всех ре(а? Ь). Из существования конечных
функций J' (а + 0), ]'(Ь— 0) и из (4) следует, что (6) верно
и при р = a, v — Ь.
Наконец, пусть У(с) = J(p)+Z(p) (с— р) при некотором
с е Ь] (с ¥= р). Возьмем произвольную точку и — ас +
+ (1 — а)р из отрезка [с, р]. Из выпуклости J(u) тогда следует,
что J(u)^ а/(с) + (1 — а)7(р) = a(J(p)+ Z(p) (с — р)) + (1 —
— а)/(р)== /(р)+ Z(p) (и—р) {и е [с, р|). Сравнивая это не-
равенство с (5), заключаем, что J(и)= J(v)+l(v) (и— v) при
всех и е [с, р].
График линейной функции J(p)+ J' (р) (и — р) переменной
р^[р, &] представляет собой касательную к графику J = J(u)
в точке р. Поэтому неравенство (6) означает, что график любой
выпуклой дифференцируемой функции лежит не ниже любой
касательной к нему. Обобщая понятие касательной на случай
выпуклых недифференцируемых функций, прямую g(u, р) =
= Z(p) + Z(p) {и — р), где J' (р — 0)< Z(p)=C J' (у + 0), также будем
называть касательной к графику J = J(u) в точке р.
Следствие 1. Пусть функция J(u) выпукла на [а, Ь]. Тог-
да производные (п + 0), J' (и — 0) монотонно возрастают при
и^(а, Ь) (если существуют конечные функции У'(а + 0), ]'(Ъ —
— 0), то утверждение справедливо на всем отрезке [а, Ь]).
42
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Доказательство этого утверждения непосредственно следует
из теоремы 4, если в пей принять Z(p) = J' (н + 0) или Цу) =
= ]'(у — 0).
Теорема 5. Пусть функция J(и) выпукла на отрезке [а, Ь]
и lim J (и) = J (а), lim J (и) = J (Ъ). Тогда множество U*
и->а4-0 и-+Ь~о
точек ее глобального минимума на [а, Ь] непусто и все точки
локального минимума J(и) принадлежат U*. Для того чтобы
и* е U*, необходимо и достаточно, чтобы
/'(^ + 0)>0, J'(^-0)<0 (7)
{если и* = а или и* = Ъ, то (7) заменяется одним неравенством
J' (а + 0) > 0 или J' (Ь — 0) 0 соответственно).
Доказательство. Из условий на функцию J {и) и теоре-
мы 2 следует непрерывность J{u) па [а, Ь]. Согласно теореме 1.1
тогда множество U* непусто. Пусть и* — какая-либо точка ло-
кального минимума Ци). Тогда J (и* 4- h)— J (ti*) 0 при всех
достаточно малых \h\, для которых и* 4-/ie [а, Ь]. Разделив это
неравенство па h > 0 и h < 0 и устремив h к нулю, получим
условие (7). Заметим, что существование и конечность J' {и* ± 0)
при a<Zu*<Zb следует из теоремы 2. Если и* = а, то сущест-
вование и конечность 7'(а + 0) следует из того, что (7(а + Л) —
— J{a))/h монотонно убывает при h -> +0 и ограничена снизу
нулем. Аналогично доказывается существование и конечность
J' (Ь — 0) при и* ~ Ь. Таким образом, показано, что всякая точка
локального минимума необходимо удовлетворяет условиям (7).
Пусть теперь некоторая точка и* е (а, Ь) удовлетворяет ус-
ловию (7). Положим в неравенстве (5) v = и*, I (р) — 0 и полу-
чим, что J (и) J (и*) при всех и^[а, Ь]. Это значит, что
и* U*. Аналогично с использованием неравенств (4) рассмат-
риваются случаи и* —а или и* — Ь и показывается, что
Отсюда следует, что всякая точка локального минимума выпук-
лой и непрерывной па [а, Ъ] функции является точкой ее гло-
бального минимума на [а, Ь].
Теорема 6. Пусть функция J (и) выпукла на отрезке [а, Ь]
и lim J (и) = J (a), lim J (и) = J {Ь); пусть U*— множе-
u-^а+о и-Ж о
ство точек минимума J(и) на [а, Ь] и v — некоторая точка
(a<v<b). Тогда для того чтобы U* A [a, и\ ~ 0 {U * А [р, /<] =
= 0), необходимо и достаточно выполнения неравенства ]’(у +
+ 0)<0 (J'(v — 0)>0). Для того чтобы U0 {U*(\
А [р, Ь]#=0), необходимо и достаточно, чтобы Г (р + 0)^0
(Г(р-0)<0).
Доказательство. Достаточность. Пусть J' {у + 0) <
< 0. Тогда согласно следствию 1 J' (и + 0)<0 при всех и^[а,и].
Из теоремы 5 тогда имеем U* А [а, р] = 0. Если J'(р —0)>0,
ло аналогично получаем J' (н — 0)>0 при всех u^[v, fe], так что
U* А Ь] == 0.
§ 8]
ВЫПУКЛЫЕ ФУНКЦИИ ОДНОЙ ПЕРЕМЕННОЙ
43
Необходимость. Пусть U* А [л, v] ~ 0. Допустим, что
7' (р + 0) > 0. Тогда возможно, что J' (и — 0) 0 или J' (v — 0) > 0.
Если 7'(г —0)=^0, то из (7) следует, что v^U*. Если же
У'(р —0)>0, то по доказанному выше U*(][v,b] = 0 и, следо-
вательно, U* П [я, ] =И= 0 • В обоих случаях приходим к проти-
воречию с тем, что U* А [я, р] = 0. Это значит, что при £7* А
А [а, р] = 0 необходимо, чтобы J' (р+0)<0. Аналогично дока-
зывается, что если U* А — 07 то необходимо, чтобы У'(р —
-0)>0.
В справедливости последнего утверждения теоремы 6 легко
убедиться рассуждением от противного со ссылкой па уже дока-
занное первое утверждение.
Теорема 7. Если функция J(и) выпукла на отрезке [а, &]
и lim J (и) — J (a), lim .7 (п) ^ .7 (/;), то она унимодальна
u-^a+9 u->b-o
на [а, Ь].
Доказательство. Обозначим и* — inf£7*, р* = sup £7*.
Из непрерывности J(u) на [а, Ь] и определения верхней и ниж-
ней грани множества U* следует, что м*, г* е £%;. Если и* =
= и*, то U* состоит из одной точки и*. Если u*<Zv*, то с уче-
том выпуклости J (и) имеем J* = inf J (u)^.J (au* + (1 — a) p*)^C
и G [a,b]
(u*) + (1 — a) /(p*)) = J*. Это значит, что «/(сш*+
+ (1 — a)v*) = J* при всех aе [0,1], т. е. U* = [ii*, р*].
Далее, так как U* А [я, у] = 0 для любого р (а^р<^^), то
по теореме 6 имеем J' (р+0)<0 при н<7р <и*. А тогда 7'(р +
+ 0) (7 (г + h) — J(p) )/h < 0 при всех достаточно малых fe, т. е.
J(u) строго монотонно убывает при Аналогично по-
казывается, что при р^^н^Ь функция 7(и) строго монотонно
возрастает.
Как показывает пример 1, при нарушении условий теоремы 7
множество U* может быть пустым. Приведем еще несколько
примеров.
Пример 3. Функция 7(н) = н2 выпукла на отрезке [—1, 1]
и множество U* состоит из единственной точки и* = 0.
Пример 4. Функция J(u) = |н| + \и— 1| выпукла па от-
резке [—1, 2] и множество £7* представляет собой отрезок U* =
= [0, 1].
Пример 5. Пусть 7(н) = 0 при 0 < и 1, J(0)= 1. Функ-
ция 7(п) выпукла па [0, 1], по множество U*~{u\ 0 < и <1 1}
не является отрезком. Здесь lim J (и) J (0) — нарушено одно
« F7 'Ll—> “4“0
из условии теоремы 7.
Критерий выпуклости функций, приведенный в теореме 1, не
очень удобен для практической проверки. Приведем другие, часто
более удобные критерии выпуклости функций.
Теорема 8. Для того чтобы дифференцируемая функция
J(и) на отрезке [а, &] была выпуклой, необходимо и достаточно,
чтобы ее производная J'(и) не убывала на [а, Ь].
44
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Доказательство. Необходимость доказана в теореме 4,
так как в рассматриваемом случае (v) b]).
Достаточность. Пусть J' (и) не убывает на [а, Ь]. Пусть
a^v<u<w^b. Применяя формулу Лагранжа, имеем
(/(и)-/(р))/(и-р) = Г(^),
(У(ш)-/(н))/(ш-н) = Га2),
<и,
< ь < ^.
По условию У'(^2), поэтому из предыдущих равенств
следует одно из неравенств (2), что согласно теореме 1 равно-
сильно выпуклости J (и) па [а, 6].
Теорема 9. Для того чтобы дважды дифференцируемая
функция J(и) на отрезке [а, Ь] была выпуклой, необходимо и
достаточно, чтобы J" (п)>0 на [а, &].
Доказательство. Условие J" (и)^0 является необходи-
мым и достаточным для неубывания J' (и) на [а, &]. Отсюда и
из теоремы 8 следует требуемое.
Используя теоремы 8, 9, легко проверить, что функции 7(п) =
= аи, J(u)= — Inn, J(u) = ulnu выпуклы на любом отрезке из
области своего определения; функции J(u) = ur при г>1, г=^0
и J(u)=—ur при 0<г<1 выпуклы на любых отрезках [а, Ь]
(0<а<Ь<оо). Функция J(n) = sinn выпукла на отрезке
[—л, 0], но певыпукла на [—л, л].
Упражнения. 1. Доказать, что если функция Ци) выпукла
на отрезке [я, 6], то J'(w-|-0) = inf (./ (и 4- h) — J (u))/h, J' (и — 0) =
/1>0
= sup (У (и) — J (и — h))/h при всех и [а, &].
л>о
2. Пусть функция J(u) выпукла на отрезке [а, &]. Доказать, что тогда
/'(и + 0) непрерывна слева a J'(и — 0) непрерывна справа при всех и
(а <С и < Ь).
Указание: воспользоваться непрерывностью /(и), следствием 1 и
упражнением 1.
3. Пусть Ци) выпукла на [а, &]. Доказать, что Jr (v— 0) ^7'(у-(-0)
J'(и — 0)J'(и + 0) при всех u, v (а < v < и < Ъ). Пользуясь этими
неравенствами, показать, что Ци) дифференцируема в точке v (а < v < b)
тогда и только тогда, когда одна из функций 7'(и-|-0) или J' (и — 0) вепре--
рывна в точке v.
4. Пусть Ци) выпукла па [а, &]. Пользуясь упражнениями 2, 3, дока-
зать, что множества точек непрерывности функции /'(u-f-O) и J' (и — 0)
совпадают. Вывести отсюда, что множество точек, в которых Ци) недиф-
ферепцируема, не более чем счетно.
5. Пусть функция Ци) непрерывна на отрезке [а, &], дифференцируема
на отрезках [a, ai], [аь а2],..., [an-i, ап], [ап, (а < а\ < ... «< ап < Ь),
причем на каждом таком отрезке производная J'(u) суммируема, не убы-
вает и J'((ц—0) ^/'(«гЧ-О) (i = 1, ..., п). Доказать, что тогда /(и) вы-
пукла па [а, &].
6. Для выпуклости функции Ци) на интервале (а, Ъ) необходимо и до-
статочно, чтобы существовала функция Ци) (и е (а, Ь)) такая, что Ци)
Ци) + l(v) (и — v) при всех и & (а, Ь). Необходимость доказана в тео-
реме 4. докажите достаточность. Покажите, что Ци) = J'(v) почти всю-
ду на (а, Ь).
7. Пользуясь теоремой 3, доказать, что выпуклая на отрезке [а, 6}
функция Ци) абсолютно непрерывна на любом отрезке [а, £] <= (а, Ь).
§ 9]
МЕТОДЫ КАСАТЕЛЬНЫХ
45
8. Если функция f(t) возрастает на отрезке [а, &] и суммируема на
и
этом отрезке, то функция J {и) = j* / (t) dt выпукла на [а, Ъ]. Доказать.
а
Верно ли обратное утверждение?
9. Пусть J(u) выпукла на [а, &] и имеет обратную функцию. Можно ли
утверждать, что обратная функция также будет выпуклой? Рассмотреть
функции J(u) = еи, J(u) — е~и.
10. Пусть /(и) выпукла на [а, 6] и lim J(u) = J(a), lim J (и)—
u-»a+o и->Ъ—о
== J (0, a U* — множество точек минимума Ци) на [а, Ь]. Доказать, что
£7* П [а, р] =# 0 (Z7* ci int [а, р]) тогда и только тогда, когда /'(а — 0)
0, /'(Р + 0) 0 (Г (а — 0) <0, J'(p + 0) > 0); здесь а < а < р < Ъ.
11. Доказать, что выпуклая на отрезке [а, 6] функция J(zz), отличная
от постоянной, не может достигать своей верхней грани внутри отрез-
ка [а, Ь].
12. Пусть функция /(и) выпукла и монотонно возрастает на отрезке
[а, &], а функция z(x) выпукла на [с, d], причем z(x) е [л, Ъ] при всех
х^ [с, d]. Доказать, что тогда сложная функция g(x) = J(z(x)) выпукла
на [с, d].
13. Назовем функцию J(u) выпуклой на отрезке [а, &], если
J((u + ^)/2) (J(u) + J(v) )/2 при всех и, и е [а, &]. Доказать, что для
непрерывных функций это определение выпуклой функции равносильно оп-
ределению 1. Если не требовать непрерывности J(u), то новое определение
выделяет более широкий класс функций — см. пример из [312, с. 119].
14. Пусть Ци) —выпуклая функция при и 0, 7(0) 0. Доказать, что
тогда функция ср (и) — J(u)/u монотонно возрастает при и > 0. На примере
функции Ци) — 1 + и2 убедиться, что при /(0) > 0 это утверждение
неверно.
Указание: воспользоваться равенством
j(u) = j(_5L_(u + A)+-4-r-o'l (Л>0).
\ и —р h и —п j
15. Пусть функция Ци) выпукла и дважды дифференцируема при и
0, причем lim (uj'(u)i—J (и)) 0. Доказать, что тогда ср(и) — Ци)/и
U->oo
монотонно убывает при и > 0.
Указание: вычислить производные функций ср (и) и nJ'(и)—J(u).
16. Доказать, что (а + Ь)п 2П-1 (ап + Ьп) при всех п 1, а 0, Ъ > 0.
Указание: воспользоваться выпуклостью функции J(u)=un при
и 0, п 1.
§ 9. Метод касательных
1. Пусть функция J(и) выпукла и дифференцируема на от-
резке [а, &]. Согласно теоремам 8.3, 8.7 такая функция удовлет-
воряет условию Липшица и унимодальна на [а, &]. Поэтому для
минимизации J(u) на [а, Ь] применимы почти все описанные вы-
ше методы, в частности, метод ломаных из § 6. Однако если
значения функции J (и) и ее производной J'(и) вычисляются
достаточно просто, то здесь можно предложить другой, вообще
говоря, более эффективный вариант метода ломаных, когда в ка-
честве звеньев ломаных берутся отрезки касательных к графику
J(и) в соответствующих точках.
Зафиксируем какую-либо точку v е [а, Ь] и определим функ-
цию v) = J(y) + J'(v) (u — v), а^и^Ъ.
46
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Согласно теореме 8.4
g(u, v)^J(u) V и^[а, Ь].
(1)
В качестве начального приближения возьмем любую точку и0 е
6] (например, uQ = a), составим функцию р0(и) = g(u, iz0)
и определим точку щ [а, Ь] из условия р0 (ur) = min (и
и=Е[а,6]
(ясно, что при J (и0)У= 0 будет ut = а или щ = Ь).
Далее, берем новую функцию /?1(и) = тах{/?0(н); g(u, ut)} и
следующую точку и2 е [а, Ь] найдем из условия pt (и2) =
= min Px(u), и т. д. Если точки и0, щ, ..ип (п>1) уже
известны, то составляем функцию /7п(^) = тах{рп_1(и); g(u, ип)} =
= max g(u, щ), и следующую точку нп+1 определяем из усло-
0<г^п
вий /?п(нп+1) = min рп(и) (ип+1^ [а, Ь]). Если при каком-либо
иб[а,Ь]
Рпс. 1.5. ЛВ— график g(u, и0), CD — гра-
фик g(u, щ), AED— график pi(u), PQ — гра-
фик g(u, u2), AMND — график p2(w), FL —
график g(u, u3), AMRSD — график p3(w)
[а, Ь] выпукла и дифференцируема,
п > 0 окажется, что J' (ип +
+ 0)>0, Z'(un —0)^0
(если а < ип < 6, то это
равносильно условию
/'(^п) = 0), то согласно
теореме 8.5 ип е U* —
в этом случае задача ми-
нимизации уже решена и
итерации па этом закан-
чиваются.
Нетрудно видеть, что
рп (и) — непрерывная ку-
сочно линейная функция
и ее график представляет
собой ломаную, состоящую
из отрезков касательных
к графику функции J (к)
в точках н0, ..., ип
(рис. 1.5). Поэтому опи-
санный метод естественно
назвать методом каса-
тельных.
Теорема 1. Пусть
функция J(u) на отрезке
а последовательность {ип}
получена описанным выше методом касательных, причем n£U
(п = О, 1, ...). Тогда*.
1) lim J (ип) ~ lim pn(i-n+1} = J* и справедлива оценка
П-*оо
О '-С: J (ып+1) J* J i) Рп (Цп |-1),
п — 1, 2, ..
МЕТОД КАСАТЕЛЬНЫХ
47
§ 9]
2) lim р(ип, U = 0, или точнее, {ип} имеет не более двух
П-»оо
предельных точек, совпадающих с и*~ xniU* или v* — supU*.
Доказательство. Поскольку величины J' (а + 0), J' (Ъ — 0)
конечны по условию, то в силу теоремы 8.3 функция J(и) удов-
летворяет условию Липшица с постоянной L = max{|J’ (а) |;
I) . Кроме того, согласно (1) и определению функции рп(и)
имеем
pn-i(u)^pn(u)^J(u), и^[а, Ь], тг=1, 2, ... (2)
Тогда J(Ui)=:g(Ui, pn(Ui)^J(Ui), т. е.
J(ui) = Pn(ui), f = 0, 1, ..., n. (3)
Наконец, угловые коэффициенты касательных g(u, щ) равны
J'(ui), причем \J' (ui)\^L. Из теоремы 6.1 тогда следует, что
рп(и) удовлетворяет условию Липшица с постоянной L. Отсюда
с учетом (2), (3) с помощью тех же рассуждений, которые при-
менялись при доказательстве теоремы 6.3, нетрудно убедиться в
справедливости всех утверждений доказываемой теоремы. Оста-
ется лишь заметить, что из того, что функция J(и) унимодальна
и un^U* = [и*, v*\ (п^О), равенство limр(ип, U*) = 0 воз-
П-+СО
можно только в том случае, если предельными для {ип} могут
быть лишь точки и* или и*.
2. Метод касательных обладает всеми достоинствами метода
ломаных из § 6. Недостаток этого метода: он применим лишь в
случае, когда минимизируемая функция выпукла и значения
функции и ее производных вычисляются достаточно просто.
Можно предложить более удобную для использования на
ЭВМ вычислительную схему метода касательных, которая не тре-
бует хранения в машинной памяти информации обо всей ломаной
рп(и) при и^[а, Ь]. А именно, возьмем а{ = a, Ъ± = Ъ* вычислим
У'(а1) = Г(а + 0), J'tb,)^ J'(fe-O). Если Г (at)>0 или J'(b^
0, то по теореме 8.5 или b^U*—задача решена.
Поэтому, пусть J' (<Zt)< 0, J'(bi)> 0, что согласно теореме 8.6
означает U* cz (а, Ь). Пусть отрезок (an-i, 6n-i] (п ^2) уже по-
строен, причем J,(nn-i)<0, Z' (bn-i)>0, £7* cz (ал-1, Ьп-i). Обо-
значим через ип точку пересечения касательных g(u, ап-{) и
g(u, bn_,). Ясно, что an-i < ип < Ьп-{. Вычислим J'(un). Если
J'(ttn) = 0, то un^U* — задача решена, итерации на этом за-
канчиваются. Если (нп)=#0, то положим
1^71 — 1, j (Цп) 0, J 0,
йп= \ип, J'(un)<b, bn^\bn^, Jf(un)<v, (4)
По построению J' (ап)<0, У' (Ьп)>0, и согласно теореме 8.6
U* cz (а, Ь). Индуктивное описание метода закончено.
Из геометрических построений нетрудно усмотреть (см.
рис. 1.5), что этот метод совпадает с описанным выше методом
48
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
касательных, в котором за начальную точку берется uQ = a; стро-
гое доказательство этого факта приводится в п. 5. В то же время
приведенная схема метода более проста и удобна для реализации
на ЭВМ; на каждом шаге метода здесь достаточно хранить в
памяти ЭВМ величины J(an), J(bn), J(bn). He-
трудно выписать явное выражение для точки un+1, определяемой
условием g(u, ап)=^(щ Ьп) пересечения касательных в точках
ап, Ьп при /' (ап) < О, J' (Ьп) > 0:
/Ы~ЛМ + М'(М~
J J (ап)
anJ (ап)
(5)
П
3. Поскольку ломаная из отрезков касательных аппроксими-
рует функцию 7(н), вообще говоря, лучше, чем ломаные из § 6,
то следует ожидать, что метод касательных для выпуклых функ-
ций сходится быстрее метода ломаных из § 6. Исследуем ско-
рость сходимости метода касательных, считая минимизируемую
функцию дважды дифференцируемой.
Теорема 2. Пусть функция J(и) дважды непрерывно диф-
ференцируема на [а, &], inf /"(м)>0, и* — точка минимума
J(и) на [а, Ь]. Пусть последовательность {ип} получена методом
касательных при uQ = а по схеме (4), (5), aY = а, = Ь, причем
ftn=#ft* (ft = 0, 1, ...). Тогда для любого числа 8>0 сущест-
вует номер 7V = 7V(e) такой, что
|ип-и*|<((1 + e)/2)n~N (bN — aN), n^N. (6)
Доказательство. Из теоремы 8.9 следует выпуклость
функции 7(н) на [а, Ь]. Кроме того, так как J'(и) строго возра-
стает, то множество U* состоит из единственной точки и*. Тогда
из теоремы 1 имеем lim ип = и*. Поскольку [an+1, Ьп+1]с=[ап? bn]
П —>оо
п = 1, 2, ...), то последовательность {ап} монотонно возрастает,
а {Ъп} — монотонно убывает, причем an<Zu* < Ъп(п — 1, 2, . ..).
Покажем, что liman = lim bn = и*.
П-»оо п-*оо
В силу (4) либо {ап}, либо {Ьп} является подпоследователь-
ностью последовательности {ип} и сходится к и*. Пусть для
определенности lim ап — и*. Допустим, что {Ьп} не сходится
П-»оо
к и*. Тогда согласно (4) последовательность {Ъп} не может быть
подпоследовательностью для {ип}, т. е. найдется номер
такой, что Ъп = Ъпо три всех п > тг0. При пиз (5) получим
J (и*) = J (Ьп0) 4- J' (Ьп0) (и* — Ьп0)- В силу теоремы 8.4 это
возможно только тогда, когда J (и) = J (bn0) + J' (Ьп0) (ft — &п0)
(u^^u^6no). Отсюда /'(&nJ = /'(ft*) = 0, что противоречит
условию /'(Ьп )>0. Тем самым доказано, что обе последова-
тельности {ап}, {Ъп} сходятся к и*.
§ 9]
МЕТОД КАСАТЕЛЬНЫХ
49
Из представления (5) для точки un+i с помощью формулы
Тейлора имеем
О'П
j (ап) - J (Ьп) - J' (Ьп) («п - bn) ! J" (1п)
On Un+l T> th \_T'la \ — O 7«/|> \\°« an)t
где T]n, |in — некоторые точки из отрезка [а„, 6„]. Отсюда полу-
чаем, что ~— «п+1 шах Кп-|-1 } qn(bn-an)/2,
где gn = max {/" (£„)//" (цп); J" (т^)//" (цп)}. Поскольку после-
довательности {£п}, {цп}, (Цп) вместе с {ап}, {Ьп} стремятся к и*,
то в силу непрерывности функции J" (и) и условия inf J"(u)^>
> 0 имеем lim qn = 1.
71->оо
Следовательно, для любого е>0 найдется номер N = 7V(e)
такой, что qn 1 + е при всех n^N. Тогда Ьп^~ an+l q(bn~
— ап) (n > TV), где q = (1 + e)/2. Отсюда bn — an =C qn~N (bN — aN)
(n^N). Следовательно,
I un — u* I < (bn — an) < qn~N (bN — aN), n^N.
4. Оценка (6) означает, что метод касательных сходится со
скоростью, не меньшей скорости сходимости геометрической про-
грессии со знаменателем q = (1 + е)/2 « 1/2. Конечно, существу-
ют выпуклые функции, для которых этот метод будет сходиться
гораздо быстрее (возможно, например, что точка минимума най-
дется за конечное число шагов). Однако нетрудно привести при-
мер, показывающий, что на классе дважды непрерывно диффе-
ренцируемых функций оценка (6) по порядку не может быть
улучшена.
Пример 1. Пусть J(u)= и2( — 1 2). С помощью фор-
мулы (5) легко проверить, что касательные к параболе в точках
ап, Ъп пересекаются в точке un^i = (ап + Ъп)/2. Возьмем n0 = ai =
— — 1, Uf = bi = 2. Тогда и2 = 1/2. С помощью индукции нетрудно
показать, что ап = — 1/2п-1, Ъп = 1/2п~2, ипы = 1/2п при нечетных
п и ап = — 1/2п~2, Ъп — 1/2п~\ un+i = — 1/2п при четных п. Отсюда
получается точная оценка \ ип — и* ] — | пп | — 1/2п~1, в то время
как, используя методику вывода оценки (5), имеем \ип —
< Ъп - ап = 3/271-1 (п>1).
Таким образом, из примера 1 следует, что метод касательных
на классе гладких выпуклых функций не лучше метода деления
отрезка пополам. Более того, для этого класса функций нетрудно
предложить вариант метода деления отрезка пополам, требую-
щий лишь вычисления значений производных минимизируемой
функции.
50
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
А именно, положим н0 =/н = а, щ — bi = Ьч вычислим значе-
ния ]' (^t) = J' (а + 0), (bi) = J' (Ъ — 0). Если или
J' (61)^0, то по теореме 8.5 имеем a^U или b^U*— задача
решена. Поэтому пусть J’ (щ) < 0, ]' (fei) > 0. Тогда U* cz (ах, b±).
Пусть отрезок [an_4, 6n-i] (п>2) уже построен, причем 7'(ап_1)<
< 0, J' (bn-i) > 0, так что U* cz (ап-^ bn-i)- Положим ип = (&n-i "Ь
+ Ьп-i) 2 и вычислим J'(ип). Если /' (ип) = 0, то un^U*— за-
дача решена. Если J'(un)=/=0, то определим точки ап, Ъп по фор-
мулам (4), приняв в них un = (an-i + bn-i)/2. По построению
(ап)<0, (&п)>0, п согласно теореме 8.6 U*cz(an, bn)> Кро-
ме ТОГО, ясно, что
bn~ an = (bn-i~ an-i)/2=(bi — ai)/2n~l, n=l, 2, ...
Описанный метод деления отрезка пополам выгоднее приме-
нять при минимизации тех гладких выпуклых функций, у ко-
торых значения производных вычисляются проще, чем значения
функции. Если же значения и функции, и ее производных вы-
числяются достаточно просто, то метод касательных может ока-
заться предпочтительнее — хотя, как мы выше убедились, метод
касательных па классе гладких выпуклых функций в целом не
лучше метода деления отрезка пополам, по в то же время не-
трудно привести примеры таких выпуклых функций, для кото-
рых метод касательных сходится гораздо быстрее описанного ме-
тода деления отрезка пополам.
5. Метод касательных можно описать и без требования дифференци-
руемости выпуклой функции, используя лишь односторонние производные
во внутренних точках отрезка [д. 6] — существование таких производных
доказано в теореме 8.2. Чтобы гарантировать непустоту множества по-
требуем еще, чтобы ]im J (и) — J (a), lim J (и) = J (Ь).
v-+a+o u-^b—o
Положим z/o= «1 = а+6, щ = Ь\ = b — 7, где б, 7 — достаточно малые по-
ложительные числа; если 7'(а-|-0) или ]'(Ь—0) конечны, то здесь можно
взять 6 = 0 или 7 = 0 соответственно. Вычислим 7'(щ+0), J'(bi—0). Можем
считать, что 7'(щ4-0)<0, J' {Ь\— 0)>0, ибо в противном случае согласно тео-
реме 8.6 либо 77*0 [а, 0, либо U* П [6р 6] =/= 0 — в обоих случаях точ-
ка из U* находится с требуемой точностью 6 или 7, и задача решена.
Абсциссу точки пересечения касательных g(u, а{) = J(а{) + J'+ 0)Х
X (и— «1) и g(u, bi) = J(bi) + J'(bi — 0) (u — bi) обозначим через u2. Не-
трудно видеть, что точка ui = bi доставляет минимум функции ро(и) =
= g(u, zzo), а в точке и2 достигается минимум функции pi(u) — тах{д0(^);
g(u, щ)} па [щ. &1], причем ах <7 и2 <
g(u, uj, и ge и2],
так что па [щ. п2] функция р\(и) строго убывает, а па [и2, Ь;]—строго
возрастает (рис. 1.6).
Сделаем индуктивное предположение. Пусть определены точки и0,
W1, ..., un-i (п 2), найден отрезок [an-i, &n-i] такой, что J'(ап~\ + 0) <
< 0, J'(Ъп-\ — 0) > 0, причем bn-i совпадают с одной из точек н0,
ui, ..., Un-ь Пусть ип — точка пересечения касательных g(u, ап-\) —
= J (ап-\) + /'(«n-i 4- 0]\(и — ап-\) и g(u, bn-\) = J(bn-\) + J' (bn-\ — 0) X
рх (и) =
§ 9]
МЕТОД КАСАТЕЛЬНЫХ
51
Рп-! Ю =
Х(и — Ьп-1), а функция p-K-i(u) — тах{рп_2(и); g(u, un-i)} такова? что
»e[Vr«n]’
g(u, Ьп_г), ue[un,bn_t],
/?n_i(u) на [ai, ип] строго убывает, а на [tzn, &i]—строго возрастает: это
значит, что un — точка минимума pn-i(u) на [ab 51]. Вычислим Z'(un + 0)i
J'(ип — 0). Если Jz(u„ +0)^0, J'(un— 0)с0, то по теореме 8.5 имеем
un е U*, и задача решена — итерации на этом заканчиваются.
Поэтому пусть выполнено одно из условий
/'(wn + 0)<0, /'(un~0)>0. (8)
Положим ап = ап-\, Ъп = ип, g(u, ип) = J(ип) + (ип — 0) (и — ип) при
J'(un — 0) >0 (рис. 1.7, а) и ап = ип, bn — bn-\, g(u, ип) = 7(un)-f-
+ 7'(ип + 0) (и — ип) при 7'(un-|-0) <0 (рис. 1.7, б). Полученный отре-
зок [ап, Ъп\ таков, что [an, &n] cz [an-i, 5n-i], J'(an + 0) < 0, J'(bn — 0) >
> 0, и согласно теореме 8.6 тогда CAj.cz (ап, bn).
Выясним, в какой точке функция рп(и) = max{pn-i (и); g(u, ип)} до-
стигает своего минимума на [ab Из рис. 1.7 видно, что
Рп (“) =
Ai-i О'), “ е [аг Ь11 \ ("п, "п],
g(«, «„), us[«;,«;],
(9)
где u^, ип — абсциссы точек пересечения соответственно касательных
g(u, ап-i) и g(u, un), g(u, bn-i) и g(u, Un). Дадим строгое доказательство
формулы (9).
Из теоремы 8.4 следует, что g(u, иг) Ци) при всех и <= [«i, &i] и i =
= 0, 1, ..., поэтому Рп-\(и) ^J(u). В частности, pn-\(un) ^Цип)- Допус-
тим, что Рп-\(ип) = Цип). в силу (7) это значит, что точка (un, Цип)) ле-
жит на касательных g(u, «п-i), g(w, bn-i). Согласно теореме 8.4 тогда
J(u) = pn-i(w) при ue [tin—ь Ьп-i]. Отсюда имеем
J'(un — 0) = g'(un, ап_\) = 7'(«п-i + 0) < 0,
Ц(ип + 0) = g'(un, bn-i) = J'(bn-\ — 0) > 0,
что противоречит (8). Таким образом, при выполнении (8) возможен лишь
случай рп-\(ип) < J(un).
52
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Далее, в силу теоремы 8.4 g(an-i, ип) ^.Цап-\). Если g(«n-i, ип) =
= 7(«n-i), то из той же теоремы следует, что Ци) = g(u, ип) при we
е [«п-1, «п], И поэтому /(«п-1, ип) = + 0) и Ци) = g(u, ап-\)
(«е [«п-1, ип]). Тогда 7(un) = g(un, ап) = g(un, an-i) = pn-i(un). Однако
выше было показано, что при выполнении (8) это невозможно. Следова-
тельно, g(«n-i, ип) < 7(«n-i)= g(«n-i, «п-i). Аналогично доказывается, что
g(bn-i, ип) < ЦЬп-i) = g(bn-\, bn-\).
Таким образом, при выполнении (8) имеем g(un, ип) — Цип) >
Рп-\(un) t g(«n—1, Un) g(«n —1, «п—1), g(bn— 1, Un) <Z g(bn—l, Ьп— 1). ЭТО
Рис. 1.7. «) Г(«п — 0) >0, б) J'(un + 0) <0; АВ — график g(u, ап-\). CD —
график g(u, &n-i), EF — график g(u, ип)
значит, что касательные g(w, ап-\) и g(u, ип) пересекаются в некоторой
точке с абсциссой «^(«п-Х< wn)» а касательные g(u, ип)^(щ bn-i)~
в точке с абсциссой ип (ип < ип < &п_х), причем g (и, ип) > рп_± (и) при
ип < и<.ип, g(u, «n_J > g (и, ип) при «х < и < ип, g (и, bn_t) > g (и, ип)
при и"<и^Ь , Отсюда следует, что (и) = max g(u, иЛ^
0 I 1
§ 10]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
53
Рп (“) =
> g «n-i) > g (", ип) при а1 < и < и'п, рп^{и) > g (и. bn_J > g (и, ип)
при un<u^&1. Таким образом, формула (9) доказана.
Из предположения индукции следует, что рп-1(и) строго возрастает па
lun’ &1] и строго убывает на так что минимум рп{и) на [аь &i]
достигается в одной из точек ип пли и^. Нетрудно видеть, что при
1'(ип~ 0) >0 минимум функции рп(и) достигается в точке wn, а при
/'(^п + 0) <0 —в точке и" (см. рис. 1.7). Вспоминая определение точек
ип, ап, Ъп, можем сделать следующие выводы: минимум рп(и) дости-
гается в точке ип+1, являющейся абсциссой точки пересечения g(u, ап)
и g(u, bn) (ап < Un+1 < ъп), причем
?(“, М> Me[an-Mn+lb
g(u,6n), ке[«я+1, Ь„],
функция рп(и) на [ai, izn+i] строго убывает, а па [un+i, &i] — строго воз-
растает.
Индуктивное описание метода касательных для выпуклых функций за-
кончено. При его реализации будем иметь систему вложенных друг в дру-
га отрезков [ап, &n] cz ... cz [ab 6J, причем согласно теоремам 8.5, 8.6 про-
цесс либо завершится при каком-либо п определением точки либо
U* cz (<тп, 6П) при всех п = 1, 2, ... Теорема 1 остается верной и для это-
го метода. Поскольку минимум рп(и) на [ab достигается на [ап, &п]
точке Un+i, то информацию о ломаной рп(и) вне [ап, &п] хранить в памя-
ти ЭВМ нет необходимости. Это значит, что на n-м шаге в памяти ЭВМ
достаточно хранить величины ап, bn, Цап), ЦЪп), /'(«n + O),
Нетрудно видеть, что для гладкой выпуклой функции описанный ва-
риант метода касательных совпадает с методами п. 1, 2, примененными к
отрезку [а + 6, Ъ — 7] с выбором начальной точки и0 = а + б; попутно по-
лучено строгое доказательство равносильности методов из п. 1, 2.
Упражнение. Применить метод касательных для минимизации
функций Ци) = |u|, J(и) = и2, Ци) = |w| + (u — l)В 9 на отрезках [—1, 1],
[-1, 2], [0, 1], [1, 2].
§ 10. Метод поиска глобального минимума
В § 6, 7 были рассмотрены методы, пригодные для поиска глобального
минимума функций, удовлетворяющих условию Липшица. Эти методы тре-
бовали для своей реализации знания постоянной Липшица минимизируе-
мой функции. Опишем другой метод поиска глобального минимума [279],
не требующий априорного знания постоянной Липшица и вместо этого ис-
пользующий угловые коэффициенты хорд минимизируемой функции меж-
ду определенными точками, получающимися при поиске минимума.
Итак, пусть функция J(u) определена на отрезке [а, Ь]. Поиск миниму-
ма функции Ци) на этом отрезке начинается с выбора двух точек и0—
— Vq= a, ui — vi = Ъ и вычисления величины Ц = |Ци\)— J(u0)|/(ui—и0).
После этого полагаем d\ = p,jLi при L\ > 0 и d\ = v при Li = 0; здесь
v > 0, Ц] > 1 — параметры метода. Затем определяем следующую точку
р2 = (ui 4-и0)/2—(Цщ)—J(u0))/(2di), Нетрудно показать (см. ниже об-
щий случай), что и0 < и2 < щ.
Перенумеруем точки u0, ub v2 в порядке их возрастания, приняв uQ =
= а, и\ — v2, и2 = Ь. Предположим, что уже сделано к шагов и найдены
точки u0, и\, ..., ик (А: 2), причем и0 = а < и\ <. ... < иь-\ <Z Uk = Ъ.
54
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Опишем к + 1-й шаг метода. Определим величины
i i —1
, ГА’ £й>0’
к Ь, Lh = o,
(1)
(2)
где v > 0, р,ь > 1 — параметры метода, выбираемые вычислителем.
Для каждого отрезка [щ-i, щ\ введем следующую числовую харак-
теристику:
Дь(0 = dh(u.
dh (Ui ~ “i-1)
-2(/(Ui) + J(^_i)), i = l,...,k. (3)
После этого перебором значений Rk(i) (i = 1, ..., к) определим минималь-
ный номер $, на котором достигается max R, (г), т. е.
Rh(s) = max Rh(i), Kh(i)<Rh(s), f = 1, ...,s — 1. (4)
14i<k
Затем положим
^+1 = (us + Us-0/2- (J(u,)-J(ue_1))/(2^) (5)
и перенумеруем точки u0, ui, ..., uk, Vh+i в порядке их возрастания, чтобы
и0 — а < и\ < ... < Uh < Ufe+i = b. Метод описан. Будем предполагать, что
параметры из (2) таковы, что
v>0; А: = 1, 2,
sup < °0-
(6)
Точки vk или Ui, получаемые методом (1) —(6), будем кратко называть по-
исковыми точками. Из описания метода видно, что каждая поисковая точ-
ка имеет двойную нумерацию и двойное обозначение: если точка появи-
лась впервые и это случилось на s-м шаге, то она получает номер s и обо-
значается через vs; на каждом последующем шаге с номером та же
точка vs в зависимости от своего местоположения на [а, 6] получает один
из номеров i (0 I к) и обозначается через Ui — здесь номер i = i(k)
зависит от номера шага. В зависимости от обстоятельств мы будем пользо-
ваться обоими обозначениями поисковых точек.
Покажем, что точка Vh+i, определяемая формулой (5), удовлетворяет
неравенствам us-\ < Vk+i <Z us (здесь s = s(k)). В самом деле, из (5)
имеем
(7)
Поскольку в силу (1), (2), (6)
—з-т--------;— тг < 1, 1 = 1, к.
dk(ui-ui-i) dk н
(8)
то из (7) следует, что ия-\ < < и8.
§ 10]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
55
Таким образом, вслед за новой поисковой точкой vv+i на к Я- 1-м шаге
появляются два новых отрезка [ws-i, ua+i] и [га+1, ms], длина которых с
помощью (7), (8) оценивается так:
(us — us-i) (1 — l/|i)/2 < min{us — Vk+i; vk+l — Ws-J
< max{ws — vk+i; vk+l — us-i} (us — us-i) (1 + l/p)/2, (9)
где 0 < g = (1-|- l/|x)/2 < 1, s = s(k) (k = 1, 2, ...). Кроме того, из не-
равенства (6.7) имеем
| 7 (us) ~~ 7 (^s-1) I max f \J(us)~J(vk+i)\. 1 7 (rfe + i) ~ (цз-1) | j.
us~us-i I us-~vh+i 1 vh+i~~us-i f
Это значит, что Lh+i^Lk (к = 1, 2, ...). Поэтому если Lk = 0
(к = 1, 2, ...), то согласно (2), (6) dk — v > 0 (к = 1, 2, ...); если же
Lh = 0 при к = 1, ..., ко — 1, Lk > 0, то dh > min [ v; р£ 1 > О (к =
о I fe0 J
— 1, 2, ...). Иначе говоря, существует постоянная d такая, что
dk > d > 0, к = 1, 2, ... (10)
С другой стороны, если функция 7(н) па [а, Ь] удовлетворяет усло-
вию Липшица, т. е.
| J (и) — J(v) | L\u — г|, V и, v е [я, 6], L = const >0, (И)
то Lk L, и следовательно,
db max /v; L sup р J < oo, к — 1, 2, • • • (12)
Теорема 1. Пусть функция J(и) на отрезке [а, удовлетворяет
условию (11). Пусть последовательность {ik} построена методом (1) — (6) и
v* — какая-либо предельная точка {иь}. Тогда lim J (v^ = J (г*) и, кроме
k-+ oo
того,
/ (i>*X / (i^), i = 0, 1, •“ (13)
Доказательство. Поскольку 14 =/= Vk при i ф к и г*— предель-
ная точка {га}, то существует последовательность отрезков итле>]
(к = 1, 2, ...), каждый из которых содержит точку г* и бесконечно много
поисковых точек, отличных от v* п, кроме того, uw(7i)_1 um(k+i)-i <
Um(h+l) (к = 1, 2, . . .).
Введем множество N (г*), состоящее из всех тех и только тех номеров
к ^2? 1, ДЛЯ КОТОРЫХ Либо Urn(k) — 1 <Z. — Либо Um(A+l) ЭТО 3Iia-
чит, что при к <= N (г*) поисковая точка Vk+i попадает внутрь отрезка
[um(A)-i, нш(А)], образуя один из концов следующего отрезка
Отсюда в силу условия (4) имеем
Hk(m(k))^Rk(i), i = l,
к, ke=N(v*). (14)
Поскольку каждый из отрезков [um(k)-i, содержит бесконечно много
поисковых точек, то множество (г*) также содержит бесконечно много
номеров. Согласно оценке (9)
° < um(h+l) ~ q “m(fe)-i)> к е N (у*)’
где 0 < g < 1. Отсюда и из счетности множества N (г*) следует, что.
Jim (ит(«~ Km(fc)-1) = °’ „Ит “т(Л)-1 = ,Ит lW)= V*’ (15)
fc->oo k-^oo k-^oo
56 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Перепишем формулу (3) в виде
/ J (ui) ~ \2
^(0 H+ ,) « = !,•••. A.
\ ft \ I I — 1/ /
(16)
Взяв здесь i = m(k), с учетом соотношений (8), (11), (12), (15) получим
lim Rh (zn (*)) = — 4J (vt). (17)
fe->oo
Далее, из (16) и (14) следует, что —47(и;) < Rh(i) Rk(m(k)) для каждо-
го к е N (р*) и всех i = 1, ..., к. Кроме того, если (3) запишем в виде
« = dk ("i - Mi-1) - dh - ui-i) ) 1 = 1- •••’*’
(18)
и примем здесь i = 1, то с учетом (14) будем иметь — 4Ци0) <. Rk(l)
^Rh(m(k)) (ke=N(v*)).
Таким образом, 4У(щ) >—Rk(m(k)) при всех i = 0, 1, ..., к
(k^N(v*Yy т. е. 4 min J (и.) > — Rb(m (к)) (к е N (р*)). Поскольку
o^i^h ' г/
min J (и-) = min J(vs)^ min J (vs\ при любом p к, то из предыду-
щего неравенства имеем 4 min J (у А > — Rk (т (к)) для всех р к (к
O^s^p
e7V(i>*)). Перейдем здесь к пределу при &->оо, к е N (р*). С учетом (17}
получим min J (yAZ^J (р*) при каждом фиксированном р 1. Оценка
o<s<p v '
(13) доказана.
Докажем, что lim J (у^ — J (v*). Пусть с — какая-либо предельная
fe->oo
точка последовательности {^(^)) и пусть с= lim/(pft^. Выбирая при
необходимости подпоследовательность, можем считать, что сходится
к некоторой точке ip*. Тогда из (13) следует, что J (р#) J (ip*) = c. С дру-
гой стороны, так как оценка (13) доказана для произвольной предельной
точки {pfe}, то / (ip*) / (Pj) (i=0, 1, ...) и, следовательно, J (р*).
Таким образом, J (ip*) = с = J (р*), т. е. {J (у^)} имеет единственную пре-
дельную точку с — J (р*). Это означает, что lim J (уЛ = J (р*).
fe->oo
Теорема 2. Пусть выполнены все условия теоремы 1 н, кроме то-
го, пусть функция J(и) на {а, &] имеет конечное число локальных экст-
ремумов. Тогда любая предельная точка последовательности { р&} является
точкой локального минимума функции J(и) со значением с= lim J (VjA.
k->oo
Доказательство. Сначала покажем, что если предельная точка р*
последовательности {р&} такова, что а < р* < Ъ, то из {р^} можно выбрать
две подпоследовательности, одна из которых стремится к р* слева, дру-
гая-справа. Возьмем отрезки [zzm(fe)_i, мт(*)] (к = 1, 2, ...) и множество
N (и*), введенные при доказательстве теоремы 1. Если оказалось, что
um(k)—i< р* < (& = 1> 2, ...), то с учетом (15) в качестве искомых
подпоследовательностей можно взять {izm(fe)-i} и {ит(ъ}}. Остается рассмот-
реть случаи, когда, начиная с какого-либо s-го шага, * будет совпадать с
одним из концов отрезка [um(k)-i, um(k)].
Пусть сначала v* ~ um^_1 {к^ s). Тогда подпоследовательность
{um(k)} в силу (15) сходится к р* справа. Рассмотрим подпоследователь-
ность при к^ -V (р*). С помощью формулы (16) при i = т(к) — 1
§ 10]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
57
и соотношений (14), (17) имеем
, . (, , 7 ~ 7 (“m(fe)-a) \2
ft(y* dh^~umW_2) ) -
= Rh (т(к) — 1) -|-4./ (р*)<7?й (т(ку) +4/ (р«)^-0, к-+оо, keN(v,).
Отсюда с учетом (8), (10) получим, что подпоследовательность
сходится к у* слева.
Пусть теперь v„ = (&>«). Тогда сходится к v„ сле-
ва. С другой стороны, из (18) при i = т(к) + 1 и из (14), (17) следует, что
, , 7(um(ft)+i)~ 7(г*) \2
= Rk (т (к) + 1) + 4J (г*) < Rk (т (к)) + 4/ (р*) ->0, оо, к <= N (р*).
Отсюда, учитывая (8), (10), имеем {uw(fc)+i} -> и при к-+<х> (к е N (р*)).
Искомые подпоследовательности для предельных точек и* (а < р* <&)
построены. Заметим, что если р* = а, то в силу (15) {гм(Ь)} сходится к
г* справа, а если р* = Ь, то сходится к р* слева.
Перенумеруем точки (h (i = 0, 1, ..., г) локального экстремума функ-
ции Ци) на [а, &] в порядке возрастания: 0О = а < 0t < ... < 0Г = Ь.
Тогда на каждом отрезке [0г-, 0г-+1] функция Ци) строго монотонна, причем
при переходе через внутренную точку 0г- направление монотонности меня-
ется. Пусть р*—произвольная предельная точка {р^}. По доказанному су-
ществуют подпоследовательности, сходящиеся к р* слева и справа (при
р* = а и р* = Ъ достаточно односторонней сходимости). Отсюда и из (13)
следует, что при переходе через точку р* функция Ци) меняет направле-
ние монотонности, причем Ци) вблизи от р* слева строго убывает, справа
строго возрастает. Следовательно, р* совпадает с одной из точек 0г- и пред-
ставляет собой точку локального минимума 7(р) со значением J (р*) =
= lim J (vh).
Л~»оо
Из теорем 1, 2 и 1.1 непосредственно вытекает
Следствие 1. Пусть функция Ци) на отрезке [а, &] удовлетворяет
условию (11), множество U*—\u: и е [«, Ъ |,У (и) = J* — inf J (р)1 со-
1 [a,b] J
стоит из конечного числа точек и вне U* других локальных минимумов
J(и) на [а, &] не имеет. Тогда последовательность {р&}, полученная методом
(1) — (6), будет минимизирующей для Ци) на [а, 6] и lim р (р^, U*) — 0.
Сходимость метода (1) — (6) можно доказать и без требования конеч-
ности множества точек локального минимума функции.
Теорема 3. Пусть функция Ци) на отрезке |а, Ь] удовлетворяет ус-
ловию (И); кроме того, пусть в методе (1) — (6), начиная с некоторой ите-
рации, dh 2L. Тогда последовательность {p/J, полученная этим методом,
U* будут пре-
такова, что:
1) lim J (vh) = /*, lim p(i?fe, i7*) = 0;
2) при inf dk >2L для некоторого ko"^ 1 все точки из
дельными точками {р&}.
Доказательство. Прежде всего заметим, что случай dk 2L со-
гласно (2) соответствует параметрам v 2L при Lk — 0 и Ць ZLlLk при
Lk > 0. Поскольку если Lk > 0, то из Lh Lh L следует 1 L!Lk
L/L^ < оо при всех к kQ, и поэтому ясно, что имеются возможно-
сти удовлетворить всем условиям (6), сохраняя неравенства dk 2L.
'58
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Возьмем произвольную точку и* е U*. Пусть ur^_1 u* ur(k) Vе “
= 1,2, ...). Поскольку J (ur(k)) + J (ur(k)_1 )< L (urW - +2J («*),
то из (3) с учетом условия dk 2L имеем
Rh (г (к)) (dh - 2£) (Мг(/!) - «,.(„_!) - V («,) > - V (и.), к = 1, 2, ...
(19)
Далее, пусть и* — какая-либо предельная точка последовательности {pjJ.
Возьмем отрезки [ит(к)-ъ um(k)] (к = 1, 2, ...) и множество N (г*), введен-
ные при доказательстве теоремы 1 для точки v*. Поскольку J (н#)
J (г*), то из (14) при i = г(к) и из (19) имеем Rh (т (к)) Rk (г (к))
> — 4J (u*) > — 4J (г*) (к <=N (г*)).
Отсюда с учетом равенства (17) имеем
lim Rb (т (к)) = lim Rk (г (к)) = — 4/ (и*) = — 4/ (г*),
fe->oo k-»oo
k(=N(v*), (20)
т. е. / (и* )=/(*>♦). В силу теоремы 1 тогда lim J (yh)^J (v*) = J (u*), a
k->oo
из теоремы 1.1 получим lim p (rfe, U*) — 0. Наконец, при inf dk > 2L пз
(19), (20) следует lim (ur(kT~Mr(fe)-i)~0,11 ПОЭТОМУ в качестве под-
fe-»oo,fe€=N(v*) rir 1
последовательности, сходящейся к и*, можно взять {urik)} или {urik)-1/.
Сравним метод (1) — (6) с методом равномерного перебора (7.2) на
классе функций (?(£), удовлетворяющих на [а, Ь] условию (И) с одной и
той же постоянной L. Согласно теореме 7.1 для обеспечения точности
min / (1Г|) —е (21)
на классе Q(L) перебор на [а, &] нужно осуществить по точкам iVi — а +
+ (/ — 1/2)h (г = 1, 2, ...) с шагом 2е/£.
Теорема 4. Пусть J (и) е Q(L), а [а, р] СЕ {и: и^[а, &], J (и)
+ ?}> где 7 Е> 0— фиксированное число. Тогда на [а, Р] число поисковых
точек метода (1)—(6), реализованного при dk = 2L (Zc 1), по крайней ме-
ре в у/(5е) раз меньше числа поисковых точек метода равномерного пере-
бора (7.2); здесь число 8 >• 0 взято из (21), 5е < 7.
Доказательство. Пусть ur^ky_1 ur(h) (^ = 1» 2, ...).
Тогда из (19) следует, что (г (&)) > — 4/(и*) = — 4J*. Далее, для
любого отрезка [щ-i, щ\ [а, Р] (i = i{k)) справедливо неравенство
J (и^ + J х) 2/* + 2у. Поэтому из (3) при dk = 2L получим
7?k (i) < — 4/* — 4у + 5Z/ (и{ — Ui_T)/2, Отсюда ясно, что если щ — щ-i <
< 87/(5L), то Rk(r(k)) —Rh(i(k)) ^47 — 5L(u; — iZi-i)/2 >0 и на Zc-м ша-
ге внутри [мг-i, Hi] новая поисковая точка не появится. Следовательно, для
появления повой точки в ui\ на &-м шаге необходимо, чтобы щ —
-Ui-^S^/^L).
Однако тогда появление новой поисковой точки Vk в [wi-i, Ui] приве-
дет к двум новым отрезкам [i/г—1, и [vk, ил], длина которых согласно (9)
при dk = 2L, р,ь = 2LlLk 2 = ц оценивается снизу величиной (ui — Ui-i)/
^^2^/(5L). Это значит, что независимо от номера шагов расстояние меж-
ду точками Uf-i, ui е [а, р] удовлетворяет условию щ — Ui-\ 27/(5L),
и следовательно, число поисковых точек, попавших на fa, Р| при приме-
нении метода (1) —(6), не может превышать числа 5L(P — а)/(27).
Остается заметить, что число точек метода равномерного перебора па
[а, р], необходимое для обеспечения точности в смысле неравенства (21),
оценивается числом (р — a)/fi^ (a — р)£/(2е). Сравнивая полученные чис-
ла, убеждаемся в справедливости теоремы.
§ И]
МЕТОД ПАРАБОЛ
59
Из теоремы 4 следует, что на отрезках, на которых значения функции
Ци) значительно превышают число поисковых точек метода (1) — (6),
вообще говоря, намного меньше числа точек равномерного перебора.
На практике в методе (1) —(6) часто берут v = 1, = 2 и итерации
продолжают до тех пор, пока величина us — us-i не станет меньше задан-
ного числа (здесь s определяется условиями (4)). Численные эксперимен-
ты показывают [279], что метод (1) — (6) позволяет определить глобаль-
ный минимум с достаточно высокой надежностью. Замечено, что при уве-
личении значений параметров v, надежность поиска возрастает, но при
этом одновременно может увеличиться и количество вычислений значений
минимизируемой функции.
Упражнения. 1. Выяснить поведение поисковых точек метода
(1) —(6) для функций Ци) == 1, Ци) = и на отрезке [0, 1].
2. Исследовать сходимость метода (1) —(6) для функции Ци) = |н| +
+ |и — 1| на отрезках [—1, 1], [—1, 2], [1, 2].
§ 11. Метод парабол
В рассмотренных выше методах ломаных и касательных ми-
нимизируемая функция аппроксимировалась кусочно линейными
функциями и исходная задача заменялась последовательностью
задач минимизации кусочно линейных функций. Однако суще-
ствуют и другие достаточно простые классы функций, которыми
можно аппроксимировать минимизируемую функцию и для ко-
торых задача минимизации легко решается. Выбирая, например,
в качестве такого аппроксимирующего класса квадратичные
функции, график которых представляет собой параболу, мы при-
дем к методу минимизации, который естественно назвать методом
парабол.
Определение 1. Пусть функция J (и) определена на от-
резке [а, 6], а т, h — положительные постоянные. Тройку точек
v — т, v, v+h, принадлежащих [а, 6], назовем выпуклой тройкой
для J(u), если Д~(р) = J(v — т) — J (v) > О, А+ (р) = J(у + h) —
-J(v)>0, д+ +д->о.
Если тройка точек v — т, р, v + h выпукла для У(п), то через
точки (v — т, J(v — т)), (р, J(v)), (v + h, J(v + h)) на плоско-
сти (и, J) можно провести параболу L2(u) = ри2 + qu +г со стар-
шим коэффициентом р > 0. Эта парабола является графиком
обычного интерполяционного многочлена второй степени и име-
ет вид
L2 (и) = + -h> + ^(u-v) + J (V). (1)
\ lb I/ ] V lb lb
Поскольку p = \+fh + А /т>0, то £2(w) выпукла на R и дости-
гает своей нижней грани на R в точке
, Л2Д~ — гд+
w = v н—-------------тг
2 (/гД- + тД+)
(2)
Пользуясь условиями А+ >0, А“ > 0, из (2) нетрудно получить,
что
—т/2 w — v h/2. (3)
60
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Перейдем к описанию одного из вариантов метода парабол
для минимизации функции J(u), унимодальной на отрезке [а, Ь].
Пусть h > 0 — некоторый начальный шаг, 2h < Ъ — а, а п0 е
е \а, Ь] — начальная точка. Поиск минимума начинаем с вычис-
ления значений J(u0), J(u0 + h), Если окажется, что J(w0 + h)^
^J(u0), то продолжаем вычислять значения J(u0 + h • 2*"1) (i =
= 2, 3, ...) (рис. 1.8); если же J(u0 + h)> J(u0), то меняем на-
правление поиска: переобозначаем u0 + h через и0 и далее вы-
числяем значения J(u0 — h • 2l~l) (i = 2, 3, ...) (рис. 1.9). Перед
вычислением значения функции в очередной новой точке щ =
= и0 + h • 21-1 (или соответственно щ = и0 — h • 2г-1) прежде всего
выясняем, будет ли Ь]. Если Ui^[a, Ь], то вычисляем зна-
чение J(ui) и проверяем, образуют ли последние три точки щ-2,
Ui-i, щ выпуклую тройку для J(u) или нет. В том случае, когда
тройка щ-2, Ш-!, Ui невыпукла, переходим к следующей точке
Ui+i и т. д. Этот процесс закончится отыскиванием такого номера
п > 1, что:
§ И]
МЕТОД ПАРАБОЛ
61
1) либо три ТОЧКИ Пп_2, ^п-1, ип образуют выпуклую тройку
для J(u)— тогда через три точки (аъ (i = n — 2, п — 1, п)
проводим параболу и находим точку w ее минимума на R; со-
гласно (3) w£=[un_2, ип] (см. рис. 1.8, п = 4);
2) либо ни одна тройка Нг-2, щ при i = 2, ..., п не будет
выпуклой, a un+i Ф [a, 6] — тогда полагаем w = а или w = Ъ в за-
висимости от того, какой из концов отрезка [а, Ь] ближе всего
к точке un+i (см. рис. 1.9, п = 4).
Определив указанным образом точку ip, вычисляем значение
J(ip) (если оно еще не было вычислено на предыдущих шагах).
Наконец, среди точек w, и0, щ, ..., ип находим точку йп такую,
что
Цйп) = min {/(ip), Ци0), ..., J(un)},
и за приближение к J* = inf J (и) берем значение J(zzn),
uE[a,b]
а за приближение к множеству U* точек минимума — точку йп.
При необходимости для уточнения точки минимума можно взять
найденную точку йп за начальную и повторить описанную про-
цедуру поиска с начальным шагом h/2, и т. д. Последовательно
повторяя этот процесс, можно найти точку, удаленную от мно-
жества U* точек минимума унимодальной функции J(u) па
расстояние, не превышающее заданного числа.
Если унимодальная функция хорошо аппроксимируется пара-
болой в некоторой окрестности U*, то этот метод может оказать-
ся гораздо более эффективным, чем другие методы минимизации.
Если функция непрерывна па отрезке [а, Ь], но не является уни-
модальной, то применение метода парабол приведет, вообще го-
воря, лишь к точке локального минимума этой функции.
Существуют различные модификации метода парабол. Иногда
после нахождения выпуклой тройки ил_2, ип-{, ип вычисляют
значение функции еще в одной точке vn = (un-l + ип)/2— середи-
не отрезка [un-i, &п], затем из получившихся равноотстоящих то-
чек Un-2, un-i, vn, ип исключают либо ип~г, либо ип, в зависимости
от того, какая из них более удалена от точки, соответствующей
минимальному значению среди вычисленных, и по оставшейся
тройке проводят параболу.
Возможно использование описанного метода парабол и при
другом, более общем определении выпуклой тройки. А именно,
тройку точек v — т, v, v + h^[a, b] можно назвать выпуклой,
если старший коэффициент р = А+//г + А "7 т параболы (1) поло-
жителен, хотя в отличие от определения 1 одно из условий А+ >
> 0 или А“ 0 может быть и нарушено. В этом случае парабола
(1) также выпукла на R и достигает своей нижней грани в точ-
ке w, выражаемой той же формулой (2). Однако здесь надо
иметь в виду, что w не обязана удовлетворять неравенствам (3),
и более того, может оказаться, что w Ф [а, 6].
62
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
§ 12. Другой метод поиска глобального минимума
1. Описанные выше методы деления отрезка пополам, золотого сече-
ния, парабол и некоторые другие методы приспособлены для поиска гло-
бального минимума унимодальных функций. Если эти методы применить
к непрерывным функциям, не являющимся унимодальными на рассмат-
риваемом отрезке, то мы получим, вообще говоря, лишь точку локального
минимума. Поэтому такие методы часто называют локальными методами
минимизации.
Можно предложить следующую схему поиска глобального минимума
непрерывной функции J (и) на отрезке [а, 6] с помощью локальных мето-
дов. А именно, пусть каким-либо локальным методом минимизации найде-
на точка и0 локального минимума функции Ци) па [а, 6]. Если точка uQ
не является точкой глобального минимума, то найдется точка г0 е fa, 6]
такая, что 7(с0) < Ци0). Допустим, что нам как-то удалось найти хотя бы
одну такую точку г0. Тогда в некоторой окрестности точки г0 существует
новая точка щ более глубокого локального минимума со значением Цщ)
С Ци0) < 7(п0).
Для поиска щ можно использовать один из локальных методов мини-
мизации, например метод парабол, беря в качестве начальной точку г0.
Если здесь будет использован метод золотого сечения, то чтобы гаранти-
ровать получение точки щ локального минимума со значением 7(ui)
^7(г0), на каждом шаге этого метода следует учитывать также и имеюще-
еся вычисленное значение 7(г0); кроме того, сам метод золотого сечения
может применяться как на исходном отрезке [а, 61, так и на каком-либо
другом подходящем отрезке [а, Ц] cz [а, 6], содержащем точку р0. Если най-
денная точка щ не реализует глобального минимума функции Ци) на [а,
6], то можно попытаться найти точку со значением 7(гч) < Цщ) и за-
тем, пользуясь одним из локальных методов, перейти к точке п2 более глу-
бокого минимума со значением Ци2) J(yi) < Цщ) < 7(п0), и т. д. В том
случае, когда 7 (и) на [а, 6] имеет конечное число локальных минимумов,
осуществляя переход от одного локального минимума к другому более глу-
бокому локальному минимуму, за конечное число таких переходов можно
отыскать глобальный минимум функции Ци) на [а, 6].
Намеченная здесь схема поиска глобального минимума показывает,
как в принципе можно использовать локальные методы минимизации для
отыскания глобального минимума. Однако эта схема имеет существенный
недостаток: в пей отсутствует сколь-нибудь конструктивный способ отыс-
кания точек г0, щ, ..., т. е. точек, в которых функция принимает меньшее
значение, чем в найденной точке локального минимума.
2. Опишем один такой способ, следуя работе [90]. Будем предполагать,
что функция 7(п) непрерывно дифференцируема на отрезке [а, Ь] и имеет
па нем конечное число точек локального минимума. Тогда, очевидно, все
локальные минимумы будут строгими. Кроме того, предположим, что в ок-
рестности каждой точки и г локального минимума имеет место представ-
ление
J (u) — J (и.) = (u — (a), (1)
где gi(ui) > 0 при а щ < Ь и (— 1)Пг^(6) > 0 при щ — b, §i(u) не-
прерывно дифференцируема на [а, 6], а щ — натуральное число. Заметим,
что для достаточно гладких функций 7(a) представление (1) легко полу-
чается из разложения по формуле Тейлора в точке пг-, причем число п
здесь равно порядку самой младшей производной функции 7(и) в точке щ,
которая отлична от нуля, а условие (и^ > 0 при а < ui < b
и (_, i)nij^n^ (и-) > 0 при Hi — Ъ являются необходимыми для того, что-
§ 12]
ДРУГОЙ МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
63
бы в точке Ui достигался локальный минимум (см. упражнения 2.5—2.7).
Заметим также, что при а С щ < Ъ число пг обязательно будет четным.
Возьмем одну из точек и0 локального минимума функции Ци). Тогда
Ци) > J(uQ) для всех и е Оа(^о) = {и: и \а, , 0 < |и — zz0| < а}, ес-
ли число а >> 0 достаточно мало. Введем функцию
фт(ы, и0) = (Ци) — 7(н0))/(н — u0)2m, (2)
определенную при всех и е [а, Ь], и и0, т = 1, 2, ...
Напомним, что нам требуется найти хотя бы одну точку ро IX И,
для которой J(vQ) < 7(w0), что равносильно неравенству фш(Ро, ^о) < О-
Такую точку р0 можно попытаться искать, решая в свою очередь задачу
минимизации функции фш(и, и0) на [а, 6] с помощью тех же локальных
методов, которые упоминались выше. Однако здесь сразу возникает вопрос:
чем эта задача минимизации лучше исходной задачи? Ответить на него
можно так: во-первых, задача минимизации фт(н, и0) играет вспомогатель-
ную роль при поиске точки и0. для которой фт(г0, и0) < 0, и сразу же по-
сле нахождения такой точки г0 процесс минимизации фт(^. «о) прекраща-
ется, во-вторых, функция фт(н, и0) обладает рядом интересных свойств, су-
щественно облегчающих поиск точки v0. Рассмотрим эти свойства функ-
ции (2).
1. Перепишем (2) в виде
Ци) — Ци0) = (и — ио)2пгфт(^, и0), и =£ uQ, и<=[а,Ъ].
Отсюда ясно, что функции Ци) — Ци0) и фт(р, и0) при всех т — 1, 2, ...
имеют одинаковые знаки при каждом и е [а, 6] (и =# uQ) и обращаются в
нуль в одних и тех же точках, не считая и = и0. Поэтому нетрудно видеть,
что точка uQ будет точкой глобального минимума функции J(и) на [а,
тогда и только тогда, когда фт(н, zz0)^ 0 при всех и (и =# н0, т —
= 1, 2, ...), и следовательно, в точке н0 не будет достигаться глобальный
минимум тогда и только тогда, когда существует точка р0 е [«, 6], в кото-
рой фш(р0, ио) < 0 (иг 1). Очевидно также, что при любом т — 1, 2, ...
функция фт(ы, uq) может иметь локальный минимум в точке wQ Ф uQ со
значением фт(^о, и0) = 0 тогда и только тогда, когда w0 является точкой
локального минимума функции Ци) со значением J(w0) — Цио).
2. Существуют такие т 1 и а >> 0, что функция фт(н, и$) не будет
иметь локальных минимумов па множестве Оа(н0) = {и: и е [а, &],
О < \и — н0| < а}. В самом деле, эта функция дифференцируема при всех
и Ф и0 и ее производная равна
(«- %) = iJ' (“) (м - %) -2т <") - 7 (%))]/(“ - %)2m+1- <3)
Отсюда с учетом представления (1) имеем
«Рт (“> %) (“ - uo)2m'”o+1 = (и - g'o (и) - (2т - п0) g0 (и). (4)
Если а и0 < Ъ и а достаточно мало, то g0(и) const > 0 при всех и е
еОа(^о), а тогда, взяв т достаточно большим, можно сделать ф^г(^ %)Х
Х(и — и^т ?i°+1 < 0 при всех и е Оа(н0). Учитывая, что при а < щ < Ъ
число п0 четно, отсюда получаем, что фш(н, и о) в Оа(н0) строго возрастает
слева от н0 и строго убывает справа от н0. Случай а и0 < b рассмотрен.
Если же н0 = 6, то из непрерывности функции g0 (и) и условия
(— 1) °g0 (Ь) > 0 следует существование такого а > 0, что (— l)n°g0 (и)
const > 0 для всех и е Оа(и0). Тогда из (4) при достаточно больших т
получим неравенство Чт(и,Ь)>® (и<=Оа(Ь)), означающее, что на
ОЦЬ) функция <рт(и, Ь) строго возрастает и не может иметь локальных
минимумов.
64
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
3. Пусть в некоторой точке v е (а, Ь) оказалось, что фт(г, uq) > 0, т. е.
J(v) > J(uq). Тогда найдется столь большой номер т0 = m0(w), что функ-
ция (рт(и, ио) не будет достигать локального минимума в точке v при всех
т тп0. В самом деле, возьмем
mQ > |Г (г) | (6 - я)/(2(7(р) - 7(и0))).
Тогда из формулы (3) при и = и для всех т т0 имеем %п(р> “0)Х
X (г — «0)2т+1 < 0, т. е. <f'm (у, пв) < 0 при u0 < v < Ь и (f'm (у, uQ) > 0 при
а < v < Это значит, что при т mQ функция срт(и, и0) не может иметь
локального минимума в точке и = v.
Опираясь на изложенные свойства функции ц>т(и, w0), можно предло-
жить следующий способ определения точки р0, для которой фт(^о, ио) < 0.
Сначала будем рассматривать задачу минимизации фт(щ w0) на отрезке
[w0, 6] (при и0 < &), затем — на [а, w0] (при а < и0). Поиск минимума на
[w0, &] начнем с некоторой начальной точки и0 + а < Ъ.
С учетом свойства 2 выберем а > 0 столь малым, а т столь большим,
чтобы ф^ (uQ + а, ^0) < 0. Тогда непрерывная функция фт(н, ио) на отрезке
[w0 + а, 6] имеет хотя бы один локальный минимум со значением, мень-
шим фт(и0 + а, w0). Поиск минимума на этом отрезке будем вести с по-
мощью какого-либо локального метода минимизации. Если в процессе по-
иска будет найдена точка р0, для которой фт(ро, ио) < 0, то сразу возвра-
щаемся к задаче минимизации исходной функции J(u) в соответствии со
схемой, описанной в начале параграфа.
Допустим, что при поиске минимума ф?п(н, и0) на [w0 + а, Ь] такая точ-
ка Ро не нашлась, и мы пришли к некоторой точке локального минимума
w0(u0a <Z wQ < Ъ) со значением фт(ш0, uQ) 0, причем срт(и, и0) 0
при всех we [w0 —j- ct, ш9].
Здесь имеются две возможности: либо фш(н?0, w0) > 0, либо фт(^0. и0) —
= 0. Если фт(н?о, «о) >• 0, то, пользуясь свойством 3, увеличиваем т так,
чтобы соответствующая функция фт(и, w0) в точке w0 не достигала локаль-
ного минимума, и продолжаем поиск минимума на отрезке [м?0, &]. Заме-
тим, что при минимизации функции фш(^, wo), соответствующей новому
значению т, нет необходимости возвращаться к отрезку [w0 + a, и>0] , так
как неравенство фт(щ w0) 0 (we [w0 + а, ?/;]), установленное для како-
го-то значения /л, останется верным при всех т = 1, 2, ... и свидетельст-
вует об отсутствии па [w0 + a, w} искомой точки г0.
Рассмотрим случай фт(шо? w0) = 0. Согласно свойству 1 функция J(u)
также будет достигать локального минимума в точке w0 со значением
J(w0) =J(uo). Поскольку локальные минимумы функции J(u) строгие, то
можем выбрать а > 0 столь малым, чтобы J(w) > J(wQ) и, следовательно,
Фт(щ ио) >0 при Wq < и wo + а. Увеличивая при необходимости т,
согласно свойству 3 можно сделать фт (w?0 4~ сс, < 0 и затем перейти к
минимизации соответствующей функции фш(щ w0) на отрезке fw0 + а, Ь].
Можно ожидать, что продолжая этот процесс дальше, либо мы найдем
искомую точку vq, для которой фт(г0, и0) < 0, либо, конечное число раз
увеличивая т и выбирая а > 0, доберемся до точки b и выясним, что
фт(и, wo) ^0 при всех w (wq *< и 6). В последнем случае переходим к
отрезку [a, w0] и на нем аналогичным образом ищем точку v0 со свойством
Фт(^0, wo) < 0. Если и на отрезке [a, w0] такая точка vQ не найдется, то
это будет означать, что фт(н, w0) ^0 при we [а, Ь] (и Ф w0), т. е. соглас-
но свойству 1 точка w0 есть точка глобального минимума функции J(w) на
[а, Ъ]. С другой стороны, если w0 не является точкой глобального мини-
мума, то в силу того же свойства 1 существует точка v0, для которой
фт(^о» ио) *< 0, и можно надеяться, что описанным выше способом удаст-
ся найти точку и реализовать изложенную в начале параграфа схему по-
иска глобального минимума функции /(w) на [а, &].
§ 12]
ДРУГОЙ МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
65
Следует заметить, что для более строгого обоснования предложенного
способа поиска точки v0 надо бы еще доказать, что поиск минимума
Фт(щ и0) на [и0, 6] и [a, м0] всегда удастся закончить за конечное число
изменений величин /п, а. Интересно также исследовать, как влияют по-
грешности, неизбежные при определении точек локального минимума рас-
сматриваемых функций, на весь процесс поиска глобального минимума.
Эти вопросы, по-видимому, пока еще должным образом не изучены.
При практическом использовании описанного метода обычно задают не-
которое достаточно большое натуральное число М и ограничиваются рас-
смотрением функций фт(^, и0) лишь при тп = 1, ..., М. Численные экспе-
рименты показывают, что удачный выбор М и точность определения точек
локального минимума рассматриваемых функций обеспечивают достаточ-
но высокую эффективность этого метода [90].
3. Применим описанный метод поиска глобального минимума к задаче
2П
минимизации многочленов J (и) = р2п (и) = 2 aiuZ степени 2п, где все ко-
i=o
эффициенты сц — действительные числа, старший коэффициент а2п > 0. По-
скольку lim (и) = оо и Р2п(и) — непрерывная функция, то мно-
lul^oo
жество M(v) = {и: и е R, Р2п(и) ^P2n(v)} непусто, ограничено и замкну-
то при любом фиксированном v. Кроме того, очевидно inf р (и) =
UER
= inf р2П(^) = /*. Поэтому, применяя теорему 1.1 к функции р2п(и) на
множестве М(и), получаем, что J*> — сю и множество U* точек минимума
р2п(и) на R непусто. Более того, так как производная p2n(w), является
многочленом степени 2п — 1, то опа может иметь не более 2п — 1 действи-
тельных корней, и Р2п(и) на R может иметь не более п — 1 точек ло-
кального максимума и не более п точек локального минимума.
Поиск глобального минимума функции р2п(и) на R можно осуществить
следующим образом. Отправляясь от произвольной начальной точки, с по-
мощью какого-либо локального метода минимизации, например, метода па-
рабол, находим точку uq локального минимума р2п(и). В этой точке
) = 0 и справедливо представление
Pw (“) = Р2П (%) + р"гп (“ - %)72! + • • •
• • • 4- Р2ПП-1) (%) (и - мо)2П-1/(2ге - Ы + «2» (м - %)2П-
По аналогии с (2) введем функцию
ф2(и, 14о) = (Р2п(и) ~ Р2п(ио))/(и — и0)2 р2п-2(Ц, Uq) .
Из предыдущего представления следует, что р2п-2(и, и0)—многочлен сте-
пени 2п — 2 со старшим коэффициентом а2п > 0. Поскольку р2п(и)—
— P2n(Uo) == (U — UQ)2p2n-2(ui Uq) ПЦИ ВСвХ W Е R, ТО ЯСНО, ЧТО ТОЧКИ Uq буДвТ
точкой глобального минимума р2п(и) на R тогда и только тогда, когда
inf Роп-Ли, Это означает, что исходная задача минимизации мно-
UER 2 2 4 0/
гочлена степени 2п свелась к задаче минимизации многочлена р2п-2(и, uQ)
меньшей степени 2п — 2, которую в свою очередь можно аналогично ре-
шать последовательным сведением к задаче минимизации на R многочле-
нов меньших степеней 2п — 4, 2п — 6, ..., 2 с одним и тем же старшим
коэффициентом а2п > 0. Остается заметить, что для многочлена второй
степени р2(и) = Ь2и2 + Ь{и + &0 (Ь2 = «2п > 0) точка минимума R нахо-
дится по известной формуле и* — — bj^b^).
Если при поиске минимума р2п_2(и, и0) на R будет найдена точка uq,
для которой р2п-2(и0, и0) < 0, то сразу же возвращаемся к исходной задаче
минимизации р2п(и): отправляясь от начальной точки р0, каким-либо ло-
66
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
кальным методом находим следующую точку щ локального минимума
р-2п(и) со значением Р2п(и\) P2n(v0) < Р2п(^о) и затем с новой точкой щ
поступаем так же, как с предыдущей точкой и0, и т. д. Этот процесс пере-
хода от одной точки Ui-i локального минимума к следующей точке и г с
более глубоким локальным минимумом закончится не более чем через п
шагов обнаружением того, что Inf
§ 13. О методе стохастической аппроксимации
Выше предполагалось, что значение минимизируемой функ-
ции пли ее производной в каждой точке вычисляется точно.
Между тем из-за погрешностей применяемого здесь метода и
ошибок округления значения даже простейших элементарных
функций могут быть вычислены, вообще говоря, лишь прибли-
женно. Поэтому при поиске минимума вместо точных значений
функции Ци) мы будем иметь дело с приближенными значения-
ми z(u) с некоторой погрешностью IЦи) —z (и) I 8. В этом
случае уверенно можно различать значения функции в двух
точках и выяснить, какое из них меньше, только тогда, когда
разность этих значений больше 28. Понятно, что это обстоятель-
ство должно быть учтено при использовании описанных выше
методов минимизации.
Весьма усложняется решение задачи минимизации в тех слу-
чаях, когда на значения функции в каждой точке накладывают-
ся случайные ошибки или, как говорят, помехи. Такая ситуация,
например, имеет место, если значения функции получаются в.
результате измерений какой-либо физической величины. В том
случае, когда помехи являются случайной величиной и обладают
определенными вероятностными характеристиками, для поиска
минимума целесообразно использовать метод стохастической ап-
проксимации.
Опишем один из вариантов этого метода. Будем предполагать
что значения функции J(и) могут быть измерены в любой фик-
сированной точке и е R, причем результаты измерений не со-
держат систематических ошибок. Тогда для поиска минимума
функции Ци) на R может быть использован следующий итера-
ционный метод:
^п+1 «П (2 £п) (Un Сп) ) ! ^2 1» 2, * . *, (1У
где последовательности {ап}, {сп} заданы и удовлетворяют ус-
ловиям
«?г>0, сп>0, п = 1,2,..., lim ап = lim сп = 0, (2)
71—>эо эо
оо
&71 — °О?
71—1
Например, здесь можно
взять ап = 1/п, сп=1/п^^ (тг = 1, 2, ...)•
§ 13]
О МЕТОДЕ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ
67
Следует заметить, что в тех случаях, когда слева от точки
минимума график функции имеет крутой спуск, справа — крутой
подъем, а на остальных участках функция J(u) изменяется мед-
ленно, сходимость метода (1) может ухудшаться. В самом деле,
на пологих участках разность z(un + сп) — z(un — сп) может стать
очень малой, и тогда шаги поиска Iип+1 — ип\ будут малыми, а на
крутых участках, наоборот, шаги поиска могут стать очень боль-
шими. В результате значительная часть времени на поиск может
быть затрачена на чрезмерно медленные спуски на пологих уча-
стках и последующие большие скачки через точку минимума с
попаданием на другой пологий участок. В таких ситуациях мо-
жет оказаться полезным следующий вариант метода стохасти-
ческой аппроксимации:
un+l = ип- ап sign (z(an + cn)-z(un-cn)), n=l, 2, ..., (3)
где последовательности {ап}, {сп} по-прежнему удовлетворяют
условиям (2), signa — знак числа а, т. е. signa = 1 при а>0,
signa = — 1 при а < 0, sign0 = 0. Сходимость метода (3) можно
ускорить, если длину шага ап менять лишь при изменении знака
z(un + сп) — z(un — сп), сохраняя ап постоянным в остальных
случаях.
При некоторых предположениях относительно функции 7(a)
и вероятностных характеристик случайной величины z(u) можно
доказать сходимость по вероятности последовательности {ип},
определяемой формулами (1) или (3), к точке глобального ми-
нимума 7(a) на R. Различные варианты метода стохастической
аппроксимации, строгое обоснование этого метода, различные
приложения можно найти в [180].
Глава 2
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
О ЗАДАЧАХ НА ЭКСТРЕМУМ
В этой главе собраны основные факты о задачах на экстремум функ-
ций конечного числа переменных, обычно излагаемые в учебниках по ма-
тематическому анализу [10, 160, 165, 233], а также некоторые другие вспо-
могательные формулы и оценки, необходимые для дальнейшего изложения.
§ 1. Постановка задачи минимизации. Теорема Вейерштрасса
1. Сначала введем обозначения, напомним некоторые опре-
деления из линейной алгебры и математического анализа. Че-
рез Rn будем обозначать n-мерное вещественное линейное про-
странство, состоящее из вектор-столбцов
с действительными координатами и\ ... (i==l, ..п)\
сумма и + v двух вектор-столбцов и произведение аи вектор-
столбца и на действительное число а в Rn определяется так:
вектор-столбец
называется нулевым. Вектор-строку, полученную транспонирова-
нием вектор-столбца и, обозначим через uT = (u1, ..., ип). Там,
где не могут возникнуть недоразумения, вектор-столбец или
вектор-строку из Rn для краткости мы часто будем называть
просто вектором или точкой, а знак транспонирования «Г» бу-
дем опускать.
ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ
69
§ 1)
Если в Rn ввести скалярное произведение двух векторов
<u, иу = 2 u, v е Rn,
i=l
то Rn превращается в n-мерное евклидово пространство, которое
будем обозначать через Еп. Длина вектора или норма вектора в
Еп определяется так:
/ п \ 1/2
| и | = <U, и>1/2 = 2 Iui I2 •
\г=1 /
Величину
/ п \ 1/2
р (и, и) ~ | и — v | = 2 I — УЧ2
\ 2=1 /
называют евклидовым расстоянием между точками u, v е Е\
Для любых точек и, v, w е Еп справедливо неравенство
\u-vl С \и — w\ + \w — v\,
называемое неравенством треугольника. Когда важно подчерк-
нуть, что скалярное произведение, норма, расстояние взяты
именно в Еп, мы будем писать <zz, иУЕП, | и \ЕП, \и — и)Еп.
2. Перейдем к постановке задачи минимизации. Пусть
U — некоторое непустое множество из En, a J(u)—функция,
определенная на этом множестве. Всюду ниже, если не оговорено
противное, мы будем рассматривать лишь функции, принимаю-
щие во всех точках и U конечные вещественные значения.
Определения таких понятий, как точка минимума и максимума,
наименьшее и наибольшее значение, ограниченность снизу и
сверху, нижняя и верхняя грань функции J(u) на множестве U,
минимизирующая и максимизирующая последовательность, точка
локального и строгого локального минимума и максимума функ-
ции, сходимость последовательности к заданному множеству в
пространстве Еп получаются из определений 1.1.1 — 1.1.6, 1.1.В —
1.1.10, нужно лишь под и понимать точку и = (и1, ..., ип) из
Еп, под \и\ —норму и в Еп, Поэтому здесь мы не будем вос-
производить определения перечисленных понятий. Примеры
1.1.1 — 1.1.5 могут служить иллюстрацией к этим понятиям и в
Еп, так как функция одной переменной является частным слу-
чаем функции п переменных.
Нижнюю грань функции J(u) на множестве U по-прежнему
будем обозначать через
inf J (и) —
и
а множество точек минимума J(u) на U — через
U* = {и: u<=U, J (и) = J*}.
70
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
Для обозначения задачи минимизации функции J(u) на мно-
жестве U часто будем пользоваться следующей краткой стан-
дартной записью:
J(u)-> inf; u^U.
Как и в § 1.1, будем различать задачи минимизации двух ти-
пов. В задачах первого типа ищется точное или приближенное
значение величины и здесь неважно, будет ли множество
U* пустым или непустым. В задачах второго типа наряду с
величиной J* ищется точка иJ7, которая достаточно близка
к множеству U* или даже принадлежит U*,— здесь естествен-
но требовать, чтобы J*> — оо, /7* =£ 0.
Для приближенного решения задач обоих типов на практике
обычно строят какую-либо минимизирующую последова-
тельность {иД:
uk е U, к = 1, 2, ..., lim J (uk) = J*
k-*0O
(при U*^= 0 возможно, например, uk = и* е U*, к~ 1, 2, ...).
Тогда, как нетрудно видеть, в качестве приближения для J*
можно взять величину J(uk) при достаточно большом к. В том
случае, если {щ} сходится к множеству £7*, т. е. p(ufe, U*) =
= inf | uk — и|->0при к -> точку uk и соответствующее зна-
п*
чение функции J(uk) при достаточно большом к можно принять
за приближенное решение задачи второго типа. Однако, как мы
видели в примере 1.1.5, условие lim p(wfe, U = 0 имеет место
k~>OO
не всегда. Поэтому в задачах второго типа построение миними-
зирующих последовательностей, сходящихся к U*, в общем слу-
чае требует привлечения специальных методов.
В то же время имеются классы задач второго тина, у кото-
рых любая минимизирующая последовательность {uk} сходится к
U*. Эти классы задач хороши тем, что для их приближенного
решения достаточно построить произвольную минимизирующую
последовательность {uk} и затем пару J(uh)) при достаточно
большом к принять за приближенное решение. Один такой класс
задач будет описан ниже в теореме 1. Эту теорему будем на-
зывать теоремой Вейерштрасса, поскольку она является неко-
торым обобщением хорошо известной из учебников по матема-
тическому анализу теоремы Вейерштрасса о достижении нижней
грани непрерывной функции на замкнутом ограниченном мно-
жестве из Еп [10, 160, 165, 233].
3. Для формулировки теоремы Вейерштрасса нам понадо-
бятся понятия компактного множества, полунепрерывности снизу
функции и некоторые другие понятия из математического ана-
лиза. Кратко напомним их определения.
ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ
71
§ 1]
Пусть {uk} = (и^ и2, ...) — некоторая последовательность,
{uk}^En, т. е. uh^En (/с = 1, 2, Точка v называется пре-
дельной точкой последовательности {uk}, если существует под-
последовательность сходящаяся к v. Последовательность
{uh} называется ограниченной, если существует постоянная
М 0 такая, что \uk\ С М для всех к = 1, 2, ...
Множество U из Еп называется ограниченным, если сущест-
вует постоянная Л>0 такая, что lul <7? для всех u^U. Мно-
жество О(р, e)={fi: и^Еп, \и — р|<е), представляющее собой
открытый шар с центром в точке v и радиусом 8 > 0, называ-
ется ъ-окрестностъю точки v. Точка v^En называется предель-
ной точкой множества U с= Еп, если любая ее 8-окрестность со-
держит точки из U, отличные от v. Нетрудно видеть, что для
любой предельной точки v множества U существует последова-
тельность {uh} U (uh^v), сходящаяся к р,—для построения
такой последовательности достаточно при каждом к — 1, 2, ...
взять точку uh^O(y, 1/к) (uh¥=v). Верно и обратное: если в U
существует последовательность {uk} (uh=£v), сходящаяся к
точке v, то v — предельная точка множества U. Множество U из
Еп называется замкнутым, если оно содержит все свои предель-
ные точки.
Определение 1. Множество U из Еп называется ком-
пактным, если любая последовательность {uk} е U имеет хотя
бы одну предельную точку и, причем v U,
Согласно теореме Больцано — Вейерштрасса всякая ограни-
ченная последовательность имеет хотя бы одну предельную точ-
ку. Пользуясь этой теоремой, нетрудно доказать, что в Еп ком-
пактными являются все замкнутые ограниченные множества и
только они.
Числовая последовательность {xk} = fa, х2, ...) называется
ограниченной снизу [сверху}, если существует число А такое,
что xh^A[xk^A] при всех k = l, 2, ... Если {xh} не ограничена
снизу [сверху], то существует подпоследовательность та-
кая, что lim Хь = — оо [lim Хъ = оо"|.
7 nm I
ти-»оо [m->oo J
Определение 2. Число а называется нижним [верхним]
пределом ограниченной снизу [сверху] числовой последователь-
ности {xk} и обозначается через lim xh = а Г lim xh = а 1, если:
[fe^oo J
1) существует хотя бы одна подпоследовательность {^т], схо-
дящаяся к а; 2) все предельные точки {xk} не меньше [не боль-
ше] числа а, т. е. число а является наименьшей [наибольшей]
предельной точкой последовательности {xk}. Иначе говоря, а —
нижний [верхний] предел {xh}, если для любого 8 > 0: 1) су-
ществует номер N такой, что xk > а — 8 [xh С а + 8] для всех
k^N', 2) для любого номера ш найдется номер km> m такой,
п
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
что + 8 — 8]- В том случае, когда {хк} не огра-
ничена снизу [сверху], то по определению принимают
lim = — оо ГИтгг/г=оо ; если — оо, то полагают
h— J h^°°
lim xk = — оо; если lim xk = оо, то lim xh = оо.
k^OO k-^oo k-^oo
Например, если xh = (—l)ft (& = 1, 2, ...), to lim xh = — 1,
___ fe-*OO
lim xh = 1; если xk = (— i)kk (fc = 1, 2, ...), to lim xk = — oo,
limzft = оо; если xk = [1 + (— (k=l, 2,.. .), to lim xk — 0,
lim xk = оо; если xk = кГ1 (к = 1, 2, ...), то lim xk = lim xk = 0.
k-+oo k~*°o
Для того чтобы числовая последовательность {хк} имела пре-
дел, необходимо и достаточно, чтобы lim xk = lim xk = а; тогда
k —oo k^oo
lim х^ =
k^CO
Определение 3. Пусть функция J (и) определена на мно-
жестве U^En. Говорят, что функция J(u) полунепрерывна сни-
зу [сверху] в точке и 27, если для любой последовательности
{ик} U, сходящейся к точке и, имеет место соотношение
lim J (uk) J (и) Г lim J (uk) J (и)]. Функцию J (и) называют
fe—>оо |^fe-*ao J
полунепрерывной снизу [сверху] на множестве 17, если она полу-
непрерывна снизу [сверху] в каждой точке этого множества.
Предлагаем читателю доказать, что функция J(u) полуне-
прерывна снизу [сверху] в точке v е U тогда и только тогда, если
для любого 8 > 0 существует S > 0 такое, что для всех и {и: и^
^U, \и — р|<6) справедливо неравенство J(u)> J(p)—8 [J(u)^
^J(p)+s]. Нетрудно убедиться, что функция непрерывна в точ-
ке v тогда и только тогда, когда она в этой точке полунепрерыв-
на и снизу, и сверху.
Пример 1. Пусть U = {u\ и^Еп, [и! 1} — n-мерный еди-
ничный шар; пусть J(u)—\u\ при 0 < lul С 1 и /(0) = а. Тогда
при а^О функция J(u) будет полунепрерывна снизу на U; при
а > 0 — полунепрерывна сверху на U; при а = 0 — непрерыв-
на на U.
Пример 2. Пусть U = {и: и^Е\ — 1 С и 11; J(u) = и при
0<uCl; J(u)=l — и (—1Си<0); 7(0) = а. Нетрудно ви-
деть, что при а 0 эта функция полунепрерывна снизу на U',
при а > 1 — полунепрерывна сверху на U, а при 0 < а < 1 в точ-
ке и = 0 она не будет полунепрерывной ни снизу, ни сверху.
Пример 3. Пусть и = (х, у)^Е2; 1{и) = х2 + у2 при х > 0,
i/^0; J(u)==0 при у > 0; J(u)= 1 при г/< 0;
§ 1] ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ 73
J(u) — — 1 при х < 0, г/ < 0. Нетрудно показать, что эта функция
на множестве СЛ = {(я, у): я>0, у>0} непрерывна; на U2 =
= {(z, У)- Z/^0} полунепрерывна снизу; на ?73 = {(я, у): х^О}
полунепрерывна сверху; на lh = {(x, у): х>0} в некоторых
точках полунепрерывна снизу, в некоторых — сверху.
Установим связь между свойством полунепрерывности снизу
функции и замкнутостью множеств
М(с) = {и: и Z7, J (и) с}, с = const,
называемых множествами Лебега функции J(u) на множестве U.
Лемма 1. Пусть U — замкнутое множество из Еп. Тогда
для того, чтобы функция J (и) была полунепрерывна снизу на U,
необходимо и достаточно, чтобы множество Лебега М(с) было
замкнутым при всех с (пустое множество считается замкнутым
по определению). В частности, если J(и) полунепрерывна снизу
на U, то множество U* точек минимума J (и) на U замкнуто.
Доказательство. Необходимость. Пусть J (и)
полунепрерывна снизу на U. Возьмем произвольное число с.
Пусть Л/(с)¥=0. Возьмем какую-либо предельную точку w мно-
жества М{с). Тогда существует последовательность {uh}^M(c),
сходящаяся к w. В силу замкнутости U точка w^U. Из того,
что J(uh)^c (fc = l, 2, ...), с учетом полунепрерывности снизу
](и) в точке w имеем J (w) С lim J(uh) с, т. е. w^M(c). Замк-
нутость М(с) доказана. В частности, множество U* = [и: u^U,
J (и) J* = inf J (и)} замкнуто.
Достаточность. Пусть для некоторой функции J(и)
множество М(с) замкнуто при любом с. Возьмем произвольные
8 > 0, и U и последовательность {uh} е U, сходящуюся к точке
и. Пусть lim J (uh) = а = lim J (ukm). Тогда J (ukm) <1 a + 8, t. e.
k^> ™-*°°
ukm^M(a + &), для всех достаточно больших номеров km. Но
М(а + е) замкнуто по условию, а точка и является пределом
для Следовательно, и^М(а + &), т. е. J (и)^а + г. В силу
произвола 8 > 0 отсюда имеем J (и) а = lim J (uk).
k-^oo
Установим одно интересное свойство расстояния от точки до
множества.
Лемма 2. Пусть U — произвольное непустое множество из
Еп. Тогда расстояние р (и, U) — inf р (и, w) от точки и до мно-
w^U
жества U как функция переменной и непрерывна на Еп и, более
того, удовлетворяет условию
|р (и, U) — р (v, U) I р (и, и) У/и, и Еп.
Доказательство. Прежде всего из р(и, w) = \и — w\ > 0
и p(zz, U)^\u — zz?l (w^U) следует, что функция р(и, U)
74
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
неотрицательна и конечна во всех точках и е Еп. Возьмем произ-
вольное число 8 > 0. По определению нижней грани (см. опре-
деление 1.1.3) для любых и, v^En найдутся точки иг, ve^U
такие, что
p(u, U)^p(u, ue)=^p(u, 17)4-8, р(р, 17)^р(р, р8)^р(р, С7)4-8.
Поскольку p(u, [7)^р(и, ре), то с помощью неравенства тре-
угольника р(^, ps)=Cp(u, i?) + p(z?, ve) имеем p(u, U) — p(p, U)^
Cp(u, vz)— p(p, pe)4- 8 C p(u, p)4-8. Аналогично получается не-
равенство p(u, [7) —p(p, C7)>p(l4, ue)— e — p(p, щ)> — p(u, v)— 8.
Объединяя два последних неравенства, имеем Ip (u, С7) —
— р(р, С7)| =^р(и, р)4-8. Отсюда при 8-> 4-0 получим требуемое
неравенство.
4. Перейдем к формулировке теоремы Вейерштрасса.
Теорема 1. Пусть U — компактное множество, а функция
J(u) определена, конечна и полунепрерывна снизу на U. Тогда
J* = inf J (и) > — оо, множество U* — {и: и , J (и) —
и
непусто, компактно и любая минимизирующая последователь-
ность сходится к U*.
Доказательство. Возьмем произвольную минимизирую-
щую последовательность {uh}: uk^U (к = 1, 2, ..., limJ(^fe) =
k-+ оо
= J*). Существование хотя бы одной такой последовательности
следует из определения 1.1.3 нижней грани функции. Так как
[7 — компактное множество, то 'uh} имеет хотя бы одну предель-
ную точку и все ее предельные точки принадлежат [7. Возьмем
любую предельную точку и* этой последовательности. Тогда су-
ществует подпоследовательность сходящаяся к точке и*.
Пользуясь свойством нижней грани и полунепрерывностью
функции J (и) в точке и*, имеем
J* С j (и*) С lim J = lim J (uk) = J
ТП-+ОО k^OQ
t. e. J (u*) — J*. Отсюда следует, что J* > — oo, U* =/= 0. Более
того, показано, что любая предельная точка любой минимизи-
рующей последовательности принадлежит [7*.
Покажем, что U* компактно. Возьмем произвольную после-
довательность {vk} е [7*. Так как {uj [7 — компактное мно-
жество, то существует подпоследовательность сходящаяся
к некоторой точке v*^U. Но {vk} — минимизирующая последо-
вательность, так как J (yk) = (к = 1, 2, ...). По вышедо-
казанному тогда Компактность U* установлена.
Покажем, что любая минимизирующая последовательность
{uh} сходится к [7*. Так как p(uk, U*)= inf p(uk, u)^0 (к =
u~U* ______
= 1\ 2, ...), то ясно, что limp(uk, [7*)^0. Пусть limp(jzfe, [7*) =
Zi-»oo k~+OO
§ 1] ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ 75
= lim р(ukm, U*) = а^. оо. В силу компактности U из!нь }
7П—>оо '
можно выбрать подпоследовательность, сходящуюся к некоторой
точке и*. Не умаляя общности, можем считать, что сама после-
довательность сходится к и*. Согласно лемме 2 функция
p(u, U*) непрерывна по переменной и, поэтому lim р(^йт, ПЛ =
= р (u*, U*) = а. Однако по доказанному u*^U*. Тогда а =
= р (и*, U*) = 0. Это значит, что lim р (uk, U*) = lim р (uk, U*) =
/i—>оо >оо
= 0. Следовательно, предел lim р U*) существует и равен
нулю. Теорема 1 доказана.
Предлагаем читателю рассмотреть функции и множества из
примеров 1—3 (см. также примеры 1.1.1 — 1.1.5) и проверить,
в каких случаях условия теоремы 1 выполнены и, следователь-
но, нижняя грань достигается, в каких случаях она не достига-
ется и в каких случаях нижняя грань достигается несмотря на
то, что условия теоремы 1 нарушены.
5. Заметим, что в теореме 1 условие компактности множества
U является довольно жестким. Например, такие часто встречаю-
щиеся на практике множества, как U = Еп — все пространство
или U = {и: и1 > 0, ..., ип ^=0} — неотрицательный ортант, не
являются компактными. Приведем две теоремы, в которых ком-
пактность множества U не предполагается, но зато функция,
кроме полунепрерывностп снизу, удовлетворяет некоторым до-
полнительным требованиям.
Теорема 2. Пусть U — непустое замкнутое множество из
Еп, функция J (и) конечна, полунепрерывна снизу на U и для
некоторой фиксированной точки v U множество Лебега
М(у) = {и\ u^U, J (и)^ J (и)}
ограничено. Тогда — °°9 множество U* непусто, компактно
и любая минимизирующая последовательность {щ), принадле-
жащая М(у), сходится к U*.
Доказательство. По определению множества M(v) име-
ем: J(u)>J(v) при всех u^U\M(v) и J(u)^J(v) при всех
и^М(и). Это значит, что на U\M(v) функция J(и) не может
достигать своей нижней грани на U и для доказательства тео-
ремы достаточно рассмотреть J(u) па множестве M(v).
Замкнутость множества М(и) вытекает из леммы 1. Из
ограниченности п замкнутости M(v) следует его компактность.
Применяя теорему 1 к функции J(u) на М(и), получим все ут-
верждения теоремы 2. Попутно установили, что М (и).
Заметим, что в теореме 2 утверждается сходимость к U*
только тех минимизирующих последовательностей uk, которые
принадлежат М(и). Если то условие {uh}^M(v)
можно не оговаривать, так как в этом случае для любой миними-
76
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
зирующей последовательности {uh} найдется номер к0 такой, что
J(uh)<J(y) для всех к^к0, т. е. uk^M(y) при к > к0. Если
же J(y) = J*, то U*=M(y) и, как видно из примера 1.1.5,
в этом случае могут существовать минимизирующие последова-
тельности, которые не принадлежат М(у) и не сходятся к U*.
Теорема 3. Пусть U — непустое замкнутое множество из
Еп, функция Ци) конечна, полунепрерывна снизу на U и для
любой последовательности {uk} е U, lim | uk | = оо [если такие
k-^<x>
uh существуют) имеет место соотношение
lim J [uk) = оо.
k- оо
Тогда множество U* непусто, компактно и любая
минимизирующая последовательность {uh} сходится к U
Доказательство. Если множество U ограничено, то все
утверждения теоремы следуют из теоремы 1. Поэтому пусть U
не ограничено, т. е. существует хотя бы одна последовательность
{vh} е U такая, что lim | vh | = оо. Тогда согласно условию тео-
fe-*OO
ремы lim J[vk) = оо. Возьмем какую-либо точку v^U такую,
й-*оо
что J (у) > J* (например, можно принять v = vk при достаточно
большом к), и рассмотрим множество Лебега M[v)—{u: u^U,
Ци)^ J[v)}. Покажем, что M[v) ограничено. Допустим против-
ное: пусть существует последовательность {wh}^M[v) такая,
что lim | wk | = оо. Тогда lim J [w^) = оо, что противоречит не-
Л-^оо fe->oo
равенству J[wk) ^J[v)< <», вытекающему из включения wh е
^М[и) [к = 1, 2, ...). Таким образом, множество M[v) огра-
ничено. Отсюда и из теоремы 2 следуют все утверждения тео-
ремы 3.
Следствие 1. Пусть U — непустое замкнутое множество
из Еп, Тогда для любой точки и^Еп найдется точка v = v[u)^
такая, что p(u,U) = inf \и — = — *>(м)|, т. е. и [и)—
u^U
ближайшая к и точка из U.
Доказательство. Пусть и — произвольная точка из Еп.
Рассмотрим функцию g[w)=\w — u\ переменной w^En. Ясно,
что g[w) непрерывна на Еп. Кроме того, g[w)^ |w?l — |u|, так
что lim g[w) = oo, Таким образом, g[w) удовлетворяет усло-
виям теоремы 3 на любом непустом замкнутом множестве
U^En. Существование искомой точки v — v[u) теперь следует
непосредственно из теоремы 3. Заметим, что такая точка v[и),
вообще говоря, неединственна.
6. В заключение кратко остановимся на задаче максимиза-
ции функции Ци) на множестве U. Так как
sup J [и) = — inf (— J [и)),
и и
$ 1]
ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ
77
то ясно, что любая точка максимума или любая максимизирую-
щая последовательность для J(u) на U будет соответственно
точкой минимума или минимизирующей последовательностью для
функции (—Ци)) на U, Это значит, что любая задача максими-
зации функции Ци) на U равносильна задаче минимизации
функции (—Ци)) на том же множестве U. Поэтому можно огра-
ничиться изучением лишь задач минимизации.
Предлагаем читателю, пользуясь указанной связью между
задачами минимизации и максимизации, по аналогии с п. 2 сфор-
мулировать задачи максимизации первого и второго типов. Да-
лее, учитывая, что полунепрерывность сверху функции J(и)
равносильна полунепрерывности снизу функции — Ци), нетруд-
но сформулировать и доказать аналоги теорем 1 — 3 для задач
максимизации.
Упражнения. 1. Выяснить, будет ли произвольная минимизирую-
щая последовательность сходиться к множеству точек минимума функции
Ци) на множестве U, если:
a) U = {и = (х, у) ^Е2, х^О, у > 0, х + 2у 1}, Ци) — х + у;
б) U = Еп, Ци) = lul(l+ |izl2)"1;
в) U = Еп, Ци) = \и\2.
2. Пусть множество Z7* точек минимума функции J(и) на U непусто и
ограничено. Доказать, что для сходимости любой минимизирующей после-
довательности {ик} к U* необходимо и достаточно, чтобы существовало чи-
сло а > 0 такое, что множество Ма = (и: u<=U, J (и) </* + &} ограни-
чено.
3. Доказать следующие свойства верхнего и нижнего пределов число-
вых последовательностей:
a) lim са„ = с lim а„, lim са„ = с lim а„, lim (— саА = — с а„,
• - - tv* tv \ **'/ ЛААХХ /[,'
п-»оо П-^оо 72->о° П-*оо П—^оо П->оо
lim (— саА = — с lim ап для любых с = const > 0;
П->оо п->оо
б) если а„ < (п = 1, 2, ...), то lim < lim b„, lim а„ < lim & •
' /I' /l' ' ' ' «-маем* U' IV
П-»оо n->oo ^->°о ?1—»°o
в) lim an + lim bn < lim (an + bA < lim an + lim Ъп. Рассмотреть
^7^, П-»эо П-^оо V 7 92—>oo П->оо
пример an = (— l)n, bn = (—l)n или bn = (—l)n+1 и убедиться, что
здесь возможны строгие неравенства; ____
г) lim ап -j- lim bn lim (an + Ъп) lim ап -J- lim bn. Привести при-
П->оо П-> оо П-»оо П-*оо П-*оо
меры последовательностей, когда здесь возможны строгие неравенства;
д) если существует lim ап, то lim (ап + ЬА = lim ап + lim bn,
П-^Oq П~><Х> П->ОО П~>ОО
lim (an + bn) = lim ап -f- lim bn'
n-^OO П-+ОО n-^OO
e) если > 0, b„ 0 (n = 1, 2, ...), to lim a - lim b„ < lim апЬ^
' И/ 'llf ' ' ' * _ I v . ii> . Iv iif
n-*oo n-^<x> n~^oo
< lim an- lim &n; lim an- lim bn < lim anbn^ lim an- lim bn. Приве-
n^OQ ft->oo n-^OO 21-»OO n-»OO n-»OO n-*OO
сти примеры последовательностей, когда здесь возможны строгие не-
равенства;
78
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
ж)_____если ап 0, Ъп О (п — 1, 2, ...) и существует lim ап, то
_______ _____________ П->оо
lim = lim а> lim lim (а Ъ \ = lim а • lim Ъ.
71 It И И — \ /*/ fL fl'
П-^tX) П-+00 n->oo n-^oo ?l-^oo n->oo
4. Найти верхний и нижний пределы последовательности ап — sin па,
где а — фиксированное число.
5. Пусть J(и) = (1 — (и #= 0). Как надо доопределить эту функ-
цию при и — 0, чтобы она стала полунепрерывной снизу или сверху на
Е1 = R?
6. Пусть 71 (и), Е(и)—две функции, полунепрерывные снизу на мно-
жестве U. Будут ли полунепрерывными снизу на U следующие функции:
a) Ци) = ai7i(w) + a272(w) (рассмотреть случаи положительных и от-
рицательных «1, а2);
б) Ци) =min{Ji(u); 72(«)};
в) Ци) =тах{71(м); 72(«)};
Г) ]{и) = |/,(u)|?
7. Пусть функция Ци) определена на множестве U. Говорят, что чис-
ло А является нижним [верхним] пределом этой функции в точке v по
множеству U, и обозначают lim J (и) = A llim J (и) = Л] , если:
U-+V [W-*!? J
а) для любой последовательности {иъ} е U, сходящейся к р, имеет ме-
сто неравенство lim J А Г lim <7(wfe)^ Л1;
[Zwoo J
б) существует последовательность {иь} е U, сходящаяся к v и такая,
что lim J (иЛ = А.
k^OO
Доказать, что функция Ци) полунепрерывна снизу [сверху] в точке р,
если lim J (и) > J (у) [lim J (iz)< J (р)1.
u—*v J
8. Пусть U = En, J(и) — sin(tt|u|_1) при и ф 0 и 7(0) — а. При ка-
ких а эта функция будет полунепрерывна снизу или сверху на U1 Найти
lim J (и), lim J (и). Что изменится, если U = {и: |iz| = n-1, п = 1, 2, ...}?
U-*Q U—>Q
9. Показать, что понятия верхнего и нижнего предела функции в точ-
ке обладают свойствами, аналогичными свойствам верхнего и нижнего
предела числовых последовательностей, приведенных в упражнении 3.
§ 2. Классический метод
Как и в гл. 1, под классическим методом будем подразуме-
вать тот подход к поиску точек экстремума функции многих
переменных (т. е. точек локального минимума п максимума —
см. определения 1.1.6, 1.1.10), который основан на дифферен-
циальном исчислении и обычно излагается в учебниках по ма-
тематическому анализу [10, 160, 165, 233]. Мы здесь лишь
вкратце остановимся на этом методе.
1. Сначала напомним некоторые понятия и факты из диф-
ференциального исчисления функций многих переменных.
Определение 1. Пусть функция J(u) определена в неко-
торой 8-окрестностп O(u, 8)=={р: v^En, |р — id < 8} точки и.
Говорят, что функция Ци) дифференцируема в точке и, если
существует вектор J'(u)<^En такой, что приращение функции
§ 2]
КЛАССИЧЕСКИЙ МЕТОД
79
AJ(u) = J(u + h) — J(u) (Ifel <e) можно представить в виде
Д/(и)= </'(&), А> + о(/г, и), (1)
где о (/г, и) — величина, бесконечно малая более высокого поряд-
ка, чем \h\, т. е. lim о (h, и) | h |-1 == 0. Величина dJ(u)=*
I^Ho
= <J,(^), h> представляет главную линейную относительно h
часть прпращения (1) и называется дифференциалом функции
J (и} в точке и, а вектор J'(и)—градиентом этой функции
в точке и.
Условие (1) однозначно определяет градиент (н), причем
где
J и1 (и), • • •, ип
(2)
j'ui м
dJ (и)
ди^
lim
а-»0
J (и + ссе.) — J (и)
а
есть частная производная функции J(u) в точке и по переменной
и\ ei = (01 ..., 0, 1, 0, ..., 0)—единичный вектор, у которого
i-я координата равна 1, остальные координаты равны нулю.
Всякая функция, дифференцируемая в точке, непрерывна в этой
точке.
Для определения дважды дифференцируемой функции нам
понадобится понятие квадратичной формы. Напоминаем, что
п
квадратичной формой называют функцию 2 aijUhd переменных
ij=l
и = (и\ ..., ип)^Еп, которая однозначно определяется заданием
симметричной числовой матрицы
А =
а1п
апп
— l^ij]
размера п, называемой матрицей квадратичной формы. Обозна-
чая через А и вектор-столбец с координатами (Аи)г = 2
?=1
(i=l, ..., п), квадратичную форму можно кратко записать в
виде <Лн, и>.
Определение 2. Пусть функция J(u) определена в неко-
торой 8-окрестности точки и. Говорят, что эта функция дважды
дифференцируема в точке и, если наряду с градиентом J' (и)
существует симметричная матрица J" (и) порядка пХп такая,
что приращение функции в точке и можно представить в виде
J(u + h) —J(u)=<J'(u), Д> +(1/2)<J,Z (u)h, h> + a(h, и), (3)
где u)/\h\2 -> 0 при |fel 0.
Квадратичную форму d2J(u) = (u)h, h> переменной h =
= (hi1 ..., hn)^En называют вторым дифференциалом функции
80
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
J (и) в точке и, а матрицу J" (и)—второй производной этой
функции в точке и.
Условием (3) матрица J" (и) определяется однозначно,
причем
" d2J (и) d2J (а) d2J (и) "
диУди2 <?а1йап
Л(и) = д2 J (и) П 2 п 1 ди ди д2 J (а) (№2)2 " д2 J (и) ди2дип
д2 J (и) d2J (и) д2/ (и)
_ ди'^ди1 дипди2 “ <дип)2 _
(4)
т" / \ d2J (и\ д idJ(u)\ д ldJ(u)\ nmTTTTrt
где J { < (и) = —. —V = —г —V — вторые частные
и и дигди3 диг \ ди3 ) ди3 \ ди1 /
производные функции J (и) по переменным и1, и\
2. Пусть функция J(u) дифференцируема во всех точках
пространства Еп. Тогда точками локального минимума или мак-
симума функции Ци) на Еп могут быть лишь те точки и, в ко-
торых J' (р)=0, что в силу (2) можно записать в виде системы
уравнений
^Е) = 0, 1 = 1, (5)
диг
Все точки v, удовлетворяющие системе (5), называются стацио-
нарными точками функции Ци).
Таким образом, поиск точек экстремума можно начинать с
решения системы (5) и определения стационарных точек. Одна-
ко, к сожалению, не всякая стационарная точка представляет
собой точку локального минимума или максимума. Поэтому
после нахождения стационарных точек проводят дополнитель-
ное исследование, и из них отбирают те точки, которые в самом
деле являются точками экстремума. Если функция Ци) дважды
дифференцируема в окрестности стационарной точки и все вто-
рые частные производные этой функции непрерывны в этой
точке, то для такого исследования можно использовать второй
дифференциал функции. А именно, если в стационарной точке
v квадратичная форма d2J(y) — <J" (v)h, h) положительно опре-
делена, т. е. <J" (v)h, h)>0 для всех й#=0, то v — точка ло-
кального минимума функции Ци); если <J" (v)h, h) отрица-
тельно определена, т. е. <J" (v)h, h) < 0 при всех fe¥=0, то v —
точка локального максимума; если же квадратичная форма
<J"(u)fe, К) знакопеременна, т. е. может принимать как положи-
тельные, так и отрицательные значения, то в точке v функция
Ци) не имеет локального минимума или максимума.
§ 2]
КЛАССИЧЕСКИЙ МЕТОД
81
п
Напомним, что квадратичная форма и) = 2 aijUW бу-
М=1
дет положительно определенной тогда и только тогда, когда все
угловые миноры матрицы Л, т. е. определители
= det
аи
а.,
гг
I = п,
L и
положительны; форма <Ли, иУ отрицательно определена тогда
и только тогда, когда (—1)гДг>0 (i=l, ..., 72), т. е. знаки
угловых миноров Дъ ..., Дп чередуются, причем Д4 < 0. Таким
образом, для проверки знакоопределенности квадратичной фор-
мы <7,/(р)й, й> достаточно вычислить угловые миноры матрицы
J" (р) и исследовать их знаки.
В том случае, когда в стационарной точке квадратичная
форма <7,/(р)й, ЬУ не меняет знака при всех h^En, но может
равняться нулю при некоторых й =# 0, то для выяснения поведе-
ния функции в окрестности точки v можно привлечь старшие
производные и связанные с ними формы более высокого порядка:
dmJ (») = У----------------М1 ... (hn/n,
^(du1)ri...(dun)rn
где суммирование проводится по всем целым г£, ..., гп таким,
что (f=l, •••, п, П + ... + гп = 772 > 3). Однако на
практике исследование характера стационарных точек с помощью
форм dmJ(v) (т^З) почти не применяется из-за его гро-
моздкости.
В тех случаях, когда указанным выше путем удается выявить
все точки локального минимума [максимума] функции 7 (и), то
для определения глобального минимума [максимума] этой функ-
ции на всем пространстве Еп нужно перебрать все точки локаль-
ного минимума [максимума] и из них выбрать точку с наимень-
шим [наибольшим] значением функции, если такая точка
существует.
Пример 1. Пусть в пространстве Еп даны т точек щ —
— (и], ,.и™) (г = 1, ..ттг) и требуется найти точку и^Еп,
сумма квадратов расстояний от которой до этих данных точек
минимальна. Иначе говоря, требуется минимизировать функцию
J (и) = 2 |и “ ui I2 на Еп.
i=l
т
Поскольку J' (и) = 2 2 (и — то система (5) здесь выгля-
г=1
т
дит так: ти — 2 иг = 0. Отсюда получаем стационарную точку
г=1
82
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
т
и*= — zzn,подозрительную на экстремум. Матрица вто-
рых производных равна J" (и) = 2тЕ при всех и^Еп, где Е —
единичная матрица размера п X п, т. е. матрица, у которой эле-
менты an = 1, = 0 при i j (i, j = 1, ..., п). Отсюда ясно, что
<J" (u)h, й> = 2m\h\2 > О при всех й=/=0. Это значит, что в точке
и* = uQ достигается локальный минимум. Однако здесь можно
сказать больше: в точке и* — и0 функция J(u) достигает своего
глобального минимума на Еп. В самом деле, рассматриваемая
функция такова, что lim J(u) = oo. Тогда по теореме 1.3 мно-
жество U* точек минимума J(и) на Еп непусто. Кроме того, во
всех точках и* е U* должно соблюдаться равенство J' (и*) = 0.
Как выяснилось, последнее равенство выполняется только в точ-
т
ке и* = Uq, Следовательно, U* = {z/0}, J* — J (и*) — 2 I uo — иг I2-
i = l
3. Задачу поиска экстремума функции на всем пространстве
Еп, которую мы только что рассмотрели, принято называть за-
дачей на безусловный экстремум. В этом названии отражен тот
факт, что на переменные и = (и1, ..ип) никакие дополнитель-
ные условия и ограничения не накладываются. Наряду с зада-
чами на безусловный экстремум имеется немало задач, в которых
переменные не могут быть совершенно произвольными и должны
удовлетворять некоторым дополнительным условиям, выражаю-
щим, например, условие неотрицательности тех или иных пере-
менных, условия ограниченности используемых ресурсов, усло-
вия нормировки, ограничение на параметры конструкции систе-
мы и т. п. Иначе говоря, переменные и — (и\ ..., ип) должны
принадлежать некоторому заданному множеству U из Еп, при-
чем U ¥= Еп. Тогда чтобы подчеркнуть, что экстремум функции
ищется при условии и U Ф Еп, часто говорят о задаче на ус-
ловный экстремум.
В классическом математическом анализе традиционно рас-
сматривается следующая задача на условный экстремум: найти
экстремумы функции ](и) при условии, что переменные и==
= (и1, ..., ип) удовлетворяют ограничениям [10, 160, 165, 233]
g1(u) = 0, ..., gs(zz) = O; (6)
при этом предполагается, что функции J(u), gi(u) определены
и имеют непрерывные частные производные первого порядка на
всем пространстве Еп. Ограничения (6) принято называть огра-
ничениями типа равенств. Таким образом, здесь мы имеем дело
с задачей поиска экстремума функции ]{и) на множестве
U = {и: и е Еп, gi(u) = 0, f=l,
§ 2]
КЛАССИЧЕСКИЙ МЕТОД
83
В тех случаях, когда систему (6) удается преобразовать к
эквивалентному виду
и^ = а\ир+1, ..ип), ..., ир = ap(up+i, ..zzn), (7)
выразив из (6) первые р переменных через остальные, рас-
сматриваемую задачу на условный экстремум можно свести к
задаче на безусловный экстремум функции <p(zzp+1, ..., ип) =
= J(аь(ир+\ ..un), ..aP(up+i, ..zzn), up+i, ..un) перемен-
ных (up+1, ..un)^En“p, которую можно исследовать, например,
по описанной в п. 2 схеме. Однако этот подход имеет ограни-
ченное применение из-за того, что явное выражение вида (7)
одной группы переменных через остальные переменные удается
получить лишь в редких случаях.
Более общий подход к исследованию задачи поиска экстре-
мума дифференцируемой функции J(u) при ограничениях (5)
дает метод множителей Лагранжа. Этот метод заключается в сле-
дующем. Вводится функция Лагранжа
^(u,X) = V(«) + 1 Kg Ли) (8)
з=1
переменных (zz1, ..., zzn, Хо, Х<» ..Xs) = (zz, X)^£n+sl'1.
Теорема 1. Пусть *—точка локального минимума или
максимума функции J (и) на множестве U, задаваемом ограни-
чениями (6), функции J(u), gi(u), ..., g8(u) непрерывно диф-
ференцируемы в окрестности точки и*. Тогда необходимо суще-
ствуют числа (X*, X*, ..., Xf) = X*=/=O, называемые множи-
телями Лагранжа, такие, что
дЗ? (и, V)
диг
и=и*
л * dJ (w*)
— ~Г
он
-О,
.,
(9)
z = 1,
Доказательство. Поскольку не все числа А*, ...,Х*
равны нулю, то условие (9) означает, что векторы J' (и*),
gi(u*), линейно зависимы. Допустим противное:
пусть эти векторы линейно независимы. Тогда s + 1 п. В слу-
чае s+l<n возьмем какие-либо векторы es+l, ..., en-i так, что-
бы система J'(и*), g^u*), . es+i, ..en-i образовала
базис в Еп.
Введем функции / (и, t) = (/0 (и, t), /г (и, t), ..., /n-i (и, 0):
/0(zz,Z) = J (zz) — J (zzj + t, = gi(u) (z = 1, .. .,$); fi(u, t) =
= {вг,и — u*} (i = s+l,...,n— 1) переменных (и, t)^En+l n
рассмотрим систему уравнений
/о (и, t) = 0, fi (и, t) = 0, ..., fn-i (и, t) •= О
84
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
относительно п неизвестных u = (z?, ..., ип). Для ее исследова-
ния воспользуемся теоремой о неявных функциях [10, 160, 165,
233]. Заметим, что /(и*, 0) = 0.
Далее, функции t) непрерывно дифференцируемы в ок-
рестности точки (zz*, 0) е Еп+\ причем /ои (и*, 0) = J' (ц*),
0) = gi (zz*) (z = 1, . Xu (zz*, 0) = ei (i = 5 + 1,.. .,n—
— 1). Это значит, что в точке (zz*,O) якобиан системы функций
/Дп, t) (z = 0, 1, ..., п — 1), представляющий собой опреде-
литель квадратной матрицы со строками J' (u*)t g1 (zz*), ...
. • g's (гхф), es+1, ..., en-i, образующими базис в Еп, отличен от
нуля. Тогда по теореме о неявных функциях система /(zz, £) = 0
имеет решение при каждом t (Ш ^£0), где ^ — достаточно ма-
лое положительное число, или, точнее, существует вектор-функ-
ция и =* и (t) = (и1 (t), ..., un(t)), которая определена и диффе-
ренцируема при всех t (UI t0) и такая, что
и (0) = zz*, J (и (t)) = J (и*) — t, gi (zz (t)) = 0, i = 1, ..., s;
<^i, и (t) — u*} = 0, i = s + 1, ..., n — 1.
Это значит, что u(t)^ U, UI tOl u(t)-+u* при £->0. Отсюда
же имеем
J (ZZ(^))= J (zz*) — t < J (zz*) < J (zz*) + t=* J (u ( — t)) Vt e= (0, f0),
что противоречит тому, что zz* — точка локального экстремума.
Из теоремы 1 следует, что подозрительными на экстремум
могут_быть лишь те точки zz, для которых существуют множи-
тели % = (%о, • • •, ta) такие, что точка (zz, k)eEHs+1 удов-
летворяет системе п + s уравнений
+ = °’ ^<«) = 0, i j =1,...,^ (10)
диг ди1
и, кроме того, известно, что Х = (%0, %i, ..Zs)=#0. Нетрудно
видеть, что если (р, Л)—решение системы (10), то (z?, сс%) при
любом а 0 также является решением этой системы, т. е. мно-
жители (Хо, %£, ..., %3) из (10) определяются с точностью по-
стоянного множителя. Поэтому множители X можно подчинить
какому-либо дополнительному условию нормировки, например,
\>о, |Х|2=2%| = 1. (И)
i=0
Если система (10) имеет решения (z?, Z) такие, что Z0=^0,
чо задачу минимизации J(zz) при условиях (6) называют регу-
лярной (невырожденной) в точке и. В регулярной задаче ус-
ловие нормировки (11) можно заменить более простым условн-
ом Хо = 1. Нетрудно видеть, что для регулярности задачи в точ-
КЛАССИЧЕСКИЙ МЕТОД
85
§ 2]
ке v достаточно, чтобы векторы gi (у), ..., gs (у) были линейно
независимы, т. е. чтобы равенство (у) + ... + asgs (у) = О
было возможно только при = ... = as = 0.
Условия (10) с условием нормировки (11) (или10 = 1) пред-
ставляют собой систему п + s + 1 уравнений с п + $ + 1 неизве-
стными (zz, X) = (zz1, ..., ип, 10, М, ..ls). Решив ее, мы най-
дем точки v е U, подозрительные на экстремум, и соответству-
ющие им множители Лагранжа 1 = 1о=(1о, 11, ...» ls)=^=0. Для
выяснения того, будет ли в этих точках в действительности реа-
лизовываться локальный минимум или максимум, нужно про-
вести дополнительные исследования с привлечением вторых про-
изводных функции Лагранжа по переменной и.
Теорема 2. Пусть: 1) функции J(u), gi(u), ..., gs(u)
дважды дифференцируемы в точке v^U = {и^Еп: g{(u)= 0, ...
..., gs(u) = 0}; 2) точка (р, 1Г) удовлетворяет условиям (10),
(11); 3) квадратичная форма
<3?ии(у, 1„)й, й>>0 [<0] (12)
при всех й, для которых
{J'(y),h)^.O [>0], (gi (у), й> = 0, г = 1, ...,$; й=/=0. (13)
Тогда в точке v функция J (и) на U имеет строгий локальный
минимум [максимум].
Доказательство. Допустим противное: точка v удовлет-
воряет условиям теоремы, но не является точкой строгого ло-
кального минимума J (и) на U. Тогда найдется такая последо-
вательность {zzj, что
gi(zzft)=O, ..., gs(uft) = 0, J(uk)^J(y),
uh=£v, k — i, 2, ...; {uh} -> v (14)
(предполагаем, что и не является изолированной точкой мно-
жества U; всякая изолированная точка множества U может
считаться точкой строгого локального минимума или максиму-
ма и без выполнения условий (10) — (13)). Точку ик можно за-
писать в виде
Uk — V llk~v
uk = v + \uh-v\^u^-^ = v + tkeh, eh^ [Uk-_-vy
tk = \uk — p|, {M-*-0-
Поскольку kJ = 1, то, выбирая при необходимости подпосле-
довательность, можем считать, что kJ -> е0, kol = 1.
С учетом (14) и дифференцируемости функций J(zz), gt(u)
в точке v имеем
0 > J (uh) — J (у) = < J' (г), tk + о (^),
о = g (ufe) — g (р) = (gi (р), eh) th + 0 (tk)
86
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
для всех i = 1, ..., s, к=1, 2, ... Разделив эти соотношения
на tk> 0 и устремив &->«>, получим <J' (р), eQ> 0, (gi (к), eQ) —
= 0 (г = 1, ..., $), так что е0 удовлетворяет условиям (13).
Далее, из того, что uk, v ^U, Хо О, и из (14) имеем
«2? (^7г, ^-v) — fak) + (^/t) = ^qJ (Цк) К? (u) = XqJ (0 +
1=1
s
+ 2 = S (v, A„). Отсюда с учетом условия (10) и дваж-
1=1 _
ды дифференцируемости функции Z (v, Zr) в точке v получаем
0 > Z (uk, Lo) — Z (и, Г,) = 1 tl (Zuu (v, Xj ek, ek) + о (^),
k = 1,2, ...
Разделив это неравенство на ^>0 и устремив &-><*>, бу-
дем иметь <<2?uu(p, Xr)e0, е0>^0, что противоречит условиям
(12), (13). Аналогично исследуется случай, когда v — точка
строгого локального максимума.
Пример 2. Пусть требуется на n-мерной единичной сфере
U = {и^Еп: \и\2 = и> = 1} найти точку, сумма квадратов
расстояний от которой до т данных точек ..., ит Еп была
бы минимальной, т. е. нужно минимизировать функцию J (ц) =
ТП
— 2 I и — иг |2 при условии <Щ lb> = 1.
1=1
Для решения этой задачи составим функцию Лагранжа
3? (и, к) = k0J (и) + к и) — 1). Система (10) примет вид
Zu(u, X) = Zo • 2т(и — и0) + 2ш = 0, <и, и) = 1, (15)
7?г
где uQ = — 2 иг (см. пример 1). Очевидно, при = 0 система
i=i
(15) не имеет решения с (Zo, М^О, поэтому можем принять
= 1. Тогда из (15) при и0 0 получим две точки = по/1но1
и v2 = — rio/l^ol, подозрительные на минимум, и соответствую-
щие пм множители Лагранжа = т(1и01 — 1) и Z2 =
= m(— |u0| — 1). Матрицы вторых производных функции Лаг-
ранжа в найденных точках (vi, Zi) и (v2, %2) равны соответ-
ственно 2)ал0|ттг2? и — 21 и01 тЕ, где ^ — единичная матрица. От-
сюда ясно, что в точке Vi достигается локальный минимум, а в
точке v2 — локальный максимум функции J(и) при условии
|ul=l. Поскольку U — компактное множество, J(u) непрерывна
на U, то согласно теореме 1.1 на U функция J(u) достигает
своего глобального минимума и максимума. Но точки глобаль-
ного экстремума, конечно же, удовлетворяют системе (15). Как
выяснилось, при ио=^О система (15) имеет всего два решения
и v2. Следовательно, = uo/!uol — точка глобального мини-
КЛАССИЧЕСКИЙ МЕТОД
87
§ 2]
мума, v2 = — zzq/Izzo! — точка глобального максимума при uQ^¥=0.
Таким образом, искомая точка есть и* — z/0/| uQ | при ио=т^0.
Рассмотрим случай uQ = 0. Тогда решением системы (15)
является точка (у, Хо, %), где Хо = 1, X = —т, a v — произволь-
ная точка, для которой Id = 1. Это значит, что из необходимых
условий экстремума (15) при и0 = 0 не удалось извлечь никакой
полезной информации — все точки единичной сферы как были,
так и остались подозрительными на экстремум. Тем не менее
здесь нетрудно разобраться в происходящем. А именно, при
т
и0 = 0 для всех и U имеем J (и) = 2 (I и |2 — 2 <щ щу + | щ |2) =
г=1
<т \ т т
| щ ]2 = т — 2 [ ui Г2 = const. Таким об-
г=1 / i—1 i = l
разом, при и0 = 0 рассматриваемая задача становится тривиаль-
ной: J(и) = const на £7, т. е. можно сказать, что во всех точках
u^U функция достигает глобального минимума (илп макси-
мума).
Пример 3. Пусть требуется найти точки экстремума функ-
ции Ци) = х на множестве £7 = {zz = (x, г/)е£2, х3 — у2 = 0).
Применим метод множителей Лагранжа. Здесь функция Лагранжа
такая: S (и, к) == кох + Цх3 — у2). Система (10), (11) имеет вид
Хо + Зкх = 0, 2л,у = 0, х3 — у- = 0, Zq + Z2 — 1, Zo 0.
Нетрудно видеть, что она совместна лишь при Хо = 0 и выделяет
единственную точку р = (0, 0) = 0, подозрительную на экстре-
мум. Таким образом, рассматриваемая задача нерегулярна в точ-
ке v = 0. Она просто решается, если из равенства х3 — у2 = 0
выразить х = у2/3 и заметить, что J(и) = у2/3 (—<*> < у < оо).
Ясно, что р = (0, 0)—точка глобального минимума функции
Ци) на U.
4. Метод множителей Лагранжа может быть применен для
поиска экстремумов функции и в тех случаях, когда на пере-
менные u = (u\ ..., ип) наряду с ограничениями (6) типа ра-
венств накладываются еще ограничения
ЪЦи)^0, ..., hm(u)^0, (16)
называемые ограничениями типа неравенств.
Будем предполагать, что функции Ци), gi(u), 1Ци) (Z =
= 1, ../ = 1,..., ш) определены и дифференцируемы во
всех точках и е Еп. Оказывается, если ввести новые вспомога-
тельные переменные ip = (jd, ..., wm), связанные с исходными
переменными и = (и1, ..., ип) соотношениями
(1Г1)2 + й1(^)=0, ..., (wm)2 + hm(u)== 0, (17)
то задача поиска экстремумов функции Ци) при ограничениях
(6), (16) сводится к равносильной задаче поиска экстремумов
88
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
той же функции в пространстве переменных zz=(n1, ..., и\
..., ipm) = (zz, w) при ограничениях типа равенств (6), (17).
Равносильность этих двух задач понимается в следующем смыс-
ле: если и*— точка локального минимума [максимума] функции
J(и) при ограничениях (6), (16), то и* = (и*, w*), где w* =
= (ш*, . .w™), w* = (— hj (u*))1/2 m) будет точкой
локального минимума [максимума] функции J (и) при ограни-
чениях (6), (17), и наоборот, если и*= (и*, w*}—точка локаль-
ного минимума [максимума] функции J (и) при ограничениях
(6), (17), той*—точка локального минимума [максимума] Z(u)
при ограничениях (6), (16).
Таким образом, для поиска экстремумов функции J(u) при
ограничениях (6), (17) можно ввести функцию Лагранжа
Z (и, W, X, ц) = A0J (и) + 2 ^гёг (ц) + 2 Щ (*0)
и в соответствии с изложенным в п. 3 написать необходимые
условия экстремума в виде системы (10), найти точки, подозри-
тельные на экстремум, выявить среди них точки локального ми-
нимума или максимума, а затем, исключив переменные п?1, ...
..., шт, получить точки экстремума функции J (и) при ограни-
чениях (6), (16).
Пример 4. Пусть требуется в n-мерном единичном шаре
U = {и: и^Еп, Ы2 = <и, и>^1} найти точку, сумма квадратов
расстояний от которой до т данных точек zz17 ..., ит е Еп была
бы минимальной, т. е. требуется минимизировать функцию
т
J (и) ~ 2 I и — иг I2 при ограничениях <u, и> 1.
i=l
Из примера 1 следует, что глобальный минимум функции
J (и) на всем пространстве Еп достигается в точке и* = uQ =
т
= — 2 ^.Поэтому если |uol < 1, то эта точка uQ будет решени-
ях
ем рассматриваемой задачи.
Остается рассмотреть случай |u0! > 1. Введем новую пере-
менную w соотношением
w2 + <u, zz> — 1 = 0 (18)
и рассмотрим задачу минимизации функции J (и) в простран-
стве переменных й = (и, w) = (u\ ..., ип, w)^En+1 при ограни-
те
чениях (18). Составим функцию Лагранжа 3? {и, Z) = Хо 2 I и —
г=1
— Wi|2 + X(w2 + |u|2— 1). Система (10) будет иметь вид
S’u = 2A.owi (« — u0) + 2Xu = О,
2’„ = 2Xip = 0, w2 + Id2-1 = 0,
§ 2] КЛАССИЧЕСКИЙ МЕТОД 89
где А = (А0, А)=^0. Напоминаем, что |zz0| >1. Очевидно, при Ао==
= 0 эта система не имеет решения. Поэтому можем принять
Ао = 1 и переписать систему в виде
(т + А)и = 77Ш0, Аьг = 0, w2 + Ы2 = 1, |uol > 1. (19)
Заметим, что здесь случай А = О невозможен, так как тогда
u = uQ и М2 = lzz0|2 = 1 — w2 С 1, что противоречит условию
Izz01 > 1. Если же А О, то из (19) получаем два решения Vi =
= (u0/\uQ\, 0), Al = 7п(|но1 — 1)> 0 и V2 = (—Ko/|ttol, 0), Аг =»
= — тп(|н01 + 1)< 0. Это значит, что экстремум функции Ци)
при ограничениях (18) может достигаться лишь в точках Vi и v2.
Матрица вторых производных функции Лагранжа в найден-
ных точках (Fb Ai), (г>2, А2) соответственно имеет вид
т | uQ | Е 0 "I — m | | Е 0
_ 0 Or L 0 -w(l%l + 1)/
Отсюда ясно, что при 1н01>1 в точках =(но/|ио1, 0) дости-
гается локальный минимум, а в точке v2 = (—Ио/|ио1, 0)—ло-
кальный максимум при ограничениях (18). Исключив перемен-
ную w, отсюда получаем, что щ = uQ/1 uQ I — точка локального
минимума Ци) на единичном шаре, а и2 = —п0/1^01 — точка
локального максимума. Используя теорему 1.1, как и в приме-
ре 2, нетрудно убедиться, что в действительности в этих точках
достигается глобальный минимум и соответственно глобальный
максимум функции Ци) на единичном шаре. Таким образом,
искомой точкой будет и* = uQ при | uQ | 1 и и* — uQ/\ uQ | при
|и0|>1.
Мы еще не раз будем возвращаться к задаче поиска экстре-
мума функций при ограничениях типа (6), (16); в частности,
в § 4.8, 4.9 с других позиций будут получены необходимые
и достаточные условия минимума, также использующие множи-
тели Лагранжа.
В заключение заметим, что изложенный выше классический
метод исследования задач на условный и безусловный экстре-
мум может быть широко использован во всех тех случаях, ког-
да достаточно просто удается выявить все подозрительные на
экстремум точки и отобрать из них точки локального минимума
и максимума. Однако, как и в случае функции одной перемен-
ной, классический метод, к сожалению, имеет весьма ограничен-
ное применение. В общем случае отыскание точек, подозритель-
ных на экстремум, из условий (5) или (10) само по себе пред-
ставляет весьма серьезную задачу, сравнимую по трудности,
быть может, с исходной задачей на экстремум. Дело осложняется
также и тем, что в практических задачах иногда бывает не-
просто выписать даже сами системы уравнений (5) или (10),
так как не всегда ясно, существуют ли требуемые для этого
90
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
производные и как их вычислить. Из сказанного ясно, что кро-
ме классического метода необходимы также и другие численные
методы поиска экстремумов функций многих переменных.
Упражнения. 1. Найти экстремумы функций:
a) Ци) = (х + У — 1)ехр{— (.г2 — ху + у2)}, где и = (х, у) е= £2;
б) Ци) = .ry2z3(l — х — 2у — 3z), где и = (ж, у, z) е Е3;
2. Найти точки экстремума функции Ци) = sin (ж + у) — sin х — sin у
на множестве С7, если:
a) U =
б) U = {и = (х, у): х 0, у > 0, х + у 2л}.
3. Найти точки экстремума функций Ци) =х + у, Ци) = |ж| +
+ |у — 11, Ци) = х2 + 2у2 на множествах U, если:
a) U — {и = (х, у): 0 х 1, 0 у 1};
б) U = {и = (х, у): х 0, у 0, ах + by = 1}, где а, Ъ — неотрица-
тельные числа;
в) U = {и = (х, у): х — у2 0, х2 + у2 1};
г) U — {и = (х, у): х4 — 4я3 + 4ж2 + 1 У 1}.
Указание: на плоскости нарисовать графики функций Ци) = с для
различных значений постоянной с (линий уровня).
4. Среди всех вписанных в данный круг радиуса R треугольников най-
ти тот, площадь которого наибольшая.
5. Из всех параллелепипедов, имеющих ребра данной длины, найти
параллелепипед наибольшего объема.
6. Среди треугольных пирамид с данным основанием и высотой най-
ти ту, которая имеет наименьшую боковую поверхность.
7. Пусть А = А(щ, ..., ип) — определитель матрицы (ui, ..., un)t
столбцами которой являются вектор-столбцы и^ с координатам (и|, ..., и™)
(1=1, ..., п). Найти наибольшее и наименьшее значение величины опре-
делителя А при условии, что [ Ui | = а», где ai — заданные числа (i = 1, ...
..., п). Доказать неравенство Адамара |А| • ...• |un|. Дать геомет-
рическую интерпретацию задачи при п = 2, 3 (ср. с упражнением 5}
([165, ч. I, с. 554-557]).
8. Найти наименьшее и наибольшее значение квадратичной формы
п
J (iz) = <Aiz, iz> = а^иги3 при условии и s U = {и: и е Еп, {и, и} =»
М=1
= 1}, где А — симметричная матрица. Показать, что —min J (и) и J* =
= max J (и) представляют собой соответственно наименьшее и наибольшее
и
собственное число матрицы А ([164, с. 209]).
9. В множестве 27 = {и: и е Еп, <с, iz> = 1} или U = {и: и^Еп,
(с, иУ 5^ 1}, где с — заданный вектор из Еп, найти точку, сумма квадратов
расстояний от которой до т данных точек ui, ..., ит е Еп была бы мини-
мальной (ср. с задачами из примеров 1, 2, 4).
10. Может ли функция двух переменных па плоскости иметь беско-
нечно много точек локального минимума и ни одной точки локального мак-
симума? Рассмотреть функцию Ци) — хех— (1 + ex)cos у.
11. Пусть в некоторой точке uQ = (хо, Уо) Е2 функция Ци) пере-
менных и = (х, у) имеет локальный минимум вдоль каждой прямой, про-
ходящей через точку uQ. Можно ли утверждать, что в точке uq реализуется
локальный минимум функции Ци)? Рассмотреть функцию J (и) —
— (х — у2) (2х — у2) в точке uQ = (0, 0).
12. Доказать, что если функция Ци) имеет первые частные производ-
ные, непрерывные в окрестности точки р, то Ци) дифференцируема в точ-
ке v. На примере функции Ци) = |бгу|1/2 (и = (х, у), v = (0, 0)) показать,
что одно лишь существование частных производных в точке v еще не га-
рантирует ее дифференцируемость в этой точке.
§ 3] ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ 91
13. Доказать, что если и — точка локального минимума [максимума]
дважды дифференцируемой функции Ци) на всем пространстве Еп, то не-
обходимо <7"(р)7г, 0 [^ 0] при всех h <= Еп.
14. Доказать, что если и*— точка локального минимума [максимума]
дважды дифференцируемой функции Ци) при ограничениях (6), a Z* =
= (Z*, Л*, ..X*)-соответствующие множители Лагранжа, определенные
из системы (10), причем Z* = 1, то ^57гш(и!|е, X*) h, >0 [для всех h,
удовлетворяющих условиям (13) (ср. с условиями (12)).
15. Применить метод множителей Лагранжа для поиска экстремума
функции Ци) = х па множестве U — {и — (х, у) е Е2, х? + yq = 0}, где
р, q — натуральные числа. Выяснить, при каких р, q задача является вы-
рожденной в точках экстремума.
16. Применить метод множителей Лагранжа для поиска экстремума
Ци) = х на множествах U = {и = (х, у) е Е2: у — х3/2 = 0}, U =
= {и: х 0, у — х3/2 = 0}.
17. Пусть Ци) = х, U = {и = (х, у) е Е2: gi(u) — х2 — у — 0, g2(w) ==
== х2 + у = 0, g3(u) — х = 0}. Показать, что для точки минимума и# ==
= (0, 0) множителями Лагранжа Х = (Zo, Xi, Z2, Хз)—могут быть точки
Zi = (0, 1, —1, 0), Z2 = (1, 0, 0, —1), а также точки aZi + fZ2, где a, f —
любые действительные числа.
§ 3. Вспомогательные предложения
Ниже приводятся некоторые формулы и различные другие
сведения, которые будут использованы в дальнейшем при опи-
сании и исследовании методов минимизации.
1. Начнем с того, что введем классы функций Cl(U), C2(U).
Определение 1. Функцию J (и) называют непрерывно
дифференцируемой или гладкой на множестве U Еп, если J(u)
дифференцируема во всех точках и^ U и, кроме того, \J' (u + h) —
— Г (и) 1 -> 0 при |/&| -> 0 для всех и, u + h^U. Множество таких
функций принято обозначать через Cl(U).
Определение 2. Функцию J(u) называют дважды непре-
рывно дифференцируемой или дважды гладкой на множестве
U^En, если J(и) дважды дифференцируема во всех точках
u<=U и WJ" (u + h) — J" (и) II -> 0 при |fe| -> 0 для всех и, и + h <=
U. Множество дважды гладких на U функций обозначают че-
рез C2(U).
В определении 2 || А|| = sup |Ле| — норма матрицы А. Заме-
|е|<1
тим, что в определениях 2.1, 2.2 требуется, чтобы дифферен-
цируемая в точке функция была определена в некоторой окре-
стности этой точки, причем радиус е > 0 этой окрестности мо-
жет зависеть от рассматриваемой точки, самой функции и мо-
жет быть очень малым. Это значит, что если }(и)^С*(и) или
J (и)е= C2(U), то либо множество U открыто, либо функция J(и)
определена на открытом множестве, содержащем U. Это об-
стоятельство мы всегда будем подразумевать, говоря о классах
функций C^U), C2(U).
92
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
Возьмем какую-либо функцию J(u), определенную на мно-
жестве U Еп. Пусть точки и, u + h^U таковы, что h ¥= 0г
u + th^U при всех t (0=Ci=Cl). Тогда можно рассматривать
функцию одной переменной f(t) = J(u + th) при i^[0, 1]. Ока-
зывается, если J(u)^Cp(U) при р = 1 или р = 2, то f(t)^
е Ср[0, 1], причем
f'(t) = <J'(u + th), h>, f"(t) = <J" (и + th) h, h>, 0<Kl.
(1)
В самом деле, если, например, J(u)^ C2(U), то, заменив в
формуле (2.3) и на u + th, h на Afft, получим
/ (t + kt) — f(t) = kt <J' (и + th), h) +
+ у (ДО2 <J" (и + th) h,hy + о (I Af I2).
Такое разложение означает, что f(t)^C2[0, 1], и указывает на
справедливость формул (1).
Для функций одной переменной имеют место формулы
t
l(t)-t (0) = г (М t = J f (т) dr = f (0)t +1 /" (02i) t\
f (t)- f(0) = Г (03i)t, о < 0i, e2,03 i.
Полагая в этих формулах t=l и пользуясь равенствами (1),
получаем различные формулы для конечных приращений функ-
ции многих переменных:
1
j (и + h) — J (и) = (Jr (ц+QJt), h} = J <J' (u + th), hy dt, (2)
о
J (u + h) - J (u) = <J' (u), hy + 4 <7" (u+02/i) h, hy, (3)
<J' (u + h) — J' (w), hy = <7" (u + Q3h) h, hy, (4)
где 0 < 01? 02, 03 1. Далее, так как
4 (J' (и + th)) = J" (и + th)h,
то, интегрируя это равенство по t на отрезке [0, 1], получаем
1 / 1 \
J' (и + h) — J' (и) = j J" (и + th)hdt= \ \ J" (и + th) dt j h. (5)
о \o J
Подчеркнем еще раз, что в формулах (1) — (5) подразуме-
вается, что точки и, u + h принадлежат множеству U вместе
с отрезком u + th (0<£<1). В частности, эти формулы верны
на любых выпуклых множествах — множествах, которые содер-
§ 3]
ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ
93
жат вместе с любыми двумя своими точками и и и и отрезок
[и, и] = {иа = аи + (1 — а)р, соединяющий эти точки
(подробнее о выпуклых множествах см. § 4.1).
2. При описании и исследовании методов минимизации нам
часто придется иметь дело с функциями, градиент которых удов-
летворяет условию Липшица.
Определение 3. Пусть J(u)e= C^U). Скажем, что гра-
диент J' (и) этой функции удовлетворяет условию Липшица на
множестве U с постоянной L > 0, если
|Г(и)-Г(р)| ^L\u-v\, и, v^U. (6)
Класс таких функций будем обозначать через Cl>i(U).
Лемма 1. Пусть U — выпуклое множество, J(u)^Cl>i(U).
Тогда
|J(u)-7(и)~ <7'(у), u — v>\(7)
при всех и, v U.
Доказательство. С помощью формулы (2) имеем
1
J (и) — J (у) — </' (у), и — v) = J </' {у + t (и — и})—}' (у), u—v)dt.
о
С учетом условия (6) получим
J (и) — J (у) — (J' (у), и — и) |
1 1 2
J [ J' (у + t (u—v))—Jr (у) 11 u—v | dt J L | и —и I21 dt = -
о 0
3. Приведем несколько лемм о числовых последовательно-
стях, которые нам пригодятся при доказательстве сходимости
методов минимизации, при оценке скорости их сходимости.
Лемма 2. Пусть числовая последовательность {а^ такова,
что
оо
А: = 0,1,..., 2бй<оо. (8)
k=o
Тогда существует lim ak<Z оо. Если {яД ограничена еще и спи-
fe-»oo
зу, то lim ak конечен,
k^oo
Заметим, что если 6ft = 0 (к = 0, 1, ...), то последователь-
ность {aj не возрастает, и лемма 1 превращается в хорошо
известное утверждение о пределе монотонной последователь-
ности.
Доказательство. Суммируя первое из неравенств (8),
имеем
т—1 оо
а^ + 2 ak + (9)
i=k i=k
94
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
при всех т > к > 0. Пусть lim ah = lim а^п (кп < кп+1, п~ 0,
fe-»oo П-*оо
1, ...); lim кп = оо. Положим в (9) к = кп. Получим ат^а^п +
П-^оо
оо ____ оо
+ 2 (т^>кп). Следовательно, lim ат^. akn + У, 6i для всех
l=kn пг-»оо г=йп
/1=1,2,... Отсюда при п-> оо имеем lim ат lim akn = lim ат.
771—> оо П->оо П-+ОО
Однако всегда lim ат < lim ат. Поэтому lim ат = lim ат.
т~*°°
Отсюда следует существование предела {aj. Далее, при к = 0
из (9) следует ограниченность {ак} сверху. Поэтому, если {ак}
ограничена еще и снизу, то lim ak конечен.
fe->oo
Лемма 3. Пусть числовая последовательность {Ьк} такова,
что
bk+i^bk — 6h, sft>o, л = 2 6fe<oo.
k=0
Тогда существует lim bh > — оо. Если {Ьк} ограничена еще и
h-*<x>
сверху, то lim Ьк конечен.
Эта лемма сводится к лемме 2, если принять Ьк = —ак (к =
= 0, 1, ...).
Лемма 4. Пусть числовая последовательность {aft} такова,
что
afe^0, fc = 0,1, ...; аъ, — А?^/со^О, (10)
А = const > 0.
Тогда ak = O(k~i) (k — 1, 2, ...), т, е. найдется постоянная
В > 0 такая, что
0^ak^Bk-1, к = 1, 2, ... (И)
Доказательство. Если ат = 0 при некотором т > kQ, то
из (10) следует, что ак = $ при всех к > т, и оценка (И) ста-
новится тривиальной — в (11) достаточно взять В = т max
Поэтому пусть ад>0 при всех n>fc0. Тогда из (10) имеем
— - 1 = а-п-Ь а”+г > Л > Л > 0, п>к0.
fln-H ап апап+1 ап+1
Суммируя эти неравенства по п от к0 до некоторого к — 1 > kQ,
получаем а^1 — а^ ^А(к — к0) или ак 4"1 (к — к0) (к > ко).
§ 3]
ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ
95
Но (к — ^(к0 + 1)к~1 при k>kG, поэтому 0<ак<
<(к0 + ijA^k"1. Если 1 С к к0, то 0^ ак = ка^кГ1
^kJ max а^к^1. Остается в (11) принять В = тгх[(к0-^
\i^k<kQ / (
+ 1)4-1; к0 max аД.
i<h^kQ j
Лемма 5. Пусть числовая последовательность {аД удов-
летворяет условиям
k^N = {1,2, ...}; (12)
аъ А
ak+1 ak —- j- + —, к^10; (13)
ak < Вк~2р, к е Ц; (14)
ah+l ак + Ск 2Р, к^1г, к + 1 GE 10, (15)
где А, В, С, р — положительные постоянные, р^1, а множе-
ства индексов Iq, Ii таковы, что Io U Ц = N, 10(} Ц = 0 (случаи
1О = 0 или li = 0 не исключаются). Тогда существует постоян-
ная D > 0 такая, что
0^ak^Dk~p, k=l, 2, ... (16)
Доказательство. Можем считать, что А >В + С, так
как если неравенство (13) верно для некоторого Л=40>0,
то оно верно для всех А>А0. Выберем натуральное число ка
так, чтобы
4<£р<(й0 + 1)р<6.
(17)
Убедимся в том, что такое число существует. Для этого пере-
пишем (17) в равносильном виде: 4е < к0 68 — 1, где 8 = р“* >
> 1. Существование такого числа к0 будет доказано, если по-
кажем, что длина отрезка [4е, 6е — 1] при любом 8 > 1 не мень-
ше 1, т. е. 6е —4е —1>1 или g(e)=6e — 4е >2 при всех 8 > 1.
Но g' (е) = 6е In 6 — 4е In 4 > In 6(6® — 4е) > 0 (8>1), так что
g(s) строго монотонно возрастает при 8>1. Следовательно,
g(8)>g(l) = 2 для всех 8 > 1. Таким образом, при каждом р
(0 < р 1) число к0, удовлетворяющее условиям (17), суще-
ствует.
Покажем, что
fl/j0+i^24(&0 + 1) р.
(18)
Может случиться, что kQ /0. Тогда воспользуемся неравен-
ством (13). Заметим, что функция fk(a) = а — а2А~1 + Ак~2р до-
стигает своего максимума на числовой оси при а = Л/2, и по-
этому fk(a)^ fh(A/2) = А/4 +Ак~2р для всех а>1, к = 1, 2, ...
96
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
Тогда из (13) с учетом неравенств (17) имеем
afe0+i fk (ak0) + Ак0 2Р А/к + 4/16
< (54/16) 6 (fc0 + 1)~р < 24 (fc0 + 1)~р.
Если же kQ^h, то возможно и /с0+1^70. Тогда из (14),
(17) следует, что
Ч+1 < В (к0 + 1)"2р < В (fc0 + 1)"74 < 2А (к0 + 1)-р.
Если /соеЛ, но к0 + 1^10, то из (14), (15), (17) получим
«й0+1 < Вк~2р + Ск~2р < 4^2р < 24 (к0 + 1)-р.
Оценка (18) доказана. Далее, сделаем индуктивное предпо-
ложение: пусть при некотором к > ка +1 верна оценка
ак^2Ак~р. Возможно, что к^Ц. Тогда с учетом (17) имеем
ah^L2Ak~p ^L2Akpp ^.А/2. Поскольку /ь(а) монотонно возра-
стает на отрезке [0, 4/2], то из (13) следует, что ak+i^fk(ak)^
^fh(2Ak-p) = 2Ak^-3Ak-2o<.2A(k-o-к-2р). Но при 0<р^1
справедливы соотношения
Ar" _ к-2Р < (fcp + 1) -* < (/i;P + ftP-«) -i =
= 7c-₽+,(/c+!)-*< (/c + l)-₽, (19)
поэтому ak+l < 2A(k+ l)~p. Если же к^Ц и /с + 1е/„ то из
(14), (17) получим
ah+l ^В(к+ 1)-2р ^В(к+ 1)-<’(к0+ 1)-р < 24(/с+ 1)-р.
Если к е Ilt но к + 1 е /о, то из (14), (15), (17), (19) имеем
«й+1 < (В + С) к~2р < 4/Г2р < 4 (fc°0 - 1) к~2р <_А(кр- 1) к~2р =
= А (к~р - к~2р) < 24 (к + 1)-р.
Тем самым показано, что ак^2Ак~р при всех к^ко+1. Если
1 С к к0, то ak = fcpaftfc-p кок~р max ah. Остается в (16) при-
нить £) = тах(24; kQ max аД.
( j
Лемма 6. Пусть числовая последовательность {соА} такова,
что
O^CDft+1^(l-sfe)coft + dft, к = 1, 2, ..., cot > 0, (20)
где
0<£&^1, dk^Q, /с =1,2, ...,
lim dk/sk = 0. (21)
k-»oo
Тогда lim coft = 0.
fc-^OO
§ 3]
ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ
97
Доказательство. Поскольку 1 — х при 0 х С 1,
то 1—sh^e~Sh. Из неравенства (20) тогда имеем
+ dk (к = 1,2, ...). Отсюда с помощью индукции не-
трудно получить, что
(п ( г 'j \ Г k 'j
(Oi + 2 di ехр|2 exp j— 2 fc = 1, 2, ...
i=i lj=i } I j=i J
(22)
Далее воспользуемся известной теоремой Штольца ([165, ч. I,
с. 88]), представляющей собой разностный аналог правила Ло-
питаля и гласящей, что если последовательность {z/J монотонно
возрастает, предел lim (xft —^-1)/(Ук — Z/fe-i) существует, lim yk =
fe-»OO fe->OO
= оо, то существует и предел lim xk!yh, причем
fe-^oo
lim xk/yh = lim (xk — хк-г)/(ук —
fe-»oo
[ h 'I k [ г \
Положим yh = exp \ У sj, xk = сог + 2 di exp I 2 $4 (& — It
lj = l J 1=1 4=1 *
2, ...). Из условий (21) следует, что {yh} монотонно возрастает
и стремится к бесконечности. Кроме того,
дт rr k 1 ( f к p-i
lim —----= lim dk exp ‘ У I exp 1У Sj — exp <У j =
k^>oo ^k—1 ;=1 J \ b=l lj=l ) /
/ c/к \ Sl
= lim------= lim — ]------------= 0,
fe-»oo 1 — Q & fe->oo у sk j 1 — e &
так как функция x/(l — e x) ограничена на множестве 0<rrC
С 1. По теореме Штольца с учетом неравенства (22) получим
lim ак = lim хк/ук = lim (хк — хк_г)1{ук — ук_^ = 0.
fc-»OO /j—>ОО fe-^OO
Заметим, что неравенство (22) по существу представляет
собой оценку скорости сходимости последовательности {coft}. Од-
нако правая часть оценки (22) трудно обозрима. Поэтому по-
лезно иметь другие, быть может, более грубые, но более обоз-
римые оценки. Здесь может быть полезна следующая простая
Лемма 7. Пусть числовая последовательность {coj такова,
что
0 С coft+1 С(1 — sk)(dk + dk, к = 1, 2, ..., со± > 0, (23)
где
dk^Q, к = 1, 2, ..., SMpdh/sh = c<Z оо. (24)
Тогда
0 соА С 01 + с, к = 1, 2, ... (25)
98
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
Доказательство легко проводится по индукции. При к = 1
оценка (25) очевидна. Если (25) верно для некоторого
то из (23), (24) следует 0 соА+1 (1 — sh) (coi + с)+ dh
(1 — sh) (01 + (1 — sk)c + csh cDi + с, что и требовалось.
Покажем, как может быть применена лемма 7 для оценки
конкретных последовательностей.
Лемма 8. Пусть числовая последовательность {aj такова,
что
О ak+l (1 — i/k)ak + Ci/fc2, к = 1, 2, ...,
Ci = const >0, ai > 0.
(26)
Тогда справедлива оценка
0 < С с21п(& + 1)/7с,
к = 1, 2, ..., с2 = const > 0. (27)
Доказательство. Сделаем замену coft = aftA;(ln(A:+1)) 1
и, пользуясь леммой 7, докажем ограниченность {coj. Из (26)
имеем
1 \^ + Пп (fe+1)
к) к In (к 4-2)
к = 1,2, ...
4-
к1
к2 In (к 4- 2) ’
Таким образом, {gjJ удовлетворяет условиям (23) при
Sfe =
1 \ln(fc4-l) . *4-1
*2/In (*4-2)’ k 1 /с2 In (&4-2)"
Нетрудно видеть, что 0 < sh < 1 и — с1? так что sup dh!sh~
= e3<oo. Из леммы 7 имеем 0 coft ой + е3 (к = 1, 2, ...)г
что равносильно оценке (27) с с2 = с3 + a/ln 2.
Лемма 9. Пусть числовая последовательность {aft} такова,
что
0^ам^(1-ик^ак + С1/к2\ к=1, 2, ...,
Ct = const > 0, 0<р<1, Hi > 0.
Тогда
+ * = 1,2,... (29)
Доказательство. Сделаем замену coft = №ак. Тогда из
(28) имеем
о С Wft+1 С 1 - - J <ofe 4- <4
Это значит, что {&□*) удовлетворяет условиям (23) при
dk = c1 fl * = 1,2, ...
\ ] к‘
§ 3]
ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ
99
Поскольку (1 + 1/А) 3 > 1 — $/к (к = 1, 2, ...), то
отсюда же следует, что dk/sk > с±/(1 — (fc = l, 2, ...). По
лемме 7 тогда 0 coft С coi + cj(1 — ^), что равносильно оцен-
ке (29).
Лемма 10. Пусть {zh}, {wk} — некоторые последовательности
из евклидова пространства Еп, z* — точка из Еп такая, что
Н-Н — Ч |3 + I ^н-i — z* |2 < | zh — z* |2, (30)
оо
|zk+1 — wk+1 Кb8k, 6й>0, /с = 0, 1, 2бй<оо, (31)
k=0
где а, Ъ — положительные постоянные. Тогда существует конеч-
ный предел
lim | zk — z* | = lim |ipft — z* | (32)
fe-»oo fc-*oo
и справедливо равенство
lim | wh+l — zfe| =0. (33)
fc-*oo
Если, кроме того, точка z* из (30) является предельной для
{zk}, то обе последовательности {zj, {wk} сходятся к z*.
Доказательство. Из (30) следует, что | — z* 1
<Jzft— z* |. Тогда с помощью (31) имеем
1 Zfe+1 — z* I < I zk+1 — wk+11 + I wk+1 — z* К b8k + I zk — z* I, (34)
ИЛИ
I Zk+1 — z* КI zk — z* I + b8k, к = 0,1, ...
Отсюда и из леммы 2 при ak = | zk — z* | вытекает сущест-
вование конечного предела lim | zk — z* |. Из (34) следует (32),
что в свою очередь гарантирует выполнение равенства (33). На-
конец, пусть в (30) z*— предельная точка {zj, пусть {Zfcm}
Тогда lim | zft—z*| = lim I zhm— 3*1= 0, т. e. {zft}->z*. Отсюда и из
Й-»оо 7П->оо
(32) получим, ЧТО {(D/J
Лемма 11. Пусть неотрицательное число z таково, что
O^zp^bz + d, (35)
100
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
где b, d — неотрицательные числа, /?>1. Тогда
$^z^(bq+qdy/p, (36)
где q определяется равенством p~l + q~l = 1.
Доказательство. Если d = 6, то из (35) имеем 0=^
zp~l С Ь, или 0 С 2 = bq/p, что совпадает с оценкой
(36) при d = 0. Поэтому можем считать, что d > 0. Рассмотрим
функцию
Ф (х) = хр — Ъх — d, х^ 0.
Нетрудно проверить, что эта функция имеет единственную точку
минимума х* (Ь/рУ^'Р-1') 0, ф (х*) ф (0) = — d<0, Итф(ж) =
Х-юо
= оо, строго монотонно убывает при О^я^хДесли #*>*0),
строго монотонно возрастает при х^х*. Отсюда следует, что
уравнение ф (х) = 0 имеет единственное решение х = ц, так что
ф(х)<0 при и ф (#)>() при х > у. Согласно (35)
Ф (2) 0, поэтому справедлива оценка 0 < 2 < Однако полу-
чить явное выражение для у в общем случае не удается, поэто-
му в приложениях удобнее оценка (36). Для доказательства
оценки (36) достаточно установить, что у С а = (bq + qd)х/р.
Пользуясь известным неравенством [10, 160, 179]
\ab\ \а\р/р+ \b\q/q,
справедливым для всех действительных чисел а, Ь, р > 1, q > 1,
р~х + q-1 = 1, имеем ф (а) = ар — ab — d > ар — арр~* — bqq~x — d =
= apq~x — (&9+ qd)q~x = 0. Следовательно, а^ ц и
= (bq + qdY/p.
Глава 3
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
Изучение методов минимизации функций многих переменных начнем
с методов решения сравнительно простых и достаточно хорошо изученных
задач линейного программирования. Под линейным программированием
понимается раздел теории экстремальных задач, в котором изучаются за-
дачи минимизации (или максимизации) линейных функций на множествах,
задаваемых системами линейных равенств и неравенств. Различные аспекты
теории и методов линейного программирования, его приложения к технико-
экономическим задачам изложены, например в [3, 7, И, 12, 15, 21—23, 25,
30, 33, 35, 40, 41, 48, 57, 71, 79, 102, 106, 130, 144, 146, 150, 155, 183,
190, 194, 202, 211, 224, 225, 234, 250, 261, 265, 274, 290, 292, 297, 307, 313,
320—324, 333, 340].
§ 1. Постановка задачи
1. Общая задача линейного программирования может быть
сформулирована следующим образом: минимизировать функцию
J(и) = срИ + ... + спип (1)
при условиях
z?^0, /се/; (2)
+ ... + ainun С Ь1,
ат^ + ... + атпип Ьт,
1^ 4“ ... 4“ ^m+l, === Ь ,
............................................ (3)
asiu' 4-... 4- asnun = b9,
где Cj, ац, b* (i = 1, ..., $,/ = 1, ..., п)— заданные числа, причем
не все из чисел Cj и ац равны нулю; I — заданное подмножество
индексов из множества {1, ..., п} (в частности, здесь возможно,
что 1 = 0 или I = {1, ..., п); в (3) не исключаются случаи, когда
отсутствуют ограничения типа равенств (т = s) или типа нера-
венств (т = 0)). Если ввести векторы c = (cj, ..., сп), а< = (аг-1, ...
..., ain), и = (и\ ..., ип), то задачу (1) —(3) можно кратко за-
писать так:
7(и)=<с, и) -> inf; и^ U = {и<=Еп: uh^0, (а^ и)^Ь\
г = 1, ..., т; <а{, и> = Ъ\ i = m+l, ..., $}. (4)
102
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
Если для каких-либо двух векторов ж = ..., хр), у~
= (г/1, ..ур) справедливы неравенства xi'^yi при всех i == 1, ...
..., р, то будем кратко писать: х > у. Тогда, например, неравен-
ство х 0 означает, что хг > 0 для всех i = 1, ..., р. Используя
принятые обозначения, задачу (1) —(3), или (4), можно запи-
сать и в таком виде:
J(u)= <с, иУ inf;
и «= U = {и & Еп: uk 0, к^1, Аи^ Ъ, Аи = Б),
(5)
где
атп
• • • ат±1,п
aS1 ••• asn
bm+1
bs
Точку и* s U назовем точкой минимума функции <с, иУ на
множестве U или, короче, решением задачи (4) или (5), если
<е, и*} = inf <е, и).
и
2. Приведем примеры прикладных задач, приводящих к зада-
чам линейного программирования.
Задача оптимального планирования производства. Пусть на
некотором предприятии изготовляются п видов продукции из s
видов сырья. Известно, что на изготовление одной единицы про-
дукции /-го вида нужно ац единиц сырья г-го вида. В распоря-
жении предприятия имеется единиц сырья i-го вида. Известно
также, что на каждой единице продукции /-го вида предприятие
получает с5 единиц прибыли. Требуется определить, сколько еди-
ниц и1, ..., ип каждого вида продукции должно изготовить пред-
приятие, чтобы обеспечить себе максимальную прибыль.
Если предприятие наметит себе план производства и = {и1, ...
..., ип}, то оно израсходует а^и1 +... + ainun единиц сырья f-ro
вида и получит Cii? + ... + спип единиц прибыли. Ясно также,
что все величины и1 (i = 1, ..., п) неотрицательны. Поэтому мы
приходим к следующей задаче линейного программирования:
максимизировать функцию J(u) = + ... + спип при ограниче-
ниях и1 > 0, ..., ип > 0, ачи1 +... + ainun (I = 1, ..., s).
Поскольку задача максимизации функции J(u) равносильна за-
даче минимизации функции — J(u), то с учетом введенных выше
обозначений сформулированную задачу линейного программиро-
вания можно кратко записать в виде
<—с, иУ inf; u^U = {и^ Еп: и>0, Аи^Ъ}. (6)
Ясно, что задача (6) является частным случаем задачи (5).
Задача об оптимальном использовании посевной площади.
Пусть под посев р культур отведено г земельных участков пло-
ПОСТАНОВКА ЗАДАЧИ
103
§ И
щадью соответственно в Ь1} ..Ъг гектаров. Известно, что сред-
няя урожайность Z-й культуры на /-м участке составляет ai}
центнеров с гектара, а прибыль за один центнер г-й культуры
составляет рублей. Требуется определить, какую площадь на
каждом участке следует отвести под каждую из культур, чтобы
получить максимальную прибыль, если по плану должно быть
собрано не менее di центнеров г-й культуры.
Обозначим через uij площадь, которую планируется отвести
под i-ю культуру на /-м участке. Тогда
Uij +. .. + izpj = 6j, 7 = 1, ..., г. (7)
Ожидаемый средний урожай i-ii культуры со всех участков ра-
вен anna + ... + ainuin центнеров. Поскольку согласно плану
должно быть произведено не менее di центнеров г-й культуры, то
aaUu +... + ainuir > dt, i = 1, ..., p. (8)
Ожидаемая прибыль за урожай г-й культуры равна .
... + ainUin), а за урожай всех культур —
р
2 Сг (ациц + ... + ainUir) = J (и). (9)
1=1
Таким образом, приходим к задаче максимизации функции (9)
(или минимизации функции —J(iz)) при условиях (7), (8) и
естественных ограничениях
иц 0, i = 1, ..., р, / = 1, ..., г.
Если умножить соотношения (8) на —1 и переменные {иц} пере-
обозначить через и1, ..., ип, то придем к задаче вида (1) —(3).
Транспортная задача. Пусть имеется г карьеров, где добыва-
ется песок, и р потребителей песка (например, кирпичные заво-
ды). В i-м карьере ежесуточно добывается а, тонн песка, а /-му
потребителю ежесуточно требуется bj тонн песка. Пусть —
стоимость перевозки одной тонны песка с f-ro карьера /-му по-
требителю. Требуется составить план перевозок песка так, чтобы
общая стоимость перевозок была минимальной.
Обозначим через планируемое количество тонн песка из
г-го карьера /-му потребителю. Тогда с Z-го карьера будет вы-
везено
иц + ... +UiP = ah f=l, ..., г, (10)
тонн песка, /-му потребителю доставлено
ии +... + urj = bh 7 = 1, ...,р, (11)
тонн песка, а стоимость перевозок будет равна
р г
j(u)=2 2w (12)
7=11=1
104
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
Естественно требовать, чтобы
i = l, г, / = 1, .... р. (13)
В результате получили задачу минимизации функции (12) при
условиях (10), (11), (13), которая, очевидно, является частным
случаем общей задачи линейного программирования (1) — (3).
К задачам типа (1) — (3) сводятся также и многие другие
прикладные задачи технико-экономического содержания.
Следует заметить, что приведенные выше примеры задач ли-
нейного программирования, вообще говоря, представляют лишь
приближенную, упрощенную математическую модель реальных
задач, и некритическое использование получаемых на основе ана-
лиза этих моделей результатов может привести иногда к пара-
доксам. К чему может привести пренебрежение существенными
факторами реальных задач при составлении математических мо-
делей, хорошо иллюстрируют следующие строки из брошюры
Б. В. Гнеденко [114, с. 4]: «В пятидесятых годах, когда методы
линейного программирования только начали входить в широкий
обиход, наши центральные газеты обошла статья, в которой со-
общалось, что перераспределение снабжения строек Москвы пес-
ком путем прикрепления их к пристаням и карьерам позволило
снизить каждодневные транспортные расходы на 20 000 рублей.
Действительно, этим приемом удалось добиться минимального
суммарного пути и, значит, минимального расхода топлива. Од-
нако уже через несколько лет мне на глаза попалась небольшая
статья из газеты «Труд», в которой сообщалось, что недоучет
пропускной способности карьеров, отсутствие подъездных путей
и погрузочных устройств приводят к огромным простоям грузо-
вых машин на местах погрузки песка. Таким образом, мы видим,
что недостаточно только оптимизировать расход бензина. Мини-
мизации требует вся операция в целом».
Эти критические замечания можно, конечно, отнести не толь-
ко к задачам линейного программирования, но и к другим мате-
матическим моделям. Вполне может оказаться, что принятая
математическая модель, обычно составляемая на основе прибли-
женных данных о реальном моделируемом явлении (объекте,
процессе), не охватывает какие-либо важные существенные сто-
роны исследуемого явления и приводит к результатам, сущест-
венно расходящимся с реальностью. В этом случае математиче-
ская модель должна быть изменена, доработана с учетом вновь
поступившей информации, а получаемые при анализе совершен-
ствованной модели данные должны снова и снова критически
сопоставляться с реальными данными и использоваться для вы-
яснения границ применимости модели. Математическая модель
лишь при высокой степени адекватности моделируемому явлению
может быть использована для более глубокого анализа явления
ПОСТАНОВКА ЗАДАЧИ
105
§ 1]
и проникновения в его сущность, для выработки целенаправлен-
ного управления.
Было бы ошибочным, основываясь на приведенных выше кри-
тических строках, делать вывод о том, что линейные модели, при-
водящие к задачам вида (1)—-(3), слишком просты и вовсе
непригодны для исследования реальных задач. Наоборот, прак-
тика показала, что линейное программирование может быть ус-
пешно применено для исследования и анализа широкого класса
реальных технико-экономических задач. Линейное программиро-
вание является одним из наиболее изученных разделов теории
экстремальных задач с достаточно богатым арсеналом методов.
Ниже мы увидим, что задачи линейного программирования ис-
пользуются также и в качестве вспомогательных во многих ме-
тодах решения более сложных нелинейных задач минимизации.
3. Из общей задачи линейного программирования обычно вы-
деляют и исследуют два ее подкласса: каноническую задачу
<с, и) -> inf; и е U = {и Еп: и^О, Аи = Ь} (14)
и основную задачу
<с, иУ -> inf; и е U = {и е Еп-. н^О, Аи^Ъ}. (15)
Здесь с, Ъ — заданные векторы, с е Еп, с =И= 0, Ъ е Ет, А — матри-
ца размера тХп, А =И= 0. Несмотря на внешнее различие задач
(14) и (15) (в одной из них ограничения Аи = Ь, в другой
=^Ь), эти задачи, оказывается, в определенном смысле эквива-
лентны. В самом деле, если ограничения типа равенств Аи = Ь
заменить на равносильную систему двух неравенств: Аи^Ь,
Аи^Ь, то каноническую задачу (14) можно записать в виде
основной задачи
<с, иУ -> inf; и е U = {и <= Еп\ и 0, Аи^Ъ, —Аи^—Ъ}. (16)
Ясно, что задачи (14) и (16) эквивалентны, т. е. всякое решение
задачи (14) является решением задачи (16) и наоборот (или,
возможно, обе задачи не имеют решения).
Основную задачу линейного программирования (15) также
можно записать в виде канонической задачи. А именно, введем
дополнительные переменные у==(р1, ..., vm) посредством соотно-
шений и — Ъ — Аи (р^О) ив пространстве Еп+т переменных
z = (и, у) = (и1, ..., ип, v1, ..., ит) рассмотрим каноническую
задачу
<d, 2>-> inf; z^Z = {z = (u, v): z^En+m, z>0,
Cz = Au + v = b\ (17)
где d = (c, 0)^En+m, C = (A, E), E—-единичная матрица размера
mXm. Нетрудно видеть, что если и* — решение задачи (15), т. е.
и* е U, <с, и*у = inf <с, и>, то z* = (и*, и*), v* = b — Аи* — ре-
106
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
шение задачи (17), т. е. z* е Z, {d, z*) = inf (й, и), и обратно, если
и
z* = (u*, р*) — решение задачи (17), то и*—решение задачи
(15). Таким образом, путем введения новых переменных или
увеличением числа ограничений всякую задачу вида (15) можно
привести к виду (14), а задачу (14) — к задаче вида (15).
Оказывается, общая задача линейного программирования (5)
также может быть записана в виде канонической (или основной)
задачи линейного программирования. В самом деле, положим
v = b — Au, u/ = max{0, и*}, wl = max{0; — и1}, i&I, (18)
и в пространстве переменных z = (v, и\ w*, i&I) рас-
смотрим задачу
J (z) = 2 ctui + 2 ci (w* — w') ”* inf;
iGI i&I
z^Z = {z: и*^0, i e I; uA^O, u^^O, 1фЦ
2 Aiu* + 2 A (wi — wi) + v = ь, 2 + 2 (wi — wi) — bl,
i=I i&I i^I i&I j
(19)
где At — i-й столбец матрицы A, Ai — i-й столбец А. Как видим,
в задаче (19) функция J(z) линейна, все переменные неотрица-
тельны, остальные ограничения имеют только вид равенств, т. е.
(19) является канонической задачей линейного программирова-
ния. Учитывая обозначения (18) и равенство иг’ = и/ —w* (1^
=/=()), остается лишь заметить, что точка z* = (u*, ui, fG Г, w»
будет решением задачи (19) тогда и только тогда,
когда точка и* с координатами ui (i е Z), ui = w* — ivl
будет решением задачи (5).
Заметим, что изложенные приемы сведения задач (5), (14),
(15) к канонической или основной задаче линейного программи-
рования на практике без особой необходимости не применяют,
так как это может привести к чрезмерному увеличению размер-
ности переменных или числа ограничений. Поэтому методы ре-
шения задач линейного программирования обычно разрабатыва-
ют для задачи (14) или (15), а затем, учитывая указанную вы-
ше связь между задачами (5), (14), (15), модифицируют полу-
ченные методы применительно к другим классам задач линейного
программирования.
§ 2. Геометрическая интерпретация. Угловые точки
1. Кратко остановимся на геометрическом смысле задачи ли-
нейного программирования. Рассмотрим задачу (1.15) при п = 2.
Для краткости обозначим и1 = х, и2 = у, и = (х, у) и перепишем
§ 2]
ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ. УГЛОВЫЕ ТОЧКИ
107
Рис. 3.1
задачу (1.15) в виде
ctx + с2у inf;
ug=U = {u = (x, у): хХ), уХ), а,цх+ ai2y i = l, ..., т).
(1)
Введем множества: Uo = {и = (х, у): хХ), у > 0) — положитель-
ный квадрант плоскости
(ж, у), Ui = {u = (x, у):
а,цх + ai2y Ьг} — полу-
плоскость, образуемая
прямой aiLx + ai2y = Ъ*
(/=1, ..m). Ясно,
что множество U явля-
ется пересечением мно-
жеств С70, ..., Um.
Может случиться, что
это пересечение пусто
(рис. 3.1)—тогда зада-
ча (1) теряет смысл.
Если множество U не-
пусто, то оно, образо-
ванное пересечением
конечного числа полуплоскостей, представляет собой выпуклое
многоугольное множество, границей которого является ломаная,
Рис. 3.2
Рис. 3.3
составленная пз отрезков каких-либо координатных осей и пря-
мых ацх + ai2y = U (г = 1, ..., т). Это многоугольное множество
может быть как ограниченным (рис. 3.2)—тогда U представляет
собой выпуклый многоугольник, так и неограниченным (рис. 3.3).
108
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
Пусть а — какое-либо значение функции J(iz)=<c, u'> = cix±
+ с2у, Тогда уравнение
Ci# + с2у = а
(2)
задает линию уровня функции J(iz), соответствующую ее значе-
нию а, и на плоскости определяет прямую, перпендикулярную
вектору с = (сь с2)=^=0. При из-
<а2<ос3). Ясно, что <е, =
менении а от —оо до оо прямая
(2), смещаясь параллельно са-
мой себе, «зачертит» («заме-
тет») всю плоскость. При этом
вектор с указывает направле-
ние, в котором следует смещать
прямую (2), чтобы увеличивать
значение функции J(iz)= <е, и).
Если U — многоугольник (см.
рис. 3.2), то при изменении а
ОТ —оо до ОО прямая (2) при
некотором значении а — J*
впервые коснется U и будет
иметь с U общую точку и* (на
рис. 3.2—3.5 прямая (2) пред-
ставлена при ос = схх <z J* <Z
J* — inf (e, u), t. e. u* — реше-
ние задачи (1). Возможен случай, когда прямая (2) при первом
касании с многоугольником U будет иметь не одну общую точку
с U, а целую сторону (рис. 3.4) — это может случиться, если U
имеет сторону, перпендикулярную вектору с.
Если многоугольное множество U не ограничено, то наряду
со случаями, когда при первом касании прямая (2) будет иметь
с U одну общую точку и* (см. рис. 3.3) или сторону (рис. 3.5),
§ 2] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ. УГЛОВЫЕ ТОЧКИ Ю9
возможна ситуация, когда прямая (2) при всех а (—°о<а=^
а0 00) имеет общую точку с U (рис. 3.6)—тогда inf (с, и) =
= — оо (первого касания прямой (2) с U нет), т. е. задача (1)
не имеет решения.
Из рассмотренных случаев задачи (1) видно, что задача
линейного программирования может не иметь ни одного
решения (см. рис. 3.1, 3.6), может иметь лишь одно решение
(см. рис. 3.2, 3.3), может иметь бесконечно много решений (см.
рис. 3.4, 3.5).
Аналогично можно показать, что множество U в задаче (1.15)
при п = 3 является многогранным множеством, и дать геометри-
ческую интерпретацию этой задачи. Предлагаем читателю само-
стоятельно рассмотреть этот случай, а также исследовать задачу
(1.14) при п = 2, 3.
2. На примере рассмотренной выше задачи (1) нетрудно
усмотреть, что если задача (1) имеет решение, то среди решений
найдется хотя бы одна угловая точка (вершина) многоугольного
множества U, Ниже мы увидим, что это не случайно: и в более
общей задаче линейного программирования, оказывается, нижняя
грань функции <с, и> на U достигается в угловой точке мно-
жества.
Определение 1. Точка v множества U называется угло-
вой точкой (вершиной, крайней точкой, экстремальной точкой)
множества CZ, если представление v = схгч + (1 — а)и2 при р2 е
U и 0 < а < 1 возможно лишь при щ = р2. Иначе говоря, v —
угловая точка множества CZ, если она не является внутренней
точкой никакого отрезка, принадлежащего множеству U,
Например, угловыми точками многоугольника на плоскости
или параллелепипеда в пространстве являются их вершины; все
граничные точки шара будут его угловыми точками; замкнутое
полупространство или пересечение двух замкнутых полупро-
странств не имеют ни одной угловой точки.
В задачах линейного программирования понятие угловой точ-
ки играет фундаментальную роль и лежит в основе многих ме-
тодов решения таких задач. В дальнейшем мы будем подробно
исследовать каноническую задачу (1.14). Поэтому начнем с изу-
чения свойств угловых точек множества
U = {и Еп: и > 0, Аи = Ь], (3)
где А — матрица размера m X п, А Ф О, Ъ — вектор из Ет. Ниже
будет показано, что множество (3), если оно непусто, имеет хотя
бы одну угловую точку (см. теорему 5.1). Возникает вопрос, как
узнать, будет ли та или иная точка множества (3) угловой точ-
кой? Приведем один достаточно простой алгебраический крите-
рий угловой точки множества (3). Для этого вначале обозначим
/-й столбец матрицы А через Aj и запишем систему уравнений
по
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
Аи = Ъ в следующей эквивалентной форме:
Xiiz1 + ... + Апип = Ъ. (4)
Теорема 1. Пусть множество U определено условиями (3),
А ¥= 0, г = rang А—ранг матрицы А. Для того чтобы точка v =
= (р1, ..vn)^U была угловой точкой множества С7, необходимо
и достаточно, чтобы существовали номера ..., /г (l^ji^n,
I = 1, ..., г) такие, что
4^1 + ... + = Ь; i? = 0, y#=/z, 1 = 1, (5)
причем столбцы А^, ..., Ajr линейно независимы.
Доказательство. Необходимость. Пусть v— угло-
вая точка множества U. Если и = 0, то из условия 0 U следует,
что 6 = 0. Поскольку А ¥= 0, то r = rangA>l и существуют ли-
нейно независимые столбцы А^, ..., А$г. Отсюда имеем • 0 +.. .
... +Ajr«O = 0. Для случая v = 0 соотношения (5) доказаны.
Пусть теперь v =£ 0 и пусть z?1, ..., и311 — все положительные
координаты точки и. Отсюда и из условия Av = Ъ с учетом пред-
ставления (4) имеем
A^v^ + ... + Ajkv3k = Ъ, v3 = 0, (6)
Покажем, что столбцы Aj , ..., Ajk линейно независимы.
Пусть при некоторых at, ..., ock имеет место равенство
+ • • • + = 0. (7)
Возьмем точку — (v±, ..., и±) с координатами v_j? = vp + еар,
v3+ = 0 при J =/=7р (р = 1, ..., к) и точку vL— (zA, ..., с ко-
ординатами vl — vp—cap, vL ~ 0 при ]^=]p(p = 1, ..к). По-
скольку z?p>O(p=l,..., к), то при достаточно малых г > 0 будем
иметь v+ > 0, V- > 0. Кроме того, умножая (7) на е или —е и
складывая с (6), приходим к равенствам Av+ = b, Av_ = b. Та-
ким образом, р+, v_^U. Очевидно, v = (v+ + z;_)/2, т. е. v =
= av+ + (1 — ос) и- при ос = 1/2. По определению угловой точки
это возможно лишь при v+ = v- = v, что в свою очередь означает,
что СХ1 = ... = ock = 0. Таким образом, равенство (7) возможно
только при at = ... = ock = 0. Линейная независимость столбцов
Aj , ..., Ajk доказана. Отсюда следует, что к^г.
Если к = г, то соотношения (6) равносильны (5). Если к < г,
то добавим к столбцам А^, ..., Ajk новые столбцы Ajk^ ..., A$s
матрицы А так, чтобы система А^, ..., Ajk, Ajfe+1, ..., Ajs была
линейно независимой, а при добавлении любого другого столбца
А, эта система становилась линейно зависимой. Тогда система
А^, ..., Ajs образует некоторый базис линейной оболочки векто-
§ 2] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ. УГЛОВЫЕ ТОЧКИ Щ
ров At, ..Ап- Размерность линейной оболочки векторов 41? ...
Ап равна рангу матрицы 4, так что s==r = rang4. Добавив
к первому равенству (6) столбцы 4,-ft+1, •••> умноженные
соответственно на = 0, ..., v3r = 0, из (6) получим соотно-
шения (5). Необходимость доказана.
Достаточность. Пусть некоторая точка р = (р1, ..., ип)
удовлетворяет условиям (5), где 4^, ..., Ajr — линейно неза-
висимы, г = rang А. Пусть v = + (1 — а)н2 при некоторых
Vi, v2^U, 0 < а < 1. Покажем, что такое представление возмож-
но только при vl = v2 = v. Сразу же заметим, что если v} = 0, то
из этого представления с учетом неравенств 0 < а < 1, 0,
р;2 0 получим 0 + (1 — а) v32 = v3 = 0, что возможно лишь
при = v32 = v3 = 0. Таким образом, для получения равен-
ства v = Vi == v2 остается еще доказать, что v\ = v32 = v3 и при
тех /, для которых v3 > 0.
По условию (5) у точки v положительными могут быть лишь
координаты vJ1, ... ,v3r. Произведя при необходимости перену-
мерацию переменных, можем считать, что i/1 > 0, ..., v3k > 0,
tfh+i — о, л о (случаи к = 0 или к = г здесь не исключа-
ются). Тогда (4) можно переписать в виде AjV3i + ...+ А^3к~
— Ь. Кроме того, учитывая, что по доказанному = v32 = 0 при
всех ]¥=]р (р = 1, ..., к), равенства AVi = b также можно за-
писать в виде A^vi1 + .. . + = b (i = 1, 2). Вспомним, что
векторы 4^, ..., A jk линейно независимы. Поэтому вектор b
может линейно выражаться через Aj ,.,Ajk единственным
способом. Это значит, что v3$ = vp = v2 для р = 1, ..., к. Тем
самым установлено, что v = Vi = v2. Следовательно, v — угловая
точка множества U.
Определение 2. Систему векторов 4^, . ..,4jr, входя-
щих в первое из равенств (5), называют базисом угловой точ-
ки v, а соответствующие им переменные ..., v31,— базисными
координатами угловой точки v. Если все базисные координаты
угловой точки положительны, то такую угловую точку называют
невырожденной. Если же среди базисных координат г*1, ..., v3r —
хотя бы одна равна нулю, то такая угловая точка называется
вырожденной. При фиксированном базисе 4^, ..., 4jr переменные
и71, ..., и3г называются базисными переменными угловой точки,
а остальные переменные и3 — небазисными (свободными) пере-
менными.
Из теоремы 1 следует, что невырожденная угловая точка об-
ладает единственным базисом — ее базис составляют столбцы с
теми номерами, которым соответствуют положительные коорди-
112
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
иаты угловой точки. Если угловая точка вырожденная, то она
может обладать несколькими базисами. В самом деле, если
> 0, ..., О (к < г = rang Л), а остальные координаты Е
угловой точки v равны нулю, то, как видно из доказательства
теоремы 1, в базис такой точки обязательно войдут столбцы
Ajv ...,Ajk, а остальные базисные столбцы ...,Ajr, вхо-
дящие в представление (5), могут быть выбраны, вообще говоря,
различными способами.
Пример 1. Пусть U = {u = (u\ и2, и3, uj>0,
j = 1, ..., 4, и1 + и2 + Зи3 + и4 = 3, и1 — и2 + и3 + 2п4 = 1). Обо-
значим
Л = 1
г
1 ,
Л2 —
А3 =
31
1 Ь
3'
1 •
Г
-1 ,
Л =
1'
2 ,
ъ =
Нетрудно видеть, что точки &i = (2, 1, 0, 0) и и2 = (0, 5/3, 0,
4/3) являются невырожденными угловыми точками множества
Z7, причем точке щ соответствует базис Ai, Л2, а точке и2—
базис Л2, Ас, угловая точка п3 = (0, 0, 1, 0) вырожденная и ей
соответствуют базисы А^ А3 или А2, А3 или А3, Л4; точка —
= (5, 0, 0, —2) не является угловой для множества U, так как
u4 U.
Поскольку из п столбцов матрицы А можно выбрать г линей-
но независимых столбцов не более чем Сгп способами (Сп—
число сочетаний из п элементов по г), то из теоремы 1 следует,
что число угловых точек множества (3) конечно.
Кроме того, как увидим ниже (см. теоремы 6.1, 6.2), если
С7=И=0 и inf<c, иу>— оо,то эта нижняя грань достигается хотя
и
бы в одной угловой точке множества (3). Это значит, что кано-
ническую задачу (1.14) можно попытаться решить следующим
образом: 1) найти все угловые точки множества (3)—для этого
можно, например, рассмотреть Сгп систем вида (5) и проверить,
будут ли выбранные столбцы Л,- . ..,Л;-г линейно независимы
и будут ли соответствующие решения системы (5) неотрица-
тельными; 2) вычислить значение функции У(п)=<с, иУ в каж-
дой из угловых точек, число которых, как мы знаем, конечно,
и определить наименьшее из них. Однако такой подход к реше-
нию задачи (1.14) практически не применяется, так как даже
в задачах не очень большой размерности число угловых точек
может быть столь большим, что простой перебор всех угловых
точек множества (3) может оказаться невозможным за разумное
время даже при использовании самых быстродействующих ЭВМ.
Тем не менее идея перебора угловых точек множества оказа-
лась весьма плодотворной и послужила основой ряда методов
решения канонической и других задач линейного программиро-
вания. Одним из таких методов является так называемый симп-
СИМПЛЕКС-МЕТОД
ИЗ
§ 3]
лекс-метод. Название этого метода связано с тем, что он впервые
разрабатывался применительно к задачам линейного программи-
рования, в которых множество U представлял собой симплекс в
{п 1
и=(иг, ..., ип): и^О, 2 ui ~ затем метод был
J
обобщен на случай более общих множеств U, но первоначаль-
ное название за ним так и сохранилось; в литературе этот
метод также называют методом последовательного улучше-
ния плана.
Оказывается, с помощью симплекс-метода можно осуществить
упорядоченный (направленный) перебор угловых точек множе-
ства (3), при котором значение функции <с, и> убывает при пе-
реходе от одной угловой точки к другой, и при этом, рассмотрев
лишь относительно небольшое число угловых точек, удается вы-
яснить, имеет ли задача (1.14) решение, и если имеет, то найти
его. Кроме того, как увидим ниже, симплекс-метод может быть
использован также и для определения угловой точки множе-
ства (3).
§ 3. Симплекс-метод
1. Перейдем к описанию симплекс-метода для решения кано-
нической задачи (1.14):
<с, и> -> inf; и U = {и Еп: и^О, Au = b}. (1)
В (1.14) предполагалось, что матрица А имеет размер тХп.
Тогда г = rang А С min {т; п}. Предполагая, что из системы
(Аи)г = Ьг (г = 1, ..., т) исключены линейно зависимые урав-
нения, можем считать, что матрица А имеет размер гХп, где
г = rang А. Тогда г^п. Если г = п, то система Аи = Ъ будет
иметь единственное решение и и множество U будет либо пу-
стым (если не соблюдается ограничение ^>0), либо будет со-
стоять из одной точки (если и > 0) — в этом случае задача мини-
мизации функции J(и) на U становится малосодержательной.
Поэтому будем считать г < п. Тогда система Аи = Ъ запишется
в виде
а^и1 + ... + ainun = Ь1,
UriU1 + ... + агпип = &г,
где г = rang А < п.
Пусть известна некоторая угловая точка v = (р\ ..., vn) мно-
жества U. Перенумеровав при необходимости переменные, без
умаления общности дальнейших рассмотрений можем считать,
что столбцы Aif . .., Аг матрицы А являются базисом точки и,
114
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
а переменные и1,
..., иг — базисными переменными. Обозначим
и =
V = 1 1 1 1 II 1 о с1 сг II е4 • 1 1
“11 ••• (7 1г
to II 1 67 ТТ J = ( А.. 4Г).
Тогда систему (2) можно переписать кратко так:
А^и1 + ... + Arur + ЛГ4-1^г+1 + .... + Апип =
= Вй + 4r+1iT+1 + ... + Апип = Ь. (3)
Поскольку столбцы At, ..., Аг линейно независимы, то detB=H=O
и, следовательно, существует обратная матрица В”1. Кроме того,
согласно теореме 2.1 небазисные координаты гг+1, ..., vn угловой
точки v равны нулю, так что v = £ где v > 0. Тогда пз (3) сле-
дует, что базисные координаты v удовлетворяют системе Bv = b,
откуда имеем v = В~Чэ 0.
Учитывая последнее равенство, умножим систему (3) па В-1
слева и получим следующее соотношение между базисными пере-
менными и и небазисными переменными ur+1, ..., ип:
и+ 2 B-1Akuk = B-1b==v^0. (4)
fe=r+l
Обозначим: (B~Mft)s = ^sk — s-я координата вектор-столбца B~lAk
(s = l, ..., г, fc = r+l, ..., п). Тогда уравнение (4) можно запи-
сать в покоординатной форме
и1 + + ... + у1пип = V1,
и2 + у2>г+1иг+1 + ... + у2пип = V2,
и1 + + . • • + Угпип = V\ (5)
Ur + Tr,r-Fl^r+1 + . . . + Угпип = Vn.
Перенося в (4) и (5) слагаемые с небазисными переменными
вправо, получаем выражение базисных переменных через неба-
зисные в векторной форме:
и = v — 2 В^А^ (6)
fe=r+l
СИМПЛЕКС-МЕТОД
115
§ 3]
и соответственно в покоординатной форме:
и1 = Р1 — 71, r+iUr+1 — ... - ^lkuh — ... -
и* = v* - уг; r+1ttr+1 - ... - yikuh - ... - ^inUn, (7)
ur = vr - 7r, r+iUr+1 ~... - 4rkUh -... - 7rfeun.
Подчеркнем, что системы (3) — (7) являются эквивалентными
переформулировками исходной системы (2). Заметим также, что
если заранее знать номера базисных переменных, то для полу-
чения из (2) соотношений (7) можно воспользоваться извест-
ными методами [4, 54] (например, схемой Жордана). О том, как
определить угловую точку и номера ее базисных переменных и
как привести систему (2) к виду (7), будет рассказано в § 5.
Пользуясь соотношениями (6) пли (7), функцию J (и) =
п
— <с, иу — 2 сги1 можно выразить через небазисные пере-
i—1
менные:
= <с, ~ 2 В — сг) и.
i=r~rl
Поскольку <С, V> = <С, К> = то
J(w) = J(p)— 2 ДгД (8)
г=?4-1
где
г
Д| — (с, В ci = 2 ^sYsi Ci. (9)
s=l
Кстати заметим, что величины Дг имеют смысл и при i = 1, ...
..., г; тогда Дг- = <с», — сг- = 0, так как по определению обрат-
ной матрицы = (i = l, ..г), где вг—f-й столбец еди-
ничной матрицы порядка г X г.
Входящие в (5), (8) величины ysft, v\ удобно записать
в виде табл. 1, которую принято называть симплекс-таблицей,
соответствующей угловой точке v. Для дальнейшего полезно за-
метить, что величины = (B~lAh)s, Ai = <c, пол-
ностью определяются заданием А, с и базиса угловой точки и
не зависят от Ь.
Таким образом, каноническая задача (1) может быть теперь
сформулирована в равносильной форме через небазпсные пере-
менные: минимизировать функцию (8) прп условиях (6) (или
(7)) и, кроме того, и >0. Конечно, от такой переформулировки
116
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
задача (1) проще не стала, но в новой ее формулировке, оказы-
вается, легче проследить за тем, как изменяется функция J(u)
при изменении небазисных переменных, и можно попытаться
выбрать эти переменные так, чтобы в новой точке w^U было
/(ш)<7(р). Однако если мы начнем изменять все небазисные
Таблица 1
Базисные перемен- ные и1 -А и8 иг ur+1 гЛ A un Свободные члены
и1 1 0 ... 0 ... 0 7i, г+1 ... Vife lli ... У in V1
0 1 0 0 У г, г + 1 Yife Yij ... У in vz
us 0 0 1 0 Vs, г+1 7sk 7 s; ... Узп vs
иг 0 0 0 1 7г, г+1 4rk 7r; ... Ут vr
Функция 0 0 0 ... 0 ^г + 1 ... ^n
переменные снизу, то вряд ли сможем проследить и за измене-
нием функции J(и) и за соблюдением ограничений и^О. По-
этому мы попробуем изменить лишь одну из небазисных пере-
менных, скажем, переменную ик (r+ 1 С к п), а остальные
небазисные переменные положим равными нулю. Тогда из соот-
ношений (7) получим
и1 = v1 — 4iku\ ..., z? = I? — ..., и* = vs — 4sku\ ...
..., ur = vT — ur+1 = ... = ик~1 = uk+i ==...== un = 0, (10)
или короче
и — v — (5-1Aft)i?, uJ = 0, j = r + 1, ..., n, j=£k, (11)
а функция (8) запишется в виде
Ци) = J(v)-&ku\ (12)
Наша ближайшая задача: выбрать номер к (r+l^fc^n) и
величину ик > 0 так, чтобы новая точка w, у которой fc-я коор-
дината равна ик, а остальные координаты определяются равен-
ствами (10), удовлетворяла требованиям Aw = b (u?^0),
(будет еще лучше, если удастся получить J(ip)<J(v)).
Что касается первого требования Aw = b, то как видно из соот-
ношений (7), равносильных (2), оно будет выполняться при
любом выборе ик. Анализируя знаки величин Aft, нетрудно
выяснить можно ли удовлетворить оставшимся двум требова-
§ 3]
СИМПЛЕКС-МЕТОД
117
ниям: w > 0, J(tr) У(р) , и указать правило выбора нужного
номера к п нужной величины ufe>0. А именно, рассмотрим
следующие три взаимоисключающих случая I—III.
Случай I. Справедливы неравенства
Аг= <с, В~1А^ — с^О, f = r+l, ..п, (13)
т. е. в нижней строке симплекс-таблицы 1 все Аг- неположитель-
ны. Как видно из (12), тогда невозможно добиться неравенства
J(и) </(у) при взятом выше специальном способе изменения
переменных (10) ни при каких к (г+1^к^п) и wft>0. Од-
нако это обстоятельство не должно огорчать нас, так как, ока-
зывается, при выполнении условий (13) рассматриваемая точка
является решением задачи (1). В самом деле, для любой точки
u^U = {u: и^О, Аи = 6} с учетом представления (4) и нера-
т п _
венств (13) имеем J (и) = <с, и) = ^С]иг + 2 u> +
г=1 г=г+1
+ 2 (е, В^А^и1 = \с, и + 2 В~1Акиг\ = <с, v) = J (р).
г=г+1 \ г=г+1 /
Таким образом, J(u)^J(v) при всех u^U, т. е. и —решение
задачи (1).
Случай II. Существует номер к (r+l^fc^n) такой, что
Aft>0, i = l, ..., г, т. е. В~1Ак^0. (14)
Это значит, что в симплекс-таблице 1 в к-м столбце, где нахо-
дится А*. > 0, нет ни одного положительного числа В этом
случае при всех uh^0 точка и, определяемая формулой (10)
(или (11)), будет иметь неотрицательные координаты и, следо-
вательно, будет принадлежать множеству U. Тогда, как видно
из (12), J(u) = J (v) — Akuh -> — оо при zzft->oo. Это значит, что
inf (е, и) = — оо, т. е. задача (1) не имеет решения.
и
Случай III. Существуют номера к, i (r+l^fc^n, l^i^
< г) такие, что
Afe>0, Yift>0. (15)
Это значит, что в к-м. столбце симплекс-таблицы 1, где нахо-
дится Afe > 0, имеется хотя бы одно положительное число
В этом случае множество индексов Ih = {i: ^>0} не-
пусто. Тогда для точки и, координаты которой определяются
формулами (10), согласно (12) при любом i?>0 будем иметь
Ци) = Z(v) — Akuh < Ци). Остается лишь позаботиться о выпол-
нении условия и^О. Как видно из формул (10) при уг7г^0, т. е.
i Ik, будем иметь и* = v{ — yikuh при любом выборе
uh^0. Если же > 0, т. е. то при слишком больших
значениях и\ а именно, при uk >» min и1/угк величина и* = иг —
~ 4ihUk станет отрицательной хотя бы для одного номера точек,
118 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
определяемых формулами (10), нужно ик взять так, чтобы 0^
uk <1 min pVYife- Пусть
^4
min = vs/ysk, s ge Ik. (16)
г-4
Поскольку множество Ik непусто и конечно, то хотя бы один
такой номер s существует. Величину где номера fc, s опре-
деляются из (15), (16), называют разрешающим элементом
симплекс-таблпцы 1.
Зафиксируем один из разрешающих элементов у8к и в фор-
мулах (10), (12) положим uh = vs/ysk. Получим точку 10 =
= (гр\ ..., ion) с координатами
W1 = v1 — Tih, wl = V1 — , zz?s-i = i/”1 —
Уsk *Sk *Sk
Ws = Vs — ysk^~ = 0, = v»+i —wr= vT—yrh^~,
Vsk ”sk ’sft
ZZZ+1— 0, ..., -- 0, wk = wk+1 = 0, .. wn = 0 (17)
Vsk
и с соответствующим значением функции
У(ш)=<с, w> = J(v) — ^kvs^sk^ J(v). (18)
В силу формул (7), (10) и условия (16) ясно, что w е U. Пока-
жем, что w — угловая точка множества U с базисом
Ai, ..., As~i, As+1, ..., Ar, Ак, (19)
получающимся из базиса точки v заменой столбца А& на Ак.
Учитывая, что ios = ior+l ==...= wh~l = wk+i = .. . = wn = 0, усло-
вие Aw = b можно записать в виде Л1ш1 + ... + Л8_1грв“1 +
+ As+iws+l + ... + Arwr + Ahwh = Ь. Согласно теореме 2.1 остается
показать, что система векторов (19) линейно независима.
Пусть для некоторых чисел аъ ..., as-i, as+i, ..., ar, ока-
залось, что
aiAt + ... + + а8+1Л8+1 + ... + arAr + akAk = 0. (20)
r r
Поскольку Ak = BB~rAk = 2 At ^B^A^ = 2 T0 113
г=1 г=1
(20)следует
2 щАг + ak 2 УгъА = 5 + afeYife) + czkyskAs == 0.
г=1,г^з г=1 г=1,г^8
Но система ..., As, ..., Аг является базисом точки v и, сле-
довательно, линейно независима. Тогда последнее равенство
§ 3]
СИМПЛЕКС-МЕТОД
119
возможно лишь при а< + ah^ik = 0 (j = l, ..., г, j=H=s, аАуаА = 0).
Но > 0, как разрешающий элемент, поэтому aft = 0. А тогда
все остальные аг = 0 (i = l, г, i^s). Таким образом, ра-
венство (20) возможно лишь при <Zi = ... = as-i = ae+i =...
. .. = аг = аА = 0, т. e. система (19) линейно независима. Тем са-
мым показано, что w — угловая точка множества Z7, причем си-
стема (19) является ее базисом, а и1, ..., и8”1, us+1, ..иг, г? —
ее базисными переменными.
Пользуясь соотношениями (7), нетрудно выразить новые ба-
зисные переменные и1, ..., и5"1, us+1, ..., ггг, ик через остальные
небазисные переменные. Для этого из s-го уравнения системы
(7) нужно выразить переменную uk:
-------— Us — 2j
Узк ysh ySk
(21)
(здесь и ниже 2 означает, что суммирование ведется по всем
7 = г+1, ..., п, исключая 7 = /с) и затем подставить ее во все
остальные уравнения этой системы. С учетом равенств (17)
получим
п
^ — v1— У, yijui =
3=г+1
п
= V1 — 2 — Ък
;=r+i
-----------us
ysk ysk
(22)
для всех f = l, ..., $ — 1, 5 + 1, ..., г.
Аналогично, подставляя выражение (21) для uh в (8), функ-
цию Ци) также можно выразить через новые небазисные пе-
ременные:
(23)
здесь мы учли равенство (18). Таким образом, базисные пере-
менные угловой точки iv и значение функции Ци) выражаются
через небазисные переменные этой точки по следующим
120
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
формулам:
и1 = w1 — y'lsus — Yi,r+1ur+1 — ... — —
— Yi,fc+i« — ... — Yinu ,
U '= W — yisU ~ Yi,r+1^ • • • yi,k—l^
' Ь-4-l ' П
— — ... — yinU ,
U 1 = W — ys-i,sU — ys-ltr+lU — ... — yS-l,k-lU —
' fe+1 ' ™
-- ys-i,k + lu — . . . — Ys-l,n^- >
s 4~ 1 s-J-l 's' т 1 ' k 1
U = W Ys+ljS^1 Ys+l,r+l^ • • • Ts+l,fe—1^
' fe+1 ' n
— ys+i,k+iu — ... — Y$+i,nu >
и = WT — yrsU — уГуГ+1и+1 — ... — yr,h-lUk~1 —
Уг,к+1^ * * • УгпЫ у
Uk = wk — yhsus — %,r+iz/+1 — ... — —
' fe+1 ' n
— Vk,k+iU — ... — TfenU ,
J (u) = J (w) — A^u — A^+1ur+1 — ... — —
— Aft.|.1izft+1 — ... — Anu ,
где w\ ..., ws~\ ws+i, ..., wr, wh n J(w) определяются формула-
ми (17), (18), a yij, Aj получаются из (21) —(23) приравнива-
нием коэффициентов при соответствующих неизвестных:
Yis = —i = 1, ..., s — 1, «+ 1, . •., г, 7^5=-Г; (24)
<sk Узк
Yij “ yij 77“ ysj, I = 1, ...,5 1, $+1, . . ., Г, y^j = r~~i (25)
rsk isk
j — r + 1, ...,fc — 1, к + 1, ...,n;
a; = -—,
w
A^Aj-Afe^i, j = r + 1, ..., fc-l, fc+l, ...,/г. (26)
Vsfe
Табл. 2 представляет собой симплекс-таблицу новой угловой
точки w. Таким образом, один шаг симплекс-метода, заключаю-
щийся в переходе от одной угловой точки v множества U к дру-
гой угловой точке ш, описан. Этот шаг формально можно истол-
ковать как переход от одной симплекс-таблицы 1 к следующей
§ 3]
СИМПЛЕКС-МЕТОД
121
симплекс-таблице 2 по формулам (17), (18), (24) —(26), в ко-
торых разрешающий элемент определяется условия-
ми (15), (16).
Эти формулы перехода были получены в предположении, что
базисные переменные угловой точки v имеют номера 1, ..г.
Нетрудно видеть, что если базисные переменные точки v имеют,
скажем, номера /1, ..., jr (l^/i< .. .<h^n), то можно выпи-
сать формулы
— 2 i = 1, . ..,r, J (и) = J (у)— 2 Д/^\
k^Iv
выражающие базисные переменные и функцию J(u) через не-
базисные переменные и аналогичные формулам (5) — (9). Здесь
{/1, • • •» /г\ УгА (7? -А к) j t 1, . . Г, /Ь
В = (А}1 ... Ajr), i = l,
Д/t = Д/t ~ i
г=1
табл. 3 представляет собой симплекс-таблицу точки v. Как и
выше, здесь нужно рассмотреть три случая.
Случай I.
Д^О, к&Ц. (13')
Случай II. Существует номер кФЦ такой, что
Aft>0, B~'Ah^0. (14х)
Случай III. Существуют номера к&1», такие, что
Да > 0, (В-МА)г = ЪА>0. (15')
Как и выше, нетрудно убедиться, что в случае I точка v яв-
ляется решением задачи (1), в случае II — inf <с, и> =— оо и
задача (1) не имеет решения, а в случае III можно выбрать
разрешающий элемент из условий
Дй>0, min vn/yik = Ivk = {i: /i <= Z®, yjft > 0}t (16')
i^Ivk
аналогичных условиям (15), (16), и затем осуществить переход
к следующей угловой точке w по формулам, аналогичным фор-
мулам (17), (18), (24)-(26).
2. Итак, описаны правила перехода от одной угловой точки
v множества U к другой угловой точке w, в которой
Возникает вопрос, когда 7(ш) = /(р) и когда /(ш)</(р)? Учи-
тывая, что поскольку по определению номеров s и к согласно
(15), (16) ДА>0, 7зь>0, a ps^0 из-за то из соотноше-
ний (18Д нетрудно усмотреть, что J(w) = J(v) тогда и только
Таблица 2
Базисные переменные и1 Т со us + CO 3 ... и? ur+l uk+1 un Свободные члены
и1 1 0 0 ... 0 Yi,r+i ... Kfc-1 0 Vl.fe+l ... Vm ш1
и8-1 0 1 Vs —1,8 0 0 Vs—l,r+i Vs—i.fe-1 0 Vs-l,fe+l ... Vs—i,n w5-1
0 0 Vs+i,s 1 0 Ys+I,r+1 Vs+I,fe-1 0 Vs+l,fe+l Vs+i,n ws+1
иг 0 0 Уг8 0 ... 1 Vr,r+1 Vr,fe-1 0 Vr,fe+1 ... Vrn wr
uh 0 0 Ук8 0 ... 0 Vfc.r+l ... Vfc,fe-1 1 Vfe,fe+1 ... y'kn wk
Функция 0 0 д; 0 0 Дг + 1 Afe-l 0 Afe+1 a; J(w)
Таблица 3
Базисные переменные u1 1?1 ... uii ... Js uj ... uir ... un Свободные члены
и?1 Тц 1 0 Vih 0 Tii ... 0 Ущ
Ji и Til 0 1 Tjfe 0 Vij ... 0 ... Уы
is и TS1 0 0 T5h 1 Vs; ... 0 Vsn Vs
Jr и Tri 0 0 Trfe 0 Vr; 1 Vrn Vir
Функция Ai ... 0 ... 0 ... Afe 0 Ai ... 0 ... /(p)
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
СИМПЛЕКС-МЕТОД
123
§ 3]
тогда, когда Vs = 0, т. е. угловая точка v вырожденная. Таким
образом, среди канонических задач имеет смысл выделять зада-
чи вырожденные и невырожденные.
Определение 1. Задача (1) называется невырожденной,
если все угловые точки множества U невырожденные. Если хотя
бы одна угловая точка множества U вырожденная, то задачу (1)
называют вырожденной.
В том случае, когда задача (1) невырожденная, все базисные
координаты угловой точки v будут положительны. В частности,
тогда Vs > 0 и согласно (18) 7(ш)<7(р). Далее, из формул (17)
видно, что следующая угловая точка w уже имеет п — г нулевых
координат: ws = wr+1 = ...== wh~l = wh+l = ... = wn = 0. Поэтому
в невырожденной задаче все остальные г координат точки w,
являющиеся базисными, должны быть положительными. А тогда
для всех i^Ih (i^s) из формул (17) будем иметь ip' —
= vs/^sk)> 0, v^^ik > vs/ysk, так что минимум в левой
части (16) достигается на единственном номере s^Ik. Это зна-
чит, что если номер к из условий (15) зафиксирован, то номер
переменной и3, которая выводится из числа базисных перемен-
ных, и разрешающий элемент симплекс-таблицы в невырож-
денных задачах определяются однозначно.
Итак, мы выяснили, что в невырожденной задаче с помощью
симплекс-метода можно осуществить переход от угловой точки,
не являющейся решением задачи (1), к другой угловой точке
со строгим уменьшением значения функции /(и)=<с, иУ. Учи-
тывая, что число угловых точек множества (2.3) конечно, за-
ключаем, что случай III (условие 15х) бесконечно повторяться
не может и процесс закончптся тем, что на каком-то шаге симп-
лекс-метода либо реализуется случай II (условие (14х)) и выяс-
нится, что inf (с, и) = — оо —задача (1) не имеет решения, либо
реализуется случай I (условие (13х)), означающий, что рас-
сматриваемая угловая точка является решением задачи (1).
Таким образом, показано, что если в невырожденной канони-
ческой задаче известна какая-либо угловая точка множества, то,
отправляясь от нее, с помощью симплекс-метода за конечное чис-
ло шагов можно выяснить, разрешима ли эта задача, и если
разрешима, то найти ее решение.
3. Перейдем к рассмотрению вырожденных задач (1). По-
смотрим внимательнее, к чему может привести применение симп-
лекс-метода, если v — вырожденная угловая точка. Если в этой
точке реализуется случай I или II, то выводы останутся преж-
ними: в случае I v — точка минимума функции <с, иУ на U,
а в случае II inf <с, и) — — оо; в обоих случаях процесс прекра-
щается. Остается рассмотреть случай III. Конечно, и в слу-
чае III может оказаться, что базисные координаты точки v с но-
мерами i s Ik будут положительными, и тогда, как видно из фор-
124
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
мулы (18), симплекс-метод приведет к новой угловой точке w
со значением функции Однако здесь возможна и
худшая ситуация, когда >0, Vs = 0. Ясно, что тогда s е Д и
минимум в (16) или (16') будет достигаться именно на этом
номере s. Из формул (17), (18) в этом случае получим w = v,
= Это значит, что в результате применения симплекс-
метода мы оказались в прежней же угловой точке и лишь за-
менили один ее базис А^ ..., Ат другим базисом (19).
Возникает вопрос: не приведет ли дальнейшее применение
симплекс-метода к бесконечному перебору базисов угловой точ-
ки у? Поскольку угловая точка имеет конечное число базисов,
то при фиксированном правиле выбора разрешающего элемента
(например, часто выбирают разрешающим элементом ту величи-
ну Ъь, У которой номера fe, s являются наименьшими среди всех
номеров, удовлетворяющих условиям (15), (16) или (16')) это
привело бы к так называемому зацикливанию, т. е. к бесконеч-
ному циклическому перебору базисов точки v. Оказывается, дей-
ствительно существуют примеры задач (1), в которых возможно
зацикливание (см. ниже упражнение 6.7). Можно ли избежать
зацикливания? Каким для этого должно быть правило выбора
разрешающего элемента?
Любое правило выбора разрешающего элемента, с помощью
которого можно избежать зацикливания в задаче (1), назовем
антициклином. К счастью, имеются достаточно простые анти-
циклины. Остановимся на одном из них. Пусть г0 — некоторая
угловая точка множества (2.3) с базисом А$ ...,А$г. К симп-
лекс-таблице точки vQ добавим еще г столбцов ..., ет еди-
ничной матрицы порядка г X г и в результате придем к табл. 4.
На каждом шаге симплекс-метода вновь добавленные столбцы
будем преобразовывать по тем же правилам, по которым преоб-
разовываются столбцы небазисных переменных, остающихся не-
базисными и на очередном шаге симплекс-метода (см. (25),
а также (4.11)).
Пусть уже сделано несколько шагов симплекс-метода с рас-
ширенной симплекс-таблицей и найдена очередная угловая точ-
ка Vi, пусть в результате преобразований в дополнительных
столбцах первоначальных ..., ег появились столбцы Д, ..., dr,
где dj имеет координаты dlh ..., drj (/ = 1, ..., г). Пусть табл. 5
представляет собой расширенную симплекс-таблицу точки vt —
в ней для простоты изложения предполагается, что базисом vt
являются столбцы Ah ..., Аг (как уже отмечалось, этого всегда
можно добиться перенумерацией переменных). Пусть Дь > 0,
Д = К: 1 С i С г, > 0} =# 0.
Образуем множество Л1=($: $ Л, min = z//ysJ. В не-
I J
вырожденной задаче, как было замечено выше, множество 7М
всегда состоит из единственного номера s. В вырожденных за-
сот
со
Таблица 4
Базисные переменные и1 • • • V?s ... ип Свободные члены et es er
и?1 Тц Т1Л 0 Tin 1 0 0
is и Тц ’ ’ • Vsfe 1 • • • Tsn Vis 0 • • • • • 9 1 0
Эг и Тц • • • Trfe 0 • • • Vrn vir 0 0 1
Функция Л1 Aft 0 д„ J(v)
Таблица 5
Базисные переменные и1 и* us ur ur+i nA un Свободные члены d2 dm dp
и1 1 0 0 0 Vl.r+1 Yife Tin V1 dll d12 dlm
и* 0 1 0 0 Ti,r+1 YiA V in иг dil di2 dim dir
us 0 0 1 0 Ts,r + 1 ... У&п vs dsi ds2 dsm dsr
ur 0 0 0 1 Tr,r+1 Yr/t Ут vr dn dr2 drm drr
Функция 0 0 0 0 ^r+1 дь J(v)
СИМПЛЕКС-МЕТОД
126
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
дачах это не всегда так, и множество 1М может состоять из двух
и более номеров. В последнем случае образуем множество Т\2 =*
== (5: se Ihu min d^ik = d51/y5ftL Если уже определено множе-
I J
ство Ikm (m^2) и оно содержит не менее двух номеров, то обра-
зуем множество
^ktrn+l = $ €= I km, min = ^sm/Tsfel*
I J
Ниже будет показано, что в конце концов мы получим множе-
ство 1Ы (l^Z<r+l), состоящее из единственного номера $,
причем все предыдущие множества 1м (i = 1, ..., I — 1) будут
содержать не менее двух номеров.
Выведем переменную с полученным таким образом номером
s из базисных и вместо нее в базисные введем переменную и\
Оказывается, применение на каждом шаге симплекс-метода опи-
санного правила выбора номера s позволяет избежать зацикли-
вания, и в результате через конечное число шагов симплекс-ме-
тода с расширенной симплекс-таблицей процесс закончится реа-
лизацией случая I или II. Антициклин для задачи (1) описан.
Строгое обоснование этого антициклина дается в § 4.
Следует заметить, что хотя среди прикладных задач линей-
ного программирования вырожденные задачи встречаются до-
вольно часто, но зацикливание бывает крайне редко. Кроме того,
использование антициклина на каждом шаге симплекс-метода
приводит к заметному увеличению машинного времени ЭВМ,
требующегося для решения задачи. Поэтому на практике чаще
всего пользуются упрощенным правилом выбора номеров к и s
из условий (15), (16) или (16'), причем если выбор здесь неод-
нозначный, то берут наименьшие номера, удовлетворяющие ука-
занным условиям. И лишь в том случае, когда обнаруживается
зацикливание, принимают описанный выше или какой-нибудь
другой антициклин, а после того, как зацикливание будет пре-
одолено, снова возвращается к упрощенному правилу выбора
разрешающего элемента. Любопытно отметить, что длина циклов
в задачах линейного программирования меньше шести не бывает.
§ 4. Антициклин
1. Как было выше замечено, с практической точки зрения проблема за-
цикливания, по-видимому, не представляет особой важности. Но с теорети-
ческой точки зрения указание хотя бы одного правила выбора разрешаю-
щего элемента, позволяющего избежать зацикливания, принципиально
важно для полного обоснования симплекс-метода для канонической задачи
Ци) — <с, u>->inf; и е U = {и е Еп: и 0, Аи = &}. (1)
Покажем, что описанное в конце § 3 правило выбора разрешающего
элемента в самом деле является аптициклином. С этой целью рассмот-
§ 4j
АНТИЦИКЛПН
127
рим так называемую возмущенную каноническую задачу
J (и) = <с, и) -> inf; и е иъ = < и е Еп:
(2)
получаемую из задачи (1) возмущением правой части уравнения Аи = Ь.
Здесь 8г — z-я степень числа 8 > 0, Ri — i-й столбец какой-либо невырож-
денной матрицы R порядка г X г; как и в § 3, предполагаем, что А — мат-
рица размера г X п (г = rang А < п). Ниже мы покажем, что при малых
е > 0 и удачном выборе матрицы R множество Ue будет непустым, а зада-
ча (2) — невырожденной. Затем исследуем задачу (2) при малых 8 > 0 с
помощью симплекс-метода и на основе этих исследований выработаем анти-
циклин для задачи (1).
Лемма 1. Пусть матрица R невырожденная и выбрана так, что мно-
жество Ue непусто при всех е (0 8 8о, 8о > 0). Тогда найдется
81 (0 < 8i Со) такое, что: 1) при всех 8 (0 <Z 8 < 81) задача (2)
рожденная^ 2) если — (у1 (7), ..., ип(ц))—какая-либо угловая
множества (0 <Z 7 <С 81) с базисом Aj , ..., А^, то условия
л,. ...+А. Л = Ь(е), р* = 0,
*1 Jr
при всех 8 (0 8 <Z 8i) однозначно определяют угловую точку i?(e) =
== (у1 (е), ..., ип(8)) множества Ue с тем же базисом; в частности, при
s == 0 из (3) получим угловую точку v = v(0) множества (2.3) с базисом
А- , ..., А- .
Доказательство. Возьмем произвольную линейно независимую
систему столбцов где г = rang А. Обозначим через В —
= (А^ ... А-^ квадратную невырожденную матрицу. Тогда система Аи =
= &(е) определяет единственную точку и = и(е) = (и' (s), ... ип(г)) с коор-
динатами иг(е)=0 при i¥=ji (Z = 1, w.г), а остальные координаты
и (е) = (и31 (е), . •., иг (е)) определяются равенствами и31 (s) = (#-1д)г +
(Z == 1, ..., г) и представляют собой многочлены пере-
число
невы-
точка
(3)
1 = 1
+ 2
г=1 г
менной 8 степени не выше г; последние равенства можно записать в век-
торной форме
и (6) = B~1b (8) = B~4 + 2
Поскольку det 7? #= О, det В 0, то det (5~>17?) = det В~х • det В «/= 0. Это
значит, что все строки матрицы B~AR ненулевые. Поскольку именно эле-
менты Z-й строки (B~xRr)1 этой матрицы служат коэффи-
циентами многочлена и1 (г), то ясно, что ни один из многочленов и1 (е)
(Z = 1, ..., г) не является тождественным нулю. Тогда каждый многочлен
и 1 (е) имеет не более г положительных корней или же таковых вовсе не
имеет. Пусть ц — наименьший пз всех положительных корней всевозмож-
ных многочленов иг (е), построенных по всевозможным линейно незави-
симым наборам А- , ..., столбцов матрицы А. Поскольку таких мно-
гочленов конечное число, то величина ц имеет смысл и ц > 0, если хотя
бы один из этих многочленов имеет хотя бы один положительный корень;
если же ни один из этих многочленов не имеет ни одного положительного
корня, то положим ц = оо.
128
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
Возьмем произвольное 8 (О <С 8 < 8i = min {s0; ц}) и произвольную
угловую точку v(8) множества Us с базисом Л^, ..., Л^. Тогда базисные
координаты v (е) = (t/1 (s), .. .,vr (е)) точки t?(e), определяемые усло-
виями Л^ i/^s) + ... + Aj = Bv (е) = Ъ (е), представимы в виде
V (g) = в-1& (е) = В-Ч + 2 е{ (В^В^
г=1
и, следовательно, принадлежат рассмотренному выше множеству много-
членов, а небазисные координаты, как им и полагается, равны нулю. Из
того, что у(е) е £78, следует, что г7(е) 0. Но тогда в силу выбора 8 из
0 < 8 < 81 имеем i?(s) Z> 0, т. е. v(z) —невырожденная угловая точка
множества Ue. Отсюда следует невырожденность задачи (2) при всех 8
(0 < 8 < 81). Утверждение 1) леммы доказано.
Пусть —какая-либо угловая точка множества (0 <Z 7 < 81) с
базисом Л. , Л. , т. е.
h Jr
^•/4?) + ...+^.r^r(Y) = 57(V)=&(Y), р{(Т)=0,
где 5 = (Л ... 4jr), i>(Y) — (Л(т), ...,Л(?)). По доказанному выше
г? (7) >0. Покажем, что точка 1?(е), определяемая условиями (3), является
угловой точкой множества U& при каждом 8 (0 8 < 81). Для этого преж-
де всего заметим, что условия (3) означают, что Av (г) = &(е) при 0 8 <
< 81. Перепишем условия (3) в виде
vlfi) = B~1b+ 2 »*(8) = 0, Z = l, ...,г. (4)
1=1
Отсюда и из определения 81 видно, что ни одна из координат вектора г?(е)
не может обратиться в нуль ни при каком 8 (0 < 8 < 81). Но нам уже из-
вестно, что г (7) >> 0. С учетом непрерывности v(&) тогда заключаем, что
г? (8) >0 при всех 8 (0 < 8 < 81). Отсюда и из (4) при 8->+0 имеем
lim v (е) = B~rb = v (0) = v 0.
8~* +0
Таким образом, показано, что точка i>(e), определяемая условиями (3),
при всех 8 (0 8 <Z 81) имеет неотрицательные координаты. Следовательно,
у (8) е U& (0 8 < 81). Из (3) с помощью теоремы 2.1 заключаем, что
i?(e) —угловая точка множества Ue с базисом А- , ..., Л^ при каждом 8
(0^8<8i).
2. Предполагая, что условия леммы 1 выполнены, рассмотрим подроб-
нее один шаг симплекс-метода для задачи (2) при фиксированном 8
(0 < 8 < 81). Пусть i?(e) = (^(е), ..., i?n(e))—какая-либо угловая точка
множества Ue. Без ограничения общности можем считать, что столбцы
Л1, ..., Аг являются базисом, а координаты (у1 (8), ..., i?r(8)) —ба-
зисными координатами этой точки. Согласно лемме 1 задача (2) невы-
рожденная при 0 < 8 < 81, поэтому
v (б) >» 0, pr+1 (8)1= ... = vn = 0.
Обозначим В == (Л1 ... Лг). Поскольку Av (б) =5г;(е) = д (е), то г?(е) =
= В~ХЪ > 0. Умножая уравнение Аи = Ви + Лг+1иг+1 + Апип =
г
= Ь (е) == Ъ + 2 на слева, получаем следующее соотношение
§ 41
АНТИЦИКЛИН
129
между базисными переменными и = (и1, .иг) и небазисными перемен-
ными ur+1,.ип точки v(е):
«+ 2 B-UftMft=fi-16(e) = p(e)=B-16+ 2 (5)
k—r+1 j=l
Обозначим
Тогда соотношение (5) можно переписать в следующей покоординатной
форме:
И1 + Yi,r+i“r+1 + • • • + Tift + • • • + Ym“n = 1,1 + dii8+ • • • + Й1Х»
+ ?s>r+1“r+1 + • • • + + • • • + = »* + + • •+ d4rer,
...................................................................(6)
иг+ Vr>r+1“r+1 + • • • + Тгй“Й+ • • • + ?m“n= р” + dnG + • • • "Hrrer,
r
а для базисных координат v (s) = B~Ab + 2 e? П0лУчим
j=i
(e) = P1 + 2 d^, l = l,...,r. (7)
7=1
Далее, по аналогии c (3.8), с помощью равенств (6) или (7) нетрудно
выразить функцию J(и) = <с, н> через базисные переменные:
/(«) = J(p(e))- 2 ДЛ Д{ = <;,£“%>-с., (8)
г=г+1
Учитывая, что Д$=<ё, —а = 0 при i = 1, ..г, на основе пред-
ставлений (6), (8) выпишем симплекс-таблицу для угловой точки v(в),
выделив в ней для векторов d\, ..., dr дополнительные столбцы. В резуль-
тате получим табл. 6.
Заметим, что точка v — (vx, ..vn) = р(0) согласно лемме 1 является
угловой для множества U с тем же базисом 41, Аг, что и точка v(в).
Ясно также, что выражения (3.5), (3.8) базисных переменных и =
= (и1, ..., иг) угловой точки v и функции Ци) через небазисные перемен-
ные ur+1, ..., ип получаются соответственно из (6), (8) при 8 = 0. Это зна-
чит, что выписанная ранее табл. 5 является симплекс-таблицей точки р,
расширенной дополнительными столбцами di, ..., dr; кстати, теперь выяс-
няется, что элементы du, ..., dtr i-й строки табл. 5 представляют собой
коэффициенты многочленов (7).
Опираясь на симплекс-таблицу 6, сделаем один шаг симплекс-метода
из угловой точки v (е) для задачи (2) и посмотрим, чему это будет соот-
ветствовать в задаче (1). Как и в § 3, рассмотрим три случая.
Случай I. В нижней строке симплекс-таблицы 6 величины Д< О
при всех i = г + 1, ..п. Тогда, как и в § 3, нетрудно показать, что
у(8) — решение задачи (2), т* е. <с, v (8)> = inf <с, и) > — <х>. Теперь
U9
130
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ, 3
аблипа
»> • U • и • к 434 ; 4з* ; 4Г • 4з"
* :::::::
е : 6 8 • е м • «ей • CQ • U 43 .43 .43 .43
• :::::::
43 (Я * сч * еч * еч 434 • 43* I 4^ : 4?
43 т-4 • .0 * 43 43 • 43 • 43
Свободные члены -J * М- * во • . а • й> . ь • » S ''sT
$ Yin Yin У&п Ут 1 е <
• ::::::: •
л* ле • ле • ле • ле ле <
:::::::
1-4 + + + + + ^т-4 ^=О г-1 +
*3 о : о : о : ^4 О
« :::::::
«0 о : о : -гн : о о
• ::::::: :
*1з о : : о : о о
• • ::::::: •
3 о : о : о о
Базисные пе- ременные Функция
§ 4]
АНТИЦИКЛИН
131
заметим, что в нижней строке симплекс-таблицы 5 угловой точки v = и (0)
находятся те же величины А< 0 (i = r + l, Следовательно,
v = у(0) —- решение задачи (1), т. е.<с, v) = inf <с, и) > —оо.
Случай II. Существует номер к (г + 1 к п) такой, что Ал >
> 0 и Jik 0 при всех tel, ..., г. Тогда* как и в § 3, нетрудно показать,
что ini <с, и) = — оо. Поскольку в симплекс-таблице 5 угловой точки
us
v == v (0) в столбце переменной ик находятся те же величины Ал > 0,
Ъл^О (г = 1, ..., г), то и в задаче (1) будем иметь inf <с, и) == — оо.
Таким образом, в случае II задачи (1) и (2) не имеют решения.
Случай III. Существуют номера к, i (г 4- 1 к n, 1 i Н
такие, что Ал > 0, у, л > 0. Тогда множество Ik — {i: 1 I г, 1<л > 0)
непусто и из условия
. v* (е) Vs (е)
у in = Ъп 1
(9)
где у* (в) задано выражением (7), определяем номер 5. Поскольку задача (2)
невырожденная, то номер 5 и, следовательно, разрешающий элемент ^,л
из (9) определяются однозначно. Тогда, рассуждая так же, как в § 3, вы-
ведем из чпсла базисных переменную н*, а переменную ик введем в число
базисных и придем к следующей угловой точке и?(е) == (и?1 (в), ..., шп(е))
с координатами
г / г \
wi (в) = (е) — ~ V8 (8) = и* + V d{d — — I v8 + 'V ds-z? I =
У th jTi \ jTi J
= -II* v‘ + V pH - dsj
yik 11 ysk 3
i = 1, ..., s — 1, s + 1,
(10)
^(8)=^=X + V^le\
У&П У&П j_=1
w1 (s) =0, i = s, r + 1, ..., к — 1, к + 1, ..., n.
Таким образом, в симплекс-таблице угловой точки ш(в)
свободных членов будут находиться числа
в
столбце
11 v i i v
w =v =v
., IP5 1 = vl
v°
-Vs-l.fe ?8S*
W = V'
v rr v k v
=’ ’ "Г»’
а в j-м дополнительном столбце (j = 1,г) появятся величины
, Tih , dsj
dii = dij‘~^dsj, i = l.....s-1, »+l, = —. (11)
Это значит, что дополнительные столбцы di симплекс-таблицы в задаче (2)
преобразуются по тем же правилам, по которым преобразуются столбцы,
соответствующие небазисным переменным, остающимися небазисными ж
132
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
на следующем шаге симплекс-метода (ср. с (3.25)). Далее, из (8), (10)
следует, что
J (w (е)) = J (V (в)) — дй < J (у (в)).
Наконец, исходя из равенств (6) и пользуясь формулами, аналогичными
(3.21) — (3.23), нетрудно показать, что остальные элементы 7^, Aj симплекс-
таблицы 6 при переходе к следующей угловой точке и? (8) преобразуются
по прежним же формулам (3.24) — (3.26). Описание одного шага симплекс-
метода в задаче (2) закончено.
Теперь вернемся к задаче (1). В угловой точке р = р(0) в качестве
разрешающего элемента выберем тот же элемент который обеспечил
выше переход от точки v(&) к точке Такой выбор разрешающего
элемента в задаче (1) вполне возможен, так как в симплекс-таблице 5 угло-
вой точки v = v (0) в столбце переменной ик находятся те же величины
Ал > 0, 7<л > 0 при i е Za, 7*а < 0 при i ф Za, что и в симплекс-таблице 6.
Кроме того, ниже в лемме 2 будет показано, что для того же номера
который был однозначно определен из условия (9), справедливо равенст-
во (3.16).
Конечно, в отличие от условия (9) в условии (3.16) минимум может
достигаться и на некоторых других, не совпадающих с 5 номерах из Za,
поскольку невырожденность задачи (1) мы здесь не предполагаем. С вы-
бранным разрешающим элементом 7«а сделаем один шаг симплекс-метода по
формулам (3.17), (3.18), (3.24) — (3.26) и из точки v — z?(0) придем к сле-
дующей угловой точке w. Сравнение формул (3.17) и (10) показывает, что
ш = ш(0); ясно также, что расширенная симплекс-таблица угловой точки
w = м;(0) может быть получена из симплекс-таблицы точки w(&) при 8 — 0.
Отсюда следует весьма важный для дальнейшего вывод: если в возмущен-
ной задаче (2) с помощью симплекс-метода совершается переход от угловой
точки р(е) к другой угловой точке с помощью разрешающего элемен-
та 7вА из (9), то в задаче (1) при выборе того же разрешающего элемента
7«а произойдет переход от угловой точки и = р(0) к угловой точке w = w(0).
Рассмотрение случая III закончено.
3. Теперь уже нетрудно дать обоснование антициклина, изложенного
в конце § 3. Пусть = (г>р ..., vty — некоторая угловая точка множества U
с базисом Л^,...,Л^. Обозначим В = (Л^. . ..Л^), А*)*
Согласно теореме 2.1
Av = Л. iA + ... + Л- = Bv± = &, v{ = 0, ] 1 = 1, ..., г,
A J? Л A *
так что v\ = B~'b 0.
Рассмотрим следующую возмущенную задачу:
<с, и) -> inf; и е ил = {и: и 0, Аи = Ъ (8) = Ь + V 8*Л- >, (12)
I i=l J
получающуюся из задачи (2) при В. — (А$ ...А^—В. Возьмем точку
vi (8) = (pi (8)> • • • > (8)) с координатами
р'1 (е) = р7/+ е’, 1^(8) = 0, t = l,...,r.
Напоминаем, что здесь и в (12) 8* — i-я степень числа 8 > 0. Поскольку
vi > 0, то ясно, что vi (е) > 0, причем v1 (s) = ( А (8), ..., vjr (&)) > 0 при
АНТИЦИКЛИН
133
§ 4]
всех 8 > 0. Кроме того,
(в) = 2 (в) = A. (v}i + е9 = b + 2 А} 8{ = Ь (в).
1=1 1=1 1=1
i=i
Следовательно, щ(8)еС78 при всех в > 0, причем согласно теореме 2.1
Pi(e) — угловая точка множества (7е с тем же базисом Л , .... А- , что и
точка щ. Полезно также заметить, что щ = щ(0).
Таким образом, множество С7е, образованное из множества U с по-
мощью невырожденной матрицы R = В, непусто при всех 8 >* 0. Согласно
лемме 1 тогда задача (12) невырожденная при каждом в (0 < в < 81). При-
меним к задаче (12) симплекс-метод, беря в качестве начальной угловой
точки множества U& введенную выше точку щ(б) и считая, что 0 < 8 < 81.
В силу невырожденности этой задачи мы получим конечную последователь-
ность угловых точек щ(е), ..., vm(e,) из множества U6 со значениями функ-
ции J(pi(8)) > ... >J(z?m(s)), причем в последней точке реализуется
либо случай I, либо случай II.
Из проведенного выше исследования следует, что если применить сим-
плекс-метод к задаче (1), беря в качестве начальной точки щ и выбирая
на каждом шаге те же разрешающие элементы, которые в задаче (12) при-
вели к последовательности vi(e), ..., pm(s), то получим последовательность
угловых точек pi = P|(0), ..., pm = pTO(0), причем в последней точке vm
будет реализовываться соответственно либо случай I, либо случай II. Выше
было выяснено, что в случае I vm(&) — решение задачи (12), a vm = vm(Q) —
решение задачи (1), а в случае II задачи (12) и (1) не имеют решения.
Тем самым показано, что если задачу (1) решать симплекс-методом,
выбирая на каждом шаге разрешающий элемент с помощью возмущенной
задачи (12) указанным выше способом, то зацикливания не будет и за
конечное число шагов этого метода выяснится, имеет ли задача (1) реше-
ние, и если имеет, то оно будет найдено.
4. Однако изложенный способ, позволяющий избежать зацикливания
и имеющий принципиальное значение для обоснования симплекс-метода,
пока что не слишком удобен для практического использования, поскольку
требует рассмотрения возмущенной задачи (12) при достаточно малых и
заранее неизвестных 8 > 0. Нельзя ли все-таки определить разрешающий
элемент на каждом шаге симплекс-метода, явно не прибегая к возмущенной
задаче (12)? Оказывается, можно.
Чтобы понять, как это делается, вспомним,, как выбирается разрешаю-
щий элемент в задаче (2) (или (12)): сначала фиксируется номер к
небазисной переменной с величиной Д& > 0 (если таких к несколько,
то можно из них выбрать наименьший), а затем из условия (9) одно-
значно определяется номер 5 и тем самым находится разрешающий
элемент ^8h. Важно заметить, что коэффициенты многочленов р*(е), опре-
деляемые формулами (7), можно узнать, явно не привлекая возмущенную
задачу (2),— эти коэффициенты расположены в столбце свободных членов
и дополнительных столбцах расширенной симплекс-таблицы (см. табл. 4, 5).
В частности, для начальной точки v\ с базисом А , ..., А^ в силу выбора
матрицы R = ( — в имеем dj = B~lAj = ej, что и отражено
в табл. 4, а в дальнейшем при переходе от одной угловой точки к следую-
щей величины у-го дополнительного столбца преобразуются по формулам
(11), аналогичным формулам (3.25).
Таким образом, коэффициенты многочленов
vi (8) .
S /. (8) = Ci0 + CU8 + . . . + eir8r
на каждом шаге симплекс-метода могут быть определены без явного при-
влечения возмущенной задачи по формулам: ао — v^ik, dj = dijl^ih
134
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
0 = 1, w.., г). Заметим, что все эти многочлены различны. В самом деле,
если бы /<(в) =з/т(е) при i=& т, то коэффициенты {с<4 и {cmj} были бы
равны: сц=2Ст) или dtj = dmjW'Tmfc (/ = 1, г). Это значило бы, что
пропорциональны i-я и m-я строки в матрице D = (d\ ... dr) из дополни-
тельных столбцов расширенной симплекс-таблицы. Однако это невозможно,
так как на каждом шаге матрица D невырожденная — она является произве-
дением невырожденных матриц вида {А- ... Л^'“1на R.
Таким образом, приходим к следующей задаче: задано конечное число
различных многочленов /«(в) = ^(е)/^ (i е h) и требуется найти
min (в) при достаточно малом, но заранее неизвестном 8 > 0, Здесь нам
<^4
будет полезна
Лемма 2. Пусть дано множество многочленов
fi (в) = Cio + С<18 + . . . + Ctr8r, 0 < 8 < 81, i е So,
куррентным образом строить множества SQ, S1 = Js: seSQ, ceo = min
степени не выше г, среди которых нет совпадающих* So — конечное множе-
ство номеров. Тогда существует число 82 (0 < 82 81) такое, что min (8)
будет достигаться на единственном многочлене, номер которого не зависит
от 8 (0 < в < 82). Для определения номера этого многочлена нужно ре-
cio}> • • •
• • •, Sm+1 = J s: s e Sm, = min cim L ... до тех пор, пока не будет обна-
[ J
ружено множество Si (0 I г + 1), состоящее из единственного номе*
pa s, который и будет искомым номером.
Доказательство. Если множество So состоит из единственного
номера s, то утверждение леммы тривиально. Если же So состоит более чем
из одного номера, то перейдем к рассмотрению множества Si. Из определе-
ния множества Si следует, что все многочлены /, (в) с номерами s е Si име-
ют один и тот же младший коэффициент св0 = min eiQ. Возможно, что
Si ss So. Тогда положим eoi = 81 и заметим, что min Ц (в) = min (в) при
iSS0 iSSj
всех в (0 <. 8 < 801). Если Si ^ So, т. е. S0\Si =7^ 0, то положим
eoi = min [1; ei’ £ (ie^s cio ~ C«o)’ s e 5i) > °«
где c = max У I |. Тогда для всех s e Sh p e So \ Sh 0 < 8 < eOi имеем
f«(s) c.o + се < CpQ — с® t. e. /«(e)</p(8). Это значит, что
min fi (в) при всех 8 (0 < s < 801) может достигаться лишь на многочленах
с номерами 5 е Sb т. е. min f, (8) = min L (в) < fn (в) при всех в (0 < в <S
< 801) и всех р ф Sp В частности, если Si состоит из единственного номера $,
то этот номер будет искомым для всех 8 (0 < 8< sOi = 82) и лемма будет
доказана. Если же Si состоит более чем из одного номера, то перейдем к рас-
смотрению множества S2 и т. д.
Пусть уже рассмотрены множества So э Si э ... э Sm (1 тп г),
найдено число 80т > 0 и показано, что: 1) min f. (в) = min Л (в) < /о (в) для
ieso i=Sm ”
всех 8 (0 < 8 < 80т) и всех р Sm; 2) все многочлены /« (в) с номерами
f 4]
АНТИЦИКЛИН
135
9 се Sm имеют одинаковые коэффициенты при степенях е0, е1, » *., в™-1;
3) Sm состоит более чем из одного номера.
Рассмотрим множество Sm+1 = s е Sm, сгт = min cjml Отсюда с
учетом индуктивного предположения 2) заключаем, что все многочлены
/а(е) с номерами s^Sm+i имеют одинаковые коэффициенты при степенях
e®j 8!1, .,8т. Возможно, ЧТО Sm+i = Sm. Тогда ПОЛОЖИМ во, т+1 = 8отп > О
и с учетом индуктивного предположения 1) заметим, что ттД(е)=»
ies0
= min fi (8) < f (8) при всех 0 < в < 80, m+1, p ф SmJtA,
ге8т+1
Если же Sm+i Sm, то положим
e0,m+l = “inQ cim ~ s s Sm+1] > 0.
I \b=sm\sm+i J J
Тогда для всех s e Sm+i, P e Sm \ Sm+b 0 < 8 < 80, m+i имеем
/«(8) c»0 + C.i8 + ... 4- Ca, + 8Tn(e<m + 8C) <
< Cao + Cal8 + . . * + C*, m~i8m“'1 + 8W(cpm — SC) = Cpq + Cpl8 + . • •
• .. + CPt m-ie**-1 + CpmBm — 8w+1C fp (8),
t. e. f»(&) < /р(е). Это значит, что min (в) при всех 8 (0 < 8 < е0, m+i)
может достигаться лишь на многочленах с номерами s е Sm+i, т. е.
min Д (в) = min Д (в) < / (в) при всех 8 (0 < е < е0, m+i) и всех
ies0 tesm+1 v
р ф. Sm+l-
Если £то+1 состоит из единственного номера $, то он и будет искомым
номером для всех в (0 < е < s0, m+i = в2) и лемма будет доказана. Если
же Sm+i состоит более чем из одного номера и т < г, то переходим к рас-
смотрению множества Sm+2 и т. д. В самом худшем случае мы доберемся
до последнего множества «$7+1 = Sr, c&r = min с.г}, зная, что
min ft (в) = min Д (8)<Д(е), р ф ST+\, 0 < е < е0, г+ь и что все много-
ies0 iesr+1 ₽
члены Д(е) при se5r+i имеют одинаковые коэффициенты при степенях
8°, ei1, 8Г. Однако по условию леммы среди многочленов {/«(в), I е 5о)
нет двух одинаковых. Следовательно, множество Sr+i будет состоять из
одного номера $. Остается принять 82 = 8о, г+ь
Если в лемме 2 взять Д(е) = »*’(8)/7а (i^h==S0) и применить изло-
женное в ней правило определения номера s, на котором достигается
min v1 (8)/yife, то мы получим именно тот самый антициклин, который был
описан в конце § 3. Этот антициклин в литературе часто называют лекси-
кографическим правилом выбора разрешающего элемента. Поясним это на-
звание.
Определение 1. Вектор а = (а1, ..., ат) называют лексико графике*
ски положительным и пишут а 0, если а =/= 0 и первая из отличных от
нуля координат вектора а положительна. Вектор а е Ет называют лекси*
кографически большим вектора b е Ет и обозначают а )> &, если а — & 0.
Другими словами, а > Ь означает, что а1 > Ь1 или же а1 = но а2 > д2,
или же а1 == &1, а2 = Ь2, но а3 > &Ч т. д. Для любых а, Ь е Ет выполнено
одно и только одно из соотношений: а Ь, b а или а == Ъ, Ясно, что если
а >> &, Ъ >> с, то а с. Упорядочение множества векторов в их лексикогра-
фическом убывании вполне аналогично упорядочению слов в словарях, что
136 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
и объясняет присутствие слова «лексикографический» в приведенном опре-
делении.
Нетрудно видеть, что в лемме 2 с помощью цепочки множеств So =► Si э
Э ... эй приводится лексикографическое упорядочение век-
торов {с< = (с<о, си, ..с«г), i е So}: ср > а для всех i <= 8т, р ф Sm, а век-
тор с9 с номером s из одноэлементного множества Si представляет собой
лексикографический минимум на множестве {с<, ie So}, т. е. ср >- с, для
всех ре So, s. Таким образом, согласно лемме 2 минимум конечного
числа различных многочленов при всех достаточно малых положительных
значениях аргумента достигается на том многочлене, вектор из коэффи-
циентов которого является лексикографически наименьшим среди всех
векторов из коэффициентов рассматриваемых многочленов.
§ 5. Выбор начальной угловой точки
Выше при описании симплекс-метода для канонической
задачи
J(и) = <с, иУ -> inf; ие U = {и еЕп: Аи == b} (1)
мы предполагали, что нам уже известна некоторая угловая точка
множества U и что система Аи = Ь уже записана в виде (3.5),
где г = rang А. Возникают вопросы: как узнать, не пусто ли
множество
U = {и^ Еп- и>0, Аи = Ь}, (2)
где А — матрица размера т X тг, Ъ — вектор из Emti Если это
множество непусто, то имеет ли оно хотя бы одну угловую точ-
ку и как найти ее? Как исключить из системы Аи = Ъ линейно
зависимые уравнения и привести ее к виду (3.5)? Ниже будут
даны ответы на все эти вопросы. Замечательно то, что для ответа
на них может быть использован симплекс-метод.
1. Можем считать, что Ъ > 0, так как если &г < 0 при неко-
тором i (1<г^тп), то соответствующее г-е уравнение (Аи)*~Ь*
из (2) можно умножить на —1. Наряду с основными перемен-
ными u = (l?, ..., ип) введем вспомогательные (искусственные)
переменные ip = (wn+1, ..., un+m) и в пространстве Еп+т пере-
менных 2 = (и1, ..., ип, ..., un+tn) = (u, w) рассмотрим следующую
каноническую задачу линейного программирования:
Л£г) = uw+1 + ... + ип+т -> inf;
zeZ = [z:z=“ е.Еп+т, z>0,, Cz = Au + w = b). (3)
Систему Au + w = Ъ перепишем в покоординатной форме
ЛиП1 + ... + ainun + un+1 = Ь1,
«21М1 + ... + а2пип + un+2 « Ь2, (4)
ami»1 +.♦♦ + атпип + ип+т = Ьт.
§ 5] ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ 137
При un+1 = ... = un+m = 0 система (4) очевидно равносильна си-
стеме Аи = Ъ. Множество Z непусто: оно содержит, например,
точку zo = (O, &)>0. Более того, нетрудно видеть, что точка ze
является угловой точкой множества Z с базисом из последних
т столбцов в1, ..., ет матрицы С = (4, £), где Е — единичная
матрица размера т X т (т = rang С > rang А = г). Важно также
заметить, что из системы (4) легко выразить базисные перемен-
ные ip = (wn+1, ..., ип+т) угловой точки z0 через небазисные:
w = Ъ — Аи — b — AiU* —... — Апип.
Таким образом, задача (3) уже записана в форме, удобной для
применения симплекс-метода с начальной угловой точкой z0.
Поскольку Д (z) > 0 при всех z <= Z, то случай inf J\ (z) = — оо
z
здесь невозможен. Поэтому, взяв в качестве начальной точку z0,
с помощью симплекс-метода, описанного в § 3, за конечное чис-
ло шагов найдем угловую точку z* = (р1? wr) множества Z, яв-
ляющуюся решением задачи (3): и± = (у}, ,.., v„), wr = (^+1,..«
..., v1n+m)J inf Ji (z) = Ji (z#) = U?+1 + .. . + > o.
z
Имеются две возможности: или Ji(z^.)>>0, или J\ (z*) = 0<
Если (г*) >0, то u?! ¥= 0 и, оказывается, множество Z7, опреде-
ляемое условиями (2), будет пустым. В самом деле, если бы
существовала хотя бы одна точка и е [7, то точка z = (и, 0) при-
надлежала бы множеству Z и, кроме того, мы имели бы /(z) = 0,
что противоречит тому, что J (z) J (z*) >> 0 при всех z <= Z. Та-
ким образом, при (z*) > 0 множество U пусто и задача (1) не
имеет смысла.
Пусть теперь J\ (z*) = v™*1 + ,.. + = 0. Тогда =я
= (^i+1, ..., = 0, Z* = (plt 0). Кроме того, по построению
z* = (yi> 0)— угловая точка множества Z. Покажем, что тогда Vi —
угловая точка множества (2\. Прежде всего ясно, что из z^.^0
следует v1'^0, а из Cz* = Ъ имеем Av^b. Это значит, что
vt^U.
Рассмотрим представление
р1 = ащ + (1 — а)и2, 0<а<1, u^U, u2^U, (5)
и покажем, что оно возможно лишь при Vi = u< ® и2. Точки Zf =»
= 0), z2 ={u2, 0), очевидно, принадлежат Z. Тогда (5) можно
переписать в виде z* = azx + (1 — a) z2 (0 < а < 1). Но z* —угло-
вая точка множества Z. Поэтому последнее равенство для z*
возможно лишь при z* = Zj = z2. Отсюда следует, что щ = и2<
Таким образом, щ — угловая точка множества U. Тем самым да-
казана важная
Теорема 1. Если множество (2) непусто, то оно имеет хо^
тя бы одну угловую точку.
138
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
2. Итак, исходная угловая точка множества U найдена.
Для того чтобы, отправляясь от этой точки, можно было решать
задачу (1) с помощью симплекс-метода, остается еще найти
rang 4, указать базис точки i?i и записать систему Аи = Ъ в ви-
де, аналогичном (3.5), т. е. выразить базисные переменные через
небазисные. Как это сделать? Обратимся к симплекс-таблице 7
точки z*, которая получена при решении задачи (3) симплекс-
методом.
Поскольку т == rang О rang 4, то в базис точки z* могут
входить не только столбцы матрицы 4, но и столбцы матрицы Е
(кстати, при иг > rang 4 в базис обязательно войдут столбцы мат-
рицы Е). Не ограничивая общности можем считать, что базисом
точки z* являются столбцы 41? ..., Аг, ..., ет_г матрицы С =
= (4, £), соответствующие основным переменным и1, ..., иг и
вспомогательным переменным un+1, ..., un+m~r — именно эта си-
туация отражена в симплекс-таблице 7. Подчеркнем еще раз, что
из z* = (i?!, 0) следует, что i>i+1 = ... = v^m ~ 0 — эти равенства
также нашли отражение в столбце свободных членов табл. 7.
Нижняя строка симплекс-таблицы 7, содержащая величины
Д<Х), /1(2*) = 0, характеризующие решение и* задачи (3), опу-
щена— это обстоятельство не повлияет на дальнейшие преобра-
зования табл. 7. Рассмотрим возможные здесь случаи.
Случай I. В табл. 7 отсутствуют строки, соответствующие
вспомогательным переменным un+1, ..., un+w, т. е. г = т п и
столбцы 4Ъ ..., 4Г составляют базис точки z* = (уъ 0). Тогда со-
гласно правилу составления симплекс-таблиц /-й строке табл. 7
Базисные перемен- ные u1 ••• ui • •• и? u'+I «»* u& ... un
и1 1 ... 0 ... 0 Vl,r+1 ... ... Vm
0 ... 1 ... 0 7j,r+i ... ...
иТ 0 ... 0 ... 1 7r,r+l ... Yr» ... Vrn
0 ... 0 ... 0 7n+i,r+i ... Yn+i,fc ... Vn + l,n
un+‘ 0 ... 0 ... 0 • • • 7n+i,r+l ... ... Y«+i,n
u»+m-r 0 ... 0 ... 0 Vn4-m—r,r+l ж ... Yn+m—rth ... Tn+?71—Ttn
8 5]
ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ
139
будет соответствовать уравнение
V? + Tj,r+lwr+1 + ’ • • + Узп^П + Yj,n+iWn+1 + • » • +У1,п+тИ + =l4,j
(6)
/«=1, г = т.
Пользуясь этим уравнением, исключим вспомогательные пе-
ременные un+1, ..ип+т из дальнейших рассмотрений. Для это-
го заметим, что система (6) является другой равносильной фор-
мой записи системы (4)—система (6) может быть получена из
Аи + w = Ъ умножением слева на матрицу В~4, обратную мат-
рице В=(Л£, ..., Лг). Поэтому, положив в уравнении (6)
цп+1 в . ип+т = q, ПрИдем к системе
и3 + W,r+#+11 + • • • + Yinu” = Л, = (7)
которая также может быть получена из Аи = Ъ умножением
слева на В-1 и поэтому равносильна системе Аи « Ь. Это зна-
чит, что угловая точка Vi имеет своим базисом столбцы Аь ...
,Ar (г = rang А = иг), а система Аи = Ъ уже записана
в виде (7), удобном для применения симплекс-метода. Резюми-
руя, можно сказать, что если в табл. 7 отсутствуют строки, со-
ответствующие вспомогательным переменным, то для получения
симплекс-таблицы угловой точки нужно вычеркнуть из
табл. 7 все столбцы для un+1, ..., un+m и добавить нижнюю
г
строку из Дх = ... = Дг — О, = 2 С*У^ ~~си г = г + •
«=1
« • « X (^*)’
Таблица 7
т-1 + «•» + е3 к 1 £ + £ 3 ип+т-г+1 •«* un+m Свободные члены
0 ... 0 ... 0 Vi,n+m—г+1 ... ?l,n+m > 0
0 ... 0 ... 0 Yj.n+m—г+1 ... Yj,n+m l^L > 0
0 ... 0 ... 0 Тг,п+7п—г+1 ... Yr,n+m pj > 0
1 ... 0 ... 0 7п+1,п+тп—г+1 ... Yn+i.n+m i»”+1 = 0
0 ... 1 ... 0 Yn+i.n+m—г+1 ... Yn+i,n+m p"+< = 0
0 ... 0 ... 1 Yn+m—r,n+m—r+1 Yn+m—r,n+m p"+m = 0
140
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
Случай II. В табл. 7 имеются строки, соответствующие
вспомогательным переменным, т. е. г < т, и среди коэффици-
ентов Yn+pj (р = 1, • • •> т — r9 j = г + 1, ..., п) имеются поло-
жительные. Пусть, например, уп+<л>0 (1 г иг — г, г +1
С к п). Тогда
Д = {у: 1=^7^ г или п+ 1 < п+ т — г,
Поскольку для всех ]^Ik, а т0
min = 1>?+7тп+{,й = 0.
jeift
Это значит, что любой коэффициент ^+<,*>0 (1^г<иг — г,
г + 1 к < п) можно взять за разрешающий элемент симплекс-
таблицы 7 и с его помощью вывести вспомогательную перемен-
ную un+i из базисных и вместо нее ввести в базисные основную
переменную ик. Из формул преобразования, аналогичных фор-
мулам (3.17), (3.24), (3.25), нетрудно увидеть, что из-за i?7+i =*
= 0 в результате такого преобразования симплекс-таблицы мы
останемся в той же угловой точке z*? но ее базис Аи ..., 4Г,
ei, ..., ет_г заменится новым базисом Ai9 ..., Аг, еи ...,
e<+i, ..., em_r, Ak. Если и в новой симплекс-таблице, соответст-
вующей новому базису точки z*, на пересечении столбцов
ur+1, ..., ик~\ ик+1, ..., ип со строками, отвечающими вспомога-
тельным переменным, еще останутся положительные коэффици-
енты, то, взяв любой из них за разрешающий элемент, можно
вывести из базиса еще один из вспомогательных столбцов
в1, ..., 4, е<+1, ..., em-r и заменить его столбцом исходной мат-
рицы А и т. д.
Может оказаться, что за конечное число таких операций нам
удастся вывести из базиса точки z* все вспомогательные столб-
цы eL, ..em-r — это будет означать, что после упомянутых
операций мы пришли к симплекс-таблице, соответствующей рас-
смотренному выше первому случаю при т = rang А. Может, од-
нако, получиться и так (при rang А < т так это и будет), что
в очередной симплекс-таблице на пересечении столбцов основ-
ных переменных, не являющихся базисными для точки z*, со
строками, соответствующими вспомогательным базисным пере-
менным, не найдется ни одного положительного коэффициента,
и тогда описанный процесс вывода столбцов {et} из базиса
оборвется. Это будет означать, что реализовался случай III,
к рассмотрению которого мы сейчас переходим.
Случай III. В табл. 7 имеются строки, соответствующие
вспомогательным переменным, т. е. г < т, но Уп+pj 0 при
всех р — 1, ..., т — г, / = г + 1, ..., п. Согласно правилу состав-
ления симплекс-таблиц строке переменной uj (/ = 1, ..., г)
§ 5] ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ 141
в табл. 7 соответствует уравнение
+ Ъ>+Х+1 + • • . + УзпиП + ... + Tj.n+m-r+l Un+m-r+1 + . . .
• • • + У1.п+тип+т = pi,; J = !>...,г, (8)
а строке переменной un+i — уравнение
Tn+i.r+l^ +1 + • . • + yn+itnUn + ип+г + Уп+г.п+тп—r+l^n+m Г+* + • • •
• . . + yn+i,n+mun+m = p”+i = 0, i = l, ....m-r. (9)
Заметим, что система (8), (9) может быть получена из
Аи + w = Ъ умножением слева на матрицу, обратную матрице
(Л4, ..., Лт, в4, ..., em-r), Ai, ..., Ar, е4, ..ет-г — базис
точки z*, поэтому системы (4) и (8), (9) равносильны. G дру-
гой стороны, напоминаем, что при un+i = ...== ип+т = 0 система
(4) превращается в систему Аи = Ь. Поэтому, полагая в (8),
(9) un+i = ...== ип+т = 0, получаем систему
и? + иГ+1 + • • • + + • •. + yjnU1, = *4, 7 = 1, ...»г,
(Ю)
ln+i,r+ittr+1 + ... + + ... + Yn+i.nWn = 0, i = 1, ..rn — r,
(U)
которая также равносильна системе An = Ъ.
Заметим, что в рассматриваемом случае в (И) все уп+и^0
(/= г + 1, ..., n, i = l, ..., т— г). Возможно, что в некотором
из уравнений (И), например, в п + j-m уравнении уп+^; = 0 при
всех / == г + 1, ..., п. Ясно, что такие уравнения будут триви-
ально удовлетворяться при всех и е Еп и их можно без ущерба
вычеркнуть из системы (10), (11). Поэтому можем считать, что
в каждом из уравнений (11) имеется хотя бы один отрицатель-
ный коэффициент.
Пусть в п + i-м уравнении (И) уп+<>9 <0, ..., 7п+мд < 0,
а остальные коэффициенты равны нулю. Тогда это уравнение
запишется в виде
Yn+i,«1w' 1 + • . . + Yn+MgW' q = 0.
Поскольку u8;>0 для всех u<=U, а уп+М;<0 (/ = 1, q]t
то последнее уравнение будет удовлетворяться только при и =
= 0,..и*’= 0.
Координату и* (г + 1 к п) назовем отмеченной, если
7п+<л<0 хотя бы для одного номера i — Таким
образом, показано, что у системы (10), (11) и, следовательно,
у равносильной ей исходной системы Аи = Ъ возможны лишь
такие неотрицательные решения, у которых отмеченные коорди-
наты равны нулю. Поскольку отмеченные координаты уже од*
142
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
позначно определены (они равны нулю), то их можно исклю-
чить из дальнейшего рассмотрения. Для этого в (10), (11),
а также в (1) нужно вычеркнуть все коэффициенты с}, аи, *(1},
которые умножаются на отмеченные координаты. Кстати, пос-
ле исключения отмеченных координат все уравнения (11) в
рассматриваемом случае превратятся в тривиальные тождества,
и их также следует вычеркнуть.
В результате вместо исходной задачи (1) получим новую
каноническую задачу линейного программирования: минимизи-
ровать функцию
2 CiU1 + 2 CiM1 (12)
j=l
при ограничениях
z?>0, ur>0; i^I, (13)
и1 + 2 tihUk = v}!, j= 1,..., Г, (14)
k~I
где I — множество номеров тех из координат ur+1, ..., un, кото-
рые не являются отмеченными. Задача (12) —(14) уже приведе-
на к виду, удобному для использования симплекс-метода: ис-
ходная угловая точка (р}, ..иг^ v\ = 0 (i е /)) известна, г —
ранг матрицы ограничений (14), базисные переменные я1,...,иг
легко выражаются из (14) через небазисные.
Решая задачу (12) — (14) симплекс-методом, можно найти
ее решение и*, Добавив сюда нулевые зна-
чения отмеченных координат, получим решение исходной за-
дачи (1).
Рассмотрение всех трех возможных случаев закончено. Заме-
тим лишь, что хотя каждый из этих случаев формально охваты-
вает возможность г = п < тп, следует ее выделить особо. Из
симплекс-таблицы 7 при г = п, полагая un+i = ... = un+m = 0,
получаем и1 = гф, ..., ип = v*. Это значит, что при г *= п множе-
ство U состоит из одной точки и = Vi и задача (1) становится
малосодержательной.
Из приведенного анализа вытекает следующее полезное пра-
вило заполнения симплекс-таблиц задачи (3): если в процессе
применения симплекс-метода к этой задаче какая-либо вспомо-
гательная переменная un+i перешла в небазисные, то в даль-
нейшем из столбца un+i разрешающий элемент брать не следует;
более того, поскольку в дальнейшем все равно будет принято
я”+г = о? т0 ясно, что столбец для un+i не окажет никакого вли-
яния на окончательную таблицу с основными переменными и
поэтому его можно сразу же вычеркнуть из симплекс-таблицы.
Кстати, в табл. 7 столбцы для вспомогательных переменных
un+m-r+i^ . . ип+т приведены лишь для пояснения дальнейших
ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ
143
§ 5]
преобразований — их нужно было вычеркивать по мере того,
как соответствующая вспомогательная переменная переходила
из базисной в небазисную. Заметим, что в симплекс-таблицах
столбцы, соответствующие базисным переменным, также часто
вычеркивают, так как в каждом таком столбце всегда находится
одна и та же заранее известная информация: в строке, номер
которой равен номеру базисной переменной, находится единица,
а все остальные элементы такого столбца равны нулю.
Таким образом, метод построения начальной угловой точки
и ее симплекс-таблицы для канонической задачи описан. Симп-
лекс-метод для решения таких задач полностью обоснован. Су-
ществуют и другие методы поиска начальной угловой точки.
3. Для иллюстрации изложенного выше приведем один
пример.
Пример 1. Минимизировать функцию
J (гг) = и1 + За2 + 2гг3 + гг4 - Згг5 (15)
на множестве ?7, определяемом условиями
г?>0, ..., гг5>0; (16)
и1 + и2 — 4гг3 + гг4 — Згг5 = 3,
и1 - 4гг8 + 2гг4 - 5гг5 = 6, (17)
—2гг4 - 5гг2 + 8гг3 + гг4 =3.
Для определения начальной угловой точки множества U
введем вспомогательные переменные и6, и7, и3 и в пространстве
Е8 переменных z = (u1, ..., и3) рассмотрим задачу: минимизи-
ровать функцию
Д(2) = ив + и7 + и3 (18)
на множестве Z, определяемом условиями
г?>0, ..., гг8>0; (19)
гг1 + и2 — 4гг3 + гг4 — 31г5 + и3 = 3,
гг1 - 4гг3 + 2гг4 - 5гг5 + и1 = 6, (20)
—2z? - 5гг2 + 8гг3 + гг4 + и3 = 3.
Заполним симплекс-таблицу 8 для угловой точки z0 =
= (0, 0, 0, 0, 0, 3, 6, 3) множества Z; в этой таблице столбцы,
соответствующие базисным переменным гг6, гг7, гг8, опущены;
в нижней строке выписаны коэффициенты функции (18) после
замены базисных переменных гг6, гг7, гг8 через небазисные сог-
ласно равенствам (20)—эти коэффициенты, очевидно, получа-
ются суммированием величин в соответствующих столбцах не-
базисных переменных гг1, ..., гг5 точки z0. В табл. 8 в качестве
разрешающего элемента возьмем величину 2 из столбца гг4 и
совершим симплекс-преобразование (см. (3.17), (3.18), (3.24) —
(3.26)). После такого преобразования переменная гг4 перейдет
144
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
в базисные, а переменная и1 станет небазисной, и, как было за-
мечено выше, в следующей симплекс-таблице столбец для и1
можно вычеркнуть.
В результате получим табл. 9. Из этой таблицы видно, что в
полученной угловой точке z4 в (0, 0, 0, 3, 0, 0, 0, 0) множества
Таблица 8
Базисные переменные и* и» и* и4 и1 Свободные члены
и® 1 1 -4 1 —3 3
и1 1 0 —4 2 -5 6
и3 —2 —5 8 1 0 3
Функция 0 -4 0 4 -8 12
Таблица 9
Базисные переменные и1 и» и9 и4 Свободные члены
и3 1/2 1 —2 -1/2 0
и4 1/2 0 —2 —5/2 3
и8 —5/2 -5 10 5/2 0
Функция —2 —4 8 2 0
Z значение функции A(^i)=0. Поскольку Л (z) > 0 при всех
z^Z, a /i(zt)=0, то ясно, что inf J\ (z) = J\ (zx) = 0, т. e. вспо-
z
могательная задача (18) — (20) решена.
Тогда точка = (0, 0, 0, 3, 0) является угловой для множе-
ства U. Для получения базиса точки вспомогательные пере-
менные и6, и8 в табл. 9 нужно вывести из числа базисных.
В строках переменных и8, и3 на пересечении со столбцами не-
базисных переменных имеются положительные величины, лю-
бую из которых можно взять в качестве разрешающего элемен-
та для вывода одной из вспомогательных переменных из числа
базисных. Возьмем, например, величину 1/2 из столбца и1 и
строки и3 разрешающим элементом и осуществим симплекс-пре-
образование табл. 9. Получим табл. 10. В этой таблице в строке
для и3 все величины равны нулю. Как было замечено выше, та-
кую строку без ущерба можно вычеркнуть из симплекс-табли-
цы. В результате получим табл. 11. В ней строки переменных
и4 соответствуют системе уравнений
и1 = -2а2 + 4и3 + и5, и4 = и2 + 2i? + 3, (21)
§ 6]
ОБ УСЛОВИИ РАЗРЕШИМОСТИ КАНОНИЧЕСКОЙ ЗАДАЧИ
145
которая эквивалентна системе (17). В нижней строке табл. И
представлены коэффициенты, полученные подстановкой выра-
жений (21) для базисных переменных и1, и4 в (15):
Ци) == 2и2 + би3 + 3 = - (—2) и2 - (-6) и3 + 3.
Таким образом, табл. 11 является симплекс-таблицей угловой
точки (0, 0, 0, 3, 0) для задачи минимизации функции (15)
Таблица 10
Базисные переменные и* U8 U* Свободные члены
и* 2 —4 —1 0
и4 — 1 0 —2 3
и8 0 0 0 0
Таблица 11
Базисные переменные и8 и» и1 Свободные члены
и1 2 —4 — 1 0
-1 0 —2 3
Функция —2 -6 0 3
при ограничениях (16), (21) (ср. с задачей (12) — (14)). Оста-
ется решить эту задачу симплекс-методом. Впрочем, в данном
случае из табл. 11 сразу видно, что в нижней строке нет поло-
жительных величин — реализовался случай I (см. (3.13')). Это
значит, что и* = (0, 0, 0, 3, 0) — решение задачи (15) — (17).
§ 6. Об условии разрешимости канонической задачи
Как показывает теорема 5.1, с помощью описанного выше-
симплекс-метода можно не только численно решать задачи ли-
нейного программирования, но и можно доказывать основные
факты теории линейного программирования. Приводим еще две
такие теоремы.
Теорема 1. Для того чтобы каноническая задача (1.14)
была разрешима, т. е. существовала точка u*^U такая, что
(с, и*у = inf <с, и) > — оо, необходимо и достаточно, чтобы:
и
1) множество U было непустым-, 2) функция 7(и)=<с, и) была
ограничена снизу на U.
Доказательство. Необходимость очевидна. Докажем до-
статочность. Из того, что U ¥* 0, по теореме 5.1 следует суще-»
146
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
ствование угловой точки множества U. Принимая эту точку за
начальную, будем решать задачу (1.14) с помощью симплекс-
метода. Поскольку по условию inf J (и) > —- оо, то случай II
и
(условие (3.14)) здесь невозможен, и за конечное число шагов
симплекс-метода процесс завершится отысканием точки и*г яв-
ляющейся решением задачи (1.14).
Теорема 2. Если задача (1.14) разрешима, то среди ее
решений найдется хотя бы одна угловая точка множества U.
Доказательство. По условию теоремы С7 =И= 0 и суще*
ствует точка е U такая, что <с, = inf <с, zz> >> — оо.
и
По теореме 5.1 тогда множество U имеет хотя бы одну угловую
точку. Отправляясь от одной из этих угловых точек, с помощью
симплекс-метода за конечное число шагов придем к угловой точ-
ке и*, являющейся решением задачи (1.14).
На этом заканчиваем изложение симплекс-метода для реше-
ния и исследования канонической задачи (1.14). Учитывая
связь между общей задачей линейного программирования (1.5)
и задачами (1.14) и (1.15), установленную в § 1, можно ска-
зать, что симплекс-метод является универсальным методом ре-
шения задач линейного программирования. Однако это не зна-
чит, что симплекс-метод выгодно применять во всех случаях.
Существуют и другие общие методы, а также ряд частных ме-
тодов, приспособленных для решения специальных классов
задач линейного программирования, лучше учитывающих кон-
кретные особенности задачи. Например, для транспортных за-
дач, у которых матрица А в ограничении Аи = Ь имеет ряд
особенностей, разработаны специальные методы.
Отметим, что известен пример задачи линейного программи-
рования с п переменными и 2п ограничениями, для решения
которой требуется не менее 2п — 1 итераций симплекс-метода
и, следовательно, количество необходимых вычислений оценива-
ется экспоненциальной функцией параметров задачи. Это зна-
чит, что существуют задачи линейного программирования не
слишком большой размерности, решение которых симплекс-ме-
тодом невозможно за обозримое время. Однако вопреки этому
пессимистическому выводу в практических задачах симплекс-
метод показывает поразительную эффективность, и число необ-
ходимых итераций отнюдь не растет экспоненциально с ростом
размерности. Причина этого удивительного явления пока еще
не выяснена. Хотя и в последнее время появились методы [313],
в которых объем вычислений при решении задач линейного
программирования выражается полиномом от параметров зада-
чи, тем не менее симплекс-метод по-прежнему остается основ-
ным методом в линейном программировании.
В заключение подчеркнем, что всюду выше предполагалось,
что исходные данные задачи линейного программирования —
§ 6] ОБ УСЛОВИИ РАЗРЕШИМОСТИ КАНОНИЧЕСКОЙ ЗАДАЧИ 147
матрица Л, векторы &, с — известны точно и, кроме того, все
промежуточные вычисления в симплекс-методе проводятся без
погрешностей. Такая идеализация позволила нам дать строгое
обоснование симплекс-метода, доказать ряд важных теорем ли-
нейного программирования. Однако на практике исходные дан-
ные задаются, как правило, неточно, промежуточные вычисле-
ния проводятся с округлениями и применение симплекс-метода
или других методов в конкретных задачах линейного програм-
мирования может привести к большим погрешностям, неверным
выводам. В частности, наличие погрешностей может сделать за-
дачу линейного программирования некорректной, и для ее ре-
шения могут понадобиться специальные методы регуляризации
[6, 22]. К задачам линейного программирования мы еще вер-
немся в § 4.9.
Упражнения. 1. Минимизировать функцию и1 — и2 — и3 — и4 -f- 2и&
при условиях и1 > 0 (i = 1, ..,.5), и1 + Зи2 4- и3 + и4 — 2и5 = 10, 2и1 4-
+ би2 + и3 + За4 — 4и5 = 20, 3ul 4- 10u2 + и3 4- 6u4 — 7и5 = 30.
2. Максимизировать функцию и1 — 4и2 + За3 + Юн4 при условиях
и{ 0 (1 = 1, ..., 4), и1 + и2 — и3 + и4 = 0, и1 4- 14u2 + 10и3 — 10u4 = И.
3. Минимизировать функцию и1 + 2и2 — 2и3 + 5и4 при условиях и1 О
(i = 1, ..., 4), и1 + 2и2 — и3 — и4 = 1, —и1 + 2и2 4- Зи3 + и4 = 2, и1 + 5н2 4-
+ и3 — и4 = 5.
4. Минимизировать функцию и1 + и2 + и3 при условиях и1 0, и2 0,
и3 0, и1 4- и2 = 1, и1 — и2 = 1, Зп1 — и2 = 3.
5. Минимизировать функцию и1 + 2и2 + Зи3 + 4и4 при условиях и* > 0
(i = 1, ..., 4), и1 + и2 + и3 + и4 1.
6. Минимизировать функцию и1 + и2 + и3 + и4 при условиях и* О
(i = 1, ..., 5), и1 — и2^ 0, и1 + и2 — и3 + и4 — и5 1. Рассмотреть эту же
задачу при дополнительном ограничении 1 и1 2.
7. Минимизировать функцию и3 — и4 + и5 — и3 при условиях и1 О
(i = 1, ..., 7), и1 + и3 — 2и4 — Зпб + 4и6 = 0, и2 + 4и3 — Зя4 — 2и5 + и3 = 0,
и3 + и4 + и3 + и3 + и1 = 1. Показать, что в этой задаче можно получить
зацикливание, если с помощью симплекс-метода организовать перебор ба-
зисов в следующем порядке: (43, Л2, 47) -> (43, А4, А7) -> (Л5, Л4, Л7)
(45, 4б, А7) -> (Ai, А6, А7) -> (41, А2, А7) -> (43, А2, А7). Применить для
решения этой задачи симплекс-метод с антициклином, изложенный в кон-
це § 3.
8. Обобщить симплекс-метод на случай задачи
<с, u> -> inf; и е U = {и: и^ Еп, Аи = Ь, щ р$, i = 1, ..., п},
где а<, Р< — заданные величины, Pt (i — 1, ..., п) (возможно, некото-
рые из a-i = оо и некоторые из Р/ = оо).
9. Пусть U = {и: и е Еп, <а», и> Ь', 1 = 1, ..т}, т^п. Показать,
что точка v U является угловой для U тогда и только тогда, если в точ-
ке v обращаются в точные равенства не менее чем п из неравенств <а<, i?>
Ь', среди которых есть п линейно независимых.
10. Исследовать возможность обобщения теорем 5.1 и 6.1, 6.2 на случай
задач (1.5), (1.15).
11. Требуется составить наиболее дешевую смесь, содержащую не ме-
нее Ъ' единиц i-ro вещества (i = 1, . *., т) при условии, что для изготов-
ления смеси имеется п видов продуктов, причем в одной единице /-го про-
дукта содержится dij единиц i-ro вещества, а цена одной единицы /-го
продукта равна Cj рублей (задача о смесях). Сформулировать эту задачу
в виде задачи (1.15).
Глава 4
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
Прежде чем переходить к рассмотрению задач, более сложных, чем за-
дачи линейного программирования, остановимся на элементах выпуклого
«анализа — области математики, в которой изучаются свойства выпуклых
множеств и выпуклых функций, и которая играет фундаментальную роль
в теории и методах решения экстремальных задач [1, 2, 7, 8, 11, 12, 15—19,
21, 24, 33, 41, 52, 66, 67, 92, 132, 137, 144, 146, 156, 166, 167, 195, 197, 255, 264,
283, 290, 321, 337, 338, 341].
§ 1. Выпуклые множества
1. Начнем с рассмотрения конкретных примеров выпуклых
множеств. Сначала напомним
Определение. 1.
если для любых и,
+ (1 — a)v принадлежит
Множество U называется выпуклым,
v^U точка ua = v + а(и — v) = au +
U при всех а (0^а^1). Иначе го-
воря, множество U выпукло, если
отрезок [р, и] = {иа: иа = и +
+ a(u—v), соединяю-
щий любые две точки и, v из U, це-
ликом лежит в U (рис. 4.1).
Все пространство Еп, очевидно,
образует выпуклое множество. Пу-
стое множество и множество, состо-
ящее из одной точки, удобно счи-
тать выпуклыми. Тогда из опреде-
ления 1 непосредственно следует, что пересечение любого числа
выпуклых множеств является выпуклым множеством. Приведем
другие примеры выпуклых множеств.
Пример 1. Шар
S(uQ, R)={u: и^Еп, \u — uQ\^R}
(1)
радиуса R > 0 с центром в точке uQ является выпуклым множе-
ством. В самом деле, если и, v^S(uQ, R), то, пользуясь нера-
ВЫПУКЛЫЕ МНОЖЕСТВА
149
§ 1]
венством треугольника, имеем
law + (1 — a)v — uol = I а (и — u0) + (1 — a) (y — u0) l<
alu — &0| +(1 — a) |p — uol < aR + (1 — a)R = 7?,
т. e. ua = an + (l — a)v^S(uQ, R) для всех a g= [О, 1].
Пример 2. Гиперплоскостью в Еп называется множество
Г = Г(с, у)={и: и^Еп, <с, и>=у}, (2)
где с = (съ ..сп) =/= 0 — вектор из Еп, у — действительное чис-
ло. Это множество всегда непусто: если, например, ct =И= О, то
точка щ с координатами и* ==7/^, i? = 0 (/ = 1, ..., n,
удовлетворяет равенству <с, и0У = у, т. е. и0 е Г. Если и0 — ка-
кая-либо точка из Г, т. е. <с, и0У= %, то гиперплоскость Г мож-
но представить в виде
Г = Г(с, и0)={и: и^=Еп, <с, и — п0>=0}.
Напоминаем, что два вектора а, Ъ е Еп, называются ортого-
нальными, если <а, ЪУ= 0. Предыдущее представление для Г
означает, что гиперплоскость состоит из тех и только тех точек
и, для которых вектор и — и0 ортогонален вектору с. Вектор с
называют нормальным вектором гиперплоскости Г.
Возьмем произвольные точки и, v е Г, т. е. <с, иУ=<с, аУ— у.
Тогда <с, аи + (1 —- a)p>= a<c, п>+(1 —а)<с, р>=у при всех
а [0, 1]. Следовательно, Г — выпуклое множество.
Пример 3. Пусть Г ={iz: <с, иУ = у}— некоторая гипер-
плоскость. Тогда множества
Г+ = {и: <с, иУ > у}, Г" = {и: <с, иУ < 7}
называются открытыми полупространствами, а множества
Г+ ={и: <с, иУ> у), Г" ={и: <с, иУ^ у}
называются замкнутыми полупространствами. Нетрудно видеть,
что Г+, Г", Г+, Г" — выпуклые множества. Например, если
и, реГ+, то <с, аи +(1 — a)p>= а<с, п>+(1 —а)<с, р>>ау +
+ (1 — а) у = у для всех а [0, 1].
Пример 4. Множество ={и е Еп: и = aw + (1 — a)v ==
— v + a(w — v), а R} называется прямой, проходящей через
точки v, w, v Ф w. Прямую в Еп можно задать также и в виде
Mi={u^En'. u = v + td, t<=R}, где вектор называют
направляющим вектором прямой, и — фиксированная точка из Е\
Множество Mi = [и^ Еп: и = v + td, t ^0} называют лучом,
выходящим из точки v в направлении вектора d ¥= 0. Нетрудно
видеть, что прямая и луч — выпуклые множества.
Пример 5. Важным примером выпуклого множества явля-
ются аффинные множества (или линейные многообразия).
Определение 2. Множество М из Еп называется аффин-
ным, если ап + (1 — a)v М при всех и, v е М, a R, т. е»
150
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
прямая, проходящая через любые две точки u, v е М, целиком
лежит в М.
Все пространство Еп является аффинным множеством. Пус-
тое множество и множество, состоящее из одной точки, удобно
считать аффинными. Любое подпространство пространства Еп
представляет собой аффинное множество. Множество М «
= Л + 1г0, получаемое сдвигом подпространства L на произволь-
ный фиксированный вектор п0, также является аффинным.
Верно и обратное: всякое аффинное множество М может
быть получено сдвигом некоторого подпространства L на неко-
торый вектор uQ. В самом деле, возьмем произвольную точку
и0 е М и положим L = М — и0. Ясно, что L — аффинное множе-
ство, причем 0 е L. Тогда для каждого и е L имеем аи = аи +
+ (1 — а) • 0 L при всех a^R. Кроме того, если и, v е L, то
(и + г)/2 = и/2 +(1 — 1/2)р е L и, следовательно, и + v =
= 2((iz +j?)/2)gL. Таким образом, сумма двух векторов из L
и произведение вектора из L на любое число принадлежат L,
т. е. L — подпространство.
Убедимся, что подпространство L = М — и0 не зависит от
выбора точки и0^М. В самом деле, пусть L^M— и^ где
щ М. Возьмем любую точку и е L, Поскольку щ. — и0^ L, то
u + (Ui — uq)^L и, следовательно, и<^ L — — uQ) = (L + uQ) —
— Ui = М — щ = Lit Это значит, что L <= Обратное включе-
ние Li cz L доказывается совершенно так же. Следователь-
но, Li = L.
Таким образом, всякое аффинное множество М из Еп пред-
ставимо в виде
М == L + и0, (3)
где L — подпространство, однозначно определяемое множеством
М, и0 — произвольная точка из М. Подпространство из этого
представления называют параллельным аффинному мно-
жеству М.
Опираясь на полученное представление (3), можно дать ал-
гебраическое описание аффинных множеств из Еп. Как извест-
но из линейной алгебры [93, 164], всякое подпространство L из
Еп представимо в виде L={u^En-. Au = Q}={u^En-. (лц, u>=
= 0, i = 1, ..., zn), где A — некоторая матрица размера т X п,
аг — i-я строка матрицы А (например, в качестве векторов а{
(i = 1, ..., т) можно взять базис ортогонального дополнения к
L в Еп). Отсюда и из (3) следует, что всякое аффинное множе-
ство из Еп может быть задано в виде
М = {и Еп: Аи = 0) + Но = {и е Еп: и = и0 + v, Av = 0} =
={и е Еп*. А (и — uQ) = Q}={u -е Еп: Аи = Ь}=
~{и е= Еп: <а{1 и)= Ъ{, i = 1, ..ти), (4)
где Ъ = Аий = (Ь1, ..., Ьт). Нетрудно проверить, что верно и об-
ратное: всякое множество вида (4) является аффинным, В са-
ВЫПУКЛЫЕ МНОЖЕСТВА
151
§ И
мом деле, если и, v^M, т. е. Au = b, Av — b, то А(аи +
+ (1 — а)р) = аЛ£г + (1 — a)Av = b или, иначе, au + (l — a)v&
М при всех а R. Таким образом, множества вида (4) и
только они являются аффинными.
Согласно теореме Кронекера — Капелли [93, 164] множество
(4) непусто тогда и только тогда, когда матрица А и расширен-
ная матрица В=(А, Ь) имеют один и тот же ранг. Если
rang А < rang В (например, А = О, Ъ Ф 0), то М = 0. Если
А = 0, Ъ = 0, то М = Е\ Рассмотрим случай Л ¥= 0, rang А =»
e rang В = г. Тогда множество (4) состоит из тех и только тех
точек, которые представимы в виде [93, 164]
п—г
U = UQ + 2 (5)
i=l
где и0 — какое-либо частное решение неоднородной системы ли-
нейных алгебраических уравнений Аи = Ь, а ..., ип_г— ли-
нейно независимые решения однородной системы Аи = 0; ...
..., tn_r — действительные числа. Векторы ии ..., ип_г образу-
ют базис подпространства
L = {и е Еп: Аи = 0] = L е Еп-. и = 2 rL
I i=i J
так что размерность L равна п — г. С помощью введенного под-
пространства L равенство (5) можно переписать в виде М =
= uQ + L — мы снова пришли к представлению (3).
Размерность аффинного множества М по определению при-
нимается равной размерности подпространства L, параллельного
М. Таким образом, размерность аффинного множества (4) рав-
на п — г, где г = rang А = rang В. Аффинное множество раз-
мерности р часто называют гиперплоскостью размерности р.
В тех случаях, когда нужно подчеркнуть размерность р аффин-
ного множества М и соответствующего параллельного подпрост-
ва Д будем писать Мр, Lp. В частности, если в (4), (5) г = п,
то Lq ={0} и Мо ={п0} состоит из одной точки. Если г = п — lf
то ={и е Еп: и = uQ + tuh t е R}— прямая (см. пример 4).
Далее, гиперплоскость (2) также является аффинным множест-
вом: в этом случае в (4) нужно принять А = с, Ъ = у. Посколь-
ку с 0, то rang А = rang (Л, Ь)=1 и, следовательно, гипер-
плоскость имеет размерность п — 1. Согласно (5) тогда Г —
{п-1 'к
и е Еп: и = uQ + 2 ^г^г, ti R , где uh ..ип-{ —
i=l J
базис параллельного подпространства Ln-i = {и^ Еп: <с, п> = 0).
Как видим, вектор с ортогонален к Ln^ и является базисом ор-
тогонального дополнения к £„-! до Еп, а векторы uif ..un_lf
с образуют базис в Еп.
152
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. Ь
Заметим, что пересечение любого числа аффинных множеств
само является аффинным множеством и, следовательно, пред-
ставимо в виде (4).
Определение 3. Пересечение всех аффинных множеств^
содержащих множество U из Z?n, называется аффинной оболоч-
кой множества U и обозначается через aff U; подпространство
L, параллельное aff £7, называется несущим подпространством
множества U и обозначается через Lin U.
Таким образом, aff U представляет собой минимальное аф-
финное множество, содержащее U. Пользуясь (3) — (5), нетруд-
но показать, что:
1) aff U = и0 + Lin £7, где и0 — произвольная точка из U\
2) если 0 е U, то aff U = Lin £7;
3) и = v — w е Lin U для всех щ w е aff U, в частности,
для щ w £7;
4) если с Lin £7, v е aff U, то и = v + ес е aff U при
всех 8 е R.
Определение 4. Размерностью произвольного множества
U из Еп называется размерность его аффинной оболочки; раз-
мерность множества U обозначают dim U.
Согласно этому определению отрезок [и, v] ={»«, = v +
+ а(и — р), 0 а < 1), соединяющий две точки и, v^En
(u=/=v), имеет размерность 1, так как его аффинной оболочкой
является прямая Г ={w\ w = v + t(u — р), —оо<£<оо}. Раз-
мерность шара (1) равна п.
Пример 6. Множество U={ue=En: Аи^Ъ}, где А — за-
данная матрица размера m X п, Ъ — заданный вектор из Е™,
выпукло. Это множество называют многогранным множеством
или полиэдром. Напоминаем, что неравенство Аи означает,
что <«/, и> = (АиУ при всех i=l, тп, — i-я строка
матрицы А. Тогда для любых ufv^U имеем А(сш+(1 —а)р) =
= аАи + (1 — a) Av С Ъ при всех а е [0, 1].
Пример 7. Множество U = {u = (u1, un):
1, ..., n}, где — заданные величины, ж < (возмож-
но, что некоторые из ж = оо и некоторые из Pj = °°), выпукло
и имеет размерность п. В частности, неотрицательный ортант
пространства Еп — это множество = [и: и^ Еп, и^О] — вы-
пукло, причем dim Е± = п. Если в определении множества U
величины конечны при всех i = 1, ..., п, то это множество
называют п-мерным параллелепипедом.
Пример 8. Множество £7={u=(z?, ..., ип)-. и* > О, ieZ;
Аи 6, Аи = £?}, взятое из общей задачи линейного программи-
рования (3.1.5), выпукло. Это нетрудно проверить, исходя из
определения 1. Впрочем, выпуклость U следует также из того,
что £7 является пересечением множеств £70 —{и*, и* > 0, i е Z},
Ui ={и: Au^b}, U2={u: Аи = Ь}, каждое из которых выпук-
ло. Очевидно, £7 — многогранное множество. Аналогично прове-
4 I]
ВЫПУКЛЫЕ МНОЖЕСТВА
153
ряется выпуклость множеств из основной и канонической задач
линейного программирования (3.1.14), (3.1.15).
2. Выше было отмечено, что пересечение любого числа вы-
пуклых множеств выпукло. Нетрудно видеть, что объединение
двух выпуклых множеств, вообще говоря, невыпукло (рис. 4.2).
Посмотрим, как влияют на выпуклость другие операции над
множествами: сложение, вычитание, умножение множества на
число, замыкание и т. п.
Определение 5. Суммой множеств Aim, ..., Am называет-
rn
ся множество А = А± + .. . + Ат = Т Л<, состоящее из тех и
i=>i
171
только тех точек а, которые представимы в виде а = Т аг (сц е
i=i
^Ai, i = l, ..., т). Разностью
двух множеств А и В называ-
ется множество С = А — В, состоя-
щее из тех и только тех точек с,
которые представимы в виде с =
*=а—Ь (а^А, Ь^В). Произведе-
нием множества А на действительное
число К называется множество В =
= Ы, состоящее из всех точек ви-
да Ъ = Ъа (а^А).
Теорема 1. Если А19 ..., Am,
Л, В — выпуклые множества, то множества С = At + ... + Am,
С = А — В, С = ХЛ выпуклы.
Доказательство. Проведем его, например, для множест-
ва С = А — В, Пусть ct, с2 — произвольные точки из С = А — В.
Это значит, что существуют а<еЛ, bi^B такие, что Ci = ai—bt
(i = 1, 2). Из выпуклости А и В следует, что 0^ = 0^ +
+ (1 —а)а2еЛ, Ьа==а&1 + (1 — а)Ь2^В при всех а [О, 1].
Тогда са = aCi +(1 — а)с2 = a (at — bi)e(l — а) (^2 — Ъ2)~
*= а<и — Ьа, так что са е С при всех а е [0, 1]. Выпуклость С =
== Л В доказана. Аналогично доказывается выпуклость мно-
жеств С = Al + ... + Ат л С = ХЛ.
Определение 6. Замыканием множества U называется
множество, являющееся объединением множества U и всех его
предельных точек. Замыкание множества U будем обозначать
через U.
Для любой точки v и любого множества U из Еп имеет мес-
то одна и только одна из следующих трех возможностей.
1. Найдется 8-окрестность точки v, которая целиком принад-
лежит множеству U — тогда точка v называется внутренней
точкой множества U, Совокупность всех внутренних точек мно-
жества U будем обозначать через int U, Множество U, все точ-
ки которого являются внутренними, называют открытым множе-
ством.
154
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Примером открытого множества является открытое полу-
пространство из примера 3.
2. Найдется 8-окрестность точки v, которая не содержит ни
одной точки множества U — такая точка называется внешней
по отношению ко множеству U,
3. Любая е-окрестность точки и содержит как точки из Ut
так и точки из Ea\U — тогда точка v называется граничной
точкой множества U, Совокупность всех граничных точек мно-
жества U будем обозначать через Гр U.
Всякая внутренняя точка множества, очевидно, является его
предельной точкой. Однако не всякая граничная точка множе-
ства будет его предельной точкой — исключение здесь состав-
ляют изолированные точки множества. Точку v & U называют
изолированной точкой этого множества, если существует 8-ок-
рестность этой точки, не содержащая ни одной точки множества
£7, отличной от v. _
Таким образом, замыкание U множества U состоит, вообще
говоря, из точек четырех типов: 1) внутренние точки множест-
ва (7; 2) изолированные точки множества U\ 3) предельные
граничные точки множества (7, принадлежащие £7; 4) предель-
ные граничные точки множества £7, не принадлежащие £7. От-
сюда ясно, что замыкание любого множества является замкну-
тым множеством.
Очевидно, выпуклое множество не может иметь изолирован-
ных точек.
Шар (1) замкнут и его замыкание состоит из внутренних то-
чек ш15(п0, 7?)={w: \u—u0\<R} и граничных точек
Гр S(uQ, R)={u: |и—п01 = 7П. Множество £7={и=(ж, y)e=E2:
0 C .z С 1, 0 у С 1, x + у < 1} выпукло, но не замкнуто — точ-
ки прямой х + у = 1 при 0 х, у 1 являются предельными
граничными для £7, но не принадлежат £7; £7 ={и = (#, у): 0 х,
У 1, x + y^i). Множество U={u=(x, у)^Е^. — 1 < ж < 1,
у = 0} выпукло и не имеет внутренних точек; £7=={& = (.г, у):
— 1 х 1, у = 0).
Для любого аффинного множества М из Еп имеем М = М,
так что М — замкнутое множество: это видно, например, из
представления (4) аффинного множества; для множеств из приме-
ров 6—8 также £7_= £7. В частности, aff £7 = aff £7, откуда будет
следовать, что aff £7 = aff U для любого множества £7 из Еп.
Теорема 2. Если А — выпуклое множество, то его замы-
кание тоже выпукло.
Доказательство. Пусть а и Ъ — произвольные точки
множества А, Поскольку выпуклое множество не имеет изоли-
рованных точек, то точки а и Ъ будут предельными для А, Тог-
да существуют последовательности {aA}, {bh}^A, сходящиеся
соответственно к а, Ъ, Возьмем произвольные ае [0, 1]. В силу
выпуклости А тогда ck = aak + (1 — a) bh е А. Отсюда при к -> <»
S и
ВЫПУКЛЫЕ МНОЖЕСТВА
155
получим lim =а =3 аа + (1 — а) Ъ. Таким образом, точка с*
fe->oo
является предельной для А и, следовательно, принадлежит Л
при любом а е [0, 1].
Теорема 3. Пусть U — выпуклое множество и int U Ф
Пусть n0^inti7, v s и. Тогда ра — v + a(uQ— p)eintZ7 при
всех а (0 < а 1). Если и е int С7, у Ф int U\ у то =*
*= и + К (у — u)#U при всех % > 1.
Доказательство. Поскольку точка и0 е int U, то найдет-
ся ее S-окрестность O(n0, 6)={п: \и — п01 < 61, целиком при-
надлежащая U. Сначала рассмотрим случай, когда v е U, Возь-
мем произвольное а (0<а<1). Покажем, что окрестность
Рис. 4.3
О(ра, аб)—{п: \и — nJ < аб} точки va принадлежит U. С этой
целью возьмем произвольную точку и^О(у^ aS) и положим
a = n0+(n— va)/a (рис. 4.3). Поскольку \а — п0| = \и — vj/a<
< 6a/a = S, то aeO(n0, 6)cz U. Из определения точки а имеем
представление и = va + a (a — n0) = v + a(n0 — v)+ a(a — n0) =
= a<2 + (1 — a)n, где a, v^U и 0<a<l. Тогда u&U в силу
выпуклости U. Тем самым показано, что произвольная точка и
из O(i?a, aS) принадлежит U. Следовательно, О(у^ aS) с: Z7, т. е.
va — внутренняя точка_С7.
Пусть теперь v е U\U. Поскольку v — предельная точка U,
то найдется точка w^U такая, что |п— zd<a(l— a)-16ft
Возьмем точку = w + a(uQ — w) (рис. 4.4). В силу только
что доказанного точка принадлежит множеству U вместе со
своей окрестностью O(n?a, aS). Но |na— n?J = |z? + a(n0 — n)—
— w — a(n0 — w) I =(1 — a) In— w\ <(1 — a)a(l — a)-16 == aS.
Следовательно, va s O(w^ aS)cz U. Нетрудно видеть, что окрест-
ность О(уа, Р) (Р == Sa — wa\) точки va также принадле-
156
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
жит и. В самом деле, если u^O(va, £), то \и — wa| *5
\и — Va| + |pa~ Wa\ < Р+ |ya— w>al = 6a, T. 6. О <Pa, [})€=
€=O(ipa, a6)e U.
Наконец, пусть wK = u + k(y — и) (%>1), где neintEZ,
y^intiZ, y^U. Допустим, что w^U при каком-либо %>1.
Из представления для wK имеем у = и + (шк — и)/к = wK +
+ (1 — 1/Х) (и — iz?x)= Wk + a(u — iz?x), где a = 1 — 1/%е(0, 1),
s U, u int U. По доказанному выше тогда у е int 17, что
противоречит условию. Следовательно, w^U при всех % > 1.
Теорема 4. Если U — выпуклое множество, то int U тоже
выпукло.
Доказательство. Пусть и, v — произвольные точки из
intCZ. В теореме 3 было показано, что иа = аи + (1 — a)v е
е int U при всех a (0 < a < 1). Это и означает выпуклость int U.
3. В тех случаях, когда рассматриваемое множество U невыпукло, часто
бывает полезно расширить его до выпуклого множества. Посмотрим, как
это делается.
Определение 7. Точка и называется выпуклой комбинацией то-
чек wi,..., um, если существуют числа он 0,..., ат 0, он + ... + ат = 1
такие, что и == aiiii + ... + атит.
Теорема 5. Множество выпукло тогда и только тогда, когда оно
содержит все выпуклые комбинации любого конечного числа своих точек.
Доказательство. Необходимость. Пусть U — выпуклое мно-
жество. Тогда по определению 1 множество U содержит выпуклые комби-
нации любых двух своих точек. Сделаем индуктивное предположение: пусть
множество U содержит выпуклые комбинации любых пг — 1 своих точек.
Рассмотрим выпуклую комбинацию aiizi + ... + amwm произвольных пг то-
чек из U. Можем считать, что а, > 0 (i = 1, ...» пг). Поскольку
си + ... + «т = 1, то 0 < <Zf < 1 (i = 1, ..., пг). Следовательно, точка
m—1
v = 2 ai (1 ““‘ am)~1 ui является выпуклой комбинацией точек щ ..., um-i
г=1
I 1]
ВЫПУКЛЫЕ МНОЖЕСТВА
157
и по предположению индукции принадлежит U. Однако и =»
т—1
= G ~ am) 2 ai(1-ctmr1|Ji + aA=(1-aJ',+ VmeC/ В силу
t=-l
выпуклости U.
Достаточность. Если множество U содержит все выпуклые ком*
бинации любого конечного числа своих точек, то оно содержит^ в частно-
сти, выпуклые комбинации любых двух своих точек и, следовательно,
выпукло.
Определение 8. Пересечение всех выпуклых множеств, содержа--
щих множество £7, называется выпуклой оболочкой множества U и обо*
значается через со U.
Ясно, что со £7, как пересечение выпуклых множеств, является выпук-
лым множеством. Кроме того, со £7 содержится в любом выпуклом множе-
стве, содержащем £7. Так что со £7 — это минимальное выпуклое множество,
содержащее £7.
Теорема 6. Выпуклая оболочка множества U состоит из тех и толь-*
ко тех точек, которые являются выпуклой комбинацией конечного числа
точек из U,
Доказательство. Пусть W — множество всех точек, являющихся
выпуклыми комбинациями любого конечного числа точек из £7. Нам надо*
показать, что со £7 = W. Поскольку £7 cz со £7 и со £7 — выпуклое множество,
то по теореме 5 со £7 содержит все выпуклые комбинации точек из со U
и, в частности, точек из £7. Следовательно, W cz со £7.
Покажем, что W — выпуклое множество. В самом деле, пусть и, и е ТУ,
т. е. и = aim + ... + a,mum (к< е £7, 0, i = 1,... тп, ai + ... + am = 1),
v = + ... + $pvp (ui e=U, > 0, i = 1, ..., p, ₽i + ... + pp = 1).
ТП p
Тогда wa = au + (1 — a) v = 2 aaiui + 2 (1 — a) » ГД0
1=1 j=i
m p
(1 — a) pj > 0, 2 aai + 2 (1 — a) = 1 Для каждого a e [0, 1]. Сле-
i=i j=i
довательно, ua является выпуклой комбинацией точек щ,..um, i?i, ..
е£7и принадлежит W при всех ae [0, 1]. Таким образом, W — выпуклое
множество, содержащее £7. Но со £7 по своему определению принадлежит
всем выпуклым множествам, содержащим £7, и поэтому со £7 W. Сравни-
вая с ранее доказанным включением ТУ cz со £7, заключаем, что со £7 = ТУ,
что и требовалось.
Заметим, что выпуклая оболочка двух точек на плоскости представ-
ляет собой отрезок, выпуклая оболочка трех точек, не лежащих на одной
прямой,— треугольник. В общем случае выпукая оболочка конечного числа
точек на плоскости образует выпуклый многоугольник, а в пространстве —
выпуклый многогранник.
Определение 9. Выпуклая оболочка множества точек и0, щ, ...
..., ит из Еп таких, что система векторов {щ — uQ, i = 1, ..., т} линейно
независима, называется симплексом, натянутым на эти точки, и обозначает-
ся через sm = sm(u0, щ, ..., ит). Точки zz0, и\, .. ит называются вершина-*
ми симплекса.
В случае т = 0, 1, 2, 3 симплекс представляет собой соответственно
точку, отрезок, треугольник, тетраэдр.
Согласно теореме 6 симплекс sm представим в виде
{тп т "j
и: и = 2 «iwi> «г>°. i = 1, 2 ai = 1p
1=0 1=0 J
По теореме 6 любая точка выпуклой оболочки множества £7 является»
выпуклой комбинацией конечного, но, быть может, довольно большого
158
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
числа точек из U. Замечательно, однако, то, что в Еп для получения мно-
жества со U достаточно ограничиться рассмотрением выпуклых комбина-
ций не более чем п + 1 точек из U. Точнее, верна
Теорема 7. Пусть U — произвольное непустое множество из Еп.
Тогда любая точка и е со С7 представима в виде выпуклой комбинации не
более чем п + 1 точек из U.
Доказательство. Согласно теореме 6 любая точка и е со U пред-
ставима в виде и — aiizi + ... + amum, где щ е U, сц 0 (i = 1, ..., тп),
<»1 + • • • + = 1. Пусть тп > п + 1 и все а< < 0 (если = 0, то число m
может быть уменьшено). В п + 1-мерном пространстве рассмотрим векторы
щ — (m, 1) (i = 1, ..., тп). Поскольку тп >* п + 1, то эти векторы линейно
зависимы, т. е. существуют числа 71, ..., у™, не все равные нулю и такие,
что 71й1 + ... + утйт = 0. Это равенство эквивалентно следующим двум ра-
венствам:
+ .. . + = 0, у1 + .. . + 7т === 0.
Тогда точка и представима другими выпуклыми комбинациями тех же точек
тп тп тп
2 (ai — — t s "hui = u- в самом Деле>
i=l i=l i—1
здесь a< > 0 и, следовательно, — t^i 0 (i = 1, .(.., тп) при всех до-
in тп тп
статочно малых t и, кроме того, 2 (ai ~ *Vi) “2 al ~ * 2 ==• !•
i=l i=l i*»l
Поскольку не все у* равны нулю, но 71 + ... + = 0, то среди } най-
дутся положительные.
Пусть = min Положим t = ад”1. При таком выборе t
Vi>0
все (%i — t^i останутся неотрицательными, причем аЛ — = 0. Это зна-
чит, что точку удалось представить в виде выпуклой комбинации меньшего
числа точек ..., i, w«+i, ..., um. Ясно, что, последовательно применяя
описанный прием далее, число точек, участвующих в выпуклой комбина-
ции, можно уменьшить до п + 1.
Теорема 8. Если U — замкнутое ограниченное множество из Еп, то
€0 U замкнуто и ограничено.
Доказательство. По условию существует число R > 0 такое, что
|w| ^.R для всех и е U, т. е. 17^5(0, R) — шар радиуса R с центром в
точке 0. Но шар — выпуклое множество. Согласно определению 8 тогда
со £7^5(0, R), так что |n| ^R для всех и е со 17. Ограниченность со U
доказана.
Докажем замкнутость со U. Пусть и — предельная точка со £7, {uk} е
со U и lim uh = и. Согласно теореме 7 существуют точки им е U, числа
fe->oo
ам > 0 (i = 1, ..., п + 1), ам + ... + ak, n+i = 1 такие, что Uk = амнм + . >.
... + ак, n+\Uk, n+i. Заметим, что | им | С Я, 0 ам 1 при всех
i = 1, ..п + 1 и всех к = 1, 2, . .. Пользуясь теоремой Больцано — Вейер-
штрасса, сначала из {щц}, {а^} выберем подпоследовательности [^1]»
|aft XJ, сходящиеся соответственно к некоторым иь af, затем из
(afe 2) ~ подпоследовательности [wft 2] -> и^ (aft Д -> а2 и т. д., наконец,
’ 1 * I 2 * '2'
п-Ы
{ю*п+1П+1)->'ип+1» {afen+1n+i}-*an+i- Тогда из икп+1= 2 afen+i“fen+i<
/ п+1 \
V1‘S'7,%+1,>0’ ...re + 1, Sa*n+1i = 1) п₽еДельныМ
\ i=l /
n+i / n+i \
переходом при кп+1 -+ оо получим и=» aiui I > 0, 2 =
i—l \ i=l /
S и
ВЫПУКЛЫЕ МНОЖЕСТВА
15^
где Ui е U (i — 1, ..., п + 1) в силу замкнутости U. Следовательно, па
теореме 6 и е со £7, что и требовалось.
Заметим, что требование ограниченности множества U в теореме 8 су-
щественно. Например, множество U = {и = (ж, у) е Е2: ж 0, у = Ух}
замкнуто, но со U == {и = (ж, у): х^О, 0 < у Ух} незамкнуто. Если
U — выпуклое замкнутое множество из Еп, то со U будет замкнутым и без
требования ограниченности U, поскольку в этом случае в силу теорем 5,
со U = U = U = со U.
Теорема 9. Пусть А — произвольное непустое множество из Еп^
Тогда
sup <с, а> = sup_ <с, а> = sup <с, а> = sup <с, а> Ус е Е”.
as A aeA аЕ со А аасоА
Доказательство. Поскольку ЛсЛ, то sup (с, a>< sup <с, а>*
_ А А
С другой стороны, для любого а е Л существуют G Л, {а^} -> а. Поэтому
из а^у sup <с, а> при к -> оо получим <с, а> sup <с, а> для всех
__ А А
се Л. Следовательно, sup <с, sup <с, а>, так что sup <е, a> = sup <с, а>»
Л А- А Л
Отсюда же имеем sup <с, a> = sup <с, а>. Далее, так как Л с со Л, то
со А со А
sup <с, a> sup <с, a>. С другой стороны, для любого аесоЛ согласно
А со А
теореме 6 найдутся е Л, а< О (i = 1, ..г), ai + »•» + ar = 1 такиег
г
что а = 2 aiaf Поэтому
i=l
г г
<С, а> = 2 “г <с> а»> < 3 “г SUP : SUP <с> а>
i=l i=1 asA А
для каждого сесоЛ. Следовательно, sup <с, а) sup <с, а>, так что
со А А
sup <с, a> = sup <с, а>.
со А А
4. Приведем условия существования внутренней точки выпуклого мно-
жества.
Теорема 10. Пусть U—непустое выпуклое множество из Еп. Для
того чтобы int £7 =0= 0, необходимо и достаточно, чтобы dim U == п.
Доказательство. Необходимость. Пусть int £7 =0= 0. Тогда
для любой внутренней точки v множества U существует е-окрестность
О (и, 8) = {и: \и — р|< е}, также принадлежащая U, Отсюда вытекает, что
минимальным аффинным множеством, содержащим множество U и, следо-
вательно, шар О (и, 8), является все пространство Еп. Это значит, что
aff U = Еп, dim U == п.
Достаточность. Пусть dim U = п. Тогда aff V == Еп и найдутся
точки uQ, ui, ..., ип е U такие, что векторы щ — zz0> . •и,п — uq линейно
независимы. Натянем на эти точки симплекс
Sn = е Еп: и = У аги^ 0, i = 0, 1,
I i=o
2 аг = 1
г=0
Согласно теореме 5 Sn с U, а по теореме 6 Sn выпукло.
160
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ, 4
Рассмотрим систему линейных алгебраических уравнений
п
2 (“i ~ “о) Xi = и ~ “о> И е (6)
1=1
Матрица этой системы А — (щ —и0, ..ип — uQ), столбцами которой
являются линейно независимые векторы щ — и0 (1 = 1, ...» п), имеет раз-
меры п X п и невырождена. Поэтому система (6) для каждого и е Еп имеет
и притом единственное решение х — х(и) = (zi(u), ..хп(и)). Из извест-
ных формул Крамера [93, 164] видно, что функции xi(u) непрерывно
(и даже линейно) зависят от и.
Опираясь на это свойство решений системы (6), покажем, что любая
п
точка w = 2 ^iui симплекса Sn при > 0 (1 = 0, 1, *.п) является
1=о
внутренней точкой Sn. В самом деле, для такой точки w имеем w — uQ =
п п п
= 2 агиг — 2 aiuo~ 2 ai(ui ~~ uq)- Сравнение с (6) показывает, что
1=0 1=0 1=1
&i = Xi(w) (i = 1, ..., п). В силу непрерывности Xi(u) тогда Х{(и) >0
(i == 1, ..п) для всех и е O(w, с) = {и: | и — w | < е}, где е > 0 — доста-
п
точно малое число. Функция xQ (и) = 1 — xi (и) также непрерывна,
1=1
п
причем xQ (ш) = 1 — 2 ai = % > 0* ®зяв 8 > 0 достаточно малым, можем
1=1
считать, что х^(и) > 0 для всех и е O(w, &).
Таким образом, для каждой точки u^O(w, s) в силу (6) имеем пред-
п п
ставление w = % + 2 Xi (иг ~~ ио) = 2 Xi (и) иг’ гДе хг (м) > 0
1=1 1=0
п
2 ^|(и) = 1. Это означает, что <9(w, е) с Sn. Следовательно, weintSn.
1=о
Отсюда и из включения Sn^U следует, что O(w, е) с С7, т. е. w е int U
и int U Ф 0.
5. Выпуклое множество U = {и = (ж, у, z) е Е3: х2 + у2 1, z = 0},
представляющее собой единичный круг в плоскости Г = {и = (ж, у, z) е
еЕ3: z = 0}, не имеет внутренних точек. Кстати, здесь плоскость Г пред-
ставляет собой аффинную оболочку множества 17. В то же время, если это
множество U рассматривать лишь относительно плоскости Г (т. е не «при-
знавать» точки Е3, лежащие вне Г), то U — единичный круг — конечно же,
имеет внутренние точки. Приводимая ниже теорема 11 показывает, что это
не случайно. Для ее формулировки нам понадобится
Определение 10. Точка v е U называется относительно внутрен-
ней точкой множества U, если существует е-окрестность О (и, е) = {и е
е Еп: |и— р| < е} точки v такая, что пересечение О (и, в) [) aff U целиком
принадлежит U, Множество всех относительно внутренних точек множест-
ва U обозначается через ri U (иногда обозначают relint £7).
Например, если U = {и — (ж, у, z) е Е3'. х2 + у2 1, z = 0}, то ri U =
е= {и = (х, у, z) е Е3: х2 + у2 < 1, z = 0}.
Если множество U ^Еп имеет размерность п, т. е. dim aff U = п, то
понятия внутренней и относительно внутренней точки для множества U
совпадают и ri U = int U. Нетрудно указать множества JJ (например, мно-
жество, состоящее из двух различных точек Еп), у которых ri U = 0Л
Однако для выпуклых множеств верна
§ 1]
ВЫПУКЛЫЕ МНОЖЕСТВА
161
Теорема 11. Если U — непустое выпуклое множество из Еп, то ri U
непусто, выпукло. При этом если и^= ri U, v<= U, то va = v + a(u0— y)e ri U
при всех a (0<_a^l). Если u^riU, y^riU, у to w^,=
= и + X(y — и) ф U при всех X > 1.
Доказательство. Можем считать, что точка 0е U, так как в
противном случае вместо множества U мы рассмотрели бы множество
Z7 — {р} = {w е Еп; w = и — v, u^U}, где v — какая-либо точка из U.
Тогда 0 е aff U = Lin U — подпространство в Еп. Пусть множество U имеет
размерность dim U = тп(1 m <Z п) (в случае m — 0, когда U состоит из
единственной точки, утверждения теоремы тривиальны; случай m = п рас-
смотрен в теоремах 3, 4, 10). Тогда найдутся такие точки и0, и\, .. um е U,
что векторы в1 = щ — и0, ..., ет = ит — uQ линейно независимы и образуют
базис aff U. Можно дополнить систему а, ..., ет векторами em+i,..., еп до
базиса Еп, причем можно считать, что <e,, ej> = 0 (1 = 1, ..., т, j =
= т + 1, ...., п). В этом базисе aff U = {и = (и1, ..., ип)^Еп: ит+1 =
= иУ = 6, ..., ип = <еп, гг> = 0} = {и = (х, um+i = 0, ..ип = 0):
х е Ет}, так что aff U можно отождествить с пространством Ет. Повторив
в этом пространстве соответствующие рассуждения из доказательств теорем
3, 4, 10, убеждаемся в справедливости утверждений доказываемой теоремы.
Теорема 12. Пусть U—непустое выпуклое множество из Еп и
у yg^riU. Тогда существует последовательность {yk} (yk^U, уъ^.
е aff U, к = 1, 2, ...), сходящаяся к у.
Доказательство. Возьмем какую-либо точку и ri U. Согласно
теореме И тогда = и + К (у — и) ф U при всех X > 1. Кроме того, по-
скольку aff U = aff U, то и, у е aff U и, следовательно, wj, е aff U. Тогда
yk ~ ~ и + hk(y — u)t где Хь > 1, {Хь} -> 1,— искомая точка.
Заметим, что если множество U не является выпуклым, то утверждение
теоремы 12 может оказаться неверным. Например, пусть U — множество
точек на числовой оси Е1, имеющих рациональные координаты. Тогда
aff U = Е1, и любая точка у ^Ех является граничной для U. Таким обра-
зом, U = Е1, и последовательности {yk} & U, сходящейся к у, здесь не
существует. __
__ Т е о р е м а 13. Пусть U— выпуклое множество из Еп. Тогда ri U = ri U,
и = гПл
Доказательство. Возьмем любую точку v е ri U. Согласно опре-
делению 10 тогда существует такое е >_0, что O(v, е) П aff U — О (у, е) П
П aff U cz U с U. Это значит, что v е ri U. Следовательно, ri U cz riLZ. Дока-
жем обратное включение. Возьмем w е ri U. Тогда существует такое 8 > 0,
что O(w, 8) П aff U cz U.
Возьмем какую-либо точку v е ri U и положим Wk = wJr'K(w— и)
(XgR). Поскольку v, w е aff U = aff U, то wk е aff U при всех XgR.
Кроме того, существует такое Хо > 0, что wk^0(w, 8) для всех Х(|Х|
Хо). Следовательно, шь е O(w, s) С aff [/cz f7(|X| Хо). Из выражения
---h-(y —
1— V
для wx следует, что w =
ш^). Возьмем здесь ]Х[ столь малым,
чтобы —Хо < X < 0 и а = (—Х)/(1 — X) =[ Х|/(1 + |X|) е (0, 1). Соглас-
но теореме 11 тогда w е ri U. Это значит, что ri U cz ri U. Тем самым уста-
новлено, что ri U = ri U. ___ _ __
Далее, так как ri U cz U, то ri U cz U. Возьмем любую точку и е U и
v е ri U. По теореме И иа = и + а (у — и) е ri U при всех а е (0, 1], при-
чем иа -> и при а -> 0. Следовательно, и ri U. Это значит, что U cz ri U.
Таким образом, показано, что U = ri U.
162
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Некоторые другие свойства выпуклых множеств будут рассмотре-
ны ниже. __
Упражнения. 1. Пусть_ U — некоторое множество из En, U — за-
мыкание множества U, Если U выпукло, то можно ли утверждать, что U
также выпукло?
2. Существует ли невыпуклое множество, удалив пз которого одну точ-
ку (или несколько точек), можно получить выпуклое множество? Рассмот-
реть пример U = {и = (х, у) <= Е2: х 0, у 0, х + у < 1} U {(0- 1)} U
U {(1,0)}.
3. Показать, что равенство ri U = ri U для невыпуклых множеств, во-
обще говоря, неверно (рассмотреть круг с выколотым центром).
4. Доказать, что если A cz В, то A cz В, int A cz int В, но, вообще говоря,
не будет включения ri A cz ri В даже для выпуклых А и В, Рассмотреть
пример В — куб в Е3, А — одна из его граней.
5. Если А—выпуклое множество из Еп, то aff Л = aff(riЛ). До-
казать.
6. Доказать, что размерность множества U совпадает с максимальной
размерностью симплексов, содержащихся в U. _ _ _____
7. Если Л, В — выпуклые множества из Еп, то Л + В cz А + В, пЛ +
+ ri Е = п(Л + Е), п(1Л)=%пЛ для любых действительных чисел Z.
Доказать.
8. Доказать, что если Л, В — выпуклые множества пз Еп, пЛ П ri В Ф
=£0, то ri ЛрпЕ — ri (ЛрЕ). Существенно ли здесь требование ri Л П ri Е =#
=# 0? Рассмотреть пример Л = {и = (х, у) (=Е2: 0}, В = {и —
= (ж, у) (= Е2: х 0}.
9. Если U — открытое множество, то со U открыто. Доказать.
10. Доказать, что со (Л + В)_ = со Л + со В.
И. Доказать, что со U = со U, где со U — пересечение всех выпуклых
замкнутых множеств, содержащих U.
12. Доказать, что вершины и0, щ, ..., ит иг-мерного симплекса Sm —
= Sm(uv, ui,..., Um) являются его угловыми точками (см. определе-
ния 9, 3.2.1).
13. Доказать, что аффинная оболочка множества U состоит из точек
вида + . . . + CLmUm При ВС6ВОЗМОЖНЫХ 141, • • Um U, Щ — ДбЙСТВИ-
тельные числа (i = 1, ..., т), си + ... + = 1, и только из них.
14. Пусть А, В — выпуклые замкнутые множества из Еп, причем хотя бы
одно из них ограничено. Доказать, что тогда Л + В — выпуклое замкнутое
множество. Будет ли Л + В замкнутым, если Л, В не ограничены? Рас-
смотреть пример Л = {а = (ж, у, z) Е3: х = z = 0, у 0}, В = {Ь =
= (ж, у, z) (= Е3: х2 + у2 2yz, у 0}.
§ 2. Выпуклые функции
1. В гл. 2 были рассмотрены некоторые свойства выпуклых
функций одной переменной. Здесь мы продолжим изучение
свойств выпуклых функций многих переменных.
Определение 1. Функция J(zz), определенная на выпук-
лом множестве С7, называется выпуклой на этом множестве, если
J (аи + (1 — a) v) aJ(u) + (1 — a) J(v) (1)
при всех и, г С7, всех a (O^a^Cl). Если в (1) при и¥=и
равенство возможно только при а = 0 и а = 1, то функция J (и)
называется строго выпуклой на U. Функцию J(u) называют
§ 2]
ВЫПУКЛЫЕ ФУНКЦИИ
163
вогнутой [строго вогнутой} на выпуклом множестве Z7, если —J(и)
выпукла [строго выпукла] на U.
Если множество U пусто или состоит из одной точки, то
функцию на таком множестве нам будет удобно считать выпук-
лой (или вогнутой) по определению. Подчеркнем также, что
всюду, если не оговорено противное, будем рассматривать лишь
функции, принимающие конечные значения во всех точках об-
ласти определения.
Примерами выпуклой функции на всем пространстве Еп слу-
жат линейная функция J(u)=<c, и> и норма J(zz)= \и\. Кстати,
линейная функция J(u)=<c, и> одновременно является и вогну-
той на Еп.
В теореме 1.5 было показано, что выпуклое множество U co-
rn /
держит выпуклые комбинации 2 &iui I 0, i = 1,..., тп,
2 = 1 \
ш \
2^ = 1 любых своих точек Hi, ..., um при любых m = 2, 3, ...
2 = 1 /
Пользуясь индукцией по той же схеме, какая была использована
при доказательстве теоремы 1.5, нетрудно показать, что для
любой выпуклой функции ] (и) на выпуклом множестве имеет
место неравенство Йенсена
(тп, \ тп
У. а,иг У, aiJ (щ) (2)
2 = 1 ] 2 = 1
для любых тп — 1, 2, ..., любых щ^и, аг->0 (i = l, ..., тп),
тп
У = 1-
2=1
2. Как и в случае выпуклых функций одной переменной, вы-
пуклые функции многих переменных на выпуклом множестве
не могут иметь локальных минимумов. Точнее, верна
Теорема 1. Пусть U—выпуклое множество, а функция
J (и) определена и выпукла на U. Тогда всякая точка локального
минимума J (и) одновременно является точкой ее глобального
минимума на U, причем множество
U* = {и: u^U, J (и) = J* = inf J
выпукло. Если J(u) строго выпукла на U, то U* содержит не
более одной точки.
Доказательство. Пусть и* — точка локального миниму-
ма функции 1 (и) на множестве U. Это значит, что существует
окрестность О (и*, 8) = {и: \и — и* | < 8} точки и* такая, что
J (u*)^J (0 для всех О (и*, г) f) U. Возьмем произвольную
точку u^U и число а>0, столь малое, чтоос|и — и* |< с. Тог-
да и* + а(и — и*У=О(и*, 8) Г) U, и с учетом выпуклости функции
J (и) имеем J(u*)^. J\u* + а (и—u*))^.J (и*) + a (J (и) —J (ц*))
164
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
или 0 a (J (и) — J (£**)). Сокращая на а>0, отсюда получаем
J(u)^J (и*) при любом u^U. Следовательно, и* е U*.
Пусть теперь и, и т. е. J (и) — J (у) = J* (и, U).
Тогда
J*^J (аи + (1 — a) v) aj (и) + (1 — а) J (у) = J*, (3)
т. е. J (аи + (1 — а)р)=/^. при всех а (0^а^1). Следователь-
но, аи + (1 — а) и е U* (0 а 1). Выпуклость U* доказана.
Если и Ф v, то для строго выпуклых функций неравенства
(3) не могут обратиться в равенства при 0<а<1. Следова-
тельно, строго выпуклая функция может достигать своей ниж-
ней грани на выпуклом множестве не более чем в одной точке.
Примеры 1.11.1, 1.11.3—1.11.5 показывают, что у выпуклых
функций множество U* может быть пустым, может содержать
одну или бесконечно много точек.
3. Прежде чем переходить к формулировке критерия опти-
мальности для выпуклых функций, остановимся на одном харак-
теристическом свойстве гладких выпуклых функций.
Теорема 2. Пусть U — выпуклое множество, функция
J(и)<^ С1 (U). Тогда для того чтобы J(и) была выпукла на U,
необходимо и достаточно выполнения неравенства
J (u)^J (у) + </' (и), и — v) Vu, v . (4)
Доказательство. Необходимость. Пусть J(и) вы-
пукла на U. Перепишем неравенство (1) в виде
J (v +а(и —v)) —J (v)^a[J (и) —J (v)], 0^а<1, и, v^U.
Применяя к левой части формулу конечных приращений (2.3.2),
имеем
a<J' (y + §a(u — v}), и — иУ ^a[J (и) — J (у)], О<0<1.
Деля обе части этого неравенства на а > 0 и устремляя а -> +0,
с учетом гладкости функции получим требуемое неравенство (4).
Достаточность. Пусть для некоторой гладкой функции
на выпуклом множестве выполняется неравенство (4) при всех
и, v^U. Покажем, что тогда J (и) выпукла на U. Возьмем про-
извольные точки и, v U и число а (0<а<1). Положим иа =
= аи + (1 — a)v. Из (4) получим
J (и) — J (?/а) (П’а) , U и^У,
J (v) — J (иа) > <J' (иа), v — иаУ.
Умножим первое из этих неравенств на а, а второе — на 1 — а
и сложим. Получим a/(u) +(1 — а)7(р) —J(na)> </'(па), иа>,
что равносильно неравенству (1).
Неравенство (4) имеет простой геометрический смысл. Как
известно [10, 160, 165, 233], гиперплоскость Г = {(и, ц) e£n+1:
§ 2]
ВЫПУКЛЫЕ ФУНКЦИИ
165
u^£n, 7 = J(v)+ <J' (v), u — v>} является касательной пло-
скостью к графику функции 7 = J(u) в точке v. Поэтому нера-
венство (4) означает, что график выпуклой функции лежит не
ниже касательной плоскости к этому графику в любой точке
v^U (ср. с теоремой 1.8.4).
4. Следующая теорема, называемая критерием оптимальности
для выпуклых функций, дает необходимые и достаточные усло-
вия минимума гладких выпуклых функций на выпуклом мно-
жестве.
Теорема 3. Пусть U—выпуклое множество, J(u)eC1 (U)
и пусть U* — множество точек минимума J (и) на U. Тогда в
любой точке и*^ U* необходимо выполняется неравенство
(J'(и*), и— и*у^0 У/u^U, (5)
а в случае u*^intU неравенство (5) превращается в равен-
ство J' (и*) = 0. Если, кроме того, J (и) выпукла на U, то усло-
вие (5) является достаточным для того, чтобы и* U*.
Доказательство. Необходимость. Пусть и* е U*.
Тогда при любых и е U и а [0, 1] с помощью формулы (2.2.1),
определяющей градиент функции, имеем 0 J(u* + а (и—и*))—
— J (^*) ~ а (^*),и — и*> + ° (а) или
0< <J' (u^j, и — и*у + о(а)/а, 0 < а < 1.
Отсюда при а->+0 получим условие (5). Если и* е int U, то
для любого е^Еп найдется 80>0 такое, что и — и* + ее е U при
всех е (lei ^80). Полагая в (5) и = и* + ее, получаем
8 </' (и*), е> 0 при всех 8 (lei 80), что возможно только при
</' (и*), еУ = 0. В силу произвола е отсюда имеем J' (и*) = 0.
Заметим, что если и* — граничная точка множества U, то ра-
венство J' (и*) = 0 может выполняться, может и не выполняться.
Например, если J(u) = u2, U = {u^Eli 1 С и 2}, то и* — 1,
J' (и*) = 2 и условие (5) в точке и*, конечно, выполняется. Если
ту же функцию J(u) = u2 рассматривать на отрезке C/ = {zzeJE1:
0 и С 2}, то и* — 0, J' (и^) = 0, хотя и* = 0 —граничная точ-
ка U. Таким образом, условие (5) является естественным обоб-
щением условия стационарности (2.2.5) на задачи минимизации
гладких функций на выпуклых множествах U ¥= Еп.
Достаточность. Пусть функция J(и)^С1 (U) является
выпуклой на U, 'оуетъ для некоторой точки и* & U выполнено
условие (5). Тогда из неравенства (4) при v ~ и* получим
J (и) — J (и*) (J' (и*), и — и*у 0 или J (и) J (и*) при всех
и е U, т. е. и* <= U*.
5. Сформулируем и докажем два критерия выпуклости для
гладких функций.
Теорема 4. Пусть U—выпуклое множество, J(u)^Cl(U).
Тогда для выпуклости функции J (и) на U необходимо и доста-
166
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
точно, чтобы
</' (и) — J' (v), и — v) О Vи, v е U. (6)
Доказательство. Необходимость. Пусть У (и) вы-
пукла на U. Тогда для любых и, v^U имеет место неравен-
ство (4). Поменяв в (4) переменные и и v ролями, получим
J(z?)> J(zz)+<J'(zz), v-иУ.
Сложив это неравенство с (4), придем к условию (6).
Достаточность. Пусть для некоторой функции J(и)е
^Cl(U) выполнено условие (6). Тогда с помощью формулы ко-
нечных приращений (2.3.2) для любых и, v^U и а^[0, 1]
имеем
aJ (zz) + (1 — a) J (v) — J (аи + (1 —- а) и) —
~ а [ J (и) — J (аи + (1 — а) г)] +
+ (1 — а) [J (и) — J (аи + (1 — а) z?)] =
1
= a J < J' (аи + (1 — а) и + t (и — аи — (1 — а) z?)), и — аи —
о
1.
— (1 — а) v) dt + (1 — а) J </' (аи + (1 — а) и + t(v — аи —
о
— (1 — а) и)), и — аи — (1 — a) и) dt =
i
= а (1 — а) J <J' (аи + (1 — а) и + t (1 — а) (zz — и)) —
о
— J' (аи + (1 — а) и + ta (v — zz)), zz — z?> dt,
или
aJ (zz) + (1 — a) J (v) — J (au + (1 — a) z?) =
i
= a (1 — a) J <J' (zx) — J’ (z2), zx — z2> -A dt, (7)
0
где z£ = azz + (1 — a)v + t(1 — a) (zz — v), z2 — au + (l — a,)v +
+ ta(v — u). Из условия (6) имеем </'(Zi) —J'(z2), Zi — z2>>0
при всех t (0<^<l). Это значит, что правая часть (7) и, сле-
довательно, левая часть (7) неотрицательна при любом выборе
zz, v U, a <= [0, 1], т. е. J (и) выпукла на U.
Заметим, что для функций одной переменной неравенство (6)
равносильно неубыванию производной «Г (zz). Это значит, что
доказанная теорема 4 является естественным обобщением теоре-
мы 1.8.8 на случай гладких функций многих переменных.
ВЫПУКЛЫЕ ФУНКЦИИ
167
§ 2]
Следующий критерий выпуклости обобщает теорему 1.8.9.
Теорема 5. Пусть U—выпуклое множество из Еп, J(u)^
^C2(U). Тогда для выпуклости J (и) на U необходимо и доста-
точно, чтобы
<7"(и)В, В>>0 (8)
при всех U&U и всех £ = (£*, ..£п), принадлежащих подпро-
странству L == Lin U, параллельному аффинной оболочке множе-
ства U (в частности, если intt/^0, то (8) выполняется при
всех £ е Еп}.
Доказательство. Необходимость. Пусть J(и} вы-
пукла на U. Пусть aff U = {и Еп: Аи = Ь}, где А — некоторая
матрица размера пгХп, а Ь^Еп (см. пример 1.4). Тогда под-
пространство L, параллельное aff U, имеет вид L = {^^En: А^ =
= 0). Далее, согласно теореме 1.10 ri U ¥= 0. Возьмем произволь-
ные | L, u^riU. Тогда А (и + 8%) = Аи + = Аи = Ъ, т. е.
и + 8^ е aff А при всех 8.
По определению 1.10 относительно внутренней точки множе-
ства найдется такое число 80 > 0, что и + 8% U при всех 8
(|е| ^80). Поскольку для гладкой выпуклой функции справедли-
во неравенство (6), то из него с учетом формулы (2.3.4) имеем
<J'(u + ^ р8 = <Г (и + 08Щ, £>82>0, 0^0 1, или
<7" (и + 08^)^, i>>0 для всех 8 (0< |е| ^80). Отсюда, поль-
зуясь непрерывностью J" (и), при 8-> 0 получим условие (8)
для всех и s ri U. Если и е C7\ri U, то, как следует из теоре-
мы 1.10, существует последовательность {uh} ri U, сходящаяся
к и. По доказанному <П" (ик)^, £> >0 при всех Отсюда
при к -> оо получим неравенство (8) и для точек и ?7\ri U.
Достаточность. Пусть J(u)<^ C2(U) и выполнено усло-
вие (8). Возьмем произвольные точки и, v^U. Тогда ^ = и —
— v^L. Пользуясь формулой (2.3.4) и неравенством (8) при
| = и — V, получим
</' (и) — Г (у), и — и) =
= {J” (у + 0 (и — и)) (и — v), и — р> 0 Vu, v е U.
Таким образом, для функции J (и) выполняется условие (6). Из
теоремы 4 следует выпуклость J (и) на U.
Замечание 1. Если int£7#=0, то L = En и условие (8)
должно выполняться при всех | е Еп. Следующий пример пока-
зывает, что при int U = 0 условие (8) может и не выполняться
при каждом £ Еп.
Пример 1. Пусть J (и) = х2 — у2, U = {и = (х, у)(=Е2: у = 0}.
Ясно, что Ци) выпукла на U. Но условие <J"(iz)S,£> = 2(g1)2 —
— 2(g2)2^0 не выполняется, например, для £ = (0, 1). Здесь
int *7 = 0, aff U=U = L.
Однако если требовать, чтобы условие (8) выполнялось лишь
для тех g, которые принадлежат подпространству, параллельному
168
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
1ГЛ. 4
aff U (а не для всех ^^Еп), то теорема 5 остается справедли-
вой для любых выпуклых множеств U Еп. В этом случае дока-
зательство необходимости проводится по той же схеме, что и
выше, нужно лишь сначала рассмотреть точки и s ri Z7, а для
точек и е C7\ri U воспользоваться последовательностью {ит} е
ri 17, сходящейся к и. Доказательство достаточности остается
без изменений, так как вектор | = и — v при любых и, v^U
принадлежит подпространству, параллельному aff U.
Замечание 2. Условие (8} представляет собой условие
неотрицательности квадратичной формы
</"(«)£» ?>= 2 s v
v ,7, ди1 dul ь Ь
г, J=1
на Еп. Имеется следующий простой алгебраический критерий
неотрицательности квадратичной формы [105]: для того чтобы
п
<4g, g> = 2 при всех £ = (V, •••, необходимо и
М = 1
достаточно, чтобы все главные миноры матрицы А = были не-
отрицательны.
Напоминаем, что главными минорами матрицы А = [aj назы-
ваются всевозможные определители
Air. лк = det
га. • г1г1 . «4 Л Ч г1’й
.. и, ,
где 1 it < i2 < ... < ik п (fc = l, ..., ri). Симметричную мат-
рицу А называют неотрицательно определенной, если она явля-
ется матрицей неотрицательно определенной квадратичной фор-
мы, и обозначают А > 0. Отметим также, что неотрицательность
квадратичной формы <7" (u)^, £> равносильна тому, что соб-
ственные числа Xi(zz), ..., Хп(^) матрицы 7" (и) (т. е. решения
уравнения det I J" {и) — VI = 0, I — единичная матрица размера
п X п) неотрицательны при всех и е U.
Учитывая замечание 2, можно сказать, что условие (8) явля-
ется достаточно удобным средством проверки выпуклости дваж-
ды гладких функций небольшого числа переменных.
Пример 2. Определим, при каких а, Ъ, с функция
J (и) = х2 + 2аху + by2 + cz2
будет выпуклой на Е*. Здесь
Г2
J” (и) =
2а
.0
2а 0 “
2Ь 0
0 2с _
Условие неотрицательности всех главных миноров этой матрицы
дает искомые условия на а, Ъ, с: Ъ — а2 >0, с > 0.
§ 2]
ВЫПУКЛЫЕ ФУНКЦИИ
169
Пример 3. Пусть
J (и) = у <Ли, и) — <6, и}, и е Е\ (9)
где А — симметричная неотрицательно определенная матрица
размера п X п, Ъ е Еп. В частности, если А = 21 — единичная мат-
рица, 6 = 0, то 1{и\ — <и, иУ = |и|2.
Приращение функции (9) нетрудно записать в виде
J(u + h) — J(u) = {Au-b, hy +±<JA,/i> (10)
при любых и, ]г^Еп. Из (10) имеем
Г(и) = Аи — Ъ, 1"(и) = А.
По условию А > 0. Отсюда и из теоремы 5 следует выпуклость
1 (и) на Еп. Согласно теореме 3 для того, чтобы функция (9)
достигала своей нижней грани на Еп в точке и, необходимо и
достаточно, чтобы и* являлась решением линейной алгебраиче-
ской системы Аи = Ь. Указанная связь между задачей миними-
зации функции (9) на Еп и системой Аи = Ь с матрицей А > 0
лежит в основе ряда численных методов линейной алгебры
[4, 13, 54].
Пример 4. Пусть
J(u)=\Au — b\2, и^Еп, (И)
где А — матрица порядка т X п, Ъ е Еп. Покажем, что такая
функция выпукла на Еп. Для этого вычислим ее производные.
Пользуясь следующей просто проверяемой формулой
{Ах, уУ = {х, АТуУ, хе=Еп, у^ Ет,
где АТ — матрица, полученная транспонированием матрицы А,
нетрудно представить приращение функции (11) в виде
J (и + h) — J (и) = 2 (Ат (Аи — Ъ), h) + 4 <2ЛгЛ/1, h)
А
при всех и, h е Еп. Отсюда имеем
Г(и) = 2Ат(Аи-Ь), 1" (и) = 2АтА.
Но {1"(иЦ, Р = 2<ЛТЛ£, £> = 2<4g, Др = 2Щ]2>0 при всех
%^Еп. В силу теоремы 5 функция (11) выпукла на Еп.
Согласно теореме 3 для того, чтобы функция (11) достигала
своей нижней грани на Еп в точке и, необходимо и достаточно,
чтобы и удовлетворяла системе линейных алгебраических
уравнений
АтАи = АтЬ.
170
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
6. Посмотрим, как влияют на выпуклость сложение, умноже-
ние на число и некоторые другие операции над выпуклыми
функциями. Легко доказывается
Теорема 6. Если функции Ji(u) (i = l, ...» zn) выпуклы
на выпуклом множестве, то функция
J(zz)==ai/i(zz)+ ... + amJm(u)
выпукла на этом множестве при любых (i = l, ..., rn).
Теорема 7. Пусть Ц(и) (i^I)—произвольное семейство
функций, выпуклых на выпуклом множестве U, пусть
J (и) = sup Ji (и), и е U.
г~1
Тогда функция J(u) выпукла на U.
Доказательство. Возьмем произвольные точки и, v^U
и числа ае[0, 1], 8>0. Положим иа = оси + (1 — a) v. По опре-
делению верхней грани найдется индекс i = i(&, а)^1 такой,
что J(ua) — 8 С Ji(ua). С учетом выпуклости Ji(u) тогда имеем
J(иа)^ Ji(ua) + 8 aJi(u) + (i — a)Ji(v)+ 8 С
С а/(и) + (1 — а)/(г)+ 8
или J (иа) aJ(u) + (1 — a) J(v) + 8 при любом 8 > 0. Отсюда при
8->•+0 следует выпуклость J(u), что и требовалось.
Следствие 1. Пусть функция g(u) выпукла на выпуклом
множестве U. Тогда функция
g+(L4) = max{g(u); 0)
выпукла на U.
Теорема 8. Пусть функция ф(£) одной переменной выпук-
ла и не убывает на отрезке [а, Ь] (возможность а = —оо или
Ъ = оо здесь не исключается), пусть функция g(u) выпукла на
выпуклом множестве U ^Еп, причем g(u)^[a, b] при всех u^U.
Тогда функция
W = 4>(g(w))
выпукла на U.
Доказательство. Возьмем произвольные и, v^U и
[0, 1]. Тогда
J(au + (i — a)v) =
= ^(g(au + (l-a)v))^^(ag(u) + (l~a)g(v))^
аф (g (и)) + (1 - а) ф (g (v)) = а/(и) + (1 - a) J(v),
что и требовалось.
Иногда удобнее пользоваться другим вариантом этой теоре-
мы: если функция ф(£) выпукла и не возрастает на отрезке
{а, Ь]. a g(u) вогнута на выпуклом множестве U^En, g(u)^
*=[а, b] при ue=U, то функция J(u) = <p(g(^)) выпукла на U.
§ 2]
ВЫПУКЛЫЕ ФУНКЦИИ
171
Следствие 1. Если функция g(u) выпукла и неотрица-
тельна на выпуклом множестве U, то функция
выпукла на U при всех р > 1.
Следствие 2. Если функция g(u) выпукла на выпуклом
множестве U, то функция
/(«}= (max {0; g(u)})* = (g+(u))p
выпукла на U при всех р > 1.
Следствие 3. Если функция g(u) выпукла на выпуклом
множестве U, причем g(u)<0 при всех u^U, то фзункции
J(и) =—l/g(u), J(iz) = max{—ln(—g(u)); 0}p, p^l,
выпуклы на U.
Как увидим ниже, функции, указанные в следствиях к тео-
ремам 7, 8, будут использованы при описании различных мето-
дов минимизации (например, в методах штрафных и барьерных
функций и др.).
7. Выпуклые функции являются удобным средством задания
выпуклых множеств. Это связано с тем, что надграфик всякой
выпуклой функции является выпуклым множеством.
Определение 2. Надграфиком (или эпиграфом) всякой
функции Ди), определенной на множестве U^En, называется
множество (рис. 4.5)
epiJ = {(и, ц)^Еп+1: u^U, ц^](и)}.
Теорема 9. Для того чтобы функция J(u), определенная
на выпуклом множестве U, была выпуклой на U, необходимо и
достаточно, чтобы ее надграфик был вы-
пуклым множеством.
Доказательство. Необходи-
мость. Пусть функция Ци) выпукла на
выпуклом множестве U. Возьмем две про-
извольные точки ^i = (^1? 7t), z2 = (и2, 72)G
<= epi J и составим их выпуклую комби-
нацию za = aZi + (1 — a) z2 = (aUi + (1 —
— a)u2, aYi + (l — a)72) (0<aCl). Из
выпуклости U следует, что иа = aUi +
+ (1 — a) и2 U. Из выпуклости функции
Ди), учитывая, что zb z2^epiJ, имеем
— a) J(iz2)^ &7i + (1 — а) 72. Следовательно, za^epiJ при всех
а^[0, 1]. Выпуклость epi J доказана.
Достаточность. Пусть epi J — выпуклое множество.
Возьмем произвольные uh u2^U и а [0, 1]. Тогда zx =
= (ub J(zzi)), z2 = (u2, J(zz2))^ epi J. В силу выпуклости epi J
172
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
точка 2a = az1 + (l —a)z2^epiJ. Это значит, что aJ(iii) +
+ (1 — a) J(u2) Цащ + (1 — а)и2). Выпуклость J(u) доказана.
Теорема 10. Пусть U — выпуклое множество, а функция
J(u) выпукла на U. Тогда множество М(с) = {и: u^U, J(u)^
с} выпукло при любом с.
Доказательство. Возьмем произвольные и, v^M{c},
а [0, 1]. Используя выпуклость множества U и функции J (и),
имеем J {аи + (1 — a) v) aJ{u) + (1 — a) J{v) с, т. е. аи + (1 —
— a)v е М(с), что и требовалось.
Заметим, что обратное утверждение здесь неверно: пз выпук-
лости множества М(с) при любом с, вообще говоря, не следует
выпуклость функции J{u\. Например, множество М{с) = {и: и^
^Е1, и3 С с} выпукло при любом с, а функция J{u) = u3 невы-
пукла на Е1 (см. упражнение 33).
Теорема 11. Пусть Uo — выпуклое множество, функции
gi{u) (Z = l, ..., пг) выпуклы на Uo, a gi{u) = <.а{, u> — bi {i —
= пг + 1, ..., s), где — заданные векторы из Еп, bi — заданные
числа {i = пг + 1, ..., s). Тогда выпукло множество
U = {и\ и Uq, gi(u)^ 0, i = 1, ..., пг; gi{u) = 0,
г = тп + 1, ..., $}. (12)
Доказательство. В силу теоремы 10 множество С7г- =
= {u: u^Uq, gi{u)^Q} выпукло при всех f=l, ..., пг. Выпукло
также множество М = {и е= Еп: <at, и> — Ь{==0, i = пг + 1, ..., $} —
см. пример 1.4. Тогда множество (12), являющееся пересечением
выпуклых множеств U^, ..., Um, М, само будет выпуклым.
8. Рассмотренное в теореме 3 условие оптимальности сформулировано
для непрерывно-дифференцируемых функций. Однако аналогичное усло-
вие можно получить при гораздо меньших ограничениях на функцию, ис-
пользуя лишь существование производных по направлениям. Напоминаем,
что производной функции J(u) в точке и по направлению е (|е| =1) на-
зывается число
dJ (и) __ lim J (u+te) —J (и)
de /-»+о
Заметим, что для определения производной по направлению в точке и нуж-
но, чтобы и + te принадлежало области определения J(u) при 0 t tQ
хотя бы при малом t0 > 0.
Определение 3. Пусть U — некоторое множество из Еп, пусть
и U. Направление е =И= 0 называется возможным в точке и, если сущест-
вует число to > 0 такое, что и + te е U при всех t (0 t to). Иначе го-
воря, достаточно малое перемещение из точки и по возможному направле-
нию не выводит за пределы множества U.
Очевидно, если и е int U, то любое направление е Ф 0 является воз-
можным в этой точке. В граничных точках множества возможное направ-
ление может и не существовать.
Пример 5. Пусть U = {х = {х, у) е Е2* х 0, х2 у 2z2}. Не-
трудно видеть, что в граничной точке (0, 0) нет ни одного возможного на-
правления.
Для выпуклых множеств U, содержащих не менее двух точек, приве-
денная в примере 5 ситуация невозможна: в любой точке и такого выпук-
§ 2]
ВЫПУКЛЫЕ ФУНКЦИИ
173
лого множества U имеется хотя бы одно возможное направление, причем
направление е =# 0 будет возможным в точке и тогда и только тогда, ког-
да существуют точка v е U (и и) и число у > 0 такие, что е = 7(1? — и).
Таким образом, если функции J(u) определена на множестве U, а на-
правление е(|е| =1) является возможным в точке ueU, то функция
f(t) = J(и + te) определена на отрезке [О, £0], где tQ > 0, и dJ(u)!de =
— /'(+0) — правая производная /(£) в точке t = 0.
Заметим, что если функция J(u) определена в некоторой е-окрестно-
сти точки и и дифференцируема в этой точке, то J(u) имеет производные
по всем направлениям, причем
dJ (и)
|е| = 1 (14)
(ср. с (2.3.1) при £-> + 0). Однако обратное неверно: из того, что функ-
ция в некоторой точке имеет производные по всем направлениям, вообще
говоря, не следует ее дифференцируемость в этой точке, и более того, нель-
зя гарантировать даже ее непрерывность.
Пример 6. Пусть
х2у
J (и) = J (х, у) =
+ У2'
0,
и = (я, у) #=0,
и = (0, 0) = 0.
Возьмем произвольное направление е = (cos a, sin а). Тогда
J (0 + fg) — / (0)
— J (t cos a, t sin a) =
2
cos a sin a
t2 cos4 a + sin2 a ’
Отсюда имеем
dJ (0) __ |cos2 g/sin a. sina=H=0,
de [0, sina = 0.
Однако эта функция разрывна в точке и = 0. В самом деле, устремим точку
и = (ж, у) к нулю по параболе у = х2. Тогда /(ж, х2) = 1/2 /(0, 0) = 0.
Таким образом, требование существования производных по направле-
нию существенно менее жесткое, чем требование дифференцируемости.
В связи с этим представляет интерес получить условия оптимальности в
терминах производных по направлению.
Теорема 12. Пусть U — выпуклое множество, U*—множество то-
чек минимума функции J (и) на U, пусть в точке u*^U функция J(и) име-
ет производные по всем возможным направлениям. Тогда необходимо вы-
полняется условие
dJ (Ц»)
de
(15)
для всех возможных направлений е(|е| = 1) в точке и*. Если, кроме того,
функция J (и) выпукла на U, то условие (15) достаточно для того, чтобы
и* е U.
Доказательство. Необходимость. Пусть и* <= U и е (|е| =
= 1) —возможное направление в точке и*. Тогда J {и* -\-te)^ J (и*) или
(/ (u* + te) — /(w#))/i^0 при всех достаточно малых t > 0. Отсюда при
/->4-0 получим условие (15).
Достаточность. Пусть 7(и) — выпуклая функция на U, пусть в
некоторой точке и* е U выполняется условие (15). Возьмем любую точку
и е U (и Ф и*) п положим е = (и — и*)1\ и — и*\. Направление е — возмож-
ное в точке и*, так как и* 4- te е U при всех t (0 < t < f = | и — и* |,
tQ >0). Из условия (15) тогда имеем /,(4“0) 3^0, где / (i) = J (и* + te).
t
i > 0.
174
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Ниже в теореме 13 будет показано, что f(t) выпукла на [О, f0], Из неравен-
ства (1.8.5) тогда следует,что f(t) —/(0) ^/'(+0р или f(t) ^/(0) при всех
/ е [0, f0]. В частности, при t = tQ = | и — и*\ отсюда имеем J (u) J (иф),
что и требовалось.
В частности, если в точке а* существует градиент J' (и*), то для е =
= (и — и*)/\ и — и* | (и &U, и Ф и*) согласно формуле (14) имеем
J (и*)/de = </' (w*), и — и*)/\ и — и* |, ив этом случае условие (15) пре-
вращается в условие (5). Таким образом, теорема 12 является обобщени-
ем теоремы 3 на существенно более широкий класс функций. Более того,
условие (15) является наиболее естественным для класса выпуклых функ-
ций. Дело в том, что, оказывается, всякая выпуклая функция в любой внут-
ренней точке множества имеет производные по всем направлениям. Это
вытекает пз следующих двух теорем.
Теорема 13. Пусть U—выпуклое множество, функция J(u) опреде-
лена на U. Для того чтобы J(u) была выпуклой на U, необходимо и доста-
точно, чтобы для любой точки и U и любого возможного направления е
в точке и функция f(t) — J(и + te) одной переменной t была выпукла на
отрезке [а, &], где а = inf{Z: и + te е U}, b = sup{£: и + te е U} (ясно,
что а 0 < й; если и ае U или и + be U, то функцию g(t) не сле-
дует рассматривать соответственно при t — а или t — b).
Доказательство. Необходимость. Пусть J (и) выпукла
на U. Возьмем произвольную точку и е U, какое-либо возможное направле-
ние е в этой точке и составим функцию f(t) = J(u + te) (a ^.t ^.b). Пусть
6, t2 — произвольные точки из [а, Ь] и ае[0, 1]. Тогда f(ati + (1—a)t2) —
J(а(и + tie) + (1 — а) (и + t2e)) <ZuJ(u + tie) + (1 — а)J(и + t2e) =
= af(ti) -j- (1 — а)/(М, что и требовалось.
Достаточность. Пусть для всех и е U и всех возможных направ-
лений е в точке и функция j(t) =J(u-{-te) выпукла на соответствующем
отрезке [а, Ь]. Возьмем любые точки и, v и положим е = v — и — это
возможное направление в точке и, так как и + t(v — и) <=U при 0 t 1.
Тогда из выпуклости f(t) = J(u + te) получим J(av + (1 — а)и) = f(a) =
= f (a• 1 + (1 — a) -0) a/(l) + (1 — a)/(0) = aJ(v) + (1 — a) J(u) при
всех a e [0, 1].
Теорема 14. Пусть U—выпуклое множество, функция J(и) выпук-
ла на U. Тогда в любой точке u^tiU функция J(и) имеет производные по
всем направлениям е е Lin U. В частности, если int Ut=0, то в точке и е
е int U существуют производные функции J(и) по всем направлениям е е
е Еп, | е | =1.
Доказательство. Зафиксируем какое-либо направление е е
е Lin U (|е| = 1) и точку и е ri U. Согласно определению 1.10 существу-
ет 8-окрестность О(и, г) = {и^Еп-. — и\ < 8} точки и такая, что пере-
сечение О (и, 8) П аН U целиком принадлежит U. Учитывая, что —е также
принадлежит Lin U, можем сказать, что и + te е U для всех t (|i|^io,
0<£0<е). Это значит, что функция j(t) =J(u-[-te) определена на от-
резке [—tQ, iol и согласно теореме 13 она выпукла на этом отрезке. По-
скольку t = 0 — внутренняя точка отрезка [—tQ, i0], то по теореме 1.8.2
существует
f (+0)= lim .,Ж~Ж
t^+0 t
lim J(u+te)~J(u) dj (и) *
t-»+o t de
Если и e U \ ri U, то в такой точке у выпуклой функции производные
по возможным направлениям могут и не существовать — об этом свидетель-
ствует пример 1.8.2.
9. Приведенный выше пример 6 показывает, что существование про-
изводных по всем направлениям не гарантирует непрерывности функции.
Но для выпуклых функций такая ситуация, оказывается, невозможна.
§ 2]
ВЫПУКЛЫЕ ФУНКЦИИ
175
Теорема 15. Пусть множество V выпукло и int £7 =# 0. Тогда выпук-
лая функция Ци) во всех внутренних точках множества U непрерывна.
В частности, функция, выпуклая на всем пространстве Еп, непрерывна во
всех точках.
Доказательство. Возьмем произвольные и е int U и 8 > 0. По
определению внутренней точки существует число б >* 0 такое, что и +
+ h е U, и + nWet е U для всех h = (h\ ..., hn), \h\ < б/n; здесь ei =
— (0, ..., 0, 1, 0, ..., 0) (i = 1, ..., п) — базис в Еп. Поскольку по теоре-
ме 14 функция Ци) в точке и имеет производные по направлениям в{, то
она непрерывна в этой точке по направлениям ei (f = 1, ..., п). Поэтому
можно взять число б столь малым, чтобы | Ци + nh'ei)—J(и) | <8 при
всех h (|/i| < б/n, i = 1, ..., п). Тогда, пользуясь неравенством (2), по-
лучаем
(п \
—2 (и+nhieJ)—7 <“)<
г=1 /
п
С -i- 2 (7 (и + — J (“)) < 8 (16)
г=1
для всех h (|h| < б/'/г). В частности, для —1г, удовлетворяющих неравенст-
ву |— h \ < б/n, пз (16) следует Ци — h) — Ци) < 8. Но в силу выпукло-
сти Ци) имеем Ци) = Ц(и + h)/2 + (и — 1г)/2) =С(/(и + 1г)+Ци — h))/2,
поэтому Ци) — Циh) ^Ци — h) — Ци) < 8. Отсюда и из (16) следует
\Ци + h) — Ци) | < 8 при всех h (|h\ < б/п).
Заметим, что если int U = 0, то, рассматривая лишь точки из aff U,
аналогично можно доказать непрерывность выпуклой на U функции во
всех точках и е ri U. В качестве базиса {ег}, участвующего в доказательст-
ве, в этом случае нужно взять базис подпространства Lin U. В точках и е
е 77\ri U выпуклая функция может терпеть разрыв — об этом говорит при-
мер 1.8.1.
10. Рассмотрим выпуклые функции на выпуклом множестве U, принад-
лежащие классу С1’1 (77) (см. определение 2.3.3), т. е. гладкие выпуклые
функции, градиент которых удовлетворяет условию
| J' (и) — J'(y)\^.L(u—v) Yu,v<=U, L = const 0. (17)
Для таких функций имеют место неравенства
0 (Д' (и) — J'(у), и— v)^.L\u — v\2 \u,v^U. (18)
В самом деле, левое неравенство следует из теоремы 4, а правое — из ус-
ловия (17). Оказывается, эти два неравенства можно записать в виде од-
ного равносильного неравенства [29], полностью характеризующего класс
выпуклых функций из С1-1 (77) с данной постоянной L 0.
Теорема 16. Пусть 77—выпуклое множество из Еп. Для того что-
бы функция Ци) из класса С1 (U) была выпуклой и удовлетворяла усло-
вию (17) с постоянной L, необходимо и достаточно, чтобы
| J' (и) — J' (у) |2 < L (Д' (и) — J' {у), и — v) Vu, v е U. (19)
Из (19) следует неравенство
</' (и) — J' (у), v — w) < L\u — w |2 Vu, и, w е 77. (20)
Доказательство. Достаточность. Если выполняется нера-
венство (19), то из него, во-первых, следует, что (Д'(и) —J'(y), и — и) 0
(и, ре 77), и выпуклость Ци) гарантируется теоремой 4, и, во-вторых, при-
меняя к правой части (19) неравенство Коши — Буняковского и деля на
176
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
— J'(v)\, получаем условие (17). Из выпуклости Ци) и условия (17)
имеем неравенства (18). Таким образом, из (19) следует (18).
Кроме того, из (19) имеем
<J' (и) — J' (р), V — ш> = (J’ (и) — J' (р), и — ip> — </' (и) — J' (р), и — Р><
< </' (и) - Г (v), и - w> - ± I Г (и) - J' (0 I2 = - | £-1/2 V W-J’ (р))-
— -^L1^2 (и— w) | + | и — w |2 L | и — w |2 Vu,v,wzU.
Неравенство (20) установлено.
Необходимость. Пусть функция Ци) выпукла и удовлетворяет
условию (17). Тогда, как было показано выше, справедливы неравенства
(18). Остается из (18) получить (19). Сначала рассмотрим случай, когда
int U = 0 и Ци) g СЦи). Тогда
0<</"(^,£><Ь|В|2 VueP (21)
при всех t g Еп. В самом деле, из неравенств (18) с помощью формулы
(2.3.4) в случае и g int U имеем
0 <7'(и + 8g) - 7' (и), eg> = 82<7"(u + 08g)g, g> L\g [282
или 0 <7"(^ + 0eg)g, g> L|g|2 (0 0 1) для всех 8 (|e| e0,
80>0). Отсюда при 8->+0 получим (21) для точек и е int U. Если u^
g Гр tZ, то оценка (21) доказывается с помощью предельного перехода от
внутренних точек так же, как это делалось при доказательстве теоремы 5.
Далее, пользуясь формулой (2.3.5), имеем
1
J’ (и + h) — J' (и) — Ah, А = j J" (и+i/i) dt, h=v—u. (22)
0
Разумеется, матрица А зависит от и, v, но эту зависимость мы для кратко-
сти не будем явно указывать. Согласно (21) 0 <7"(u + th) g, g>^L|g|2
(0 С t 1), откуда, интегрируя по t, получаем
(23)
Таким образом, симметричная матрица А неотрицательно определена. Тог-
да существует симметричная неотрицательно определенная матрица А1/2
такая, что (А1/2)2 = А [93, 164]. Пользуясь оценкой (23) при g = 41/2Л,
с помощью формул (22) имеем
|7'(и) — 7'(гл) ]2 = {Ah, Ah} = {AA^2h, A^2h} <^L\Al'2h\2 =
— L{Ah, h) = L<7'(u) —7'(p), u— p>.
Неравенство (19) доказано при дополнительных предположениях int U 0
и Ци) e=C2(U).
Наметим схему доказательства для случая, когда int U #= 0, но Ци) g
^CX(U). Построим последовательность функций {Jk(u)} (и е U) и после-
довательность {Uk} строго внутренних и выпуклых подмножеств множест-
ва U таких, что U — U tZ,, Uk cz Uk+\ (к = 1, 2, ...). Для всех & >1 и
всех т к функция Jm(u) выпукла на Uk, Jm(u) C2(Uk), | j'm (и) —
j'm (v) I < L |w — v | для любых и, pg Uk, lim Jm (u) = J (u), lim j'm (u)=
m->oo m-»oo
= J' (и) при всех и g Uk. В силу доказанного тогда | j'm (и) — j'm (и) [2
L (j'm (и) — j'm (р), и — и} при всех и, v g Uk и всех т к. Отсюда при
§ 21
ВЫПУКЛЫЕ ФУНКЦИИ
177
т-^оо получим неравенство (19) на множестве Uk. Далее, при &->оо
убеждаемся в справедливости (19) для всех и, v е int U. Наконец, для гра-
ничных точек множества U неравенство (19) доказывается с помощью пре-
дельного перехода от внутренних точек.
Как построить упомянутые последовательности {Uk} и {Jk(u)}? В ка-
честве {Uk} может быть взята последовательность подмножеств всех внут-
ренних точек множества U, удаленных от границы U на расстояние не ме-
нее чем 36й, где lim = 0, >0 (к = 1, 2, ...). В качестве h(u)
могут быть взяты средние функции Стеклова — Соболева [233], например,
Jh (и) = j* / W a>k (w — и) dw, (и) = ЪС1© (| и [
En
где co(r) = exp{—1/(1 — г2)} при |r| < 1, co(r)=0 при |r| 1, x =
1
= J co (r) dr и функция J (и) вне U доопределена тождественным нулем.
—1
Если int U = 0, то аналогичные построения надо провести в ri U.
11. Остановимся на одном замечательном свойстве выпуклых множеств,
задаваемых ограничениями g(u) с, где g(u)—выпуклая функция.
Теорема 17. Пусть Uq — непустое выпуклое замкнутое множество из
Еп, функция g(u) выпукла и полунепрерывна снизу на Uq, пусть
М(с) — {и: и Uq, g(и) с}.
Тогда для ограниченности множества М(с) при каждом с необходимо и до-
статочно, чтобы при некотором а множество М(а) было непустым и огра-
ниченным.
Доказательство. Необходимость. Она очевидна.
Достаточность. Пусть М(а) 0 и это множество ограничено.
Поскольку М(с) cz М(а) при всех с а, то М(с) ограничено при всех с а
(пустое множество ограничено по определению). Остается рассмотреть слу-
чай с > а. Предположим, что при некотором с >* а множество М(с) не ог-
раничено. Заметим, что М(с) выпукло и замкнуто, что следует из лем-
мы 2.1.1 и теоремы 10.
Покажем, что существует вектор е =# 0 такой, что и + te е М(с) при
всех и всех и е М(с) (такое направление, задаваемое вектором е, при-
нято называть рецессивным направлением неограниченного выпуклого мно-
жества).
Поскольку множество М(с) не ограничено по предположению, то су-
ществует последовательность {и^ е М(с) такая, что |ioj->oo при &->оо.
Возьмем какую-либо точку й(=М(с) и построим вектор ek= (uk — й) X
X \uk — й|-1 (к = 1, 2, ...). По теореме Больцано — Вейерштрасса из по-
следовательности {ek} можно выбрать подпоследовательность сходя-
щуюся к некоторому вектору е (|е| = 1).
Возьмем произвольное t <Z 0. Поскольку 0 <Z t/\uk— й| <1 при всех
fc к0, то в силу выпуклости М (с) имеем
t ( 1 \-
и-\- te.— i----=-г и. 1 — I------=П" \ и е М к .
|"ь-к| \ Iufe-0
Отсюда при кт-> сю получим й + te е М(с), так как М(с) замкнуто. В силу
произвольности t > 0 заключаем, что й + te cz М(с) прп всех t 0.
Теперь возьмем любую точку и е М(с) и покажем, что и + te е М(с)
при каждом t 0. По доказанному йтЦее^(с) (ц^0). В силу выпук-
лости М(с) тогда _
-L (й + не) 4- (1 — 1L= u + (е + * (и ~ «= М (с)
Н \ Н/ Н
178
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
при всех ц > t. Отсюда при р->оо с учетом замкнутости М(с) получим
и + te е М(с) при каждом t > 0.
Зафиксируем какую-либо точку v е M(a)cz М(с). В силу построения век-
тора е тогда v + te е М(с) (t > 0). По условию множество М(а) ограниче-
но, поэтому луч {p-f-Ze, t 0} пересекает границу выпуклого множества
М(а) в некоторой точке, или, точнее говоря, найдется число tQ —
= sup{£: v + te<=M(a)} такое, что v + teq£M(a) при всех t > t0. Это
значит, что v + te е Uo, но с g(v + te) > а g(p) для всех t > £0.
Зафиксируем какое-либо t > £0. Тогда, пользуясь представлением
v + te = X р +
+ (!-*) »,
А /
0<Х<1,
и выпуклостью функции g(u), имеем g(v + te) kg(v + (t[k)e) +
+ (1 —X)g(p), или g(p+ (t/k)e)^ (g(v + te) — g(p))/% + g(v) (0 < % <1).
Поскольку g(v + te)> g(v), то при X-> + 0 отсюда получим g(p+(£/%)e)->
оо. Тогда найдется число Xo > 0 такое, что g(v + (t/k)e) > с при всех X
(0 < X < А,с). С другой стороны, по построению вектора е имеем р 4-
+ (tfk)e <=М(с} пли g(p+ (t/k)e) с при всех к (0 < к < 1). Получен-
ное противоречие доказывает теорему.
Отметим, что требование полунепрерывности снизу функции в тео-
реме 17 существенно (см. ниже упражнение 21).
12. Наконец, получим оценку снизу скорости роста выпуклой функции
для случая, когда множество точек ее минимума ограничено.
Теорема 18. Пусть J (и) — выпуклая функция на U ~ Еп, =
= inf J (и) >» — оо, U^.={ug ЕР: J (и) = /#} Ф 0, причем U* — ограни-
Еп
ценное множество, т. е. существует такое число 7? >» 0, что U* cz 5* =
= {и е Еп: | и — р* | <С /?}, где и* — какая-либо фиксированная точка из U*.
Тогда lim J (и) — оо и, более того, верна оценка
>оо
J (и) > I и — и* | ----
(24)
где J*r— J (м) > Гр 5* = {и <= Е : | и — и* | = /?}.
* ш=грз*
Доказательство. Возьмем любую точку и ф S*. Поскольку
v=u* + R / ~ = ,-и + (1 - ----* к, е Гр 5»,
| и — р* | I и — и* I \ I и — и* | ]
то с учетом выпуклости Ци) имеем
JR < J М < i----—г /(«)+(1 - .-------5—') J (и*).
* 1.W— и*\ \ \и— и^\)
Отсюда сразу получаем требуемое неравенство (24). Согласно теореме 15
функция Ци) непрерывна на Еп, и в силу теоремы 2.1.1 на замкнутом ог-
раниченном множестве Гр S* она достигает своей нижней грани хотя бы
в одной точке. Отсюда и из того, что замкнутые множества £7* и Гр5# не
пересекаются, следует, что J*R > Тогда из оценки (24) имеем, что
lim J (и) — оо.
IttRoo
Отметим, что для функции Ци) = [и| (и Еп) неравенство (24) пре-
вращается в тождественное равенство. Это значит, что оценка (24) на клас-
се выпуклых функций является точной.
§ 2]
ВЫПУКЛЫЕ ФУНКЦИИ
179
Некоторые другие свойства выпуклых функций и множеств будут рас-
смотрены ниже.
Упражнения. 1. При каких а, &, с функция Ци) = ах2 + 2Ъху +
+ су2 переменных и = (х, у) е Е2 будет выпуклой на Е2? Вогнутой на Е2?
2. Найти области выпуклости и вогнутости функций Ци) =
= sin (х + у + z), Ци) — sin(х2 + у2 + z2).
3. При каких р, q функция Ци) = х^у^ будет выпуклой (или вогнутой)
на множестве U = {и = (ж, у) е Е2: х >> 0, у > 0}? Аналогичное исследо-
вание провести для функции Ци) = xpy^zr на U = {и = (х, у, z): х> 0,
у > 0, z > 0}.
4. Если функция Ци) выпукла, то будет ли выпуклой функция |7(и) |?
5. Если функция Ци) выпукла на Ет, а А—матрица размера т X п,
то функция g(u) = ЦАи) выпукла на Еп. Доказать.
6. Если Ji (и), J2(u) выпуклы, то будет ли их произведение выпуклой
функцией? Рассмотреть пример J\(u) = u, J2(u) = и2. Что изменится, если
от функций 71 (и), 72(и) потребовать неотрицательности? Или монотон-
ности?
7. Пусть функции h(u) выпуклы на выпуклом множестве U при всех
к = 0, 1, ... и пусть существует предел lim Jh(u) = J(u) или сходится
оо
ряд 2 ^(м) = J (и) прп всех и е U. Доказать, что функция J (и) вы-
ь-о
пукла на U.
8. Выяснить, когда в неравенстве (2) возможно равенство, если 7(и) —
строго выпуклая функция.
9. Доказать неравенства:
7?! - ————— 1
а) Vх! •хт <m Щ + • • • +Лп)> •••>
б) Щ + • • • -Г ^т)П < тП~1 (х1+ +хт)’ х! > °.хт> °.
в) ... + хт)(х~1+^>0..........................хт> 0.
Указание: воспользоваться неравенством (2) для выпуклых функ-
ций Ци) = —In и (и >» 0); Ци) = ип (и 0, п 1); Ци) = и~1 (и >• 0).
Выяснить, при каких условиях в этих неравенствах возможно равенство.
10. Пусть функция Ци) (и е Еп) такова, что 7(аи+(1 — а)и)
аЦи) + (1 — а)7(р) при всех и, v е Еп, aeR. Проверить, что аффинная
функция Ци) = (а, и) + Ъ (а е Еп, Ъ е Ех) удовлетворяет этому неравен-
ству. Существуют ли другие функции, обладающие этим свойством?
11. Для того чтобы функция Ци) была строго выпуклой на выпуклом
множестве 77, необходимо и достаточно выполнения неравенства (4) (а в
случае Ци) <=(А(и) —неравенства (6)), которое может обратиться в равен-
ство лишь при и — v. Доказать.
12. Доказать, что если U — выпуклое множество, Ци) ^C2(U) и не-
равенство (8) является строгим при всех £ е Lin 77 (g 0), то функция
Ци) строго выпукла на 77. Верно ли обратное утверждение? Рассмотреть
пример Ци) = и4 (и^Е1).
13. Пусть 77 — выпуклое множество, функция Ци) выпукла на 77,
Ци) <=(A(U). Доказать, что тогда критерий оптимальности (5) равносилен
неравенству </' (и), и — и*} 0 при всех и е 77.
14. Пусть Ци) —выпуклая функция на выпуклом множестве 77, Ци) е
е С1 (77) и 7* = inf J (и) > — оо. Доказать, что для того чтобы некоторая
и
последовательность {иъ} е 77 была минимизирующей, т. е. lim J
необходимо и достаточно выполнения условия lim (Jr (и^, и —
fe->oo
при всех и е U (ср. с теоремой 3).
180
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
15. Пусть строго выпуклая функция J(u) достигает на Еп своей ниж-
ней грани. Доказать, что тогда lim J (и) = со.
[и|-»оо
Указание: воспользоваться теоремами 1, 18.
16. Пусть функция J(u) выпукла и полунепрерывна снизу на выпук-
лом замкнутом множестве U из Еп, 7# > — со, £7* =/= 0, причем U* cz 5* =
= {и е U: [ и — и* | < R}, где и* —какая-либо фиксированная точка пз U*.
Тогда
J (и) | и — и* | -J- J* VwstZ, u^S*,
R
где J R — inf J (u) > J*, Гр — {и e U: \u — u* \ = R}. Доказать, поль-
Гр Ss|t
зуясь схемой доказательства теоремы 18.
17. Выпуклая функция, отличная от постоянной, может достигать своей
верхней грани на выпуклом множестве лишь в его граничных точках. До-
казать.
18. Для того чтобы функция p(u, U) — inf | и — р | была выпуклой
на Еп, необходимо и достаточно, чтобы замыкание множества U было вы-
пуклым. Доказать.
19. Пусть U — ограниченное множество из Еп. Доказать, что функция
6 (с, U) — sup <с, и> переменной сеР, называемая опорной функцией
и^и
множества U, выпукла на Еп.
20. Пусть U — выпуклое множество из Еп, 0 е int U. Доказать, что
функция jx (u, U) = inf а, Аи = {а: а > 0, и/a е U}, называемая Функ-
а^Аи
цией Минковского, выпукла на Еп.
21. Пусть UQ — (и = (х, у): х > 0, у > 0} = Показать, что функция
(У, х > 0, у>0 или 0 < х 1, у — 0,
(я — 1, х 1, у = 0,
выпукла и полунепрерывна сверху, но не является полунепрерывной сни-
зу на Uq. Убедиться, что множество М(с) — {и е Uo: g(u) с} ограничено
при с = 0 и не ограничено при всех с 0 (ср. с теоремой 17). Показать,
что Jf (с) не замкнуто при каждом с > 0.
22. Множество Uc = {и^Еп\ gi(u) с, i = 1, ..., т}, где gi(u) — вы-
пуклая функция на Еп, будет ограничено при любых с тогда и только тог-
да, когда Uc ограничено хотя бы при одном значении с = с0. Доказать.
23. Пусть U — неограниченное замкнутое множество из Еп. Доказать,
что:
1) для любой точки v е U существует ненулевой вектор е такой, что
луч {и = v + te, t 0} U;
2) если луч {и = v + te, t^Q} при некотором v е U, то луч
{и = w + te, £ 0} при всех w е U. Показать, что требование замк-
нутости U существенно для обоих утверждений, рассмотрев множество
U = {и = (х, у): 0 < х < 1} U {(0, 0)}.
Указание: воспользоваться рассуждениями из доказательства тео-
ремы 17.
24. Доказать, что функция
J (u) =
[0, р = о,
выпукла на множестве U = {и = (х, у)-, у > 0} 1) {(0, 0)} и полунепре-
рывна снизу на U. Убедиться, что J(u) не является полунепрерывной свер-
ху в точке uQ — (0, 0), и, более того, показать, что для любого числа А 0
СИЛЬНО ВЫПУКЛЫЕ ФУНКЦИИ
181
§ 3]
существует такая последовательность {иъ} е U, {иъ} ->0, что lim J (иЛ =
= А.
25. Пусть U — {и е Еп: Аи^Ъ}— многогранное множество, функция
Ци) выпукла на U. Доказать, что Ци) полунепрерывна сверху на U.
26. Пусть функция Ци) выпукла и ограничена сверху на Е7^ =
= {и — (и1, ..ип) Еп\ ит>0, ...,un>0}. Доказать, что Ци) моно-
тонна и не возрастает на Е7^ по каждой переменной.
27. Доказать, что если выпуклая функция Ци) на Еп ограничена свер-
ху, то Ци) постоянна.
28. Пусть Ци)—выпуклая дифференцируемая функция на открытом
выпуклом множестве W из Еп. Доказать, что тогда градиент J'(u) —
— (дЦЩдих, ..., дЦи)!дип) непрерывен на W.
29. Пусть Ци) — выпуклая функция на выпуклом множестве U из Еп.
Доказать, что Ци) удовлетворяет условию Липшица на каждом ограничен-
ном множестве V, замыкание которого принадлежит ri U.
30. Пусть Ци) — выпуклая функция на открытом выпуклом множестве
W из Еп. Доказать, что Ци) почти всюду на W дифференцируема.
31. Пусть UQ — выпуклое замкнутое множество из Еп, g(u) —выпуклая
функция на UQ, U = {и е Uo: g(u) 0}. Пусть {uk} е Uo, {g(ufe)} ->0. Мож-
но ли утверждать, что {р(и^, С7)}->0? Рассмотреть пример UQ — {и =
= (я, у) ^Е2: 1}, g (и) = у2/х, uk — (к, У к) (к = 1, 2, ...).
32. Пусть U — выпуклое замкнутое множество из En, Ци) —выпуклая
непрерывная функция на U, — оо, £/*#= 0. Пусть s {J
Можно ли ожидать, что {p(w^, Рассмотреть пример U —
— {и — (х, у) Е2: х 1}, Ци) — у2 lx, uk = (к, yfк) (к — 1, 2, ...).
33. Функция Ци), определенная на выпуклом множестве U, называет-
ся квазивыпуклой на U, если J(au+ (1 — а)и) ^.шах{Ци); Ци)} при всех
и, v е U, а е [0, 1]. Доказать, что Ци) квазивыпукла на U тогда и только
тогда, когда множество М(и) — {и е U: Ци) Ци)} выпукло при всех
v е U (ср. с теоремой 10).
§ 3. Сильно выпуклые функции
1. Непрерывная выпуклая функция на выпуклом замкнутом
множестве может не достигать своей нижней грани на этом мно-
жестве. Например, если J (и) = 1/и, U = {u^E7: то J* =
— inf J (и) = 0, но J(zz)>0 при всех u^U. Однако можно выде-
лить подкласс выпуклых функций, для которых подобная ситуа-
ция невозможна.
Определение 1. Функция 7(гг), определенная на выпук-
лом множестве U, называется сильно выпуклой на С7, если суще-
ствует постоянная % > 0 такая, что
J(au + (1 — а)р)^ a/(zz) + (l — a)J(v) — а(1 — a)xlzz — р|2 (1)
при всех и, v^U и всех а (0=^а^1). Постоянную % называют
постоянной сильной выпуклости функции J (и) на множестве U.
Очевидно, сильно выпуклая на U функция будет выпуклой и
даже строго выпуклой на U. Примером сильно выпуклой функ-
182
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
ции на всем пространстве Еп может служить функция
Q(a)= <а, и> = |zz|2, и^Е\
Для этой функции неравенство (1) превращается в тождествен-
ное равенство с постоянной х = 1:
|au + (1 — а)^|2 = аЫ2 + (1 — а) Ы2 — а(1 — а) \и — v|2 (2)
при всех и. v^En. а^[0, 1]. Линейная функция /(^)=<с, и)
выпукла на Еп, но не сильно выпукла. Упомянутая выше функ-
ция J(u)=l/u при выпукла, но не сильно выпукла при
и > 1.
Нетрудно видеть, что сумма двух сильно выпуклых функций
на выпуклом множестве U будет сильно выпуклой функцией на
U с той же постоянной х. Если J (и) сильно выпукла на U с по-
стоянной х, то g(zz) = cJ (и) при любом с = const > 0 будет силь-
но выпуклой на U с постоянной сх.
Теорема 1. Пусть множество U выпукло и замкнуто,
а функция J (и) сильно выпукла и полунепрерывна снизу на U.
Тогда:
1) множество Лебега
М(у)=={и: u<=U, J(u)^J(v)}
выпукло, замкнуто и ограничено при всех v s U;
2) J* = inf J (и) > — оо, множество — u^U. J (и) —
и
= «/*} непусто и. более того, состоит из единственной точки
3) имеет место неравенство
к I и — и* I2 < J (и) - J (и*) Vut=U-. (3)
4) любая минимизирующая последовательность {ик}: ик^Ъ\
к = 1, 2, ..., lim J (uk) = J*. сходится к точке и*.
оо
Сформулированная теорема является обобщением теоремы
Вейерштрасса 2.1.1. В отличие от теоремы 2.1.1, здесь на функ-
цию накладывается более жесткое ограничение, но зато от мно-
жества U не требуется ограниченности. В частности, в теореме 1
возможно U — Еп.
Доказательство. Если множество U ограничено, замк-
нуто, т. е. U компактно, то все утверждения теоремы 1, кроме
неравенства (3), следуют из теорем 2.1.1, 2.10. Поэтому пусть
U — неограниченное множество. Возьмем произвольную точку
v V и рассмотрим шар
S = S(v. 1)= {и: u^U. \и — v\ 1}.
Из теоремы 2.1.1 следует, что inf J (u) = J*s >—оо4так что
s
J (u)^J*s== J (и) — v Vu(=S. v = J (у) —• 0. (4)
СИЛЬНО ВЫПУКЛЫЕ ФУНКЦИИ
183
§ 3]
Возьмем произвольную точку u^U\S, т. е. и е= U, Izz — d > 1.
Тогда
О < а0 = 1/1 гг — v\ < 1. (5)
При а = &о из (1) получаем
а0/(и) > J (у + а0 (и — v)) — (1 — а0) J(y) + а0 (1 — а0) хIи — v|2. (6)
В силу (5) aolzz — d = 1, поэтому v + а0 (и — v)^ S. Согласно
(4) тогда J(и + а0 (и — v)) > J(v) — v. Учитывая эту оценку, из (6)
получаем
aQJ(и) > a0J(y) — v + а0 (1 — a0)x|zz — d2.
Отсюда, сокращая на а0 > 0 и вспоминая определение (5) вели-
чины а0, получаем
Ци)> J(v) + (1 — a0)x|zz — d2 — v/fXo =
= J(y)+ к\и — d2— (Izz — dVx)(Vx + v/Ух).
Применяя к последнему слагаемому неравенство аЪ С (а2 + Ь2)/2,
будем иметь
/(zz) 7(к)+xlzz — к|72 — (Ух + v/yx)2/2 (7)
для всех U\S. Нетрудно видеть, что неравенство (7) справед-
ливо и_при uj=S. В самом деле, если u^S, т. е. \и — v\ 1, то
v < (Vx + у/Ух)72 — хIzz — у 172. Отсюда и из (4) следует справед-
ливость (7) и для и s U,
Таким образом, неравенство (7) имеет место для всех u^U.
Для любых и е М(у) из (7) следует
XIzz - d2/2 -(Ух + v/yx)2/2 < J(u)-О
или
| и — v | 1 + v/x Vzz (= М (у).
Ограниченность М(у) доказана. Выпуклость М(к) следует из тео-
ремы 2.10, а замкнутость М(у}~ из леммы 2.1.1. Из теоремы 2.1.2
имеем -оо, (7*=/= 0. Поскольку сильно выпуклая функция
строго выпукла, то в силу теоремы 2.1 множество U* состоит пз
единственной точки и*.
Докажем неравенство (3). Учитывая, что 7 Oz*) «7 (zz) при
всех из (1) имеем 0</(azz + (1 — a)zz*) — J(zz*)<
< а (J (zz) — J (и*)) - cz (1 — cz) x | zz - zz J2, или cz (1 — a) x | zz —
— zz* |2 a (/ (u) — J (и*У) при всех a [0, 1] и и U. Деля на
a>0 и устремляя а->+0, отсюда получаем неравенство (3).
Наконец, пусть {zzfe} е £7, lim J (zzft) = /*» Полагая в (3) zz =
— uk, получаем х | uk — и* |2 J (zzfe) — J* (к = 1, 2, ...). Отсюда
при к -> сю следует, что | uh — zz* | 0.
184
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Замечание 1. При выполнении условий теоремы 1 ут-
верждение о /*> —°°, остается верным для любого
замкнутого (необязательно выпуклого) подмножества W^U —
это следует из замкнутости и ограниченности M(v) = {u: u^W,
J(и)^ J(р)} и теоремы 2.1.2.
2. Укажем критерии сильной выпуклости для гладких функ-
ций, аналогичные теоремам 2.2, 2.4, 2.5. Сначала докажем одно
вспомогательное утверждение.
Лемма 1. Пусть U—выпуклое множество. Функция J(u)
сильно выпукла на U с постоянной сильной выпуклости х > О
тогда и только тогда, когда функция g(u) — J (и}— и\и\2 выпук-
ла на U.
Доказательство. Необходимость. Пусть функция
J (и) сильно выпукла на U, т. е. выполнено неравенство (1). Ум-
ножим равенство (2) на х > 0 и почленно вычтем получившееся
равенство из (1). Будем иметь неравенство, которое с помощью
функции g(u) можно записать в виде
g (аи + (1 — а) и) ag (и) + (1 — а) g (и) У и, v , а <= [0х 1].
(8)
Это значит, что g(u) выпукла на U.
Достаточность. Пусть функция g(и) выпукла на U,
т. е. выполняется (8). Сложив (8) с равенством (2), умножен-
ным на х>0, придем к неравенству (1). Это значит, что / (и)
сильно выпукла на U.
Теорема 2. Пусть U—выпуклое множество, J(u)^Cl(U).
Тогда для того чтобы функция J (и) была сильно выпуклой на U,
необходимо и достаточно существования такой постоянной х > О,
что
J (u)^J (v) + < J' (у), и — vy + u\u — v\2 Vzz, v e U. (9)
Доказательство. Заметим, что для сильно выпуклой
функции Q(zz)=|zz|2 неравенство (9) превращается в легко про-
веряемое тождественное равенство с постоянной х = 1:
Iи |2 = 1 v I2 + <2р, и — vy + | и — v |2 Vи, v^U. (10)
Теперь нетрудно доказать, что условие (9) равносильно нера-
венству
g(u)^g(v) + {g'(и), и — vy \fu,v^Ul (И)
где g(u) = J(и) — xlzzl2, g' (и) = J' (и) — 2xzz. В самом деле, если
умножить равенство (10) на х и сложить с (11), то получим
неравенство (9). И обратно: вычитая из (9) равенство (10), ум-
ноженное на х, приходим к (11). Из равносильности неравенств
(9) и (И), из леммы 1 и теоремы 2.2 следует утверждение
теоремы.
СИЛЬНО ВЫПУКЛЫЕ ФУНКЦИИ
185
§ 3]
Теорема 3. Пусть U—выпуклое множество, J(u)^Cl(U).
Тогда для сильной выпуклости функции J(и) на U необходимо
и достаточно существования такой постоянной ц > О, что
(J' (и) — J' (р), и — v) ц | и — v |2, V и, v^U. (12)
Доказательство. Легко проверить, что неравенство (12)
равносильно неравенству
<g' (и) —- g' (у), и — р> 0 Vu, v е U
для функции g(u) = J(u) — х|н|2, где х = ц/2. Отсюда и из лем-
мы 1, теоремы 2.4 следует утверждение теоремы.
Теорема 4. Пусть U — выпуклое множество из Еп, J(u)&
^C2(U). Тогда для сильной выпуклости функции J(и) на U
необходимо и достаточно существования такой постоянной ц > О,
что
<7"(«)^1>>|х1^2 (13)
при всех u^U и всех £=(£\ • • V), принадлежащих подпро-
странству L = Lin U, параллельному афинной оболочке множе-
ства U (в частности, если int£7#=0, то (13) выполняется при
всех с,^Еп).
Доказательство. Для функции g(u) = J (и) —к\и\2 ее
вторая производная равна g" (u) = J" (и) — 2xZ, где I — единич-
ная матрица. Отсюда ясно, что неравенство (13) с ц = 2х рав-
носильно неравенству
<g»g, g>>0 VuzeU, va s=L.
Отсюда и из леммы 1, теоремы 2.5 следует справедливость
теоремы.
Замечания. 1. Если int £7 ¥= 0, то L — En и условие (13)
должно выполняться при всех Ъ^Еп. Пример 2.1 показывает,
что при int £7 = 0 условие (13) может и не выполняться при
каждом £ е Еп.
2. Для функций одной переменной неравенство (13) имеет
вид J" ц>0 при всех u^U. Отсюда нетрудно вывести, что
функция /(п) = пр при любом р>1 будет сильно выпукла на
множестве £7s = {u^E1: при всех 8 > 0; если здесь 8=^0,
то такая функция сильно выпукла лишь при р = 2. Функция
J (и) = sin и сильно выпукла на £7е = [—л + е, —8] при всех 8
(0 < 8 < л/2), но не сильно выпукла на [—л, 0].
3. Условие (13) в теореме 4 не может быть заменено ус-
ловием
Vue= U, Vge=Z, £у=0. (14)
Например, для функции / (и) = еи (и е U = Е1 = L) имеем
<J" (п)£, £> = еи%2 > 0 при всех и <= U, £ Е, £ =/= 0, но эта функ-
ция не является сильно выпуклой. Однако если int £7 ¥= 0,
7" (и) = А = {ац} — постоянная матрица, то условие (14), озна-
чающее положительную определенность квадратичной формы
186
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
п
«в> = 2 влечет за собой условие С4£, £>>р,|||2
(^Еп), где ц = inf <4|, |>>0.
111=1
Как известно [93, 164], для положительной определенности
квадратичной формы <Л£, £> необходимо и достаточно, чтобы
все угловые миноры
Ai =det
аи ••• аи
~аЦ ... а-~
I = 1, . . ., П,
были положительны. Пользуясь этим условием, для функции
J (и) == х2 + 2аху + by2 + cz2, из примера 2.2 находим, что J(u)
будет сильно выпукла на Е3 тогда и только тогда, когда Ъ — а2 >
> 0, с > 0.
Далее, для функции
7(и)=<Лп, и>/2 — <6, и>, и^Еп,
из примера 2.3 сильная выпуклость на Еп будет тогда и только
тогда, когда А — положительно определенная матрица. Анало-
гично для функции
из примера 2.4 сильная выпуклость на Еп будет тогда и только
тогда, когда матрица АТА — невырожденная.
3. Рассмотрим сильно выпуклые функции J(и) из класса
т. е. гладкие сильно выпуклые функции, градиент кото-
рых удовлетворяет условию
\J' (и) — J' (v) I L\u — i?|, п, v^U. (15)
Полезно установить связь между постоянными х, ц, L из (1),
(9), (12), (13), (15). Из условия (12) с помощью неравенства
Коши — Буняковского и условия (15) имеем При доказа-
тельстве теорем 3, 4 было показано, что ц = 2х. Поэтому 2х С L.
Из определения 1 видно, что если неравенство (1) имеет
место при некотором х, то оно будет иметь место и для всех
меньших положительных значений х. Можно поставить вопрос
об определении самой большой, точной постоянной х в (1). Оче-
видно, такой постоянной в (1) будет
. - . г aJ (и) 4- (1 — a) J (v) — J (аи + (1 — а) и)
х — mt mi ---------------------------.
0<а<1 u,v=u а (1 — а) | и — v г
Аналогично самые большие постоянные в (12), (13) соответ-
ственно имеют вид
u.vhIT | и — v |
.„-inf inI l“ip>.
u=UBsLinU,^0 Щ
СИЛЬНО ВЫПУКЛЫЕ ФУНКЦИИ
187
§ 3]
Из доказательства теорем 3, 4 следует, что ц0 = Цл == 2х0, причем
для функций из все эти постоянные не больше L. Заме-
тим, что для функции £2(п)=Ы2 на Еп пмеем. ц0 = Ц1 = 2х0 =
= L = 2.
4. Продолжим рассмотрение сильно выпуклых функций J(u)
Для таких функций из (12) и (15) имеем неравенства
ц]м—р|2^<7'(и)—7'(р), и— v}^.L\u — р|2, u, v е U. (16)
Оказывается, как в теореме 2.16, два неравенства (16) можно записать в
виде одного равносильного (16) неравенства [29], полностью характери-
зующего класс спльно выпуклых функций пз С1*1(С7) с данными постоян-
ными L, ц (L ц > 0).
Теорема 5. Пусть U—выпуклое множество из Еп и J(u)^C[(U).
Тогда для того чтобы функция J(u) была сильно выпуклой с постоянной
X = ц/2 >0 и удовлетворяла условию (15) с постоянной L > 0, необходи-
мо и достаточно, чтобы
\J'(u) -7'(p)|2 + 74i]u-p[2^ (£ + ц)<7,(и)и —и} (17)
при всех и, v U.
Доказательство. Необходимость. Пусть 7(u) еС1-1^) и
эти функции сильно выпуклы на U. Тогда справедливы неравенства (16).
Введем функцию
g(u) = J(u) — ц[и12/2, и е U.
Имеем g'(и) = J'(и — ци). Тогда из левого неравенства (16) следует
<g' (и) — g' (у), и — v) — (J’ (и) — J' (и), и — v> — ц | и — v |2 > 0,
Vu, v <=
а из правого неравенства (16) получим
<gf (w) — g' (и), и — у>< (L — ц) | и — и\2 Yu, v (= U.
Объединяя оба полученных неравенства, имеем
0 <g' (^) — g' (и), и — v) (L — Ц) 1 и — v |2 Vu, v ^U.
Таким образом, функция g(u) удовлетворяет неравенствам вида (2.18).
Согласно теореме 2.16 эти два неравенства равносильны одному неравенству
| g' (u) - g' (г) I3 < (L - и) <g' (и) - g' {v), u-v> \u,v<= и.
Подставляя сюда g' (и) — J(u) — ци, после несложных тождественных пре-
образований получаем неравенство (17).
Достаточность. Пусть некоторая функция 7 (u) е С1 (U) и удов-
летворяет неравенству (17). Покажем, что тогда функция 7(и) спльно вы-
пукла с постоянной х = ц/2 и удовлетворяет условию (15) с L, где ц, L
взяты из (17). С помощью неравенства Коши — Буняковского из (17) имеем
]7'(u) -7'(р)|2 + £ц[и-у|2^ (£ + ц|7х(и) — 7х(у) | • |u — р|.
Приняв х— |7'(и)—7'(у)|, последнее неравенство можно переписать
в виде х2 — (7/ + ц)|и — у | я -j- Дх I и — у |2 0. Квадратный трехчлен в ле-
вой части этого неравенства имеет корни = ц|и— у|, я2 = L\u — t?|. По-
этому xi х Х2, т. е.
Ц I и — V К I J' (и) — У'(у) К L I и — V I Vu, V е и. (18)
Тогда <7'(и)—7'(у), и — и} L\ и — у|2 — правое неравенство (16) по-
лучено.
188
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Используя левое неравенство (18), из (17) имеем р2|н —г?|2 +
+ Zp|u — v\2 < (L + р) <7'(^) u — v}. Поделив обе части этого не-
равенства на L + р > 0, придем к левому неравенству (16). Таким обра-
зом, из (17) получили неравенства (18) и (16). Левое неравенство (16) со-
гласно теореме 3 означает сильную выпуклость Ци) с постоянной х =
= pi/2, а правое неравенство (16) (или (18)) дает условие (15).
Из (17) вытекает неравенство
1 Lu
<J' (и) — J' (у), V— w) -j- (L + р) | и — w J2 — l qz ~~ | и — v |2 Yu,v, wt=U.
Оно доказывается так же, как и подобное неравенство (2.20).
Упражнения. 1. При каких а, &, с функция J(и) = ах2 + 2Ъху +
+ су2 переменных и = (х, у) е Е2 будет сильно выпукла на Е2?
2. Найти области сильной выпуклости функций Ци) = sin (ж + у + z),
7(u) — sin (ж2 + у2 + z2).
3. Можно ли утверждать, что сильно выпуклая функция обладает бо-
лее лучшими дифференциальными свойствами по сравнению с выпуклыми
функциями? Рассмотреть функцию Ци) = <u, u> + g(u), где g(u)—вы-
пуклая функция.
4. Доказать, что функция Ци) сильно выпукла на выпуклом множест-
ве U тогда и только тогда, когда функция g(t) — v)) перемен-
ной t (0 sC t sC 1) является сильно выпуклой на [0, 1] с одной и той же
для всех и, v <= U постоянной сильной выпуклости.
5. Пусть функция Ци) сильно выпукла и дифференцируема на выпук-
лом множестве U. Доказать, что:
а) Е(и) ф J'(y) (и, v <= U, и ф р);
1 .
б) | и — v К — | J' (у) |2 при всех и е М(и) = {и (= U: Ци) Z(i>)},
v е U;
1 1
в) 0< J(u)-J*^-^\J'(u)\2, J'(u)\ (ut=U).
6. Для того чтобы симметричная матрица А порядка п X п была поло-
жительно определенной, необходимо и достаточно существования постоян-
ных L, р (0 < р L) таких, что
| Ае |2 + Lp [ е ]2 < (L + р) <Ле, е) Ye е= Еп.
Доказать. Убедиться, что в приведенном неравенстве в качестве р можно
взять минимальное собственное число матрицы А, в качестве L — макси-
мальное собственное число.
7. Пусть U — выпуклое множество, Ци) е С1 (U). Показать, что для
того, чтобы функция Ци) была сильно выпуклой и удовлетворяла усло-
вию (15), необходимо и достаточно выполнения неравенств (18) при ка-
ких-нибудь постоянных L, р (0 < р L).
§ 4. Проекция точки на множество
1. При описании и исследовании некоторых методов миними-
зации ниже нам понадобится понятие проекции точки на мно-
жество.
Определение 1. Пусть U — некоторое множество из Еп.
Проекцией точки и из Еп называется ближайшая к и точка w
множества £7, т. е. точка w^U, удовлетворяющая условию
| и — w | = inf 1 и — v |.
v^U
§ 4]
ПРОЕКЦИЯ ТОЧКИ НА МНОЖЕСТВО
189
Проекцию точки и на множество U будем обозначать через
^и(и) = ю.
Поскольку p(zz, U) = inf \ и — v\ — расстояние от точки и до
v^U
множества Z7, то из определения 1 следует, что
р{и, U) = \u—^u{u)\^z\u — v\ Vv<=U, Vu<==En.
Если u^U, то, очевидно, всегда &и{и) = и. Однако проекция
на множество существует не всегда. Например, если U = {и
Еп: \и\ < 1) — открытый единичный шар в Еп, то ни одна точ-
ка и Ф U не будет иметь проекции на это множество. Однако
если множество U замкнуто, то любая точка и^Еп имеет про-
екцию на U — это было доказано в следствии 1 к теореме 2.1.3.
Проекция точки на множество может определяться неоднозначно
(рис. 4.6). Однако, как показывает следующая теорема, для вы-
пуклых множеств такая ситуация невозможна (рис. 4.7).
Теорема 1. Пусть U — выпуклое замкнутое множество из
Еп. Тогда:
1) всякая точка и^Еп имеет, и притом единственную, про-
екцию на это множество;
2) для того чтобы точка w^U была проекцией точки и на
множество U, необходимо и достаточно выполнения неравенства
{см. рис. 4.7)
<ш— и, v—\fv^U. (1)
При этом если U — аффинное множество {см. пример 1.4), то
вместо (1) можно писать
<гр—• 14, р —ш> = О Vp^J7. (2)
Доказательство. Рассмотрим функцию g(p)=|p —и|2
переменной и^Еп при произвольной фиксированной и^Еп. По-
скольку g{v) сильно выпукла на Еп, то по теореме 3.1 эта функ-
ция достигает своей нижней грани на U в единственной точке
w^U. Это означает, что |р — р|2 \ w — р|2 или |р — и\ > \ w — и\
при всех v U, причем равенство здесь возможно только при
v = w. Остается принять &и{и)~ w.
190
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Докажем второе утверждение теоремы. Согласно теореме 2.3
для того, чтобы функция g(v) достигала минимума на U в точке
w, необходимо и достаточно, чтобы <g' (w), v — w> = 2<w — u,
v — при всех U, что равносильно неравенству (1).
Наконец, пусть U = {и е Еп: Аи = Ъ} — аффинное множество.
Поскольку это множество выпукло и замкнуто, то неравенство
(1) сохраняет силу и здесь. Аффинное множество обладает сле-
дующим замечательным свойством: если р, v0 е U (1?=/=1?0), то и
2v0 — U, что проверяется непосредственно. Поэтому если
здесь взять = 3*и (zz) = w е U, то 2w — v U при любом выборе
v^U. Подставим в (1) вместо v точку 2w — и. Получим <ло — и,
2w — v — w> = (w— и, zz> —z?>>0 при всех v^U. Сравнивая по-
лученное неравенство с (1), приходим к равенству (2).
Покажем, что оператор проектирования на выпуклое множе-
ство обладает сжимающим свойством.
Теорема 2. Если U — выпуклое замкнутое множество из
Еп, то
|^(zz)-^(z;)K|zz-L’| Vzz, vt=En. (3)
Доказательство. Из неравенства (1) имеем
<3*и (я) — и, 3*u(v) — З^и (и) > >0.
Поменяв ролями точки и и и в последнем неравенстве, получим
(v) — v, З^и (и) — З^и (и) >> 0.
Сложим эти два неравенства. Имеем
<3>и (и) —и — 3>и (у) + у, 3>u(v) — 3>и {у) > 0.
Отсюда следует
1 (^) I2 < <&и (и) — 3}и (z;), и — г;><
| (^)l ’ | и — v\ У11, и Еп.
Разделив на \3>и (zz) — 3>и (v) I ¥= 0, получим требуемое неравен-
ство (3). Если l^(iz) —^(р) | =0, то (3) очевидно.
2. Приведем примеры множеств, проекция на которые может
быть выписана явно.
Пример 1. Пусть и = 8(и0, R)={u^En: |zz — zzol <R) —
шар радиуса R > 0 с центром в точке и0. Из геометрических со-
ображений (рис. 4.8) ясно, что проекцией точки и Ф U является
точка
w = zz0 + R(u — zz0)/|zz — zz0|.
Для строгого доказательства этого факта достаточно проверить
выполнение неравенства (1). Имеем
<w — u, V — w> = (R/\u — zz0| — 1) (<zz — llQ, V — Uq> —
— R\u — Uq\)> >0,
ПРОЕКЦИЯ ТОЧКИ НА МНОЖЕСТВО
191
так как \и — uQ\>R, a <u — u0, v — и0У \и — и0| • 1у — и01
lu — zzol7? в силу неравенства Коши — Буняковского для всех
v е U.
Пример 2. Пусть U = Г = {и е Еп: <с, иУ = у}— гипер-
плоскость; здесь с^Еп, с¥=0, 7 = const. Пользуясь геометриче-
скими соображениями (рис. 4.9), проекцию точки u&U на U
будем искать в виде w = и + ас. Определяя число а из условия
w е U, имеем
1Р = и + (у —<с, и>)с/|с|2.
Поскольку <ш —u, v — lp> = (у — <с, и>)/|с|2 • <с, р — 1Р> = 0 при
всех v U, то согласно теореме 1 найденная точка w представ-
ляет собой проекцию точки и на U.
Пример 3. Пусть U = {и^ Еп: <Лг, иУ — Ъ*, г = 1, ..тп}—
аффинное множество; здесь сц е Еп, Ъг = const (& = 1, ..тп).
Можем считать, что векторы ..., ат линейно независимы и
тп<п (если тп = п, то U будет состоять из одной точки). Проек-
цию точки и на множество U будем искать в виде
тп
w = и + 2 (4)
j=l
Из требования w е U имеем систему линейных алгебраических
уравнений
тп
У, aj <а;, а;> = b* — <аь и), / = тп9 (5)
j=i
для определения коэффициентов аъ ..., ат. Определителем этой
системы является определитель Грама [54, 93, 164], который для
линейно независимых ..., ат будет отличным от нуля. Поэто-
му искомые аъ ..., ат существуют и однозначно определяются
из системы (5). Для точки w из (4) будем иметь
ТП тп f тп \
<ш — и, v — w) = У aj <aj, v — и) — У, а; I У aj (at, а;} = О
3=1 г=1 \;=1 /
192
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
для всех v е U. Следовательно, по теореме 1 найденная из (4),
(5) точка w будет проекцией точки и на множество U. Если вве-
сти матрицу Л, строками которой являются векторы аг- (г = 1, ...
..., тп), то точку (4) можно записать в виде
w = и — ЛГ(ЛЛТ)-1 (Аи — Ь).
Предлагаем читателю провести проверку того, что такая точка
w принадлежит U, т. е. Aw = b, и выполняется условие (1).
Пример 4. Пусть U = {и^Еп: <с, иУ у} — замкнутое по-
лупространство, определяемое гиперплоскостью <с, иУ = ц. Пусть
u&U, т. е. <с, иУ > у. Как и в примере 2, попробуем предста-
вить проекцию точки и на U в виде
ip = u + (y —<с, u>)c/kl2.
Имеем <ш — и, v — юУ =(ц — <с, и>)И“2(<с, иУ — ^)>0 при всех
v е U. Следовательно, точка w — искомая проекция.
Пример 5. Пусть U = {u = (u\ ..., ип)^Еп\ а,и'
г = 1, ..., п} — и-мерный параллелепипед, где ai? (а<<Рг) —
заданные числа, i = 1, ..., п. Пусть иФИ. Положим w — (w\ ...
..., шп), где
нА =
’«i,
Pi,
.U’,
и* <aj,
и* > Pi,
оц<и’<р{,
j = 1,
п.
Тогда (нА — и*) (v* — м/) > 0 для всех v* (a< v*' i = 1, ...
..., п). Отсюда, суммируя по i от 1 до п, получаем <jv — и, и —
— юУ 0 для всех v s U. Следовательно, построенная точка w
является проекцией точки и на множество U.
Пример 6. Пусть U = Е^ = {и = (и1, ..., ип): и'^О, i =
= 1, .,.,п}—неотрицательный октант пространства Еп. Легко
проверить, что проекцией точки и на U является точка и* =
= ((^4)+, ..., (ип)+), где (и*) + = тах{0; и*} (f = l, ..., п).
3. Критерий оптимальности, сформулированный в теореме 2.3,
с помощью оператора проектирования может быть переформу-
лирован следующим образом.
Теорема 3. Пусть U—выпуклое множество, J(u)^Cl(U),
U*— множество точек минимума функции J(и) на U, Если
то необходимо выполняется равенство
и* = (и* — aJ'(u*)) Va>0. (6)
Если, кроме того, ](и} выпукла на U, то всякая точка и*, удов-
летворяющая уравнению (6), принадлежит U*.
Доказательство. Согласно теореме 1 равенство (6) эк-
вивалентно неравенству — (и*— aJ' (и*)), v — и^) ^>0 (ре
^£7), откуда имеем a </' (uj, v — (ve=U). Поскольку
a>0, то отсюда получим неравенство </' (и*), v — u*)^0 при
ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
193
§ 5]
всех v е U. Таким образом, условия (6) и (2.5) эквивалентны.
Отсюда и из теоремы 2.3 следует утверждение теоремы 3.
Таким образом, если ввести отображение А из Еп в Еп по
формуле
А и = (и — aJ' (и)), а > О,
то условие (6) перепишется в виде и* = Аи*, т. е. и* — непо-
движная точка отображения А. Ниже мы увидим, что при не-
которых условиях на функцию J(u) отображение будет сжимаю-
щим и для определения точки и* могут быть использованы свой-
ства сжимающих отображений [54, 179].
Упражнения. 1. Найти проекцию точки и е Еп на множество
U = {и е Еп: <ai, u> &1, <а2, иУ Ь2}.
2. Найти проекцию точки и е Еп на множество
U = {и = (и1, ..., ип): а< и* i = 1, ..., и}
(здесь а, £$, причем возможно, что а< = £<, или а; = —оо, или = оо
при некоторых i, /, к).
3. Выяснить геометрический смысл равенства (2).
4. Будут ли верными неравенства (1) или равенство (2), если U — не-
выпуклое множество?
5. Охарактеризовать все множества V из Еп, для которых существует
точка u&U такая, что &и(и) = и для всех v е U.
6. Для того чтобы точка w е U была проекцией точки и на выпуклое
множество U, необходимо и достаточно, чтобы <р — u, v — и?> О при всех
v е U. Доказать. Выяснить геометрический смысл этого условия.
7. Доказать, что для любого замкнутого множества U имеет место не-
равенство 11 и — &и (и) | — | v — Зи (и) 11 [ и — v | для всех и, v е U (ср. с
леммой 2.1.2).
8. Пусть U — выпуклое замкнутое множество из Еп. Доказать, что тогда
| v — &и (ц) |2 — u’v ~&и (u)> VpelZ,
| v — (и) [2 + | и — &>v (и) |2 < | v — и |2 Vp <= U, Vu^En.
9. Пусть J (и) = | Au— Ь|2, где 4 —матрица порядка m X n, b^Em
(см. пример 2.4). Доказать, что
U* = (u е Еп\ J (и) = inf J (u) = =/= 0.
1 En J
Указание: взять проекцию точки b на множество U={v^Em:
v = Аи, и^Еп} и показать, что J(u) = |4u — &u(b) |2+ |& — ^u(b) |2,
| Ъ — Зц (&) |2; замкнутость U см. в лемме 9.3.
§ 5. Отделимость выпуклых множеств
1. В теории экстремальных задач важную роль играют тео-
ремы, называемые теоремами отделимости. Основное содержание
этих теорем сводится к тому, что для некоторых двух множеств
А и В утверждается существование гиперплоскости такой, что
множество А находится в одном из открытых или замкнутых
полупространств, определяемых этой гиперплоскостью, а множе-
194
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
ство В —в другом открытом или замкнутом полупространстве
(см. пример 1.3), т. е. гиперплоскости, которая отделяет эти два
множества.
Определение 1. Пусть А и В —два множества из Еп.
Говорят, что гиперплоскость (с, иУ = у с нормальным вектором
е¥=0 отделяет (разделяет) множества А и В, если <с, аУ > у
при всех а^А и <с, Ь> < у при всех Ь^В, или, иначе говоря^
выполняются неравенства
sup <с, Ь) у inf <е, а). (1)
Ьев а—А
Если sup <е, b) <Z inf (с, а), то говорят, что множества Л и В
сильно отделены. Если <с, ЬУ < <с, аУ при всех а^А, Ъ^В, то
говорят о строгом отделении этих множеств. Если выполнено
(1), причем существуют такие точки аоеЛ, Ь0^В, что <с, Ь0У <
< <с, а0У, то говорят, что множества А, В собственно отделимы.
Понятие собственной отделимости введено для того, чтобы
исключить из (1) вырожденный случай, когда оба множества
А, В лежат в разделяющей гиперплоскости и, возможно, даже
имеют общие относительно внутренние точки.
Заметим, что в определение 1 множества Л и В входят не-
сколько несимметрично. Однако симметрию здесь нетрудно вос-
становить: нужно лишь взять вектор —с вместо с, постоянную
—у вместо 7 и записать уравнение отделяющей гиперплоскости
в виде <—с, иУ = — у. Очевидно, если гиперплоскость <с, м> = у
отделяет множества Л и В, то гиперплоскость <цс, иУ = цу при
ц =/= 0 также отделяет эти множества. Поэтому при необходимости
можно считать, что |с| = 1.
На рис. 4Л0—4.14 изображены случаи, когда два множества
собственно отделимы, на рис. 4.13 — сильно отделимы, на
рис. 4.14 — строго отделимы. Однако ясно, что не всякие два
множества можно отделить гиперплоскостью (рис. 4.15). Ниже
приводятся теоремы об отделимости выпуклых множеств.
Теорема 1. Пусть X — непустое выпуклое множество из Еп.
Тогда для любой точки y^riX существует гиперплоскость
<с, иУ = у, собственно отделяющая множество X и точку у, или7
точнее,
<с,х)^у \/х<=Х,
<е, х) > у V х е ri X.
Если точка у не принадлежит X — замыканию X, то множества
X (а также и X) сильно отделимо от у.
Доказательство. Сначала рассмотрим случай у Ф X. На-
помним, что если X — выпуклое множество, то X также выпук-
ло (см. теорему 1.2). Согласно теореме 4.1 тогда суще-
ствует проекция z = (у) точки у на множество X, причем
<z — у, х — z> > 0 для всех х X. Положим с = z — у. С учетом
$ 5]
ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
195
Рис. 4.14
Рис. 4.15
196
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
предыдущего неравенства будем иметь <с, х — уУ = (z — у, х — zy +
+ <z — y, z — уУ^ Id2 > 0 или <с, хУ > <с, уУ + |с|2 > <с, уУ (же
^1). Это значит, что гиперплоскость <с, иУ = <с, г/> = *у сильно
отделяет точку у от множества X и, тем более, множества X.
Нетрудно видеть, что такая гиперплоскость не единственна. На-
пример, гиперплоскость <с, иУ = <с, z> == у также сильно отделя-
ет X и у. так как <с, х — z> > 0 при всех х X, <с, у — гУ = <z —
— г/, у — яУ = — |с|2<0.
Теперь пусть у^Х, y&riX. Согласно теореме 1.11_тогда су-
ществует последовательность {ук} -* у: ук&Х, ук^эА1Х (& = 1,
2, ...). По доказанному гиперплоскость <cft, иУ = <cfe, где
ck = (zk- yk)/\zh — ук\, zh = ^(yh), сильно отделяет X и ук,
так что <cft, хУ > <cft, укУ при всех х&Х. По теореме Больцано —
Вейерштрасса из последовательности {cft} (kj=l) можно вы-
брать подпоследовательность, сходящуюся к некоторому вектору
с (|с| = 1). Без умаления общности можем считать, что вся
последовательность {сл} -> с. Переходя к пределу при к оо в
неравенстве <cfe, ж>_> <сл, укУ (х^Х), получаем <с, хУ > <с, уУ =
= у для всех х^Х. Отсюда следует первое из неравенств (2).
Далее, возьмем любую точку x^riX. Согласно определению
1.10 существует такое 8>0, что О (ж, 2е)П aff ХеХ. Тогда uk =
= x — 8ck^O(x, 2e)flaffX (k = i, 2, ...). Ясно, что {ик}-+и =
= x — sc. Покажем, что u = x — zc^riX. Поскольку zk =
= (yh) е X cz aff X = aff X, yfteaffX, то zk — ук<= LinX —
подпространство, параллельное aff X. Тогда ск = (zk —yk)/\zk —
— z/J^LinX. Поскольку LinX замкнуто в 2?n, {cj-> с, то се
^LinX. Отсюда следует, что и = ж —ec^affX. Кроме того, так
как |uft — ж|=8 (& = 1, 2, ...), то при &->«> имеем \и — ж|=в,
так что_ и = х — вс^О(х, 2е). Следовательно, и = х — ec^riXc
<=Хс=х. Тогда Y = <c, уУ^<с, иУ = <с, ж — 8С> = <с, ж> — в <
< <с, ж>, или у < <с, ж> для каждой точки жепХ, т. е. riX и у
строго отделимы.
Теорема 2. Пусть А и В — непустые выпуклые множества
из Еп, Т1А(]т1В = 0 (например, А П В = 0). Тогда существует
гиперплоскость <с, иУ = ^, строго отделяющая множества nA и
riB, собственно отделяющая множества А и В, а также их за-
мыкания А, В, причем если А и В имеют общую граничную
точку у, то у = <с, уУ. Верно и обратное*, если два выпуклых
множества А и В собственно отделимы, то ri4 AriB = 0.
Доказательство. Введем множество X = riА — riВ = {же
^Еп*. х = а — Ъ, a^riA, b^riB}. По теоремам 1.1, 1.10 множе-
ство X выпукло^Поскольку^ ri А П ri В = 0, то О^Х. Возможно
два случая: О^Х или 0^1. Если О^Х, то согласно теореме 1
точка 0 и множество X сильно отделимы, т. е. существуют такие
с Ф 0, 8 > 0, что <с, ж> > <с, 0> + 8 = 8 при всех ж е X. Если 0 X,
О^Х, то по той же теореме 1 найдется такой вектор с¥=0, что
§ 5] ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ 197
<с, я> >0 для всех х^Х, причем <с, я>>0 при x^riX. Таким
образом, в обоих случаях существует такой вектор с 0, что
<с, х)^0 Yx^X, <£,#>;> 0 VrreriX. (3)
Из первого неравенства (3) с учетом определения множества
X имеем
<г, а) (с, b) Va^riA, b^riB. (4)
Далее, по теореме 1.10 ri X =/= 0. Это значит, что существуют
(z0GrL4, bQ ri В такие, что хй = а0 — b0 е riX Из второго не-
равенства (3) тогда имеем <с, х0У = <с, а0 — Ь0У > 0, или
<с, а0У > <с, Ьо>, a0^ri4, &oeriB. (5)
Неравенство (4) остается справедливым для всех предельных то-
чек множеств пЛ, riB, т. е. для всех a^riA, b^riB. Но по
теореме 1.12 riA=A, riB = B, так что <с, а> > <с, Ь> при лю-
бых а е А, b В. Отсюда inf <е, а) sup (с, Ь>. Возьмем гипер-
а(=А Ъ<=В
плоскость <с, иУ = у, где у — произвольное число, удовлетворяю-
щее неравенству inf <с, а)^у^ sup<c, Ь>. Тогда
а=А Ъ~В
{с,а)^у^ (с,Ь) Уа^А, Ъ^В. (6)
Из (5), (6) следует собственно отделимость множеств Л и В и,
тем более, множеств А и В. Если у^ А ПВ, то у = <с, уУ.
Покажем, что построенная гиперплоскость <с, = у строго
отделяет множества пЛ и riB. Из (5), (6) следует, что либо
<с, а0У > у, либо <с, Ь0У < у. Пусть <с, а0У > у, (случай <с, Ь0У <
<у рассматривается аналогично). Возьмем произвольную точку
аепЛ. Тогда a — аоеЬпЛ, а + е(а —a0)^aff4 при всех sGR
и по определению относительно внутренней точки найдется такое
8 > 0, что Ъ = а + 8 (а — а0) пЛ. Отсюда а = аа0 + (1 — а)Ь (а =
= 8/(1 +8)^(0, 1)). Умножим неравенство <с, а0>>у на а,
<с, ЬУ > у на 1 — а и сложим. Получим а<с, а0У + (1 — а) <с, ЬУ =
= <с, аУ > у. Таким образом, <с, аУ > у при всех а^тхА. Отсюда
и из (6) следует, что множества пЛ и riB строго отделимы.
Докажем вторую часть теоремы. Пусть множества А и В соб-
ственно отделимы, но пусть тем не менее НЛ AriB¥=0. Возьмем
какую-либо точку и ri А П ri В. Тогда при достаточно малом
8>0 имеем ае = и — 8 (а0 — и)^ ri A, be = u —s(b0 — u)^riB, где
а0, Ьо взяты из (5). В силу (4) <с, аеУ = <с, и>(1 + е)—8<с, а0У >
> <с, Ье> = <с, и>(1 + 8)— 8<с, Ь0У. Отсюда получаем <с, Оо>
<с, Ь0У, что противоречит (5). Следовательно, п4ЛпВ = 0.
Приведем одну теорему о сильной отделимости двух выпук-
лых множеств.
Теорема 3. Пусть А и В — два выпуклых замкнутых мно-
жества, не имеющие общих точек, причем хотя бы одно из этих
множеств ограничено. Тогда множества А и В сильно отделимы.
198
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
(ГЛ. 4
Доказательство. Введем множество X = А — В. Пока-
жем, что оно замкнуто. Пусть х — некоторая предельная точка
множества X, пусть последовательность {хк} е X сходится к х.
Поскольку хк^Х, то найдутся ак^А, Ък^В такие, что хк = ак —
— Ък (Л = 1, 2, ...). По условию одно из множеств А или В
ограничено. Пусть для определенности ограничено множество А.
Тогда последовательность {aj е А ограничена. По теореме Боль-
цано — Вейерштрасса найдется подпоследовательность схо-
дящаяся к некоторой точке а. В силу замкнутости А точка а
принадлежит А. Тогда bhn = akn — Xkn~+b = а — х при К оо?
причем Ъ е В в силу замкнутости В. Таким образом, для точки х
получили представление х = а—Ь, где а^А, Ь&В. Это значит,
что х ^Х. Замкнутость X доказана.
Далее, по условию множества А и В не имеют общих точек.
Поэтому 0 X = X. По теореме 1 тогда существует гиперплос-
кость <е, и> = 0 такая, что <с, х> > |с|2 > 0 для всех х^Х. От-
сюда имеем <с, а — Ъ> > |с|2, или <с, а> > <с, Ь> + |с|2 для всех
а^А, Ъ^В. Следовательно, inf <е, а) sup (с, Ь> + | с |2. Любая
а^А Ъ=В
гиперплоскость <с, н> = у, где sup<c, y^inf <с, а>, будет
be В а&В
сильно отделять множества 4 и В, что и требовалось.
Заметим, что требование ограниченности хотя бы одного из
множеств в теореме 3 не может быть ослаблено (см. рис. 4.14).
2. Теоремы отделимости являются одним из важных интрументов ис-
следования свойств выпуклых функций и множеств, экстремальных задач.
Ряд приложений этих теорем будут даны в последующих параграфах. Здесь
же мы воспользуемся ими для получения представления любого выпуклого
замкнутого множества из Еп в виде пересечения некоторого семейства по-
лупространств.
Определение 2. Гиперплоскость Г = {и е Еп-. <с, п> = 7} назы-
вают опорной к множеству X, если <с, х) 7 при всех и <с, ?/> = у
. для некоторой точки у е X. Опорную к X ги-
ду перплоскость Г называют собственно опорной
-----А/ к X, если X не содержится в Г, т. е. <с, ж0>>*
Л/ > у при некотором ж0 е X. Вектор с, являю-
/ \ у щийся нормальным вектором опорной [соб*
( X 1/ ственно опорной] к X гиперплоскости, прохо-
( дящей через точку y t^ X, называют опорным
\ J [собственно опорным] вектором множества
^^ху X в точке у (рис. 4.16).
1 Отметим, что через любую граничную
р точку у выпуклого множества X из Еп мо-
ис’ 4,10 жет быть проведена хотя бы одна опор-
ная к X гиперплоскость. В самом_ деле,
если int X =/= 0, то граничными для X будут только точки у е X, у ф
ф int X, и согласно теореме 1 через каждую такую точку у можно
провести собственно__опорную к X гиперплоскость^ Если int X = 0, то
aff X =/= Еп, Гр X = X, и через каждую точку у е X можно провести ги-
перплоскость Г: <с, х — у) = 0, где с — любой ненулевой вектор из орто-
гонального дополнения к Lin X. Тогда X cz aff X cz Г, так что Г — опорная
ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
199
§ 5]
к X гиперплоскость^ не являющаяся собственно опорной. Теорема 1 уточ-
няет, что если у е X, у <=£riX, то среди опорных к X гиперплоскостей, про-
ходящих через точку у, можно найти собственно опорную.
Заметим, что выпуклое множество с непустой внутренностью не мо-
жет иметь опорных гиперплоскостей, не являющихся собственно опорными.
Это вытекает из следующего несколько более общего утверждения.
Теорема 4. Пусть X — выпуклое множество из Еп, intX =/= 0. Пусть
вектор с =# О и число 7 таковы, что <с, х) 7 при всех х X. Тогда
<с, х) > у Vx^intX.
Доказательство. Допустим противное: пусть существует такая
точка хо е int X, что <с, xQ) = у. По определению внутренней точки най-
дется такое 8о > 0, что z — xQ — ес/|с| X при всех е (0 < е < е0). Тогда
7 <с, О = <с, xq) — е| с | = 7 — е| с | < у. Получилось противоречивое не-
равенство, из которого и следует утверждение теоремы.
Следствие 1. Пусть X—выпуклое множество из Еп, int X =# 0.
Тогда любая гиперплоскость {с, х—у) =0, опорная к множеству X в ка-
кой-либо точке у е Гр X, является собственно опорной к X, или, точнее,
(с, х — у) >0 Ух s int X.
Доказательство. Из определения опорной гиперплоскости к X
в точке у следует, что <е, х) {с, у) — inf <с, х) — inf <с, х) = у при всех
х-х х~Х
х <= X. В силу теоремы 4 тогда <с, х) >> у = <с, у) для любой точки
х е int X.
В следующей теореме показывается, что выпуклое замкнутое множест-
во полностью характеризуется своими опорными гиперплоскостями.
Теорема 5. Всякое непустое выпуклое замкнутое множество X из
Еп (X #= Еп) является пересечением замкнутых полупространств, образо-
ванных всевозможными опорными гиперплоскостями к множеству X, со-
держащими X.
Доказательство. Поскольку X Ф Е\ то Гр X =Н= 0. Возьмем лю-
бую точку у Гр X. Множество всех опорных векторов множества X в точ-
ке у обозначим через Су. Выше было замечено, что Cv Ф 0 при всех у е
ее Гр X. Обозначим А == П П {#: <с, я — У) 0}. Нам надо пока-
уЕГрХ с~Су
зать, что А = X. Если т е X. то для всех у е Гр X и всех с е Су имеем
<с, х — у) 0, т. е. х е А. Следовательно, X cz А.
Докажем обратное включение Л cz X. Допустим противное: пусть су-
ществует точка а е А, афХ. Поскольку X — замкнутое множество, то по
теореме 1 множество X и точка а сильно отделимы. Точнее, при доказа-
тельстве теоремы 1 было показано, что гиперплоскость <cz, и — z) =0, где
z — ^х(а), cz — z — а, такова, что <cz, х — z) 0 при всех х е X = X, а
<cz, а — z) <0. Это значит, что czeCz (зеГрХ), и поэтому для точки
а^А должно бы быть <cz, а — z) 0 в силу определения А. Полученное
противоречие показывает, что Л cz X. Требуемое равенство А — X до-
казано.
Согласно теореме 5 выпуклое замкнутое множество характеризуется си-
стемой неравенств <с, х) {с, у) (х<=Х), которые можно записать в ви-
де inf <е, х) = (с, у), се Су, у е Гр X. Если заменить с на —е, то эти vc-
х
ловия приводят к равенствам sup <е, х) = <е, у ), е е —Су, у е Гр X. Та-
ким образом, всякое выпуклое замкнутое множество X характеризуется зна-
чениями функции 6 (е, X) = sup <е, х), называемой опорной функцией мно-
жества X (здесь возможны значения б(е, X) = оо для некоторых е^Еп)<
Это обстоятельство отражено также и в следующей теореме.
200
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
(ГЛ. 4
имеем (е , by
(е. ~ 8л = SUP <*л, а"> ~ 8п ПРИ всех Ь е со
0 7 0 asA 0 7 °
Теорема 6. Пусть для двух множеств А, В ив Еп известно, что
sup <е, а> sup <е, &> УвеЕ71, |е| = 1.
aGA Ь=В
Тогда со A cz со В; в частности, если А, В выпуклы и замкнуты, то A cz В.
Если
sup {е, а) = sup <е, &> Vв е Еп, | в | = 1,
aGA Ь£В
то со Л = со В; в частности, если А, В выпуклы и замкнуты, то А = В.
Дока з а т е л ь с т в о.Допустим, что со А ф со В. Тогда существует
точка а0есоЛ, но а^фсяВ. По теореме 5.1 множество со В и точка во
сильно отделимы, т. е. существуют такое (|ео| =1), во > 0, что
<е0, &> ^<е0, а0> — 80 при всех бесоВ. Отсюда, пользуясь теоремой 1.9,
< sup
aecoA
так что sup /еЛ, Ъ\ = sup (ел, by < sup /ел, а\ — 8Л < sup (еп, а\. При-
дав х 0 7 Ъ~соВ 0 а=А х 0 7 0 ааА 40 7 __________
шли к противоречию с условием теоремы. Следовательно, со Л cz со В.
Если Л, В выпуклы и замкнуты, то в силу теорем 1.5, 1.6 Л = со Л = Л =
= со Л, со В = В, и поэтомуЛ cz В. Справедливость последнего утвержде-
ния теоремы следует из того, что равенство 6(е, Л) =6(е, В) эквивалент-
но двум неравенствам 6(е, Л) 6(е, В), 6(е, В) Л) (ее£п).
3. Теорему 2 можно истолковать как необходимое условие пустоты пе-
ресечения двух выпуклых множеств Л и В; если Л П В = 0, А и В выпук-
лы (тогда пЛПпВ = 0), то необходимо существуют вектор сеВп
(с =/= 0) и число у такие, что <с, a> f при всех ае Л и <с, Ь> f при
всех 6 а В. Положим ci = с, с2 = —с, fi = у, 72 = —Ъ Тогда приведенное
необходимое условие пустоты пересечения двух выпуклых множеств А и В
может быть записано в следующей симметричной форме:
иу > Vue Л,
<c2,u>>V2 Vue В,
ci + с2 = 0, fl + 72 = о,
где хотя бы один из векторов ci или с2 не равен нулю.
Следующая теорема обобщает это утверждение и дает необходимое ус-
ловие пустоты пересечения любого конечного числа выпуклых мно-
жеств [52].
Теорема 7. Пусть непустые множества Ло, Ль ..., Ат из Еп выпук-
лы и Ло П Л1 П • • «П Ат = 0. Тогда необходимо существуют векторы со,
ci,..., ст е Еп, не все равные нулю, и числа 70, fi, .Чт такие, что
{ci,uy^yi УиеЛр i — 0,1, ..т. (7)
Со + + • • • + ст = 0, (8)
7о + 71 + ... + Ъп = 0. (9)
Для доказательства этой теоремы нам понадобится прямое (декартово)
произведение конечного числа множеств, а также прямое произведение ев-
клидовых пространств. Напомним соответствующие определения.
Определение 3. Пусть Ль ..., Ат — какие-либо множества. Мно-
жество Л, состоящее из всевозможных упорядоченных наборов (точек) а =
= (ai, ..., ат), где а< = Л< (i = 1, ..., тп), называется прямым произве-
дением множеств Ai, ..., Ат и обозначается через Ai X ... X Лто =s Л.
§ 5]
ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
201
Пусть Г1, 1?т — вещественные линейные пространства. Положим
L = £П1Х ..,ХЬПт. Для элементов (точек) ..., ат), Ь =
= (Ьь ...» bm) (= L определим сумму а + Ъ = (<ц + bi, ..ат + Ьт) и про-
изведение на вещественное число аа~ (ааи, ..., аат), где под + bi и
асц понимаются соответствующие операции в £n* (i = 1, ...» т). В резуль-
тате получим вещественное линейное пространство L, называемое прямым
произведением линейных пространств ЬП\ ...,ЬПт. Если Ln* = Е *— ев-
клидовы пространства размерности n< (i = 1,т),тов прямом произве-
дении Е = Е 1Х...ХЕ т также можно ввести скалярное произведение
<а, &> = <аь &1> + ...+ <а7П, Ьт> и норму |а| = <а, л>1/2=(|щ|2 + ...
... + |ат|2)1/2, где <а<, bi) и |а<| —соответственно скалярное произведе-
ние и норма вЕ г. Полученное евклидово пространство Е называют пря-
мым произведением евклидовых пространств Еп*, ,,,,Е т; размерность про-
странства Е равна п\ + ... + nm. Например, само евклидово пространство
Еп является прямым произведением п одномерных евклидовых пространств:
Еп = Е1 X . •. X Е1. Параллелепипед {и = (и1, ..ип): и1 i =
= 1, ..п} представляет собой прямое произведение отрезков [а<,
(i = 1, ..., п).
Прямое произведение выпуклых множеств, очевидно, само выпукло.
Доказательство теоремы 7. Пусть Е = Еп X X Еп — пря-
мое произведение тп n-мерных евклидовых пространств. Тогда А = Ai X...
... X Am е Е. Введем в Е «диагональное» множество В = {Ь = (&ь ..&т):
m
bi = ... = bm = п0, по е Ло}. Нетрудно видеть, что пересечение П пу-
i=0
сто тогда и только тогда, когда А П В пусто. Далее, А и В — выпуклые мно-
жества. По теореме 2 множества А i В отделимы, т. е. существует с =
= {<?!» ..Cm} е Е, не все с< равны нулю и <с, а) > <с, Ъ) при всех ае А,
Ъ е В, или
m rn 7 т \
2 <ci> fli> > X <ci> 6i> =< X ci> °o > e i = 0,1...........m. (10)
1=1 i=l \i=l /
Положим co = —(ci + ...+ Cm), так что равенство (8) будет выполне-
но. Тогда неравенство (10) принимает вид
VaieA’ i==0> 1, ...,тп. (11)
<=0
Если в этом неравенстве зафиксируем какие-либо а< = а<е4<_при всех
i = 0, 1, ..., тп, кроме i = то получим aky — 2 <ci» ai) ~ cons^
для всех ak е Ak. Следовательно,
inf <ска>>-°°
Положим
7o e —(71 + »». + 7m).
m. (12)
(13)
Л = 1, .
Тогда, переходя в (11) к нижней грани по всем (i = 1, тп),
171
получаем <cQ, aQ)> + X '*’» = Со’ аоУ ~ Vo > 0 для каждого а0 «= 40, или
i=i
Все соотношения (7)—(9) получены,
202
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
При некоторых дополнительных ограничениях на множества Ло, Ai, ...
..Ат теорема 7 обратима. А именно, верна
Теорема 8. Пусть Ло, Ль ..., Ат — непустые выпуклые множест-
ва из Еп, пусть все эти множества, кроме, быть может, одного, открыты.
Тогда для того чтобы Ло П Л1 Q ... (] Ат = 0, необходимо и достаточно, что-
бы существовали векторы со, Ci, ..cm е Еп, не все равные нулю, и числа
7о, Ym, для которых выполнены соотношения (7) — (9).
Доказательство. Необходимость доказана в теореме 7. Достаточ-
ность докажем, рассуждая от противного. Допустим, что условия (7) — (9)
тп
выполнены, но тем не менее существует точка v е П Лр Поскольку не
г=о
все Ci равны нулю, то из (8) вытекает существование по крайней мере двух
векторов Ci, Cj (г¥=/), отличных от нуля. По условию все множества Ло,
Ль ..., Ат, кроме, быть может, одного, открыты. Поэтому можем считать
а #= 0, Ai — открытое множество, т. е. Л« = int Л,.
Согласно условию (7) <Ci, u> y< при всех и е Аг. В силу теоремы 4
тогда <сг, u> > Y* для всех п^Лг=1п1Лг. В частности, для точки
тп
v п Л - с Аг также имеем <с<, р> > y«- Кроме того, для всех остальных
j=0
номеров J =# i также v Aj и в силу (7) <cj, v) Yi- Сложим все эти нера-
венства. С учетом равенства (9) получим <с0, *>> + \ci, . + <ст, и> >
> То + Y1 + • • • + Ym = 0, т. е. <с0 + ci + ... + р> > 0. Однако это не-
возможно в силу равенства (8). Полученное противоречие показывает, что
т
П Л.==0.
г=о
Приведенное выше доказательство теоремы 7 принадлежит В. И. Плот-
никову. Оно привлекает своей простотой и тем, что позволяет убедиться в
справедливости теоремы 7 и в бесконечномерных гильбертовых (и более
общих) пространствах — ее доказательство при этом остается неизменным,
нужно лишь уточнить ссылки на соответствующие теоремы отделимости в
бесконечномерных пространствах.
4. С помощью теорем 7, 8 можно получить условия совместности или
несовместности систем неравенств [321, 324]. Приведем некоторые из них.
Лемма 1. Пусть А = {и^Еп\ <е, •< р}— открытое полупрост-
ранство, А = {и^Еп: <е, и> р}— замыкание А; здесь е^Еп (е*/=0),
реВ. Тогда для того чтобы линейная функция <с, была ограничена
снизу на А (или Л), т. е.
<с, — оо Vi/еЛ (илиУиеЛ), (14)
необходимо и достаточно, чтобы существовало такое число Л 0, что
с = —Ле, Y —Лр. (15)
Доказательство. В силу теоремы 1Л) ограниченность функции
<с. и> на А следует из ее ограниченности на А, и наоборот. Поэтому лем-
му достаточно доказать для множества Л.
Необходимость. Пусть выполнено (14). Если с — 0, то из (14)
следует, что y 0 и в (15) можно взять Л = 0. Пусть с 0. Возьмем ка-
— /<с, е> \
кую-либо точку и0 еЛ, <е, и0> = р. Прямая и. — и + i -—т-е — с (ie R)
\ И | /
— <с, е>
принадлежит А, так как /е, и.\ = /е, и\ 4- t -—{е, е> — t{c, е> =
\ I/ хи/ | е |
=<?>%> = И (^В)- В силу (14) <с, Ut)=(c, Ы2)>Т
\ I е I /
при всех е R. Разделим это неравенство на t > 0 и перейдем к пределу
при Получим |с|2 <с, е>2/|е|2. С другой стороны, в силу неравенст-
§ 5]
ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
203
ва Коши — Буняковского <с, е>2^ |с|2|е|2. Отсюда и из предыдущего не-
равенства следует равенство | <с, е>] = |с| • |е|. Однако при с =/= 0, е #= 0
в неравенстве Коши — Буняковского равенство возможно лишь тогда, когда
векторы с, е коллинеарны, т. е. с = ае (а =/= 0). Покажем, что а < 0.
Возьмем луч vt = uQ — te Поскольку <e, vt) = ^e, uq> — i|el2=
= p— 11 e |2 p при всех t 0, то луч принадлежит А, Согласно (14) тог-
да у <с, vt) — <ае, vt) = ар — otf|e|2 (i^0). Разделим это неравенство
на t > 0 и перейдем к пределу при £->оо. Получим 0 — а|е|2, что воз-
можно только при а < 0. Положим Л = —а, _так что с = —he (Л > 0).
Тогда <с, и) = — Л<е, и) —Лр при всех и е А, причем при и = и0 здесь
достигается равенство. Следовательно, inf <с, и) — — Лр. Переходя в
_ и~А
(14) к нижней грани при и е А, получаем —Лр = inf <с, и) у, т. е.
у —Лр. Соотношения (15) получены.
Д_о статочность. Пусть выполнены условия (15). Тогда для любых
и е А имеем <с, и) = —Л<е, и) —Лр у, т. е. выполняется неравенст-
во (14).
Теорема 9. Пусть заданы открытые или замкнутые полупространст-
ва Аг = {и еЕп: {а, и) < рг} или Ai=={u^En: <вг, и) pi} (j = 0,
1, ..., тп); пусть Ао П Ai р ... р Ат = 0. Тогда необходимо существуют та-
кие числа Лр, Л{, ..., Ляг, что
mm m
Ч>°> %х>0, 2 h>°’ 2XA = °. 2МЧ<<>- (16)
2=0 2=0 2=0
Доказательство. Поскольку пересечение выпуклых множеств
Ao, Ai, ..., Ат пусто, то согласно теореме 7 существуют векторы со, ci, ...
..., cw, не все равные нулю, и числа у0, Yi, . •Y™, для которых справедли-
вы соотношения (7) —(9). Согласно лемме 1 условия (7) могут выполнять-
ся тогда и только тогда, когда ct = —Me;, у» —Лгрг при некоторых /ч
0 (г = 0, 1, ..., тп). Поскольку ег- =# 0 и не все а равны нулю, то не все
т
Лг равны нулю. Далее, из (8) следует, что а из (9) имеем
2=0
т т
- 2 2 к = 0. Все соотношения (16) получены.
г=о 2= о
Теорема 10. Пусть Аг = {и е Еп: (е^ и) < рг} (i = 1, ..., тп),
а Ао = <п е Еп: <во, и) <. ро} или Ао = {и е Еп: <е0, и) р0}. Тогда для
т
того чтобы А— П А^= 0, необходимо и достаточно существования таких
г=о
чисел Ло, Л1, ..., Лт, которые удовлетворяют соотношениям (16).
Доказательство. Необходимость доказана в теореме 9. Достаточ-
ность докажем, как и в аналогичной теореме 8, рассуждая от противного.
Пусть выполнены (16), но пусть тем не менее существует точка v^A. По-
скольку не все Лг равны нулю, ei ф 0 (i — 0, 1, ..., тп), то из условия
m
= 0 следует существование по крайней мере двух чисел Л,, Л; > 0
2=0
(t#=f). Тогда либо г ¥= 0, либо / =И= 0. Для определенности пусть i > 0.
Из условия v е А тогда следует, что v е Аг-, т. е. <ег-, v) < рг-. Для осталь-
ных / #= i имеем <е3, v) р3 (впрочем, равенство здесь возможно лишь
при 7 = 0). Умножая эти неравенства на соответствующие Л j 0 и сумми-
m / m \ m
руя по i = 0, 1, ..т, получаем У, ») =( 2 v /< 2 0,
i=0 \г=о / i=0
204
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
т
что противоречит равенству У, Xi^ = 0. Следовательно, 4 = 0, что и тре-
1=0
бовалось доказать.
Нетрудно видеть, что в теоремах 9, 10 говорится об условиях несовмест-
ности систем линейных неравенств вида <е<, и> или <е<, иУ < На-
пример, из теоремы 10 следует, что для несовместности систем неравенств
<е<, иУ < gi, et Ф 0, i = 0, 1, ..., т (17)
(в (17) одно из неравенств может быть нестрогим), необходимо и доста-
точно выполнения соотношений (16).
Опираясь на теорему 10 и рассуждая от противного, нетрудно дока-
зать следующий критерий совместности системы (17).
Теорема 11. Для того чтобы система неравенств (17) была совмест-
ной (или, иначе, пересечение множеств Ao, 41, ..., 4m из теоремы 9 было
непустым), необходимо и достаточно, чтобы для любых чисел Хо 0, Xi
m
0, ..., Хт^0, не все из которых равны нулю, из равенства 2 = ®
i=o
m
следовало неравенство 2
i=0
5. Переформулируем теоремы 7, 8 для случая, когда 40, 4Ь ..., Ат яв-
ляются выпуклыми конусами в Еп.
Определение 4. Конусом (с вершиной в нуле) называется мно-
жество К, содержащее вместе с любой своей точкой и и точки Хи при всех
X > 0. Если множество К выпукло, то К называют выпуклым конусом,
если К замкнуто — замкнутым конусом, если К открыто — открытым
конусом.
Рассмотрим множество
К» = {с е= Еп: <с, и> > 0 Vue К}. (18)
Например, если К = {и е Еп:
*={с^Еп: с = Ха, X е R}; если
Рис. 4.17
Это множество всегда непусто, так как 0 е К*. Далее, если с е К*, то для
Хс при любом X > 0 имеем <Хс, u> =Х<с, и> 0 для всех и е К, т. е.
Хе е К*. Следовательно, К* — конус.
Определение 5. Конус К*, определенный посредством (18), назы-
вается двойственным (сопряженным) конусом к конусу К (рис. 4.17).
<а, иУ = 0} —гиперплоскость, то К* =
К = {и е Еп: {а, и> 0} — замкнутое
полупространство или К = {и е Еп:
{а, и> < 0} — открытое полупрост-
ранство, то К* = {с <= Еп: с — —Ка,
X 0}; если К = Еп, то К* = {0};
если К = {0}, то К* = Еп\ если
К = {и е Еп: и 0}, то К* = {с е
е Еп: с 0}.
С помощью двойственных кону-
сов удобно переформулировать тео-
рему 7 для случая, когда множест-
ва 40, 41, ..., Ат являются кону-
сами.
Теорема 12. Пусть Ко, Ki,...
..., Km — непустые выпуклые кону*
сы из Еп (с вершиной в нуле), пусть Kq П К\ П • • • П &т = 0. Тогда необхо-
димо существуют векторы с0, ci, ..., cm, не все равные нулюгс^ е (i = 0,
1, m), и такие, что
(19)
со + ci + ... + ст = 0.
§ 5]
ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
205
Доказательство. Согласно теореме 7 существуют векторы с0,
ci, ..ст, не все равные нулю, и числа Yo, • • •» Ч™ удовлетворяющие ус-
ловиям (7) —(9). Воспользуемся тем, что рассматриваемые множества KQ,
Кл, ..., Кт являются именно конусами, и покажем, что тогда Yo = Yi = • ••
•.. = у™ = 0. В самом деле, если <с«, ю> при всех и е Kt, то <с<, %и>
> 4i или <сг, u> Yi/h для любых %>0 и и е Ki. Отсюда при %-> + 0
получим <сг-, и} > 0 при всех и е Кг, т. е. с. <= К* (f = 0, 1, ..., т).
Кроме того, если и е Ki, то, взяв в неравенстве <с<, и>^0 вместо и
точку Хи при малых X > 0, получим сколь угодно малые значения функ-
ции <ci? u> на Ki и придем к равенству inf (с^, иу = 0. Согласно (12)
это означает, что все величины y< (i = 1, ..., т), участвующие в неравенст-
вах (7), равны нулю. Из (13) тогда имеем Yo = 0- Таким образом, если в
теореме 7 множества Ао, А\, ..Ат являются выпуклыми конусами, то ус-
ловие (9) выполняется тривиально, так как все y< = 0 (i = 0, 1, ..., тп),
условия (7) означают, что (i = 0, 1, ..., тп), а из (8) следует (19).
При некоторых дополнительных ограничениях на конусы Ко, К\, ...
..., Кт теорема 12 обратима. А именно верна
Теорема 13. Пусть KQ, К\, ..Кт — непустые выпуклые конусы из
Еп (с вершиной в нуле), пусть все эти конусы, кроме, быть может, одного,
открыты. Тогда для того чтобы Ко Q Кх Q ... fl Кт = 0, необходимо и до-
статочно, чтобы существовали векторы cq, с\, ..., ст, не все равные нулю,
Ci Ki (г = 0, 1, ..., тп), и такие, что
Со + С1 + . .. + Crn — 0. (19)
Доказательство. Необходимость доказана в теореме 12. Достаточ-
ность вытекает из теоремы 8, если заметить, что условие с. е К^ равно-
сильно неравенству <с<, u>^0 (u&Kt), и отсюда и из (19) следуют ус-
ловия (7)—(9) при уо = Yi = • • • « Ym = 0.
Упражнения. 1. Пусть А и В — выпуклые множества, не имеющие
общих внутренних точек. Можно ли утверждать, что А и В отделимы?
Рассмотреть пример А = {и = (х, у): у = 0, |я| 1}, В = {и = (х, у)*.
я = 0, |у| =С1} в Е2.
2. Пусть X — выпуклое множество из Еп, int X = 0. Доказать, что лю-
бая гиперплоскость, опорная к X и проходящая через точку у е ri X, со-
держит X, т. е. не является собственно опорной.
3. Пусть А — выпуклое множество из Еп, причем Af) int — 0. До-
казать, что существует такой вектор с = (сь ..., cn) =з£ 0 (cj 0, ...
..., сп 0), что <с, аУ 0 при всех а е А.
4. Пусть А — выпуклое множество из Еп, М — аффинное или многогран-
ное множество из Еп. того чтобы А и М были собственно отделимы, не-
обходимо и достаточно, чтобы М П ri А = 0. Доказать.
5. Пусть р (А, В) = inf inf | а — Ъ | — расстояние между множест-
а&А Ъ&В
вами А и В, Доказать, что два непустых выпуклых множества А, В из Еп
сильно отделимы тогда и только тогда, когда р(А, В) >0.
6. Доказать, что всякое выпуклое замкнутое ограниченное множество
из Еп имеет хотя бы одну угловую точку (см. определение 3.2.1).
7. Пусть U — выпуклое замкнутое множество из Еп, Доказать, что U
имеет хотя бы одну угловую точку тогда и только тогда, когда U не со-
держит прямых (см. пример 1.4).
8. Доказать, что выпуклое замкнутое ограниченное множество А из Еп
является выпуклой оболочкой своих угловых точек. Показать, что без тре-
бования ограниченности множества А это утверждение неверно. Рассмот-
реть пример А = {а = (х, у) е£2: у |х|}.
206
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
тп
9. Если Ai, ..., Ат — выпуклые множества из Еп, причем П ri Ai у= 0У
1=1
ТО
—----- / тп \ тп f тп \ тп
ПЛ=ПА; ri If) Л = л (ПА); aff Л А, = П (aff Л.).
г j 1 \г=1 / г—1 \г=1 / г=1
Доказать.
10. Пусть К — произвольный конус из Еп. Доказать, что конус К* —
замкнутый и выпуклый. __
И. Доказать, что если К — выпуклый конус, то К* = (£)*.
12. Доказать, что если К — замкнутый выпуклый конус, то (К*)* = К.
13. Пусть К — выпуклый конус. Доказать, что для ограниченности сни-
зу линейной функции <с, и> на К необходимо и достаточно, чтобы с К*.
14. Пусть К — выпуклый конус, int Я ₽й= 0. Тогда <с, и> > 0 для всех
и е int К при любом выборе с е К* (с =/= 0). Доказать.
15. Доказать, что (#+... + = £* И ... П где Кь ..., Кт —
конусы из Еп.
16. Пусть Я~1, А~2 —выпуклые замкнутые конусы. Доказать, что
17. Пусть Ко, Ki, Km — выпуклые конусы, пусть Ко Л int Ki П .. •
... Л int Km Ф 0. Тогда ( П = К* + К* + ... + К^. Доказать.
\ i=o /
/ тп \ ♦
18. Пусть Ко, К\, ,.., Кт — выпуклые конусы. Тогда либо ( П =
\г=0 /
= KQ H-Aj + ... + Km, либо существуют не все равные нулю векторы
ci е К* (I — 0, 1, ..., ш) такие, что с0 + + ... + ст = 0. Доказать.
19. Для того чтобы выпуклые конусы Ко, Кх были неотделимы, необ-
ходимо и достаточно, чтобы 0 е int(/£0 — К\). Доказать.
20. Доказать, что два выпуклых конуса 2Г0, неотделимы тогда и толь-
ко тогда, когда одновременно выполнены два условия: ri KQ fl ri Kx =И= 0,
Lin Ко -j- Lin K2 = En.
21. Множество A*={cg En: <c, u) 1 Vu e Л} называется полярой
множества А. Найти поляры множеств Л, если Л = {0}; Л = [а, 6] с Я1;
Л = {ize Еп: и — te, 0 < £ < оо, е Ф 0}; Л = {ue <с, и) у}; А —
шар; Л — конус с вершиной в нуле. Выяснить связь между полярой кону-
са и двойственным конусом.
§ 6. Субградиент. Субдифференциал
1. Для выпуклых дифференцируемых функций на выпуклом множест-
ве выше было доказано неравенство (см. теорему 2.2)
J (и) > J (у) + </' (и), и — v) Yu(=U. (1)
К сожалению, выпуклая функция может не быть дифференцируемой даже
на внутренних точках множества, и в этом случае полезное во многих слу-
чаях неравенство (1) не будет иметь смысла. Тем не менее, оказывается,
для выпуклых функций это неравенство можно сохранить, если надлежа-
щим образом обобщить понятие градиента.
Определение 1. Пусть функция Ци) определена на множестве U
из Еп. Вектор с = с(у) ^Еп называется субградиентом функции Ци) в точ-
ке v е U, если
J (и) > J (у) + <с (у), u —р} (2)
§ 6]
СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ
207
Множество всех субградиентов функции Ци) в точке и называют су б диф-
ференциалом этой функции в точке v и обозначают через dJ(v),
Неравенство (2) имеет простой геометрический смысл и означает, что
график функции 7 = J(u) (и е U) в пространстве переменных (и, 7) ле-
жит не ниже графика линейной функции 7 = Ци) + <с(и), и — v> (и е U),
причем в точке и = v оба графика
пересекаются (рпс. 4.18).
Для гладких выпуклых функ-
ций, как показывает неравенство (1),
субдифференциал непуст и градиен-
ты этих функций являются их суб-
градиентами. Во внутренних точках
множества гладкая функция, оказы-
вается, других субградиентов, кроме
градиента, иметь не может. В самом
деле, пусть v е int U, c(v)^dJ(v).
Поскольку Ци) е C{(U), то Ци) =
= Ц») + <7'(у), и — р>+ о (I и — z?|)
(и U). Отсюда и из (2) следует,
что <J'(v) — с(и), и — v) > o(|u — р|) (ug£/). Поскольку v <= int £7, то
и — v — е(7'(у) — c(v)) U при всех 8 (0 < е < 8о). Подставив эту точку
в предыдущее неравенство, получим — е| J'(v) — c(v) |2 о (в) (0 < е < 80).
Деля на е > 0 и устремляя е-> + 0, отсюда будем иметь — | J'(v) — c(v) |2
0, т. е. c(v) = J'(v).
Тем самым показано, что для гладкой выпуклой функции дЦу) =
= пРи всех v е int U. Существуют функции, которые не дифферен-
цируемы в точке, но тем не менее суб дифференциал в этой точке непуст.
Пример 1. Функция Ци) = |g(u) | (и е U) в точке у, где g(v) — 0,
всегда имеет субградпент c(v) =0, так как \g(u) | — |g(y) | = |g(u)| >
0 = <0, и — v) для всех и <= U. В то же время в точках р, где g(v) 0,
эта функция может быть недифференцируемой и не имеющей субградиента.
Пример 2. Пусть Ци) = |и| (и е Еп). В точке v = 0 эта функция
недифференцируема, но для нее верно соотношение
Ци) —/(0) = |и| > <с, и — 0> = <с, и), и^Еп,
для всех с (|с| 1). Это значит, что 5(|и|) |м=0 = дЦО) == {с е Еп:
|с|^1}—единичный шар с центром в нуле. Если v ф 0, то дЦи) =
= {^/kl = 7'(р)}.
Заметим, что в примере 2 функция Ци) = |и| выпукла на Еп. Оказы-
вается, если совсем отказаться от выпуклости функции, то даже гладкая
функция может не иметь субградиента ни в одной точке. Например, для
функции Ци) = и3 на Е1 суб дифференциал пуст во всех точках. В то же
время эта функция Ци) = и3 на множестве U = {и^Е1: и 0} выпукла
и во всех точках v е U имеет на U непустой субдифференциал. Ниже уви-
дим, что это не случайно.
2. Следующая теорема показывает, что понятия субградиента и суб-
дифференциала являются естественными для выпуклых функций.
Теорема 1. Пусть U — открытое выпуклое множество на Еп (напри-
мер, возможно, U==En). Тогда для того чтобы функция Ци), определен-
ная на U, имела непустой субдифференциал во всех точках U, необходимо
и достаточно, чтобы Ци) была выпукла на U.
Доказательство. Необходимость. Пусть для некоторой
функции Ци) суб дифференциал дЦи) Ф 0 при всех и е U. Покажем, что
Ци) выпукла на U. Возьмем произвольные и, v^U, ае [0, 1] и положим
Ua = аи + (1 — а) и. Пусть с = с(иа) е дЦиа). Тогда
Ци) — Циа) > <с, и — иау, J(v) — Циа) > <с, у — иа>.
208
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Умножим первое из этих неравенств на а, второе на 1 — а и сложим. По-
лучим а/(и) + (1 — а)Ци) — Циа) > <с, иа— иа> = 0 при всех и, ut=U,
[0, 1]. Выпуклость Ци) на U доказана.
Достаточность. Пусть Ци) выпукла на открытом выпуклом мно-
жестве U. Пусть и — произвольная точка на U. Покажем, что dJ(u) Ф 0.
Возьмем некоторый единичный вектор е. Поскольку U — открытое множест-
во, то и + te е U при всех t (0 С t < tQ, tQ > 0). По теореме 2.14 сущест-
вует производная dJ(v)lde по направлению е.
В пространстве Еп+' переменных (и, у) введем два множества
А = {(и, V) s £n+1: и s U, у> J (и)},
( dJ (и) 1
B = j(u, y)e2^+1: u=v+te, y = J(u) + t—^, Q^t<tA.
Нетрудно показать, что множество А выпукло —это делается так же, как
доказывалась выпуклость надграфика выпуклой функции в теореме 2.9
(кстати, в данном случае А — int (epiУ)). Множество В является отрезком
прямой в En+i и тоже выпукло. Покажем, что множества А и В не имеют
общих точек.
В самом деле, пусть (и, у) еЛ. Имеются две возможности: 1) u*fiv +
+ te при всех t (0 t < t0) — тогда заведомо (и, у) В; 2) при некото-
ром t (0 t < tQ) оказалось, что и = и + te — тогда с учетом неравенства
(1.11.5) и 7 > Ци) = Ци + te) имеем у — Ци) > Ци + te) — Ци) >
tdJ(u)!de, т. е. 7 > Ци) + tdJ(u)!de, и снова (и, 7) В.
Итак, множества А и В выпуклы, А П В = 0. По теореме 5.2 тогда су-
ществует гиперплоскость с нормальным вектором (d, v) 7^ 0, отделяющая
А и В, т. е.
/ dJ (и) \
<d, u> + vy > <d, и + te} + v I J (u) + tI (3)
при всех 7 > Ци), u^U, 0 < £0. В частности, при и — и, t = 0 из (3)
имеем v(y — J (и)) 0 для всех 7 > Ци). Отсюда следует, что v 0.
Допустим, что v = 0. Тогда из (3) имеем <d, и} <d, и-f- te} для всех
и е U, 0 t < to. Положим здесь и = и + ed, t = 0 — так можно делать,
ибо и + ed е U при всех 8 (0 < 181 < во) в силу открытости U. Получим
<d, v + 8d> <d, и}, или e|d|2 ;> 0 при всех 8 (0 < |е| е0), что возмож-
но только при d = 0. Однако (d, v) =/= 0 по построению. Полученное про-
тиворечие показывает, что v = 0 не может быть.
Итак, v > 0. Поделим (3) на v > 0. Обозначая с = —d]v и устремляя
7 Ци) +0, из (3) получаем
dJ (и)
J(u)-J(u) + t<c,e}^c, u-u) + t—^ (4)
при всех и е U и всех t (0 t < to). Полагая здесь t = 0, будем иметь
J (и) — J (и) ><с, и + и} Vu е U.
Это означает, что с е дЦи), т. е. дЦи) 0.
В следующей теореме изучаются некоторые свойства субдифференциа-
ла выпуклой функции.
Теорема 2. Пусть U — открытое выпуклое множество из Еп ( на-
пример, U = Еп), Ци) — выпуклая функция на U. Тогда субдифференциал
дЦи) при всех u^U является непустым выпуклым замкнутым и ограни-
ченным множеством.
Доказательство. Непустота суб дифференциала доказана в тео-
реме 1. Покажем выпуклость дЦи). Пусть сь с2 е дЦи), т. е.
Ци) — Ци) <Cj, и — иЦ J(и) — Ци) <с2, и — и}, U&U*
§ 6]
СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ
209
Возьмем ае [0, 1]. Умножая первое неравенство на а, второе на 1 —а и,
складывая, получаем /(а) —J(v) (aci + (1—а)с2, и — р> при всех
е U. Это значит, что act + (1 ~а)с2е дЦи) для любых ае [0, 1]. Выпук-
лость дЦи) доказана.
Пусть с —предельная точка множества OJ(v), пусть {с*} е дЦи) и сн-^
-+с при &->оо. Из ск^дЦи) следует, что J(u) — Ци) <с*, и — и>
(и е U). При к-> оо отсюда получим с е дЦи). Замкнутость dJ(v) доказана.
Покажем ограниченность dJ(и). Возьмем любой вектор седЦи). По-*
скольку U — открытое множество, то S(v, в) = {и е Еп: |и—р| е) cz 17
при достаточно малом в > 0. Далее, в силу теоремы 2.15, функция 7(и>
непрерывна на U, поэтому sup J (и) = J* (5) < оо. Положим в неравен-
8(г\е)
стве (2) и = и + ес/|с| е S(v, в). Получим |с| (Ци + ъс/\с|) — Ци))/& <2
< (/*(£) — 7(у))/е < оо при всех с е dJ(v).
3. Теоремы 1, 2 не дают конструктивного описания суб дифференциала
выпуклой функции. Такое описание удается получить лишь в немногих
случаях.
Пример 3. Пусть J (и)= max г?, и = (и1, ..., ип) е Еп, I = {1,..., и}.
Согласно теореме 2.7 функция Ци) выпукла на Еп. Покажем, что
dJ(v) = {с = (ci, ..., сп): Ci 0, i е Ци), с< = 0, i^Z(v);
ci + ... + сп = 1}» (5)ь
где I (v) = /i el: max i? = иг\. Множество, определяемое правой частью
I jei )
формулы (5), обозначим через Л (у). Пусть c<=A(v). Умножим неравен-
ство Ци) — Ци) == max ui — vi и* — v*, верное при всех i е Ци), и<=Еп
на Ci 0 и сложим по всем i^I(v). С учетом равенств а = 0 при
^Z(p), ci + ... + сп = 1 получим Ци) — Ци) <с, и — р> (и^Еп), т. е.
с е дЦи). Это значит, что A(v) cz dJ(v).
Докажем включение дЦи) с:Л(у). Пусть с^дЦи), т. е.
J (и) — J (и) — max иг— max иг <с, и — v) Yu^En. (6)
iel i el
Возьмем в (6) и = и± = (р1 ± 1, ..., рп±1). Тогда Ци±) — Ци) =
п
= ±1 и из (6) получим + 1 <с, и^_ — иу = ± 2 CV ЧТ0 ВОЗМОЖНО лишь
г=1
п
при 2 ci = 1. Далее, в (6) возьмем uz = (и1, ..., ип), где и1 = v' — е при
i=l
некотором i е Z, ui = vi при j i, е > 0. Тогда Цие) Ци) и из (6) по-
лучим 0 <с, ие — и) = Ci (—е), так что с< 0 (i = 1, ..., п).
Далее, пусть i&I(v). Тогда vi < Ци) и можно выбрать в > 0 так, что
vi + в < Ци) . Положим ие = (и1, ..., ип), где и1’ = ui + в, ui = vi при
/ =/= i. Тогда Ци)=Ций), и из (6) получим 0 <с, иг—v> = 8с$, т. е.
а 0 (i^I(v)). Сравнивая это неравенство с уже доказанным с< > 0,
получаем с< = 0 (i^Z(p)). Это значит, что се Л(р), так что dJ(v) cz A(v),
Равенство (5) установлено.
4. Установим связь между производными по направлению и субдиффе-
ренциалом выпуклой функции.
Теорема 3. Пусть U — открытое выпуклое множество из Еп, Ци)
выпуклая функция на U. Тогда во всех точках v^U производная функ-
ции Ци) по любому направлению е (| е | =1) существует, причем
dJ (v)
—AJ- = max <c, c>
de cedJ(v)
(71
210
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Доказательство. Существование производной dJ(v)]de установ-
лено в теореме 2.14. Докажем формулу (7). Из (2) имеем (J(v + te) —
— <с, е> при всех c^dJ(v) и всех достаточно малых t > 0. От-
сюда при £-> + 0 получим dJ(v)lde <с, е> для любого c^dJ(v), так что
dj(y}/de sup <с, е>. С другой стороны, при доказательстве теоремы 1
CG0J(V)
был построен специальный субградиент с, для которого выполняется не-
равенство (4). Полагая в (4) и= и, будем иметь dJ(v)/de <с, е) (с е
^dJ(v)). Сравнивая это неравенство с предыдущим, приходим к форму-
ле (7). Попутно показали, что максимум в правой части (7) достигается
именно на том субградиенте, который был построен в теореме 1.
Формула (7) обобщает известную формулу dJ(v)lde — е> для
гладких функций.
5. С помощью субдифференциала можно сформулировать критерий оп-
тимальности, обобщающий теорему 2.3 на случай негладких выпуклых
функций.
Теорема 4. Пусть J(u) — выпуклая функция на открытом выпук-
лом множестве W из Еп, U — выпуклое подмножество множества W. Тог-
да для того чтобы функция J(и} достигала своей нижней грани на мно-
жестве U в точке w* е С7, необходимо и достаточно, чтобы существовал суб-
градиент с* — с (u*) е dJ (и*) такой, что
<с*, и—w*> 0 Vu^U. (8)
Если и* е int U, то в (8) с* = 0.
Необходимость. Пусть i/* е = /и е U: J (и) = inf J (и) =
I U
> — ooj. В пространстве En+l введем множества
А = [а = (и, aQ) е 2?n+1: и е W, aQ^ J (и) — .7*},
В = {6 = (У, Ъо)-. ve=U, ъ0<0}.
Эти множества не имеют общих точек.
В самом деле, пусть а = (и, а0) е А. Тогда возможно либо и е U, ли-
бо и е PF\t7. В первом случае «0 J (и) —- J* 0 и заведомо а^В. Если
и е W\U, то а£В по определению множества В. Выпуклость множеств
А и В доказывается так же, как и выпуклость надграфика выпуклой функ-
ции в теореме 2.9. По теореме 5.2 тогда существует гиперплоскость с нор-
мальным вектором g — (d, v) =/= 0, отделяющая А и В — замыкание В, т. е.
<g, а> у <g, by, а <= А, b В. Поскольку у == (и*, 0) е A П В и соглас-
но теореме 5.2 у = <g, уУ — <d, и*у, то предыдущие неравенства запишут-
ся в виде
<d, иу + van < {d, и*У < {d, р> + уЬ
(9)
VugW, aQ^ J (и) — J*, vgU, &0^0.
Из правого неравенства (9) при Ь = (и*,—1) е В имеем v*(—1)^0,
т. е. v 0. Если v = 0, то из (9) получим {d, иу {d, и*у, u^W. Однако
W — открытое множество и и — и* + 8d е W при всех 8 (0 < | е | < е0). По-
этому из предыдущего неравенства получаем (d, &Гу = e|d|2^0 (0<
< 181 < 80), что возможно лишь при d = 0. Однако это противоречит то-
му, что g = (d, v) =/= 0. Следовательно, v < 0.
Разделим (9) на v < 0. Полагая с* = — d/v, получаем
— <с*, и — и*у + aQ > 0 > — <с*, и — и^у + bQ,
Vu^W, aQZ^J(u) — J*, vt=U,
§ 6]
СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ
211
Отсюда при а = (w, aQ = J (и) — J (и*)} имеем J (и) — J (и*) > и — и*у
при всех и е W, т. е. с* е dJ (и*). При Ъ = (р, 0) (р е U) из (10) следует
неравенство (8).
Если и* е int U, то и = и*-]- ее* е U при всех 8 (0 < | s| < е0), и из
(8) получим <е*, &с*У = 8 | с* |2 0 (0 < | 8 | < 80). Это возможно лишь при
с* = 0.
Достаточность. Пусть для некоторой точки и* е U выполнено’
неравенство (8) при каком-либо с* е dJ (и*). По определению субградиен-
та тогда J (и) — J (и*) <с*, и — и*у 0 при всех и е U, т. е. и* <= U*.
Замечание. Как видно из доказательства теоремы 4, множества А,
В и, следовательно, вектор g = (d, v), а также и с* =— d/v из (8) не за-
висят от выбора и*^ U*. Таким образом, в (8) для всех и* е £7* можно вы-
брать один и тот же субградиент с*, который, конечно, является общим
для всех dJ (w*), u*^U*. Это значит, что, в частности, когда Ци)—глад-
кая выпуклая функция, в теореме 2.3 е* = J' (и*) не зависит от u* е Z7*.
Следующие примеры показывают, что субградиент с* из (8) в общем
случае определяется неоднозначно.
Пример 4. Пусть Ци) — |«| (u^W = El). Если U — Е1, то
17* = {0}, dJ (0) = [— 1, 1] и неравенство (8) выполняется лишь при е* =0.
Если U = (и^Е1: и 0}, то U* = {0} и (8) выполняется для всех с* е
е= [0, 1] с dJ (0).
Пример 5. Пусть J (и) = шах {и; 0} (u^W = E1). Если U = Е1,
то U* = {0}, dJ(Q) — [0, 1] и (8) имеет место лишь для с* — 0. Если
U = {и е Е1: и 0}, то по-прежнему #*={0}, но неравенство (8) здесь вы-
полняется для всех с* е dJ (0) = [0, 1].
6. Определение 2. Пусть Еп, Ет — евклидовы пространства, W cz
Еп, П(ЕШ) —множество всех непустых множеств из Ет. Говорят, что на
W задано многозначное отображение F: И7->П(£'т), если каждой точке
и е W поставлено в соответствие некоторое множество F(u) cz П(Ет).
Определение 3. Многозначное отображение, которое каждой точ-
ке и из открытого выпуклого множества W cz Еп ставит в соответствие суб-
дифференциал dJ(u) некоторой выпуклой на W функции /(н), называется
cyбduффepeнцuaлъным отображением и обозначается через dJ.
Субдифференциальное отображение обладает рядом замечательных
свойств [18, 21, 132, 255, 264]; на некоторых из них мы здесь кратко ос-
тановимся.
Определение 4. Пусть W — множество из Еп. Многозначное ото-
бражение F: W-+ТЦЕт) называется:
1) компактным, если для любого компактного множества U cz W мно-
жество F (U) = U Р (и) компактно;
и&и
2) монотонным, если <с(н)—с (и), и—иу 0 при всех и, v <= W,
с(и) ^F(u), c(v) ^F(v);
3) выпуклозначным, если F(u) — выпуклое множество при каждом и
€= W;
4) полунепрерывным сверху в точке v е W, если из того, что {?'*} -> v
(vk^W) и {ск}-^с (ch<=F(vh), Zc = 1, 2, ...), следует cgF(p);
5) полунепрерывным снизу в точке v е W, если для всякого элемента
с (= F(и) и любой последовательности {%} -> и е W) найдутся сь е F(vk)
такие, что {ck} -> с.
Теорема 5. Пусть Ци) —выпуклая функция на открытом выпуклом
множестве W из Еп. Tozda cyбduффepeнцuaлънoe отображение dJ: W->
->П(ЕП) выпуклозначно, монотонно, полунепрерывно сверху, компактно.
Доказательство. Выпуклозначность отображения dJ следует из
теоремы 2. Возьмем произвольные и, v е W, c(u)^dJ(u), c[v)e9J{v),
Тогда согласно (2) J(u) — Цу) (с(и), и — р>, Ци) — J(u) <c(w), v — иу.
Сложив эти два неравенства, получим <с(н) — с(и), и—vy 0. Монотон-
212
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
еость dJ установлена. Далее, пусть v е W, {yft} р, vk е= W, пусть {cft} -> с,
ck е дЦик). Это значит, что J(u) — J(vk) > <cft, и — vk> при всех и е W.
Поскольку функция Ци) непрерывна на W (см. теорему 2.15), то, пере-
ходя к пределу в этом неравенстве при &->оо, приходим неравенству (2).
Это значит, что с^дЦо). Полунепрерывность сверху отображения dJ до-
казана.
Наконец, возьмем произвольное ограниченное замкнутое множество
U cz W. Поскольку W — открытое множество, то все точки U являются
внутренними для W и поэтому найдется такое число б >» О, что ограничен-
ное замкнутое множество U& = {и s Еп: |и — р| б, v е £7}, представля-
ющее собой б-раздутие множества U, принадлежит W.
В самом деле, если W = Еп, то U& cz Еп при любом б > 0. Если же
W ф Еп, то граница Гр W выпуклого множества W непуста и р(р, Гр Ж) =
= inf [ v — w I > 0 при всех v е U. В силу леммы 2.1.2 функция
WE ГрГИ
р(у, Гр ТУ) непрерывна на компактном множестве U и согласно теоре-
ме 2.1.1 найдется такая точка е £7, что inf р (р, Гр W) = р (р*, Гр W) =
vet/
= 26 > 0. Это значит, что U& cz W. Функция J(u) непрерывна на компакт-
ном множестве U&, поэтому sup J (и) = < оо.
Возьмем любые v е U, cg дЦи). В неравенстве (2) положим и — v-\-
+ бс/|с| cz U& cz W. Получим | с | [J (у + 6с/| с |)—J (у)]/б < 2/^/б=М< оо
для всех с^дЦи), v е U. Таким образом, sup sup |с]= sup |
ve U ct=dJ\v) c^dJ(U)
М < оо, т. е. множество dJ(U) ограничено. Докажем замкнутость dJ(U).
Пусть {ck} с (cjte дЦ17)). Это значит, что существует такая точка Vk е
е £7, что с^е dJ(vk). Поскольку U — компактное множество, то без ограниче-
ния общности можем считать, что {Vk} -> v cz £7. В силу полунепрерывности
сверху отображения dJ тогда с е дЦу) cz dJ(U). Следовательно, дЦУ) —
замкнутое множество. Компактность отображения dJ установлена.
Отметим, что субдифференциальное отображение dJ, вообще говоря, не
является полунепрерывным снизу. Например, функция Ци} — |u|, ue
е W = Е\ имеет субдифференциал 07(0) = [—1, 1], но точки с е (—1, 1) е
ед7(0) не могут быть получены как предел какой-либо последовательно-
сти {сл}, Ck е dj(vk), где Vk Ф 0, к = 1, 2, ..., {vk} ->0.
Используя компактность отображения нетрудно получить обобще-
ние теоремы 1.8.3 на многомерный случай.
Теорема 6. Пусть Ци) — выпуклая функция на открытом выпуклом
множестве W из Еп. Тогда на любом ограниченном множестве G cz W функ-
ция Ци) удовлетворяет условию Липшица, т. е. существует такая постоян-
ная L == L(G) 0, что |J(u) — Цо) | L\u — v\, и, v G.
Доказательство. Возьмем U = co G — это выпуклая оболочка за-
мыкания множества G. В силу теоремы 1.8 U — выпуклое компактное мно-
жество U cz W. Тогда Ци) — Цо) <с(и), и — о> — L\u — р| (u, о е £7),
где L =sup | с| < оо в силу теоремы 5. Поменяв здесь u, о местами, име-
dJ(U)
ем 7(и) — Ци)^—Ци—р| (u, о е U). Отсюда следует утверждение
теоремы.
Для получения интересных экстремальных свойств субдифференциаль-
ного отображения нам понадобится
Теорема 7. Пусть W — открытое множество из Еп, многозначные
отображения А и В: W-^H(En) таковы, что А полунепрерывно сверху и
компактно, В монотонно, причем А(и) [}В(и) 0 при всех u^W. Тогда
со (В (и) cz со А (и) (не ТУ).
Доказательство. Зафиксируем любые и W и е е Еп (| е | = 1).
Поскольку W — открытое множество, то 5 = {v е Еп: | v — и\ е0} cz W
при некотором 8о > 0. Возьмем последовательность {вл} ->-0 (0 < е* < во).
§ 6] СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ 213
Тогда vk = и + cz S cz W, {р&} -> и. По условию существуют Е Л (иь) П
Л В(uft). В силу монотонности В для всех Ь е В(и) имеем — 6, Vk — и> ==
= <afe—6, 8ье>>:0 или <аь—&, е> 0. Поскольку отображение А ком-
пактно, то множество A (S) является компактным. Поэтому, учитывая вклю-
чение ak е A (vk) cz А (5), можем считать, что {ak}-+a0. В силу полуне-
прерывности сверху отображения А тогда а0^А(и). Поэтому, переходя
к пределу в неравенстве <ал,—6, е>^0, получаем <ао — Ь, е> 0, или
<*, Ь) < /е, а \ < sup <е, а> при всех Ь <= В (и). Отсюда sup <е, Ь) <
0/ aGA(u) ЬеВ(и)
sup <е, а>, и требуемое утверждение следует из теоремы 4.6.
ggA(u)
Теорема 8. Пусть J(u)—выпуклая функция на открытом выпук-
лом множестве W из Еп, пусть F: Ж->П(£'П)— какое-либо многозначное
отображение. Тогда:
а) если F монотонно, dJ(u) ^F(u) при всех и е Ж, то dJ(u)=F(u)
(u^W), т. е. субдифференциалъное отображение максимально в классе
монотонных отображений',
б) если F полунепрерывно сверху, выпуклозначно и F(u] с: dJ(u) при
всех и е W, то dJ(u) — F(u), т. е. субдифференциальное отображение ми-
нимально в классе полунепрерывных сверху выпуклозначных отображений.
Доказательство. В случае а), пользуясь теоремой 7 при А (и) =
= dJ(u), В(и) = F(u), получаем F(u) czcoF(») czcodJ(u) ==дУ(в), так
что д)(и) = F(u) (u^W). В случае б) в теореме 7 возьмем А(и) = F(u),
В (и) = dJ(u). Нужно проверить компактность отображения F. Пусть U —
какой-либо компакт из W. Из включения F(u)a:dJ(u) (u^W) следует
F(U) с: dJ(U). В силу теоремы 5 множество dJ(U) компактно. Это значит,
что его подмножество F(U) ограничено.
Далее, пусть {с&} -> c(ck е F(U)). Тогда найдутся такие точки Uk^U,
что ck^F(uk) (к = 1, 2, ...). В силу компактности U можем считать, что
{uk}-*u^U. Из полунепрерывности сверху отображения F следует, что
c^F(u) czF(U), т. е. F(U) замкнуто. Компактность F установлена. В част-
ности, взяв здесь одноточечный компакт U = {и}, заключим, что F(u) —
компактное, т. е. ограниченное и замкнутое множество при каждом и е Ж.
Отсюда и из теорем 1.5, 1.8 с учетом выпуклости F(u) имеем равенство
co^(u) = F(u). Из теоремы 7 теперь получаем со dJ(u) = dJ(u) cz coF(ii) =
= F(u) (u^U). Отсюда и из включения F(u)a:dJ(u) (u^W) следует
утверждение б) теоремы.
7. Субдифференциал для выпуклых функций играет роль, аналогичную
той, какую играет градиент для дифференцируемых функций. Как для ра-
боты с градиентами полезно иметь некоторый набор правил дифференциро-
вания, так и для работы с суб дифференциалами нужно иметь некоторые
правила субдифференцирования. Предлагаем читателю самостоятельно до-
казать следующие правила субдифференцирования 1—4:
1. Если g(u) = J(u + ио), то dg(u) = dJ(u + uQ).
2. Если g(u) = V(k) (К > 0), то dg(u) = KdJ(u).
3. Если g(u) = J (Xu), то dg (u) = Кд J (Ku).
4. Если функция J (и) выпукла на Еп, а А — матрица порядка п X я,
det А =/= 0, Ь е Еп, то функция
g(u) = J(Au + b), и Еп,
выпукла на Еп, причем
dg(u) =ATdJ(u)\v==Au+b.
5. Справедлива следующая теорема [21], обобщающая известную тео-
рему о производной сложной функции.
Теорема 9. Пусть J\(u), ,.Jm(u) — выпуклые функции, опреде-
ленные на открытом выпуклом множестве Ж из Еп, функция <р(х) =
= ср(гг1, хт) —выпуклая функция на открытом выпуклом множестве X
из Ет причем J(u) = (71(и), ...» ?т(и)) еХ при всех u^W, <р(ж) моно-
214
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
(ГЛ. 4
тонно возрастает на X, т. е. ф(ж)>ф(у) для всех х = (а;1, ..., xm)f
у м ут^ е х, xi у1, i = 1, ..., ш. Тогда функция Ф(и) = ф(7(и)}
выпукла на W и ее субдифференциал имеет вид
ЗФ (и) =
Р=(РГ
,pm)GQ<₽(J(u))
тп
2 PidJi («)
г=1
u^W.
(И)
Для доказательства этой теоремы нам понадобится
Лемма 1. Пусть ..., Am — выпуклые множества из Еп, Р—вы-
(m y
i=l J
выпукло.
Доказательство. Возьмем произвольные ci, с2 G А, а G (0, 1).
По определению А существуют такие pi — (pir pim)eP cz P™ , a^ e A-.
(j = 1, m), что c4= 2 Pijaij (f = l, 2). Тогда a<?1 + (l —a)c2 =
7=1
m
— 2 (a^ijaij + (1 ~ a) P2ja2j)2 * * * * * * 9 По условию pa 0. Обозначим через I мно-
жество всех номеров 7 = 1,..., т, для которых ри >» 0 или p2j > 0. Тогда
aPlj + (l-a)p2.>0, Vaj=api. + (1_a)/?2. /е/.
Положим a? = + (1 — Yaj)%- при j <= I, а^= при j&I.B си-
лу выпуклости Aj точки а? принадлежит A- (j = 1, ..., т). Кроме того,
ра — (ра, ..., ) = ар± + (1 — а) р2 е Р из-за выпуклости Р, причем здесь
р“ = О при j ф I. Тогда acx + (1 — а) с2 = 2 (ар^а^ + (1 — a) p2ja2j) =
jel т
= 2 (аРи + (!-«) PZj) (yaiaii + (i - Vaj) a2i) = 2 p“a“ = 2 Pja^ r«e
j&I 3^1 j=l
a? e Aj (7 = 1, ..., m), pa e P. Это значит, что act + (1 — a)c2 е А при
всех ae (0, 1), т. e. A — выпуклое множество.
Доказательство теоремы 9. Из выпуклости функций 7,(и),
<р(ж) и монотонности ф(я) следует выпуклость сложной функции Ф(и) —
= ф(7(и)) на открытом выпуклом множестве W — это доказывается так же,
как и теорема 2.8. Согласно теореме 2 тогда субдифференциал дФ(п) при
каждом и е W представляет собой непустое выпуклое компактное мно-
жество.
{т \
2 Ргд^г ’ По
i=l I
теореме 2 суб дифференциалы dJt(u), дц)(х) также непусты, выпуклы, ком-
пактны п поэтому F(u) 0 (и е W). Отметим, что ду (х) е Е™ при всех
х е X. В самом деле, возьмем любые х = (ж1, ..., хт) еХ, р = (р\ ..., рт) е
g <?ф(ж). Поскольку множество X открыто, то при достаточно малом е > О
точка у — (у1, ..., ут), где yi = xi — 8, yi = xi при / #= i, принадлежит X.
С учетом монотонности ф(ж) тогда О^ф(у) —ф(ж) <р, у — ж> = рг(—е),
так что pi 0 (i = 1, ..т). Следовательно, дф (ж) е По лемме 1 тог-
да множество Е(и) выпукло при каждом и е W.
Покажем, что F = F(u), как многозначное отображение ГИ->П(ЕП),
полунепрерывно сверху. Пусть и е W, {uh}-^u, ck^F(uk). Тогда
§ 6]
СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ
215
т
найдутся Дк е 5ф(/(^)), Cik^dJi(uk) такие, что cfe = 2 Pikcik' По-
г=1
скольку сходящаяся последовательность {»&} ограничена, то найдется ком-
пактное множество G cz U, содержащее все точки и, щ, и2, ... Аналогично,
поскольку в силу непрерывности выпуклых функций Ji(u) последователь-
ность {xk = J(uk)} d X, то существует компактное множество У cz X,
содержащее все точки J(и), J(и2), ... (можно взять Y = J(G) =
= Ji(G) X .. .X Jm(G)). По теореме 5 множества dJi(G), dtp (У) компактны.
Поскольку Cik е dJi (uk) cz dJi (G), pk <= dtp (J(uk)) d dtp (У) (к = 1, 2, ...), то
не теряя общности можем считать, что {cik} -> {дь}->р. Из полунепре-
рывности сверху отображений д/Ди), дц>(х) имеем а е р е дф(7(»)).
т т
Переходя к пределу в равенстве cfe = 2 Pikcik’ получаем с Picii
2 = 1 2 = 1
€еГ(и). Это значит, что отбражение F полунепрерывно сверху.
т
Возьмем любые и е W и cgF(iz). Тогда с == 2 Pici ПРИ некоторых
i=i
а е р = (pi, ..., рт) е дф(7(и)). Учитывая определение субгра-
диента и неотрицательность р,, получим
Ф (г) - Ф (и) = <р (J (и)) - ф (J (и)) > <р, J (и) - J (и)} =
т т
= 2 щл («о-л <«))>£ Рг<<ч> *-“> =
2=1 2=1
= \ 2 Pici' v “ и / = <^, у — w> Vy е W.
\г=1 /
Это значит, что с е дФ(и) и, следовательно, F(u) cz дФ(и) при всех и е W.
Отсюда, пользуясь утверждением б) теоремы 8, заключаем, что дФ(») =
= F(u) (и ^W). Формула (11) доказана.
С помощью теоремы 9 можно получить более сложные правила суб-
дифференцирования, дополняющие приведенные выше правила 1—4. Ниже
при ссылках на формулу (11) предполагается, что выполнены условия тео-
ремы 9.
6. Если ф(я) —дифференцируемая функция, то dtp (я) = {ф'(хс)} =
= {(ду/дх\ д^!дхт)}, = {ф'(7(и))}, и из формулы (И) имеем
т
дф(и) — 2 dJt {и), и е W.
" дхг
В частности, если Л (у) дифференцируема и dJ(и) ~ (ц)}, отсюда по-
лучаем классическое правило дифференцирования сложной функции.
7. Если ф (х) = 2 агхг >0), то д(р (х) = ..., е Е™
2=1
т
и для функции ф(ы)= 2 агЛ (w) (u^W) из (И) имеем дф (и) =
2 = 1
— 2 (u) (^еИ7).
2 = !
8. Если ф (х) = шах хг, то согласно формуле (5) д(р(х) =
1<2<<7П
= {р=(?1, Prn)'. Pi^O, i^J(x); Pi=0, i^I(x), pi + ...4-pm = 1},
216
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
где I (х) = /г: W, max х3 = хЧ (х <= Ет).
( 1<3<т J
функции Ф (u) == max (и) имеем
1 1-^771
Отсюда и из (11) для
дФ (и) = [с: с = 2 PicV ciEdJi (u)> Pj > 0, i e I (J (u)),
I 1GI(J(U))
2 Pi =4 = co f U Z(J(u)) =
ie«J(u)) J Ue«J(u)) )
= Ji: 1 i m, max Л (u) = J. (u)(, и e W.
| 3 j
(12)
9. Если <р(ж) =max{0; x} (xgE1), to согласно (12) d<p(O) = {c: c =
= Pi • 0 + p2 • 1 = P2, Pi + /?2 = 1, Pl > o, p2 > 0} = [0, 1], d<p(x) = {1} при
x > 0, дф(х) = {0} при x < 0, и для функции Ф(и) = max{0; 7(u)} (u е WJ
из (11) имеем дФ(и) = pdJ(u) (0 р 1) при 7(и) =0, дФ(и) = dJ(u}
при Ии) >• 0, дФ(и) = 0 при 7(и) < 0.
10. Если ф(х) = (max {0; х})? (р > 1, жеЕ1), то д<р(х) = {ф'(я) =
= р(тах {0; я})р-1} и для функции Ф(ю) » (max {0; 7(и)})* (u е W) имеем
дФ(и) = р(тах {0; J(u)})^~xdJ(u), u^W, р > 1.
11. Приведем еще одну теорему, в которой дается обобщение форму-
лы (12).
Теорема 10. Пусть А — компактное множество из Em, W—откры-
тое выпуклое множество из Еп, функция G(u, а) определена на W X А*
полунепрерывна сверху по а при каждом u^W, выпукла по переменной
и W при каждом а е А. Тогда функция Ф (и) = max G (и, а) выпукла
а£А
на W и ее суб дифференциал имеет вид
дФ(и)=со( J dG (и, a)V R (и) = {а; а е A, G (и, а) = Ф (и)}, и е W.
losB(u) J (13>
Доказательство может быть проведено по той же схеме, как и теорема 9,
и представляется читателю.
12. Если А — выпуклое замкнутое ограниченное множество из Еп, то
функция Ф (и) = max <а, и) {и е ЕР) выпукла на Еп, причем, как еле-
as А
дует из (13), при G(u, а) = <a, и> имеем дФ(и) = {а: а е А, <а, »> = Ф(и)}.
Более подробно о перечисленных и других правилах субдифференциро-
вания, о различных свойствах суб дифференциала, о различных обобщениях
понятий субградиента и субдифференциала, о применении этих понятий
для исследования и приближенного решения экстремальных задач см., на-
пример [2, 15, 18, 21, 27, 123, 132, 133, 148, 156, 166, 195, 214, 219, 235, 255, 264,
306, 334].
Упражнения. 1. Найти суб дифференциалы функций:
a) J(u) = и — II (ие#1);
б) J(u) = и — 11 + Iи + 11 (и^Е1);
b)J(u) = х + у] + |z — (и = (я, у) ^Е2);
г) J(u) = max {и2, и + 2} (юе#1);
д) J(u) =max{|u|; |u— 1|} (и^Е1);
е) J(и) = |<а, и> — Ь| (и^Еп).
2. Пусть функции Ji (и), Jm(u) (и<=Еп) непрерывно дифференци-
руемы в некоторой окрестности точки v. Доказать, что тогда функция
J (и) = max J* (и) в точке и имеет производные по любому направ*
СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ
217
§ 6]
лению е (|е| =1), причем
= S) {J>i (Р)’ 1 (V) = {*: 1 < 1 < т' Ji (V) “ J (р)Ь
Установить связь между этой формулой и формулами (7), (12).
3. Найти субдифференциалы функций J (и) = max 1t2 + xt 4- у J(u)=*
|t|<i
== max j xr + yt |, J (u) =s max | x 4- ty | (u = (x, y) e E2).
4. Пусть A — замкнутое ограниченное множество из Ет, функция
а) непрерывна по совокупности переменных (и, а) на Еп%А вместе
с производной dg(и, а)/ди. Доказать, что тогда функция J (и) =
= max g(w, а) во всех точках и ё= Еп имеет производную по любому направ-
а=А
лению е, |е| =1, причем
= \ а)> е/• Ао (р) = <а: а s Л> S (», a) = J (0).
de a^AQ{x>) \ ди / и
Установить связь между этой формулой и формулами (7), (13).
5. Пусть 7 (и) —выпуклая функция одной переменной на отрезке [а, 6].
Доказать, что д](и) = [7'(ю— 0), 7'(ю + 0)] при всех и е (а, &), где
J'(u — 0), J'(и 4-0) — левая и правая производные в точке и. Показать,
что в точках и — а или и = Ъ субдифференциал может быть пустым (рас-
смотреть пример 7(и) == — У1 — ю2(|»| ^1)).
6. Пусть 7 (и) — выпуклая функция на выпуклом множестве U из Еп.
Доказать, что при всех и е ri U множество д] (и) непусто, выпукло, ком-
пактно, причем ~(и\ = max <с, е) для всех е е Lin С7.
de csdJ(u)
7. Пусть функция 7(и) определена на открытом выпуклом множестве
ТГс=£’п и такова, что функция Ф(ю) = |7(и)| выпукла на W. Описать
множество дФ(») (и е Ж).
8. Описать суб дифференциалы функций р(и, С7), б (с, U), р(и, U) из
упражнений 18—20 к § 4.2.
9. Пусть 7(и) — выпулая функция на открытом выпуклом множестве Ж
из 2?п, пусть субдифференциал dJ(u) в некоторой точке иеЖ состоит из
единственного элемента с. Доказать, что 7 (и) дифференцируема в точке и,
причем 7'(») = с.
10. Пусть выпуклая функция 7(и) дифференцируема в каждой точке
открытого выпуклого множества Ж. Доказать, что ее градиент 7'(и) не-
прерывен на Ж.
11. Пусть 7(и), G(и) — выпуклые функции на открытом выпуклом
множестве Ж из Еп, причем dJ (и) — dG(u) при всех и е Ж. Доказать, что
тогда 7(и) = G(u) 4- const (и е Ж).
12. Пусть функция 7(и) выпукла на открытом выпуклом множестве Ж
из Е\ Доказать, что для того чтобы 7(ю) была сильно выпуклой на Ж,
необходимо и достаточно, чтобы для каждой точки и е Ж существовал
субградиент с (v) е dJ(у) такой, что
J (и) — J (и) > <с (р), и — р> 4- н | и — и |2 Vi/еЖ, к = const > 0.
13. Пусть функция 7(и) сильно выпукла на открытом выпуклом мно-
жестве Ж из Еп. Доказать:
а) <с(и)—с(р), и — р>^:2х]ю — р|2 для всех Vu, v е Ж, с(и) е
67(u), c(v) е dj(v)*t
б) dJ (и) П dJ(v) = 0 для всех щ v е Ж, и ф v\
218
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
в) для любой точки v е W справедливо неравенство I и — v I
1
— min |с| для всех и (= М (у) = {и е U: J(u) J(p)}.
X csdJ(v)
Опираясь на это утверждение, доказать теорему 3.1 для любого выпук-
лого замкнутого множества U cz W.
14. Пусть функция J(u) выпукла на открытом выпуклом множество
W cz Еп и сильно выпукла на выпуклом замкнутом подмножестве U cz
Доказать, что тогда
О < J (и) — J* < _L min I с I2, | и — и* | <— min I с I,
4Х CSdJ(u) 2% C£0J(U)
где и* — точка минимума Ци) на U, J* = J (ы*).
15. Пусть функция Ци) сильно выпукла на Еп. Доказать, что для лю-
бого с е Еп существует такая единственная точка и(с)<=Еп, что
с е дЦи(с)).
Указание: рассмотреть точку минимума функции g(u) = Ци) —
— <с, и> на Еп.
§ 7. Равномерно выпуклые функции
1. Рассмотренный в § 3 класс сильно выпуклых функций об-
ладает замечательным свойством — для функций этого класса
имеет место теорема 3.1. Однако этот подкласс выпуклых функ-
ций недостаточно широк и не содержит, например, такую вы-
пуклую функцию, как 7(п) = п4 (и^Е1), которая, между прочим,,
достигает своей нижней грани на любом выпуклом замкнутом
множестве из Е1, причем в единственной точке. Хотелось бы
выделить такой подкласс выпуклых функций, для которого была
бы верна теорема типа теоремы 3.1 и который был бы шире
класса сильно выпуклых функций. Оказывается, таким классом
является класс равномерно выпуклых функций.
Определение 1. Функцию 7 (и), определенную на вы-
пуклом множестве U, называют равномерно выпуклой на CZ, если
существует неотрицательная функция 6(£), определенная при
всех t ^diamCZ = sup \и — рЦ, 6(0)=0, 6(£о)>О при
некотором t0 (0 < to < diam U) и такая, что
J(аи + (1 — a)v)^ aJ(u) + (1 — a)J(v) — <z(l — a) 6 (In — v\) (1)
при всех u, a^[0, 1]. Функцию 6(t) называют модулем
выпуклости функции J (и) на С7, а функцию
(^) = inf inf aJ + (1 — a) 7 (р) — J № + (j — *0
O<GC<1 [u—v\=t,U,V£=U cc (1 a)
точным модулем выпуклости J (и) на U. Если равномерно вы-
пуклая функция имеет модуль выпуклости 6(£)>0 при всех t
(О < t < diam С7), то такую функцию называют строго равномер-
но выпуклой на U [92].
Очевидно, всякая сильно выпуклая функция является строго
равномерно выпуклой с модулем 6(£) = х£2. Сумма равномерно
§ 7]
РАВНОМЕРНО ВЫПУКЛЫЕ ФУНКЦИИ
219
выпуклой функции с модулем б(£) и выпуклой функции будет
равномерно выпуклой с модулем б(£). Если J(u) равномерно
выпукла с модулем б(£), то функция g(^) = cJ(u) при любом
с = const > 0 также будет равномерно выпуклой с модулем
€б(£). Если ц(£)—точный модуль выпуклости равномерно вы-
пуклой функции J(u) на U, то любая функция б(£)^ ц(^) (0<
< t < diam U) неотрицательная, нетождественно равная нулю,
5(0) = 0, будет модулем выпуклости функции J(u) на U.
Следующая теорема является обобщением теоремы 3.1.
Теорема 1. Пусть U — выпуклое замкнутое множество из
Еп (например, U = En), а функция J(u) равномерно выпукла и
полунепрерывна снизу на U. Тогда:
1) множество Лебега M(v)={u: u^U, J(u)^J(v)} выпукло,
замкнуто и ограничено при всех v £7;
2) J* = inf J (и) >—оо, U*={u: u^U, J(u) = J*}=£0;
3) имеет место неравенство
6(|и ——/(и*) (2)
при всех u^U, U*,
4) если, кроме того, J(u) строго равномерно выпукла на U,
то U* состоит из единственной точки и* и всякая минимизирую-
щая последовательность {щ): {щ)^и, lim J (и^) = J*, сходится
fe->oo
к точке и*.
Для доказательства этой теоремы нам понадобятся следующие две
леммы о свойствах точного модуля выпуклости.
Лемма 1. Пусть р,(£)—точный модуль выпуклости равномерно
выпуклой функции J(u) на выпуклом множестве U. Тогда
Ц (ct) > с2(1 (t) (3)
для всех с 1, t 0, 0 ct diam U.
Доказательство. Сначала рассмотрим случай 1 с < 2. По оп-
ределению ц(с£) для любого е > 0 существуют точки ui, u2eUh число а
(0 < а < 1) такие, что [щ — и2\ — ct и
aJ (иЛ + (1 — а) У (и \ — J (и„\
и (а) < —k р (с«) + е,
ОС OCJ
где иа = cc^i + (1 —• а)»2. Отсюда имеем
aJ(^i) + (1 — a)J(u2) — J(ua) <а(1 — a)ji(ci) + а(1 — а)8. (4)
Можем считать, что 0 < а 1/2, так как в противном случае в (4)
точки щ и и2 можно поменять ролями. Тогда с учетом 1 с < 2 можем
сказать, что 0 < а ^.ас < 1. Кроме того, 1/2 < 1/с 1, поэтому
и3 = (1/с)щ + (i — 1/с)»2 и, причем |н3 — к2| = |ui — ю2|/с = t. Заметим
также, что иа = аси^ + (1 — ас) и2. Тогда
J(u3) (l/c)J(ttl) + (l-l/c)J(u2) - (1/с) (1- 1/с)н(ct),
J(ua) ^acJ(u3) + (1 — ac)J(u2) — ac(l — ac)p,(£)*
220
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ, 4
Умножим первое из этих неравенств на ас и сложим со вторым. Учи-
тывая неравенство (4), получаем
ас(1/с) (1 — l/c)p(ci) + ас(1 — ac)p(i) <
<aJ(ui) + (ас — а)/(и2) — (1 — ас)/(и2) — 7(иа) =
= <z7(ui) + (1 —а)У(и2) — 7(ва) < а(1 — а)ц(с4) +а(1—а)е
ИЛИ
а(1 — 1/с)р(с0 + ас(1 — ас)р(0 < а(1 — а)р(с0 + а(1 — а)е.
Поскольку здесь е >» 0 — произвольное число, то можем е устремить к +0.
Будем иметь
ас (1 — ас) р (0 (а/с) (1 •“ ас) Н (с0 или с2р (0 р (с0.
Неравенство (3) для случая 1 с < 2 доказано. Пусть теперь с 1 —
произвольное число, 0 =< ct diam U. Поскольку lim у/~с = 1, то найдет-
П->оо
ся b (1 b < 2) такое, что с = Ьп при некотором натуральном п 1»
Учитывая, что по даказанному р(bt) >=62р(0, получаем р(ct) = p,(bnt) =
= р(& • Ъп~Ч) Ъ2р>(Ъп~Ч) b4p,(bn~2t) ^ ... ^ b2n[i(t) = с2р(0.
Лемма 2. Пусть р(0— точный модуль выпуклости равномерно
выпуклой функции J(и) на выпуклом множестве U. Тогда:
1) р(0 = O(t2) при t
2) р(0 === О при 0 t < т = inf {t: р(0 > 0}, р(0 строго монотонна
при т < t diam 67;
3) если diam U-> оо, то lim р (0 = со.
f->oo
Доказательство. Из определения 1 следует, что р(tQ) > 0 при
некотором to (0 < tQ < diam U). Поэтому 0 т < diam 67. Если т > 0, то
р (0 = 0 при 0 t < т по определению т. Пусть т < t < а < diam U. Тогда
с помощью неравенства (3) имеем р(а) = р((а/00 (а/02р(0 > р(0 >• О,
т. е. р (0 строго монотонна при т < t diam 67.
Далее, если т > 0, то условие p,(t) — O(t2) при £->4-0 выполняется
тривиально. Поэтому пусть т = 0. Тогда, фиксируя какое-либо t0 (0 < t0
С diam 67), для всех 0 < t < tQ имеем р(£0) = p((W00 > (W02p(0 или
р (0< р (tQ) t2/t^ = const-t2. Это и означает, что р(0 = O(t2) при £->4-0.
Наконец, пусть diam67->oo. Тогда р(0 определена при всех t 0.
Пусть t to > т. Тогда р(0 = р(t/tQ)t0) >= (t/to)2ii(to) = const • t2. Это зна-
чит, что р(0 -> оо при £-> оо со скоростью не медленнее, чем t2.
Заметим, что из неравенства О 6 (0 р(0,справедливого для любого
модуля выпуклости равномерно выпуклой функции, и из леммы 2 следует,
что условие 6(0 = O(t2) при £->4-0 является необходимым для того, чтобы
некоторая функция 6(0 могла служить модулем выпуклости для какой-
либо равномерно выпуклой функции.
Доказательство теоремы 1. Если множество* 67 ограничено,
замкнуто, т. е. 67 компактно, то утверждения 1), 2) теоремы следуют из
теорем 2.1.1, 2.10. Остается рассмотреть случай, когда 67 — неограниченно®
множество. Тогда diam 67 -> оо и точный модуль выпуклости р (0 функции
J(u) будет определен при всех t 0.
Пусть to > 0 и р (to) > 0. Возьмем произвольную точку и е 67 и рас-
смотрим шар
S = S(v, t0) == {и: и е 67, |» — у|^£о}«
Из теоремы 2.1.1 следует, что inf J (и) = /* >• — оо, так что
s
J (и) > Jg= J (v) — v, v = J (v) — Jg > 0, (5>
при всех a s S. Возьмем произвольную точку п е V \ S, т. е. [и — vl > to.
§ 7]
РАВНОМЕРНО ВЫПУКЛЫЕ ФУНКЦИИ
221
Тогда, учитывая доказанную в лемме 2 строгую монотонность р(0 при
t > т, имеем
О < а0 = (И(М/И(I» — И))1/2 < 1- (6>
При а = а0 из (1) получаем
a0J(u) >= J(v + oq(u — v)) — (1—а0)У(р) + <Хо(1 — а0)р(|и — р|). (7)
Из (6) и леммы 1 следует р («0) = а* (| и — и |) = а^р ((1/%) %\u~v |)>
> р (а0 1 и— v |) или р(£0) > р(а0|и —i?|). В силу монотонности р(0 это
означает, что Oq|и — v| tQ. Тогда vaQ{u — v) S и согласно (5}
7(р + а0(и — i?)) J(p) — v. Учитывая эту оценку, из (7) имеем
OoJ(u) >Оо7(р) — v + ao(l—а0)р(|н —*>!)•
Отсюда, сокращая на «о > 0 и вспоминая определение (6) величины аОг
получаем
Ци) ^Ц») + (1 — а0)р(|и— р|) —v/a0 =
= 7(р) +р(|н —И) — Vp(lи — ^1) (Уи(^о) + v/yp(io)).
Применяя к последнему слагаемому неравенство ab (а2 + &2)/2, бу-
дем иметь
/(и) >Ц») + р(|и — ^|)/2 — (У^) +v/yi?(M)2/2 (8>
для всех и ё= U \ S. На самом деле, неравенство (8) имеет место для всех
и е U. Действительно, если и е S, то р(|и — р|) Ср(*о), а тогда
v < (Ур(?0) + у/Ур(^о))2/2 — р(|и — р|)/2. Отсюда и из (5) следует справед-
ливость (8) и для и е S. ___ _____________
Для всех ueJf(p) из (8) имеем р(| u — v|)/2 — (Ур(^о) + v/Vp(f0))2/2
J(u) — Ци) < 0, т. е. р (| и —* И) (Ур(^о) + у/Ур(^о))2 при любом
ueJf(p). Поскольку р(0->оо при £->оо и только в этом случае, то из
последнего неравенства следует ограниченность множества М(у). Выпук-
лость М(у) следует из теоремы 2.10, а замкнутость М(у) —из леммы 2.1.1.
Из теоремы 2.1.2 имеем, что > — оо, #* =/= 0.
Докажем неравенство (2). Поскольку любой модуль выпуклости 6(0
р(0, то неравенство (2) достаточно доказать для р(0. Возьмем любую
точку и* е U*. Тогда 0 J {аи + (1 — а) и*) — J (и*) а {J (и) — J (и*))—
— а (1 — а) р (| и — v |) или а (1 — а) р (| и — и* |) a {J {и) — J (и*)) (0 <
а < 1, ue U). Деля на а > 0 и устремляя а->+0, отсюда получаем
неравенство (2).
Наконец, пусть функция Ци) строго равномерно выпукла на U. Тогда
она строго выпукла на U и согласно теореме 2.1 множество £7* будет со-
стоять из единственной точки и*. Возьмем произвольную минимизирую-
щую последовательность {uk}. Полагая в (2) и = иь и устремляя &->оот
получаем 6 (| uk — и* |) -> 0. Это возможно только при | uk — и* | 0, так
как Ци) строго равномерно выпукла.
2. Остановимся на некоторых необходимых, а также достаточных усло-
виях равномерной выпуклости функции.
Теорема 2. Пусть U — открытое выпуклое множество из Еп, пусть
функция Ци) равномерно выпукла на U с модулем выпуклости 6(0. Тогда
необходимо выполняются неравенства
7(и) >Ц») +<e(i>), u-p> + d(|u-p|), (9)
<с(и)—с(р), и — р>^26(|и — у|) (10)
при всех с {и) дЦи), с {и) е дЦи) и всех и, v &U.
222
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Доказательство. Поскольку равномерно выпуклая функция яв-
ляется и просто выпуклой, то из теоремы 6.1 следует, что dJ(u) Ф 0 при
всех и е U, Возьмем произвольные u, и е U, с(v) е dJ(y). Из определения
субградиента и из (1) при всех а (0 < а < 1) имеем
а<с(р), и — р> + 7(р) ^7(<хи + (1 — а)и)
aJ(y) + (1 —a)J(v) —<х(1 — а)б(]и — р|)
или (1 — а)б(|и — v|) + <у(у), и — v) ^J(u) — J(v). Отсюда при а-> 4-0
получим неравенство (9). Поменяя в (9) переменные и и v ролями; будем
иметь
7(р) J(y) + <c(u), v — u> + 6(| и — р|), с (и) ge dJ(u).
Складывая это неравенство! с (9), приходим к (10).
Приведем одно достаточное условие равномерной выпуклости функции.
Теорема 3. Пусть U—выпуклое множество, J(u)^Cl(U), и пусть
для некоторой непрерывной неотрицательной функции g (£) (0 t
diam U), %(t) = O(t)2 при £->+0, ^(0^0, выполняется неравенство
<J'(u)-J'(v), и-иУ^(\и-и\) (И)
при всех и, и <= U. Тогда функция J (и) равномерно выпукла на U с моду-
лем выпуклости б (t) = J (^ (т£)/т) dr.
о
Доказательство. Из формулы (2.7) и условия (11) имеем
aJ (и) + (1 — a) J (р) — J (аи + (1 — а) и) =
1 1
=а(1- а) J <J' (zj - Г (г2), z, - z2> > а (1 - а) J Щ Z1 - z2 [) ^ =
о о
1
= а (1 — а) J g (т | и — v |) = а (1 — а) б (| и — v |), и, v е U, ае[0, 1],
о
что и требовалось
Доказанная теорема 3 может быть использована для установления
равномерной выпуклости конкретных функций.
Теорема 4. Функция J(u) = |u|p строго равномерно выпукла на Еп
при всех р ^2.
Доказательство. Покажем, что
</' (и) — J' (у), u — vy^^ min {1; 23-р) | и — v \р, и, и <= Еп. (12)
Здесь J'(y) = р\и\?-2. Тогда
<J' (и) — J' (у), и — vy = (р\и \р~2 и — р | v |р—2 р, и — иУ =
= Р [| и |р 4- | р |р — <и, р> (| и |р“2 + | р |р“2)] =
= Р [ | И lP + I V |Р - (| „ |Р~ 2 _|_ | v | р-2)1 =
L 2
= у [(I « 1Р~2 - I » |Р-2) (I и |2 - | VI2) + I и - V I2 (I и |Р-2 + I V |Р-2)] >
> у| и — 1>|2(| u|P-2 -f-| Р|р-2), u,v^En. (13)
§ 8]
ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА
223
Покажем, что
|up”2 + |рр"2 |и — р|р“2 min {1; 23~р}, и, и е Еп. (14}
Рассмотрим функцию (р(ж) = (жа + 1)/(ж + 1)а при х 1, а > 0. Имеем
ф'(ж) = а(жа~1 — 1) (х + I)-®”1. Если а 1, то д/(ж) 0, и (р(ж) ф(1) =.
= 2!“а для всех х 1. Если 0 < а < 1, то <р'(ж) < 0 и ф(ж) ф(°°) = 1
при всех х 1. Следовательно, <р(ж) Аа = min {1; 21-а} (х 1), или
Аа(я + 1)а + 1, х 1, а > 0. (15}
Далее имеем |и — р|р“2 (|н| + |у|)р“2. Без ограничения общности
можем считать |u| |v|. Тогда с помощью неравенства (15) получим
I » - V |Р-2 < | V |Р-2 (| и |/| И + 1)р~2 < А-\ ((| и |/1 V |)Р-2 + 1) I v |Р-2,
что равносильно (14). Из (13) и (14) следует неравенство (12). С помощью
теоремы 3 отсюда заключаем, что функция J (u) = |up при р 2 равно-
мерно выпукла на Еп с модулем 6(f) = £* min {1; 23-^}/2.
Более тонкие оценки показывают, что функция J(u) = |ир при р ^2’
имеет точный модуль выпуклости p,(f) = fp/2p-2 (t 0).
Будет ли функция J(u) = |u|p равномерно выпуклой на Еп при
1 <Z р < 2? Оказывается, не будет. Чтобы убедиться в этом, достаточна
показать, что функция ср (ж) = хр одной переменной при 1 < р < 2 не бу-
дет равномерно выпуклой на полуоси х 0, поскольку функция J(u) ~
= |ир вдоль лучей и = te (|е| =1) ведет себя как функция tp одной
переменной.
Если бы функция (р(х) = хр (1 < р < 2) была равномерно выпуклой
при х 1 с некоторым модулем выпуклости 6(f), то согласно теореме 2 не-
обходимо выполнялось бы неравенство (10). В данном случае неравенства
(10) имеет вид
26(f) tp [(я + t)p~x— хр~!], х 0, t 0.
С помощью формулы конечных превращений отсюда имеем
26 (t) t2p (р — 1) (х + 0£)р~2 t2p (р — 1)хр~2, х 0, t 0.
Зафиксируем здесь произвольное t > 0, а х устремим к оо. Получим 6(f) ==
~ 0 при всех t >» 0.
Таким образом, функция У (и) = |пр при 1 •< р < 2 не является рав-
номерно выпуклой на Еп. Можно, однако, показать, что эта функция строго
равномерно выпукла на любом выпуклом ограниченном множестве из
Еп [92].
§ 8. Правило множителей Лагранжа
1. Пользуясь теоремами отделимости выпуклых множеств,
можно получить условия экстремума для более общих задач
на условный экстремум, чем задачи из § 2.2. А именно, рас-
смотрим задачу
/(&)-> inf; u^U, (1)
U = {и UQ: gi(u)^ 0, i = 1, ..., ттг; gi(u) = 0, i = т + 1, ..., $},
(2)
где UQ — заданное множество из Еп, функции J(u), gi(^), ...
..., gs(u) определены на Uo и принимают конечные значения.
224
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
(ГЛ. 4
Здесь не исключаются возможности, когда отсутствуют либо ог-
раничения g<(u)<0 типа неравенств (тп = О), либо ограниче-
ния gi(^)==0 типа равенств ($ = тп), либо оба вида ограничений
(m = s = 0, U=U0). Разумеется, и само множество Uo здесь
может задаваться ограничениями типа равенств и неравенств.
При выделении множества Uo в (2) обычно руководствуют-
ся тем, чтобы Uо имело простую структуру, чтобы легко (без
трудоемкой вычислительной работы) можно было проверить
включение u^UQ, указать какую-либо конкретную точку из С70,
чтобы легко было проектировать точку на UQ и т. д. В задачах
линейного программирования роль Uo обычно играет неотрица-
тельный ортантЕ^. Часто множество Uo представляет собой па-
раллелепипед
I7o={u = (u1, ..., ип)^£п: f = l, . •$}, (3)
где а<, — заданные числа, (возможно, некоторые »
— —°°, ^ = °°). Конечно, в (2) не исключается возможность
Ub=En. Здесь мы можем вспомнить теорему 2.2.1, в которой
с помощью функции Лагранжа было сформулировано необхо-
димое условие оптимальности для задачи (1), (2) в частном
•случае, когда Щ = Еп, т = 0. При исследовании задачи (1), (2)
в общем случае также важную роль играет функция Лагранжа
2? (и, %) = M(^)+X1g1(u)+... + X8g8(u) (4)
переменных и = (и\ ..., un)^U0, Х = (Х0, М, ..., Ю^Е8+1,
Теорема 1. Пусть и* е U —точка локального минимума в
задаче (1), (2) функции J(u), gi(u), ..., gm(u) дифференцируе-
мы в точке и*, функции gm+i(u), ..., ga(u) непрерывно диффе-
ренцируемы в некоторой окрестности точки и*, Uo — выпуклое
множество. Тогда существуют числа X*, X*, ...,%* такие, что
V = (X0*. О, Х0*>0, (5)
<2^ (и*, X*), и — ^>>0 Vu<=?70, (6)
= i = l, (7)
здесь 2^ (и*, = (u4.) + X*gi(us|!) + ..(u*)— градиент
функции S (и, %♦) переменной u ^UQ в точке и = и*.
Числа 4,^1, называют множителями Лагранжа. Со-
гласно условию (5) Хо и множители, соответствующие ограни-
чениям типа неравенств, неотрицательны, а множители
А'тп+ъ . соответствующие ограничениям типа равенств, мо-
гут иметь любой знак.
Ограничение gt(u)С 0, где 1 i < тп, называют активным
{пассивным] в точке и*, если g|(u^) = 0 [g{ (u*) <0]. Из усло-
вий (7), часто называемых условием дополняющей нежесткости,
§ 8]
ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА
225
следует, что множители Лагранжа, соответствующие пассивным
ограничениям типа неравенств, равны нулю.
Задачу (1), (2) называют регулярной {невырожденной) в
точке и*, если существуют множители Лагранжа X* с коорди-
натой Х0>0; в противном случае задача (1), (2) называется
нерегулярной {вырожденной).
Простейший класс регулярных задач получается из (1), (2)
при тп = $ = О, U—Uq. В этом случае ограничения типа ра-
венств и неравенств в (2) отсутствуют и нет необходимости
вводить множители Xi, ..., поэтому 3? {и, X) = K0J{u), усло-
вия (7) исчезают; кроме того, из (5) следует, что^э>0, а тог-
да неравенство (6) превратится в условие < J' (и*), и —
{u(=U), известное нам из теоремы 2.3. Регулярность задачи
(1), (2) гарантируется также и в том случае, когда U^ = En
и градиенты gi{u*) (i е I = [i: 1 i gi {и*) = 0]) линейно
независимы.
В самом деле, для пассивных ограничений = 0 и условие
(6) при Uz = En будет иметь вид
+ S^(uJ = 0.
is I
Если бы здесь было %* = 0, в силу линейной независимости
gi {и*) {i е I) получили бы Л* = 0 для всех а тогда
%* == Z* = ... = А* = 0, что противоречит условию (5). Другие
классы регулярных задач будут рассмотрены в § 9.
2. Из теоремы 1 следует, что в задаче (1), (2) с гладкими
функциями J{u), gi{u) на выпуклом множестве Uo для поиска
точек минимума (локального или глобального) нужно решить
систему
(W (и) + (и) + ... + Ksgs (и), V — и) > 0 Vv(^U0, (8)
W«(u)=0» i = 'l, ..т;
g((u) = 0, i = m + 1, ..., s;
и e Ua, gi (u) 0, ..gm(u) < 0,
X0>0, Xi>0, .... Xm>0, %¥=0, (10)
относительно n+s + 1 переменных (u‘, ..un, Xo, ^i, ..., %.) =
= (и, X).
Заметим, что если какие-либо (u, X) получены из системы
(8) — (10), то (и, цХ) при любом ц>0 также удовлетворяют
этой системе. Это значит, что множители Лагранжа из (8) — (10)
определяются с точностью до постоянного положительного мно-
жителя. Поэтому множители Лагранжа можно подчинить како-
226
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
му-либо дополнительному условию нормировки, например,
| Л |2 = Xq + Л2 + ... + Л2 = 1. (11)
В регулярной задаче вместо (10) можно взять Ло==1. Отсюда
следует, что систему (8)— (10) достаточно исследовать для двух
значений Ло: при Zo = O и при Ло = 1.
Условия (8) —(10) вместе с условием нормировки (11) (или
Ло = 1 в регулярной задаче) дают «полную» систему соотноше-
ний для определения основных переменных u==(i?, ип)
и соответствующих множителей Лагранжа Л = (Л0, Лп Л3).
Для пояснения сказанного рассмотрим возможность и е int U9
(это случится, например, при U0 = En). Тогда неравенство (8)
эквивалентно равенствам
л)
ди*
A QJ (и) А
О'?! (О
ди*
+ . . . + Лв
(ц)
ди*
= о,
i = 1,
(12)
Условия (12) вместе с (9), (И) представляют систему п +
+ $+1 уравнений с п + s+l неизвестными (и, Л); решив ее
и отобрав среди решений те, которые удовлетворяют неравен-
ствам (10) и включению zz^intt70, получим набор (щ X), удов-
летворяющий необходимому условию оптимальности. Для выяс-
нения того, будет ли в отобранных точках в действительности
реализовываться локальный минимум, нужно провести дополни-
тельное исследование. Если же точка и принадлежит границе
Гр UQ множества Uo, то неравенство (8) вместе с условием
<= Гр UQ, вообще говоря, также дополняют уравнения (9), (И)
до системы п + $ + 1 уравнений. Так, например, если ?70 =
то ГрЕ+ = {и = (и1, . .., ип): и1 = 0, /г; и1 > 0, ie /21, где
..., п}, = и неравенство (8) при
и е Гр/?+ приводит к соотношениям
и’= 0; д3?(и' ^ = 0, и*>0, i = 1, ... п.
диг диг
(13)
Если же Uo имеет вид (3), то (8) равносильно условиям
дЗ?(и, х) п г^а. OS’(и, %) i
---i-j— — 0, aiCuCpi; М— ^0, и —оо;
диг диг
(14)
^)^0) и{=р.<оо, 4 = 1, ,. 7г.
диг
Для иллюстрации теоремы 1 приведем несколько примеров.
Пример 1. Пусть J(u) = x + cos у -> inf (u<=_U=={u==
= (х, y)^U<s = Ei: g(u) = —ж<0}). Тогда Z(и, А) = Х0(ж+-
4-cosp) + X(—х), ZU—(ZS, Zy) = (K0—X» —Xosiny). Для опре-
ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА
227
§ 8]
деления подозрительных на минимум точек и = (ж, у) и соот-
ветствующих им множителей А = (А0, X) согласно (9), (10), (12)
имеем систему
А0>0, А>0, А = (А0, А)¥=0, А(-я)=0,
S* = Ао — А = 0, Sv = —Ао sin у = 0.
Отсюда следует, что Ао = А > 0. Учитывая условия нормиров-
ки вида (11), можем считать А0 = А = 1. Тогда из предыдущей
системы получаем точки и = (0, лк) (к = 0, ±1, ±2, ...), по-
дозрительные на оптимальность. Поскольку теорема 1 дает толь-
ко необходимые условия оптимальности, то без дополнительного
исследования нельзя сказать, будут ли отобранные точки (0, лк)
точками минимума J(u) на U или нет. В данном случае такое
исследование проводится легко. Точки (0, л(2тп+1)) (тп = 0,
dkl, ±2, ...) будут точками минимума, так как 7(0, л(2тп +
+ 1) )= —1 < х + cos у при любых и любых у. В точках
(0, 2лт) (тп = 0, ±1, ±2, ...) функция J(x, у) не может до-
стигать ни глобального, ни локального минимума на U, так как
J (0, 2лт) = 1 > J(0, у) = cos у для всех у (0 < Iу — 2лтп| < 2л).
Пример 2. Пусть 7(u) = #->inf(us ?7 = {u = (;r, ^)^С70в
= Е2: gi(u) = -£^0, g2(u)== х2-у 0, gs(u) = у - 2х* 0}).
Здесь S(u, А) = Аоя + А1(~я) +А2(ж2 —у) + А3(у — 2я2), Su =»
= (Sx, Sy) = (Ao — Ai + 2АгГг — 4А3ж, —А2 + А3). Для определения
подозрительных на оптимальность точек и = (ж, у) и соответ-
ствующих им множителей А = (А0, Ai, А2, А3) из (9) — (12) имеем
систему
А0>0, Ai > 0, А2>0, А3 > 0, А>0,
—rr С 0, х2 — у < 0, у — 2х2 0,
А1(—я)=0, А2(я2 —i/)=0, А3(у — 2я2) = 0,
Ао — Ai + 2х (А2 — 2А3)== 0, А2 4“ А3 == 0.
Отсюда ясно, что_если х > 0, то Ао = Ai = А2 = А3 = 0, что про-
тиворечит условию А #= 0. Следовательно, х = 0. А тогда у = 0,
так что на минимум претендует всего одна точка м* = (0, 0).
Нетрудно видеть, что в ней и достигается минимум J(u) на U.
В рассматриваемой задаче множителями Лагранжа будут лю-
бые А = (Ао, Ai, А2, А3)^=0, лишь бы Ao = Ai^O, А2 = А3>0. Мож-
но, например, взять А = (1, 1, 0, 0) или А = (0, 0, 1, 1)—это
линейно независимые наборы, их нельзя получить друг из друга
никакой нормировкой вида (11).
т
Пример 3. Пусть J(и) = 2 1 и — Щ|2->inf (и е U — {и*=
г=1
^.U0 = En-. g(u) = |u|2 —1<0}). Здесь иъ и™ — заданные
228
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
точки из Еп. Эта задача рассматривалась в примере 2.2.4 и ре-
шалась сведением к задаче с ограничениями типа равенств
путем введения дополнительной переменной. Применим к
тп
ней теорему 1. Здесь 3? (и, X) = Хо 2 |и — иг |2 + иУ — 1)?
1=1
тп
3?и (w> X) = 2Х0 2 (u — = ио) + ио =
1=1
тп
ТП
1=1
Из (9) —(12) имеем систему
Xom(u— UQ) + \и — 0, X(|u|2— 1) — 0» |и|^1, XQ^0,
Х>0, + Х2>0.
Решением этой системы при |uol > 1 является набор и = и0/1гг0|,
X = 7п(1и01 — 1), Хо = 1; если же |wol 1, то и = и0, Х = О, Хо = 1.
Как было показано в § 2.2, найденные точки действительно яв-
ляются точками глобального минимума J(и) на U.
П ример 4. Рассмотрим задачу линейного программирова-
ния J(u)= — х — У inf (и е U = {и = (ж, у)^ Uo: g(u) = х — у =
= 0)), где Uq — {u = (x, у)^Е2: 0 С х 1, 0 у 2} — прямо-
угольник. Здесь 3?(и, Х) = Х0(—х — у) + \(х — у), «2?зс = —Хо + Х,
3?у = —Хо — X. Из (8) — (10) с учетом (14) имеем
—Хо + Х = О, 0<я<1; -Хо + Х>О, ж = 0; -Хо + ХСО, я = 1;
—Хо —Х = 0, 0 < у<2; -Хо-Х>О, у = 0; -Хо-Х<О, г/= 2;
я —^ = 0, 0<я<1; 0<z/<2; Хо >0, Х* + Х2^О.
При Хо = 0, как нетрудно проверить, система не имеет ре-
шения, поэтому можем положить Хо = 1. Последовательно пере-
бирая возможности 0<х = у < 1, х = у = 0, х = у = 1, находим
единственную точку u==(l, 1), подозрительную на оптималь-
ность, и соответствующие множители Лагранжа Хо = 1, Х = —1.
Легко проверить, что в точке и = (1, 1) функция J (и) дости-
гает минимума на U.
П ример 5. Задачу из примера 4 можно задать в эквива-
лентной форме, заменив ограничение типа равенств двумя ог-
раничениями типа неравенств: J(u) = — х — у inf (u е С7 = {и =
= (х, y)<=U0: gtiu^x-y^Q, g2(u)= -х + у =С01), где Z7„ =
= {и = (ж, у)е£2: 1, 0 у < 2). Тогда S^u, Х) =
= 'ко(—Х—у)+%1(х — у)+‘кг(—х+у), д?х = — Хо + — %2, Zv =
= — Хо — Xi + A2. С помощью (8) — (10) с учетом (14) придем
§ 8]
ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА
229
к системе
—Хо + Х. — Х2 = 0, 0<я< 1; -Хо + М -Х2> 0 [^0], я = 0 [х=1];
-%о~Л1 + Х2 = О, 0 < г/ < 2; -Хо - ЗЦ + Х2 > 0 [^0], у = 0[у = 2];
= Х2(-ж+г/) = 0; O^z^l, 0у 2,
х — у < 0, — х + у < 0; Ло > О, > О, Х2 > О,
^0 + + ^2 =/= 0.
При Хо = 0 этой системе удовлетворяют все точки и = (ж, у) е
U с множителями Лагранжа Л = (0, %2 = %), где Х>0;
в этом случае теорема 1 не позволила сузить исходное множе-
ство точек, подозрительных на оптимальность. При Хо = 1, как
и в примере 4, получаем единственную точку u = (l, 1), подо-
зрительную на оптимальность, но в отличие от примера 4 здесь
множителей Лагранжа много: X = (Ао = 1, %i = X, Х2 = 1 + К)
(Ь>0).
В § 2.2 был приведен пример 2.2.3 нерегулярной задачи с
ограничением типа равенств. Приведем пример такой задачи с
ограничениями типа неравенств.
Пример 6. Рассмотрим задачу J(u)= —и -> inf (ue U =
= {uet70: g(u) = u2 <0J), где C70 = {^^£1: a>0 —
фиксированное число (возможно, « = °о). Здесь U = {0} = U*,
J* = 0,3? (и, Х)=—Xo^ + W, %)=—%0 + 2Xu. Система
(8) — (10) запишется в виде
(— Хо + 2ки) (v—-u)^0 <= [0, а],
W-0, ii2<0, Х0>0, Х>0, +
Отсюда видно, что и = 0. Тогда первое неравенство системы
дает —kQv > 0 при всех 0 < и а, что возможно только при
—Хо > 0. С другой стороны, Хо > 0. Следовательно, %0 = 0, т. е.
рассматриваемая задача не является регулярной. В качестве
множителей Лагранжа здесь можно взять % = (0, X) при лю-
бом А > 0.
3. Доказательство теоремы 1. Проведем его с по-
мощью принятого в [21, гл. 4, § 2] метода, простого и очень
изящного. Введем множество — g^u*) = 0} но-
меров активных в точке и* ограничений (возможность I* = 0 не
исключается). Определим множества
А = [а=(&0’, di, i ее I • • •» ^s): a0 = <J (м*)? и u*y,
а-г = (g- (и*), и — rz*), jg/*, i = m + 1, ... s; и <= ri £70!,
В — = (^o’ I^тп+ij • • • ? < 0, b{ <C 0, I
bm+l — 0? — 0}.
Нетрудно видеть, что эти множества выпуклы.
230
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Покажем, например, выпуклость А. Пусть ^ = (ад a#,
Ят+и, ..., asj) = 2)—две любые точки из А. Это значит,
что существуют точки щ, u2^riUQ такие, что aQj = <J' (u*),
Uj — U^), «у == (gi (u#), Щ — и*) (i <= I*, i = m + 1, .s, j =
= 1, 2).
Возьмем любое a^[0, 1] и положим na + (1 — а)а2, ua«
= ащ + (1 — a)u2. Из выпуклости ri Uo (см. теорему 1.11) сле-
дует, что Ua е ri UQ. Далее, из линейности функций <J' (иф), и —
— и*), (ё'г(ц*),и— и*) переменной и имеем {J' (и*), иа — и*} =
= a </' (и*), Ui— и*> + (1 — a) < J' (и*), иа— и*> *= aa01 + (l — a)X
Xa02 = aoa; аналогично (g- (и*), ua — и*} = аии + (1 — a) a{2 = uia
(i = m + 1, ..., s). Это означает, что о» е А. Выпуклость А до-
казана. Аналогично доказывается выпуклость В.
Покажем, что А А В = 0. Возьмем несущее подпространство
L = Lint70 множества Uo (см. определение 1.3). Пусть е4, ...
..., ер — базис подпространства /А, ортогонального L. Тогда
L = {h е Еп\ h> = 0, i = 1, ..., р}. Может оказаться, что
система векторов gm+i (u*), ..., g^u*), е19 ..., ер линейно за-
висима, т. е. существуют числа ^m+i, ...,Х5, ...,аР, не все
равные нулю и такие, что
^m+l£m+l (^*) + • • • + gs (и*) + а1е1 + . . . + = 0* (15)
Среди чисел %Д+1, ...,Х* найдутся отличные от нуля числа,
так как в противном случае из (15) следовала бы линейная
зависимость векторов eh ..., ер.
Кроме того, из (15) следует, что
S (gt (“*), = — 2 a« <еь hy = 0 V/ieLint70.
i=m+l 1=1
По Lin Uq = aff UQ — поэтому предыдущее равенство мож-
но переписать в виде
2 (“*),“ — “*> = ° Vuei70c=aff?70.
1=171+1
Отсюда следует, что набор чисел X* = (X* = 0, Х*= 0, ..., =я
= 0, Х™+1, ..., %s) удовлетворяет условиям (5) —(7).
Таким образом, равенство А А В« 0 можем доказывать,
предполагая, что система векторов gw+i(^), • • •, ^з(^), ех. .... ер
линейно независима. Более того, можем считать, что эта система
образует базис в Еп, так как в противном случае дополним ее
до базиса каким-либо способом; тогда р = п — $ + тп.
§ 8]
ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА
231
Допустим, что А П В Ф 0. Это значит, что найдется такая
точка и е ri Z70, что
== (^*)» 0» O'i :=: (gi (^*)» И %) А*,
(16)
Д{ = (иД и — и*) = 0, i = т + 1, ..., s.
Обозначим Д= и — и*; введем функции Д(г, t) = gm+i(u* + th-rr)
(i = 1, ..., s — m), fi (r, t) = <^__8+т, r> (i = s — m + 1, ..., n = p +
+ s — тп), /(r, £) = (/i(r, t), ..., /n(r, t)) и рассмотрим систему
n уравнений
л (Г, 0=0, ..., л (г, 0 = 0 (17)
относительно п неизвестных г = (г1? ..гп).
Для исследования системы (17) воспользуемся известной
теоремой о неявных функциях [10, 160, 165, 233]. Прежде всего
заметим, что /1(0, 0)= 0, ..., /п(0, 0)=0. Далее, функции
/< (г, 0 непрерывно дифференцируемы в окрестности точки (0,
0), причем с учетом (16)
--— gm+i (^Д gl — \gm+i (^Д ^7 0,
i = 1, ..., 5 — тп;
dfi (0, 0) df. (0, 0)
— — s+m, — 0, I S 7П + 1, . . ., П.
Таким образом, якобиан 3(/i, ..., }п)/д(т\, ..., rn) системы (17)
в точке (0, 0), представляющий собой определитель квадратной
матрицы 3/(0, О)/дг со строками g^+i (иД ..., g& (и*), е17 ..., ер,
образующими базис в Еп, отличен от нуля.
Все условия теоремы о неявных функциях выполнены. Со-
гласно этой теореме существуют непрерывно дифференцируемые
функции г = г(£) = (Г1(£), ..., rn(t))> определенные при всех
где tQ — достаточно малое положительное число,
и удовлетворяющие системе
г(0)=0, /(г(0, 0^0, Ш ^t0.
Дифференцируя последнее тождество по t, получаем
г' (t) + df = 0 (| i I < t0)- Отсюда при t = 0 c
(0, 0) n df (0, 0) , /n4 n
учетом равенства —— = 0 будем иметь ———• г (0) = 0.
Однако матрица 3/(0, 0)/Зг невырожденная, поэтому г'(0)=0.
Это значит, что r(t)= r(0)+ trf(0) + o(t)= o(t), т. е. limг(£)/£ =
/—>0
«= 0. Таким образом, найдена вектор-функция г (t) = (r4 (t), ...
232
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
rn(i)) (HI =S t0), для которой
g. (и* + t (й — и*) + г (t)) = 0, i = m+ 1, . ,.,s, <е{, r(J)> = 0,
(18)
i = 1, ..р = п — s + т, |£|<30, lira г (i)/t = 0.
t~>0
Покажем, что по кривой и (t) = и* + t (и — и*) + г (t) мож-
но двигаться, оставаясь в множестве U при всех t, 0 < t <
где — достаточно малое число. Вторая группа равенств (18)
означает, что r(£)е Lin £70, поэтому й + r(t)/t aff Uo. Напоми-
наем, что й <= ri Uo, а поскольку = 0, Tou + r(t)/t^
t-*o
е Uо при всех малых t. Тогда, учитывая выпуклость С70, имеем
и (i) = и* + t (й — и*) + г (f) = i (м + г (t)/t) + (1 — t) и* (= U0 при
всех малых t (0<£<1).
Далее, первая группа равенств (18) означает, что g4(u(i)) =
= 0 (i = т + 1, ..., s, О t < to). Пусть 1 t -С т. Если г е I*t
то g^u*) = 0 и с учетом (16) имеем
gi (и (t)) = g. (и*) + (g'i (u*), t {й — и*) + г (t)) 4- Oi (t) =
= t [<gi (и*), u — u^) + (gi (u*), r (t)/t) + Oi (t)/t] < 0
при всех малых £>0. Если^^/*, то g. (u*)<0
и в силу непрерывности gi(u) неравенство g* (гг (0) == gj (^* +
+ t (и — и*) + г (t)) <Z 0 сохранится при всех малых t. Таким
образом, существует достаточно малое число tt (0 < tt <
<Hiin{f0; 1}) такое, что u(t)^U при всех t (0<^^f4).
Беря при необходимости еще меньшим, с учетом (16)
имеем
J (ц (0) J (^*)=
= t [<J' (и*), и — и*У + <J' (u*), г (t)/ty + о (t)/t] <0, 0 < t < tt.
Однако при и u(t)&U и послед-
нее неравенство противоречит тому, что —точка локального
минимума в задаче (1), (2). Следовательно, ЛПВ = 0. По тео-
реме 5.2 тогда существует гиперплоскость <с, а> = у с нормаль-
ным вектором с = (X*; X*, i е Z*; Х^+1, ..., X*) ^=0, отделяющая
множества А и В, а также А и В = {Ъ = (&0; i е 1^ 6т+1, ...
..., &s): &г^0, г’е 1^., Ьт+1 =0,..., bs = 0}. Это значит, что
(с, by = Х*Ь0 + JS k*bi + 2 <с, а> =
i=m-J-l
= ^X+ 2 S h*ai (19)
_ iel# i=m-H
при всех a^A, b^B.
ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА
233
\^0 VueriC70.
§ 8]
Разделив (19) почленно на bj < 0, где 7 = 0 или /е/*,
и устремив — оо при фиксированных остальных а, полу-
чим X* 0 при / = 0 или / е 7*. Далее, полагая в (19) а0= </' (и*),
и — ai = и — и^) (г е 7*, i = пг + 1, ..., s), где и
е ri Uо, Ь = 0 В, будем иметь
%; <j' (“*),и—и*> + s (gi и—и^) +
+ 3 и~ Vwerit/0.
i=m+i
Отсюда, взяв X* = 0 при i ^1*, 1 С i тп, получим
z*jz (и^) + 2 ^igi (“*),и — и*
г—1
Для получения неравенства (6) здесь остается совершить пре-
дельные переходы с учетом того, что Uo <= Uo = ri Uo (теорема
1.13). Справедливость условий (5), (7) следует из определения
множества 7*, построения X* = (Хо, Xlt ..., ), включения и* е
е=СЛ
4. Заметим, что если функция S? (щ %*) переменной и е UQ
выпукла на 170, то согласно теореме 2.3 из условия (6) следу-
ет, что S? (и, %*) достигает своей нижней грани на UQ в точке
и*, и условия (5) — (7) можно переписать в виде
Х*#=0, Z*>0, ...Дт>0, £(и*, V)<^(u, V) Vuge(70;
(20)
^igi (и*) = 0, i = l,
В § 9 будет показано, что для выпуклых регулярных задач (1),
(2) условия (20) являются необходимыми и достаточными ус-
ловиями оптимальности. Условия оптимальности (необходимые
и достаточные), использующие вторые производные функции
Лагранжа ЗДп, X), рассмотрены в [21]. Различные обобщения
и модификации правила множителей Лагранжа см. в [1, 2, 8,
17, 21, 24, 29, 66, 67, 91, 116, 137, 146, 152, 156, 166, 167, 201,
219, 254, 255, 264, 278, 283, 290, 299, 308, 330, 341].
Упражнения. 1. Сформулировать правило множителей Лагранжа
для задачи g(iz)->sup (net/), где множество U определено посред-
ством (2).
Указание: рассмотреть задачу J(u) = — g(u) ->inf (u^U) и вос-
пользоваться теоремой 1.
2. С помощью правила множителей Лагранжа исследовать задачи:
а) 7 (и) = z->inf (и ё= £7), где V = {и = (я, у) е Е2 = £70: х2 4- у2 1,
х2 у, я + у^0}, или U={u<=E2'. х2 + у2 1, ж3 + у3 = 1), или
U = {и е Е2: х2 + у2 1, —х3 у х3};
234
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
(ГЛ. 4
б) 7(в) = |в —a|2->inf [->sup] (ue С7),где U = {в а (в1, ...,вп) е^п:
в1 + в2 + ... + вп = 0}, или U = {в е Е*: | и |2 < 1} (а — заданная точ-
ка из Еп);
в) 7(в) = 2х~2 + 4я5у~2 -> inf (и е U = {в == (х, у) е Е2: х > 0, у > О,
г) 7(в) = х + е jj = {д = z) е Е3: х > 0, у > О,
z > 0, х~ху + x~xz 1}).
3. Исследовать задачи из примеров и упражнений к § 2.2, к гл. 3, поль-
зуясь правилом множителей Лагранжа.
4. Доказать равносильность условий (13) для UQ = E^ и (14) для
С70 из (3) условию (8).
5. Пусть в теореме 1 Uq — аффинное множество. Доказать, что тогда
условие (8) равносильно условию (w*, X*), hy=Q при всех h е Lin Uq.
6. Пусть в* g= U — точка локального минимума в задаче (1), (2).
UQ — выпуклое множество, в* е int UQ; функции 7(в), £1(в), ..., £в(в)
дважды дифференцируемы в точке в*; функции g. (в) (f е Z** =
= {г: 1 i s, g$ (в*) = 0}) непрерывно дифференцируемы в некоторой
окрестности точки в*, причем градиенты g^ (в*) (i е Z**) линейно не-
зависимы. Доказать, что тогда необходимо (3?ии (в*, ~к*) h, hy > 0 при
всех X*, удовлетворяющих условиям (5) — (7), и всех h е Н (в*) = [/ig Еп\
</'(«♦). ^><0; (g((u*), й)<0, te=Z* = {i: 1<г<т, (к*) = 0;
<?{(“*)- л> = °. « = ^+1, «21, с. 143]).
7. Пусть в задаче (1), (2) функции 7(в), gi(B), ..., ge(u) дважды
дифференцируемы в точке в* е U, пусть для некоторого X* выполнены
условия (5) — (7) и, кроме того, Х*)&, hy >0 для всех ненулевых
h (= К (в*) П Н (в#), где К (в#) — замыкание множества К (и*) — {h е Еп,
h — X (в — в#), Х>0, ве(/0}, Я (в*) определено в упражнении 6. Тогда
в* —точка строгого локального минимума в задаче (1), (2) ([21, с. 141])«
§ 9. Теорема Куна — Таккера. Двойственная задача
1. Перейдем к рассмотрению условий оптимальности для за-
дач выпуклого программирования. Под выпуклым программиро-
ванием понимается раздел теории экстремальных задач, в ко-
тором изучаются задачи минимизации (или максимизации) вы-
пуклых функций на выпуклых множествах. Точнее, под зада-
чей выпуклого программирования понимается следующая
задача:
Z(u)-> inf; и ^U, (1)
U = {u^U0: gi(u)^0, i = 1, ..., тп;
gi (и) = 0, i = т + 1, ..., s}, (2)
где Uq — заданное выпуклое множество из Еп, функции 7 (и),
gi(u), • • •, gm(u) определены и выпуклы на С70, a gi(u) =
= <af, и> — &г при i = т + 1, ..s — линейные функции, V —
заданные числа, — заданные векторы из Еп. Здесь не исклю-
чаются возможности, когда отсутствуют либо ограничения
§ 9]
ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА
235
gi(u)^0 типа неравенств (тп = 0), либо ограничения gi(u)=0
типа равенств (s = m), либо оба эти вида ограничений (тп = $ =
= 0, U=U0). При сделанных предположениях по теореме 2.11
множество (2) выпукло.
Важное место в теории выпуклого программирования зани-
мает теорема о седловой точке функции Лагранжа, известная
в литературе под названием теоремы Куна — Таккера в честь
американских математиков Куна и Таккера, впервые сформули-
ровавших и доказавших некоторые варианты этой теоремы. Эта
теорема дает необходимое и достаточное условие оптимальности
в задаче (1), (2), т. е. условие принадлежности той или иной
точки множеству
U* = {и е U: J (и) = inf J (у) = J*},
v&U
и выражает собой правило множителей Лагранжа для регуляр-
ной задачи (1), (2). Для формулировки теоремы Куна — Так-
кера введем функцию
L (u, X) = J (и) + 2 (и), (3)
1—1
называемую в отличие от (8.4) регулярной функцией Лагранжа
задачи (1), (2), где u^UQ, а переменные X = (Xi, ..., Х8) при-
надлежат множеству
А0 = {Х = (Х1, ..., Xi>0, ..., Хт>0}. (4)
Определение 1. Точку (и*, Х*)е£70хЛ0 называют
седловой точкой функции Лагранжа (3), если
L (и*, Х)< L (и*, X*) < L (и, X*) V и е t70, Хе Ао. (5)
Прежде чем переходить к выяснению связи между седловой
точкой функции Лагранжа и решением задачи (1), (2), дадим
другую равносильную (5) формулировку для седловой точки.
Лемма 1. Для того чтобы точка (ц*, Х*)е[70хА0 была
седловой точкой функции Лагранжа, необходимо и достаточно,
чтобы выполнялись следующие условия:
L (и*, Х*)< L (и, X*) Vue t70, (6)
X*gi (и*) = 0t i = 1, ..., s, u*t=U. (7)
Доказательство. Необходимость. Пусть (и*, X*)е
е UQ X Ао— седловая точка. Тогда условие (6) представляет
собой правое неравенство (5). Остается получить условия (7).
Для этого перепишем левое неравенство (5) с учетом конкрет-
ного вида (3) функции Лагранжа:
j («*) + 2 ^igi (u*) < J (и*) + S ^igi (w*) VA е Ло. (8)
i=l i=l
236
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Отсюда имеем
г=1
VXeA0.
(9)
Покажем, что и* е £7. Возьмем точку X = (%i, ...» %в), где X j =
= Zj+ 1 при некотором / (1 </ С тп} и — при всех осталь-
ных i = l, ..., s (7=^=7). Из определения (4) множества Ао и
из того, что X* Ао, следует, что выбранная точка % е= Ао. Из
(9) при таком % получим (--1) gj (п*)^ О, т. е. gj (и*) =< 0 при
всех 7 = 1, ..., тп.
Далее, пусть % = (М, ..., Xs)—точка с координатами kj =
= ^ + Sj (^*) при некотором / (тп + 1 < j $) и = М при
всех i = l, ..s (£=/=7). Ясно, что леА0. Поэтому из (9) име-
ем — | gj (и*) |2 0, т. е. gj (и*) = 0 при всех / = m + 1, ..., 5.
Таким образом, доказано, что и* е U.
Из того, что gi(u*) = 0 при г = пг+1, ..s, следует, что
^*gi (^*) = 0 (i == тп + 1, ..., $). Остается получить равенства
(7) при f=l, ..., тп. Возьмем точку % = (Х4, ..., %s) с координа-
тами Zj = 0 при некотором / (К / < т) и М = М при всех ос-
тальных i = l, ..., s Такая точка принадлежит Ао, по-
этому из (9) получим gj(u*). Но gj(n^)^O при
7 = 1, ..., тп, поэтому последнее неравенство возможно лишь
при kjgjfu*) = 0 (7 = 1, ..., тп). Все соотношения (6), (7)
получены.
Достаточность. Пусть для некоторой точки (и*, Х*)е
еЩхА0 выполнены соотношения (6), (7). Покажем, что тог-
да X*) — седловая точка. Из (6) следует правое неравен-
ство (5). Остается доказать левое неравенство (5). По условию
(7)п*е= £7, т. e.gi^XO (£= 1, .. .,m),gi(u*) =0(i = m + 1, ...
..., 5). Тогда
(**-А<Ы*) = 0 (10)
при всех т = тп+1, ..., s и всех тех I (1^£^тп), для кото-
рых gi(u^) = 0. Если £<(п*)<;0 при некотором i
то из равенства (7) следует, что 2t*=0. Поэтому (Zi—Zf)
= — ^igi (^*)^0 для всех (l^i<zn), для которых
gi(^*)<0. Складывая полученные неравенства с (10), будем
8
иметь 2 (^* — gi (и*) 0 для всех X Ао. Отсюда
г=1
8 8
2Mgi(^X 2^gi(wJ при всех % е Ао. Добавляя к обеим
г—1 г=1
частям этого неравенства J (и*), придем к неравенству (8), пред-
ставляющему собой левое неравенство (5).
§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 237
Если сделать дополнительные предположения о выпуклости
и гладкости задачи (1), (2), то лемму 1 можно переформули-
ровать в следующей так называемой дифференциальной форме.
Лемма 2. Пусть (1), (2) представляет собой задачу вы-
пуклого программирования и Ци), gi(u), gm(u)^ Cl(U0).
Тогда для того чтобы точка (и#, X*) е UQ X Ло была седловой
точкой функции Лагранжа, необходимо и достаточно, чтобы
<LU (и*, X*), и — и*У =
= \S — и* о Vu^U0, (6')
\ i=l /
h*gi(u*) ==0, i = i,...,s, u*^U. (7')
Доказательство. При сделанных предположениях функ-
ция Лагранжа (3) выпукла и дифференцируема по переменной
u^UQ при каждом Х^А0. Поэтому условие (6) согласно тео-
реме 2.3 равносильно условию (6').
Как видим, соотношения (6'), (7') напоминают нам условия
(8.5) — (8.7) при Хо = 1, а соотношениям (6), (7) соответствуют
аналогичные (8.20) с Хо = 1. Эти аналогии подчеркивают тес-
ную связь между правилом множителей Лагранжа из § 8 и
следующими ниже теоремами.
Теперь выясним, как связаны между собой седловая точка
функции Лагранжа и решение задачи (1), (2).
Теорема 1. Пусть (и*, X*) е U(] X Ао— седловая точка функ-
ции Лагранжа. Тогда и* Uo, J* = L(u*, X*) = J (и*), m. e. и*
является решением задачи (1), (2).
Доказательство. Из условия (7) имеем и* е U тд. L(u*,
Х*) = J (ц*). Тогда неравенство (6) перепишется в виде
J(u*)^L(u, %*) = J(u)+ u^U0. (И)
1=1
8
В частности, (И) верно и для всех u^U. Но 2^1#г(^)^0
1=1
при и U, так как тогда gi (и) < 0 и X; 0 при i = 1, ..., тп,
так что X*gi (и) 0 (i = 1, ..., тп) и g< (и) = 0 при i = тп + 1, ...
..., s, так что Xigi(^) = O (j = 77i+l, ..., s). Поэтому из (11)
следует, что J (и*) L (и, X*) J (и) при всех и U, т. е.
с.„— U.
Заметим, что теорема 1, как и лемма 1, доказаны без каких-
либо ограничений на функции J(u), gi(u) (f = l, ..., s) и на
множество С70; в частности, никакие предположения о выпук-
лости, сделанные выше при формулировке задачи (1), (2), мы
пока не использовали.
2. Возникает вопрос: во всякой ли задаче вида (1), (2) функ-
ция Лагранжа имеет седловую точку? Ответ здесь, конечно, от-
238
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
рицательный: если в задаче (1), (2) £7* = 0, то, как следует
из теоремы 1, функция Лагранжа такой задачи не может иметь
седловую точку. Более того, даже в задачах выпуклого про-
граммирования (1), (2) с £7*=т^0 в общем случае нельзя ожи-
дать, что функция Лагранжа будет иметь седловую точку.
Пример 1. Рассмотрим задачу из примера 8.6: J(u) =
= —u->inf (и s= U = {и& Uo: g(u) = и2 0}), где ио = {и^Е*:
О^и^а}, 0<а^°°. Здесь множество Uo выпукло, функции
/(u), g(u) выпуклы на UQ. Множество U состоит из одной точ-
ки и = 0, так что J* = J (0) = 0f U* = {0}. Функция Лагранжа
L(u, %)=—u + Xu2, % >0,
рассматриваемой задачи не имеет седловой точки.
Таким образом, для существования седловой точки на за-
дачу (1), (2), кроме условий выпуклости, должны быть нало-
жены какие-то дополнительные ограничения. Начнем с рассмот-
рения случая, когда в (2) ограничения типа равенств отсутству-
ют (тп = $), т. е. множество U имеет вид
U = {u^UQ-. g<(u)<0, i=l, ..., тп}. (12)
Определение 2. Множество (12) называют регулярным,
если существует точка й U такая, что
gi(u)<0, ..., gm(u)<0. (13)
Если Uo — выпуклое множество, функции g»(u) выпуклы на
Uq, то вместо (13) достаточно потребовать для каждого i су-
ществования точки Hi U такой, что gt(u<)<0 (£ = 1, ..., тп).
m _
Тогда в качестве й из (13) можно взять и — оцщ, а;>0,
+ а2 + ... + am = 1, поскольку и Uo и в силу неравенства
m
(2.2) 2 «ig/ui) <0 (z = l, ..., тп). Условие
г=1
(13) часто называют условием Слейтера.
Для наших целей подошло бы и несколько иное более об-
щее, чем (13), определение регулярного множества: множество
(12) назовем регулярным, если для любого вектора № =
— ., ) #= о (%* > о,..., О) существует такая точка
й = и (%*), что
й е и, <%*, g (й)> = 2 tigi (й) < о. (14)
г==1
Существуют и другие определения регулярности множеств вида
(12), (2), используемые в теоремах Куна — Таккера [24,
41, 299].
Теорема 2. Пусть множество UQ выпукло, функции J(u),
gi(u) (i = l, ..., тп) выпуклы на С70, а множество (12) регуляр*
§ 9]
ТЕОРЕМА КУНА — TAKKEPA. ДВОЙСТВЕННАЯ ЗАДАЧА
239
но. Пусть множество U* точек минимума функции J(u) на
множестве (12) непусто. Тогда для каждой точки u*^U* необ-
ходимо существуют множители Лагранжа X* = (X*t ..., Х^)
такие, что пара (u^, X*)
образует седловую точку функции Лагранжа на множест-
ве Uo X Ло.
Доказательство. В пространстве Em+l переменных а ==
= (а0, а1ч ..., ат) введем множества
А ={а=(а0, аь am)^Em+i: a0>J(u),
> gdu), •••> gm(a), ue= £70},
В = [b = (b0, Ьг,..., bm)(=Em+1: bQ<J*, b1<0,..„bTO<0}.
Покажем, что Л и В не имеют общих точек. В самом деле,
пусть а^А, Тогда найдется точка u^UQ такая, что а0>7(и),
ai>gi(u), ..., aw>gm(u). Возможно, что и U. Тогда а0^>
^J(u)^J* и заведомо а&В, Если же u^UQ\U, то найдется
номер i (1 i т) такой, что g»(a)>0. Тогда а<>£<(и)>0
и сновааФВ. Итак, А А В = 0.
Далее, нетрудно видеть, что А и В — выпуклые множества.
Покажем, например, что А выпукло. Пусть а, с — две произ-
вольные точки из А. Тогда существуют точки и, v^U0 такие,
что aQ>J(u), c0>J(v), ai>gi(u), с{> gdy) (j = l, ..., m).
Возьмем произвольное a e [0, 1] и положим aa = aa + (1 — a)c,
ua = au +(1 — a) v. Из выпуклости Uo следует ua^U0, Далее,
из выпуклости функций Ци), gi(u) имеем
a/(u) + (l — a)J(y)^ aaQ +(1 —• a)c0,
gi(ua)^ agi(u) + (l — a)gt(p)^ aa{ + (1 — a)c£, i = 1, ..., m.
Это означает, что aa^A, Выпуклость А доказана. Аналогично
доказывается выпуклость В.
В силу теоремы 5.2 тогда существует гиперплоскость <с, а> =
= у с нормальным вектором с = (Л*, Х1? ..Х^) ^=0, отделяю-
щая А и В, а также А и В = {Ь = (&0, &1? ..., bm) е Ет+1:
bi 0, ..., Ът 0}. Это значит, что
Ь> = 2 =С V<£, = 2 ^iai Va е А, бе В. (15)
i=0 i—0
Заметим, что # = («7*, 0, ..., 0) е А Г) В, В самом деле, возь-
мем какую-либо точку и* е U*. Тогда J (a*) = gi (и^) 0
т), что означает у 4. Включение у е В очевидно.
Тогда по теореме 5.2 величина у из (15) равна у= <с, у} = X0J
и (15) можно переписать в виде
Ьо&о+ S S Mai Vae.4, bt=B. (16)
i=l i=X
240 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Возьмем точку fc=(J—1, 0, 0)^В. Из левого неравенства
(16) получим Хо (J* — 1)<X*J^, откуда Х*>0. Далее, беря
Ъ = (/*, 0, ..0,—1, 0, из левого неравенства (16)
имеем %оЛ= — ХГ<Х*/Ж, т. е. Х?>0 (i = 1, ..., т). Таким обра-
зом, показано, что X* = (X*, . .., Хт) 0, Хо 0.
Далее, возьмем произвольную точку Тогда а =
= (J (и*) = J*, 0, ..., 0, gi (к*), 0, ..., 0) е A f) В. Подставляя эту
точку в левое и правое неравенства (16), получаем Хо./* +
4- Х^(ин.)<Х*/Н!<Х0%+Х^{(иж), откуда Х^{(и*Х0<Х^{(и#)
или kig(u*) = 0 (i — 1, ..., т). Равенства (7) доказаны.
Покажем, что Хо>О. В самом деле, в (16) подставим а —
= (7(й), ?1(й), ..., gm(u))^ А, где й взято из (13) или (14).
Получим X* J* < Хо J (и) + 2x*gi(u). Допустим, что X* = 0.
г=0
Поскольку не все A* (Z = 0, 1, ..., т) равны нулю, то Х*^=0.
Тогда из предыдущего неравенства при Хо = 0 с учетом усло-
m _
вия (13) или (14) имеем ^igi (и) <0. Полученное проти-
1=1
воречие показывает, что Хо > 0. Неравенство (16) и все после-
дующие рассуждения сохраняют силу, если (16) поделить на
Хо >0. Это значит, что в (16) можно принять Хо = 1.
Наконец, возьмем произвольную точку u^U0. Тогда а =
— (7(а), g™(u))e= А. Подставим эту точку в правое
неравенство (16). С учетом того, что Хо = 1, получим
(и) + У = Ци, %*) (и^и0). Но в силу (7) J* =
г = 1
= L(u*, X*) при любом выборе u*^U*. Отсюда и из предыду-
щего неравенства следует условие (6). Согласно лемме 1 тогда
(u*, X*)— седловая точка.
3. Приведенный выше пример 1 показывает, что без допол-
нительного требования регулярности множества теорема 2, во-
обще говоря, неверна. Однако если (2)—многогранное множест-
во, то, оказывается, теорема о существовании седловой точки
будет верна без каких-либо дополнительных условий типа усло-
вий регулярности. Важную роль при установлении этого факта,
а также во многих других вопросах выпуклого анализа играет
следующая теорема, известная в литературе под названием
теоремы Фаркаша.
Теорема 3. Пусть дано множество
К ={е е Еп: <сь е>< 0, i = 1, ..., тп; <сг-, е>< 0,
i = m + 1, ..., р; <сй е>= 0, I = р + 1, ..$}, (17)
где cs — некоторые векторы из Еп. Тогда для того чтобы
§ 9]
ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА
241
некоторый вектор с е Еп удовлетворял неравенству
<с, е>>0 Vee=7T, (18)
необходимо и достаточно, чтобы существовали такие числа
М, ...,%» (Xi >0, ..., ХР > 0), что
с = —Mei — ... — Xsc8. (19)
Нетрудно видеть, что К — конус с вершиной в нуле, а вся-
кий вектор с, удовлетворяющий условию (18), принадлежит
двойственному конусу К* (см. определения 5.4, 5.5). Поэтому
теорему Фаркаша можно переформулировать на языке конусов
следующим образом.
Теорема 3. Пусть К —конус, определенный условиями
(17). Тогда двойственный ему конус имеет вид
( 8 1
К* = се Еп-. с = — SXiCi, Хр>0 . (19)
I 1=1 I
Заметим, что в (17) не исключаются случаи, когда какие-
либо виды ограничений (ограничения типа нестрогого или стро-
гого неравенства, или типа равенства) отсутствуют, т. е. воз-
можно ш = 0 при ш = р, или р = s, или тп = р = 0, или тп = 0,
р = s или тп — р — s.
Для доказательства теоремы 3 нам понадобится
Лемма 3. Пусть а1у ..., ар — некоторое конечное множест-
во векторов из Еп. Тогда
( р
Q = \а е Епч а — 2 0, i — 1, . .., р
I i=i
есть выпуклый замкнутый конус.
р
Доказательство. Если а е Q, то Ха = 2 Хо^а* (Xcq 0г
1=1
г = 1, ..., р) при любом X > 0. Это значит, что Q — конус.
р
Далее, пусть а, Ъ — две произвольные точки на Q, т. е. а — 2
р
Ъ = 2 Hi^i («г 0, щ 0, i = 1, ..р). Тогда для всех а е= [0, 1]
t=i
р
аа + (1 — а) Ъ = 2 laai + (1 — os) Hi]
1=1
aai + (1 — а) pt! 0, i = 1, ..., р,
так что Q — выпуклый конус. Кстати, тогда из а, Ъ е Q следует
а + Ъ е Q. В самом деле, в силу выпуклости конуса Q имеем
а + Ъ = а(а/а) + (1 — а) (6/(1 — а))е Q при всех а(0<а<1)у
поскольку а/а, Ъ/ (1 — а)^ Q.
242
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Замкнутость Q докажем индукцией по числу образующих
векторов ..., аР. При р = 1 Q={a^En: а = аа^ а > 0)—-
полупрямая (луч) — замкнутое множество. Пусть известно, что
конус с любыми р — 1 образующими замкнут. Покажем, что
тогда конус Q с р образующими ..., ар также замкнут. Рас-
смотрим два случая.
1. Конус Q наряду с векторами а4, ..., ар содержит также и
р
векторы ..., —-ар. Тогда наряду с точками а = 2
i=l
1 = 1, ..., р) выпуклый конус Q содержит все точки
р
b = 2 ₽г (— ai) (Pi 0, j = 1, ..., р), а также точки а + Ь. По-
г=1
кажем, что в рассматриваемом случае Q является подпространст-
вом (линейной оболочкой), натянутым на векторы ..., ар.
р
В самом деле, пусть d = 2 где (i = 1, ..., р) — про-
i=l
извольные числа. Положим = max{0; yj, р< = max{0; —yj.
p p
Тогда = «г — Рг (г = 1, ..., p). Поэтому d = 2 Ti^i = 2 +
i=l i==l
P
+ 2 Pi (“ ai) Q при всех действительных (i = 1, ..., р).
i=l
Таким образом, Q — подпространство, натянутое на векторы
«1, ..., ар, размерность которого не превышает числа min{p; п}.
Но в конечномерном пространстве Еп любое подпространство
замкнуто [93]. Следовательно, Q замкнут.
2. Хотя бы один из векторов —а4, ..., —ар не принадлежит
<?. Пусть для определенности — ар Ф Q. Обозначим QP-i ==
[ р-i 1
= \ b^ Еп: b = i = 1, ..., р — 1} — это конус, по-
1 i=l I
рожденный векторами По предположению индукции
р-i
конус Qp-i замкнут. Далее, из представления а = 2 агаг + аа?
г=1
(«г^О, т = — 1, следует, что
Q = Qp-i + аар, а > 0.
(20)
Пусть d — какая-либо предельная точка множества Q. Тогда
существует последовательность {dm}^ Q, сходящаяся к d. Из
(20) следует существование bm е QP~i и чисел 0 таких, что
dm = Ът + цтар (тп = 1, 2, ...). Покажем, что {цт} ограничена
сверху. Допустим, что {цт} не ограничена сверху. Тогда сущест-
вует подпоследовательность Поскольку {dm}, как схо-
дящаяся последовательность, ограничена, то 0 при
§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 243
к -> оо. А тогда — ^р} имеет предел при к ->
равный —ар. Но так как е (?р-ь а конус QP-i
замкнут, то предел — ар будет принадлежать QP-i. Из (20) при
а = 0 следует Qp-i Q, так что — ар е= Q, Получили противоре-
чие с рассматриваемым случаем.
Это означает, что 0 р,™ const (тп, = 1, 2, ...). Тогда су-
ществует подпоследовательность сходящаяся к некоторо-
му числу р, > 0. Из равенства bmk = — p,mftap (fc = 1, 2, .. .>
при к -> ©о следует, что предел Ъ = lim Ьтк существует, причем
&->оо
b = d — р,ар е Qp_t в силу замкнутости QP-i. Таким образом, по-
казано, что d = Ъ + цар, где Ъ <= Qp-^ р, > 0. Из (20) тогда сле-
дует, что d <= Q. Замкнутость Q доказана.
Доказательство теоремы 3. Введем множество
(? = |се=£”: с = - 2 XiCj, ^>0, ...,Лр>0[. (21)
I 1=1 J
Заметим, что Q — конус, порожденный векторами — с19 ..., — сРг
—сР+1, ..., —с8, ср+1, ..., cs. В самом деле, с одной стороны, все-
Р 8 в
ТОЧКИ С=2м~ Ci) + S ai(— Ci) + 2 PiCi (Х«>0, i=l,...
i=l i=p+l i=p+l
..., p; a< > 0, > 0, Z = p + 1, ..., s) принадлежат Q. С другой
стороны, любая точка с = — — ... — Xsce представима в ви-
де предыдущего равенства при = max{0; М, Р* = тах{0; —М
(j = m+l, ..., $), так как %< = а< — р<. В силу леммы 3 тогда
множество (21) является выпуклым замкнутым множеством.
Для доказательства теоремы 3 достаточно установить, что
8
К* = Q. Возьмем произвольный вектор с е Q, т. е. с = — У;
1=1
(Xi > 0, ..., ХР > 0). Тогда для любого е е К имеем <с, е) —
8
= — У Х$<с$, е> J>0. Это значит, что с Тем самым пока-
1=1
зано, что Q X*.
Покажем обратное включение К* s Q. Предположим против-
ное: пусть существует у е К*, но у Ф Q. Поскольку Q — замкну-
тое выпуклое множество, то по теореме 5.1 это множество
сильно отделимо от точки у. Это означает, что существует ги-
перплоскость <d, и — уУ=О с нормальным вектором d =/= 0 та-
кая, что <d, с — уУ> 0 или <d, c»<d, уУ для всех с е Q. Сог-
ласно (21) это значит, что
\d, — 2^с,- > = — 2 <с;, d> > <d, уУ (22)
\ «=i / i=i
при всех Xi, ..., Хв, лишь бы Xi > 0, ..., ХР > 0. Покажем, что
тогда d^ К — замыкание К.
244
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Зафиксируем некоторый номер i, 1 I р, и в (22) примем
Zj = 0 при всех j I. Получим —ХХс/, d> > <d, у) для любого
Xi > 0. Отсюда, деля на Ki > 0 и устремляя Ki -> оо, получаем
<Ci, d» 0 или (с,, d>^0 (i = 1, ..., р). Далее, зафиксируем
номер i (р + i i^s) ив (22) примем К$ = 0 при всех / =# г,
= Kef, d> (f>0). Получим — t\{c{, d>|2Xd, у>. Отсюда,
деля на t > 0 и устремляя t -> получаем — |<cf, d>|2>0
или <сг-, _d>= 0 (i = р + 1, ..., s). Таким образом, показано,
что d е К.
Теперь вспомним, что у^К*. Это значит, что <г/, 0 для
всех е К. Отсюда с помощью предельного перехода нетрудно
получить, что <г/, е» 0 для всех е е К. В частности, для
d^K имеем <г/, d>^0. Но, с другой стороны, если в (22) при-
нять Ki = 0 (г = 1, ...,$), то получим <р, d)< 0. Пришли к
противоречию. Следовательно, К* Q. Сравнивая с ранее дока-
занным включением Q s К*, заключаем, что X* — Q. Равенство
(19) и, тем самым, теорема 3 доказаны.
4. Рассмотрим задачу минимизации функции J(u) на мно-
жестве
U ={и е Uo: gi(u)=<ai, и>— VX 0, i = 1, ..., тп\
gi(u)={ai, и>— Ьг = 0, I = т + 1, ..., $}, (23)
где UQ={u^En: {dt, uXf, i = 1, ..., р; {di, u)=f, t —
= p + 1, ..., q} — многогранное множество, аг, di^En — задан-
ные векторы, Ъ\ f — заданные числа. В частности, здесь мо-
жет быть Uq = Е\; UQ={u=(u\ ..., ип): iT^O, I —
некоторое подмножество номеров {1, ..., п); UQ={u—(ui, ...
..., ип): а,X и1X pf, i = 1, ..., n}, — заданные величины,
<Xi рг, причем, возможно, некоторые a< -> —oo, p5 -> oo.
Теорема 4. Пусть функция J (и) выпукла на Uo,
^Cl(UQ), множество U определено согласно (23), U*{u^U'.
J (и) = inf J (v) = J* > — оо} ф 0. Тогда для каждой точки
v~U
и* е U* необходимо существуют множители Лагранжа X* =
= (Х*, 7is*)eA0={X = (X1, ...,Zs)eEs: %х>0, ..Xm>0)
такие, что пара (ц*, К*) образует седловую точку функции
Лагранжа на множестве Uo X Ао*
Из этой теоремы, в частности, следует, что в любой задаче
линейного программирования, имеющей решение, функция Ла-
гранжа всегда имеет седловую точку.
Доказательство. В силу теоремы 2.11 множество (23)
выпукло. Возьмем любую точку и* е U*. Введем множества
индексов
J* = {it l^.i ^m, (аг, и^У = Ы}, 1% = {i- 1 i р,
= /*}
§ 9]
ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА
245
и составим конус
К = {е е Еп: {(ц, е) 0, i е Z*, (ai, е) = 0, i = т + 1, ..., s;
<di, е) <0, ie 1%, (di, e> = 0, i — p + 1, ..., q\ e=#0}. (24)
Покажем, что множество возможных направлений множества
(23) в точке и* совпадает с конусом (24).
Пусть е=(е1, ..., еп)¥=0 — произвольное возможное направ-
ление в точке и*. Согласно определению 2.3 тогда существует
такое число t0 > 0, что и = и* + te е U или
и* + te) bl, i = 1, ..., т; (а^, и* + te) = Ь\
i = щ + 1, ..., s;
(25)
<№, u* + te)^f\ i = 1, ..., p; {di, u* + te) = fl,
i = p + 1, ..q,
при всех t (0<£^£0). С учетом u*&U*c.U из (25) сразу
получаем e e К. Верно и обратное: если е^К, то е — возмож-
ное направление в точке и*. В самом деле, пусть е е К. Тогда
для i Е Л имеем {(ц, и* + te) — & + t {а^, е) Ъ1 при всех t >
^>0, а если i ф /х (l^i^m), то {а\, и*) и найдется та-
кое > 0, что {di, и* + te) Ъ1 при 0 t t0. Если т + 1
i $, то <а^ u* + te)=bi при всех t. Аналогично, взяв при
необходимости t0 > 0 еще меньшим, убедимся, что выполняют-
ся и остальные соотношения (25), так что и* + te е U (0^2^
С/0). Тем самым показано, что для множества (23) множество
возможных направлений в точке и* совпадает с конусом (24).
Согласно теореме 2.3 для того, чтобы и* е U *, необходимо и
достаточно выполнения неравенства
< J' (и*), и — \u<=U. (26)
Возьмем любое е К. Тогда и = и* + te е U (0 t tQ, tQ > 0).
Подставим такую точку и в (26). Получим </'(^*)ж e)t^Q или
{J' при всех е К. Это значит, что /'(гг^)^А'*.
По теореме 3 тогда найдутся числа ^>0 (ie /*), XX+i, ..., ,
Pp+i, ...,pg такие, что
з q
г(и*} = - 2 2 S нЧ- S нгЧ- (27)
isI* i=m+l ie7* i=p+l
1 a
Если доопределим X* = 0 при ie{l, ..то получим
точку X* = (X*, ..X*) е Ло. Отсюда, учитывая определение
множества /х и условие имеем
X* «аъ и^) — Ы) = X|*gi (и*) = 0, i = 1,..s£ (28)
246
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
а равенство (27) можем переписать в виде
s Q
Jf + 2 — — 2 P'i^i — 2 (29)
i=l ieJ* i=P+l
Функция Лагранжа в рассматриваемой задаче такая:
L (и, %) = J (и) + 2 иУ ~ U<=UQ, X е Ао.
г=1
Тогда, используя неравенство J (и) — J (и*) </' (и*), и — и*У
(ti(=U) (см. теорему 2.2), определение множества [условие
р,*^0 (is/*) и равенство (29), для каждого u^U0 получаем
L (и, X*) — L (и*, X*) = J (и) — J (zz*) + 2 <аъ w — и*}
i=i
> (и*) + 2 ^iai, и — и* У = — 2 И* <^i, и — и^У —
X i=1 / iel*
Q
— 2 = 2
г=Р+1 ieJ*
ИЛИ
L (и*, X*) L (и, %*) Vwe UQ,
Отсюда и из (28) с помощью леммы 1 заключаем, что (и^ %*) —
седловая точка функции Лагранжа.
5. Наконец, приведем следующий более общий вариант тео-
ремы Куна — Таккера.
Теорема 5. Пусть Uo — выпуклое множество из Еп, функ-
ции Z(zz), gi(u) (i = 1,..., ш) выпуклы на UQ, gi(u)= и) — b*
(i = m + 1, ..., $) — линейные функции. Пусть множество U#
точек минимума функции J(и) на множестве
U ~{и е Uo: gi(u) < 0, i = 1, ..., m;
^(^)=<аг-, и>— V 0, i = m + 1, ..., р;
gi(^)=<^£, и>— Ь’ = 0, i = р + 1, ..., $}
непусто. Кроме того, пусть выполняется хотя бы одно из сле-
дующих условий:
a) Uq — многогранное множество, функции J(u), gi(u).
..., gm(u) выпуклы на выпуклом множестве W, открытом в
aff W (т. е. W = riW), Uo cz W и существует точка u^U та-
кая, что gi(u)< 0 (i = 1, ..., ш);
б) существует точка й е ri Uo П U такая, что gi{u) < О
0 = 1, ...» тп).
§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 247
Тогда для каждой точки и* е необходимо существуют
множители Лагранжа № = (%*, ..X*) еЛ0 = [Zg Еп:
>0, такие, что пара (и*, %*) образует седловую
точку функции Лагранжа на множестве Uo X Ло.
В этой теореме не исключаются возможности, когда отсутст-
вуют какие-либо из ограничений gi(u)^0 или g<(u) = 0, т. е.
р = 0 или m = 0, или s = 0, или m = р, или m = $, или р = m =
— s. Доказательство теоремы 5 требует весьма тонкого исполь-
зования теоремы отделимости 5.2; за подробностями отсылаем
читателя к [21] (ср. с [264, § 28]).
Условия а), б) теоремы 5 представляют собой обобщения ус-
ловия регулярности (13) на случай более общей задачи (1),
(2). Нарушение этих условий может привести к отсутствию сед-
ловой точки.
Пример 2. Пусть С70 = {и = (х, у)<=Е2: у^0} = Е2+,
J(и)=1/ху, g(u) = x, U ={u^UQ: g(u)^Q}. Здесь Uo выпукло,
Ци), g(u) выпуклы на Uo, J* = U = = (0, у), g>0}.
Функция Лагранжа L(u, Х)= — Уху + \х (х > 0, у > 0, X > 0)
не имеет седловой точки. Нарушено условие а): функция Ци)
выпукла лишь на Uo, требуемой точки й нет.
В примере 1 riU9f]U=»0 — нарушено условие б). С другой
стороны, нетрудно привести примеры выпуклых задач, в кото-
рых условия регулярности а), б) нарушены, но седловая точка
существует.
Пример 3. Пусть DT0={^^EI: и > 0), J(u) = u, g(u)=u2,
U ={и: u^UQ, g(u)^O). Здесь Uo выпукло, функции Ци),
g(u) выпуклы на Uo. Множество U состоит из единственной
точки и = 0, так что У* = 0, £7* = {0}. Функция Лагранжа
L(u, X)=iz + Xu2 (и > 0, X > 0) имеет седловую точку (и* = 0,
X* = 0), хотя ri Uq П U = 0. Этот же пример показывает, что
множители Лагранжа, вообще говоря, определяются неоднознач-
но — здесь точки (и* = 0, X*) при любом X* 0 являются сед-
ловыми точками.
Теоремы 2, 4, 5 дают достаточные условия существования
седловой точки в задачах выпуклого программирования. Однако
существуют и невыпуклые задачи, в которых функция Лагран-
жа имеет седловую точку [91].
Пример 4. Пусть t70={we£1: и 1), J(u)=u\ g(u) =
= — и3— 1, U ={и: ut=UQ, g(u)^0}. Здесь Uo выпукло, но
функции Ци), g(u) не являются выпуклыми на Uo. Множество
U представляет собой отрезок —1 и С 1, так что /*= — 1,
и* = — 1. Функция Лагранжа L(u, Х)= и3 + %(—и3 — 1) имеет
единственную седловую точку (и* = — 1, Z* = 1) на множестве
UeXAQ (Ао=ае^: Х>0}).
6. С помощью функции Лагранжа L(u, X) (u^U0, Х^А0)
задачу (1), (2) можно переформулировать следующим образом,
248
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Введем функцию
% (и) = sup L (и, X), и е UQ. (30)
хел0
£
Заметим, что если и е= £7, то 2 ^igi (и) 0 при всех X Ао,
г—1
причем равенство получается при А = О^Ао. Если же и е UQ\L\
то найдется номер i такой, что либо l^i^m и £»(?/)> 0, ЛИ-
fi
бо т + 1 i $ и gi(u)^ 0, так что сумму У (и) выбором
г=1
Х^Ао можно сделать сколь угодно большой. Поэтому функция
% (и), определяемая условием (30), имеет вид
(J (и) Vzze£7,
%(^ = (оо Чи(=и0\и.
Отсюда ясно, что inf % (zz) = inf J (и) = J*, и задачу (1), (2)
ио и
можно переписать в равносильном виде
%(&)-> inf; u^UQ. (31)
Как и выше, в задаче (1), (2) будем предполагать, что «7*>
>— оо, U*y=0. Тогда задача (31) будет иметь то же множест-
во решений U* с тем же минимальным значением J*, т. е.
infx(w) = J*, U* = {и: u<=U0, % (и) = •?*}• (32)
ио
Наряду с функцией (30) введем функцию
ip(X) = inf L(u, X), ^еА0, (33)
и рассмотрим задачу
ip(X)->sup; ZgA0. (34)
Задачу (34) принято называть двойственной задачей к зада-
че (31) (или к исходной, основной задаче (1), (2)), а пере-
менные Z=(Xi, ..., Xs) называют двойственными переменными
в отличие от исходных, основных переменных и=(и\ ..ип).
Обозначим
sup ip (X) = ip*, A* = {/. e Ao: ip (X) = ip*}. (35)
A о
Оказывается, задачи (31) и (34) тесно связаны между собой.
Прежде всего всегда выполняются неравенства
•ф(Л)< гр* веУ0, ?.еА0. (36)
В самом деле, гр(Х) = inf L(u, X)^.L(u, X) при всех леЛ0 и
USU0
и <= Uo. Поэтому гр* = sup гр (X) sup L (w, %) = % (и) для любого
Aq XGAq
§ 9]
ТЕОРЕМА КУНА—• ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА
249
u^UQ. Переходя к нижней грани по u^U0 в этом неравенстве,
получаем гр* J*, откуда следуют неравенства (36).
Интересно выяснить, когда гр* =/*, и обе задачи (31) и (34)
имеют решение, т. е.
^*=^0, Л*=^=0, 7* = гр*. (37)
Оказывается, соотношения (37) тесно связаны с седловой точ-
кой функции Лагранжа.
Теор е м а 6. Для того чтобы имели место соотношения
(37), необходимо и достаточно, чтобы функция L(u, A,) (u^U0,
Z^A.O) имела седловую точку на U0XA0 в смысле определе-
ния 1. Множество седловых точек функции Ци, %) на U0XA0
совпадает с множеством U*X Л*.
Доказательство. Необходимость. Пусть выполне-
ны соотношения (37). Возьмем произвольные zz* е Е7* и X* е Л*
и покажем, что (и*, %*)— седловая точка. Имеем
ip* = 'ip(X*)= inf Ци, X*)^L(zz*, Х*)^
и=П0
< sup L (zz* Д) = х (и*) =
По условию гр* = J*. Поэтому предыдущие неравенства превра-
щаются в равенства:
Ци*, X*) = inf Ци, %♦) = sup L(zz*, X) = J*.
Отсюда имеем неравенства (5), т. е. (zz*, X*) — седловая точка.
Тем самым показано, что U* X Л* принадлежит множеству
седловых точек функции Ци, X) на Uo X Ао.
Достаточность. Пусть(zz*, Х*)е?70хЛ0—седловая точ-
ка функции Ци, %) на (70ХА0. Согласно (5) это значит, что
£(zz*, X)^L(zz*, X*) (АеЛ0), Отсюда имеем
sup L (zz*, X) = % (zz*) = L (zz*, X*).
х-л0
Кроме того, L(zz*, X*)^L(zz, X*) (zzeC70), так что
Ци*, Z*) = inf L (zz, %*) = гр(Х*),
откуда и из неравенств (36) следует
L (zz*, %*) = гр (X*) < гр* < /* <х W = L (и*,
т. е. гр (X*) = гр* = 7* = х (и*). Это значит, что гр* — J*, %* е
е Л*, zz* е U*. Тем самым установлено, что множество седло-
вых точек функции L(zz, X) на £70ХЛ0 принадлежит множеству
и* X Л*.
250
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Следствие 1. Следующие четыре утверждения равно-
сильны*.
1) (и*, X —седловая точка функции L(u, X)
на Uo X Ао;
2) выполняются соотношения (37);
3) существуют точки u*(=UQ, К* Ао такие, что
X М = (%*);
4) справедливо равенство
max inf L (и, X) = min sup L (и, X)
XeAoueUo uel70 Хел0
(напоминаем, что когда пишут max или min, то достижение со-
ответствующей верхней или нижней грани предполагается).
Следствие 2. Если (и*, X*) и (а*, &*) <=UQX Ло —седло.
вые точки функции L(u, X) на С70ХЛ0, то (и*, Ь*), (а*, X*)
также являются седловыми точками этой функции на
и0ХЛ0, причем
L (и*, &*) = L (а*, X*) = L (и*, X*) = L (a*, 6*) = /* = гр*.
Отсюда и из теоремы 1 вытекает, что в теоремах 2, 4, 5
можно выбрать одни и те же множители Лагранжа X* для всех
u*t=U* сразу.
Полезно заметить, что в доказательстве теоремы 6 нигде не-
использовано то, что L(u, X) является функцией Лагранжа ка-
кой-либо задачи вида (1), (2), а множества UQ, Ао выпуклы —
там были важны лишь функции (30), (33), задачи (31), (34) и
множества (32), (35), которые могут быть введены для любой
функции L(u, X) на любых множествах С70, Ао. Это значит, что
теорема 6 и следствие 1, 2 к ней верны для произвольных функ-
ций L(u, X) и множеств UQ, Ао.
Заметим, что равенство гр* — J* может выполняться и в том
случае, когда одно из множеств U* или А* пусто.
Пример 5. Рассмотрим задачу из примера 1 при а = оо.
Было показано, что /*= 0, U* — {0}. Поскольку L(u, Х)=—и +
+ Хн2 (и > 0, X > 0), то гр (X) = inf L (и, X) = — 1/(4Х) при X > 0
и^о
и 41(0) =—оо. Следовательно, supip(X) = гр*= 0 = J*, но А*=0.
Однако при отсутствии седловой точки возможно строгое не-
равенство гр* <«7* даже в том случае, когда U*=^0, Л*=^0.
Пример 6. Пусть J(u)—e~u, ио=Е\ g(u)=ue~u, U —
={u: и е Uо, g(u) = OJ. Здесь множество U состоит из единст-
венной точки и = 0, так что J* = J (0) = 1, £7* = {0}. Посколь-
§ 9]
ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА
251
ку L(u, Х)= + Xue~w = e~u(l + Xu) (и<=Е1, Х^Ло-Я1), то
гр (X) = inf L (u, X) =
НЕЕ1
о,
— °°,
Д.е-1+iA,
1 = 0,
Л>0,
%<0,
(1
х (u) = sup L {и, %) = { ’
XSjE1 1.00,
и = О,
и =0= 0.
Отсюда гр* = sup гр (X) = 0 = гр (0), Л* = {0}, J* = inf х (и) = 1 =s
Е1 е1
— X (0), U* = {0}. Имеем гр* < J*.
Не следует думать, что если (и*, X*) е С70 X Ло— седловая
точка функции L(u, X), то и точки (а, Ь)е UQX Ло, для кото-
рых L(a, b) — L(u*, X*), также будут седловыми точками. Да-
лее, если ввести множества
J7JX*) = {и\ и (== UQ, L (и, X*) = L (и*, X*)},
Л (^*) = Ао, (и* Д) = L (u*, X*)},
где (u*, X*)— седловая точка функции L(u, X) на С70ХЛ0, то
для множеств U* и Л* из (32), (35) в общем случае можно ут-
верждать, что
^с=С7Д*), Л*с=Л(и*). (38)
Пример 7. Функция L(u, X) = Xu при Uo = Е1, Х^
е До = Е1 имеет единственную седловую точку (и* = 0, X* = О
Z(u^., X*) = 0. Но U (X*) = Е1, Л(и*) = £1, так что в рассмат-
риваемом случае включения (38) являются строгими.
7. Заметим, что двойственная задача (34) равносильна зада-
че выпуклого программирования независимо от того, была ли
основная задача (1), (2) выпуклой или нет. В самом деле,
функция L(u, X) линейна по X, поэтому согласно теореме 2.7
функция — гр(Х)= sup (—L(u, X)) выпукла на выпуклом мно-
жестве Ао. Тогда задача (34), записанная в виде
—гр(Х)->т£; Х^А0,
представляет собой задачу выпуклого программирования (здесь
мы допускаем и значения гр(Х)==— °°). Благодаря этому обстоя-
тельству в задаче вида (1), (2), имеющей седловую точку, бы-
вает удобнее сначала исследовать двойственную к ней задачу,
а затем, пользуясь теоремой 6, возвращаться к исходной задаче.
Особенно плодотворным оказывается этот подход в задачах ли-
нейного программирования, поскольку в этом случае двойствен-
ную задачу удается выписать в явном виде.
252
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Рассмотрим каноническую задачу линейного программирова-
ния (см. задачу (3.1.14)):
<с, »>-> inf; и е U —{и е Еп-. и > 0, Аи — b = 0), (39)
где А— матрица порядка sXn, b^Es, сеЕ". Здесь Ua =
—{и^Еп: и > 0), А0 = Е3; функция Лагранжа имеет вид
L(u, Х)=<с, «> + <%, Аи — ЬУ — <с + АТХ, иУ — <Ь, А>. Функция
ф(%), определяемая согласно (33), сразу выписывается в яв-
ном виде
ф (X) = inf L (и, к) —
иеи0
—<Ъ, Х>, с + ЛтХ>0,
-оо, (е-М^УсО, Х(==Л0 = Е°.
Отсюда ясно, что точку X* е Ло, в которой может достигать-
ся верхняя грань 'ф(Х) на Ло, достаточно искать среди тех
X е Ло, для которых с + Атк > 0. Поэтому двойственную задачу
(34) для задачи (39) можно сформулировать так: —<6, %>->
-* sup или
<6, Х> -> inf; % е= Л = U е= Es: с + АТК > 0}. (40)
Как видим, двойственная к (39) задача также представляет со-
бой задачу линейного программирования.
Любопытно заметить, что если для задачи (40), в свою оче-
редь, написать двойственную к ней задачу, то мы вернемся
к исходной задаче (39). Чтобы показать это, составим функцию
Лагранжа для задачи (40), взяв в качестве множителя Лагран-
жа переменные п=(й1, ..., ип) и переписав ограничения
с + АТХ > 0 в стандартном виде: —с — ЛТХ 0. Получим
Д (Л, и) = <6, Z>+<u, —с — АТКУ = <6 — Аи, Х> — <с, иУ = — L(u, X);
здесь X е Ло = Es, и& Uo ={и е Еп: и > 0). Тогда
, / \ f г /<1 \ <с, гг>, Ь — Аи = 0,
(и) = inf Lx (Z, и) = ’ ’
1ел0 (— оо, Ъ — Au^v, u<=UQ.
Ясно, что sup грх (и) имеет смысл искать на множестве лишь
тех и е Uо, для которых Ъ — Аи = 0. В результате придем к за-
даче: — <с, п>-> sup, или
< с, иУ-+ inf; u^U ={и g= Еп: u^U0, b — Аи = 0),
совпадающей с исходной канонической задачей (39).
Перейдем к рассмотрению основной задачи линейного про-
граммирования (см. задачу (3.1.15)):
< с, иУ-+ inf; и е U ={и е Еп: и 0, Аи—6=^0), (41)
§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 253
где А — матрица порядка т X п, Ь^Ет, с^Е\ Здесь Uo =
={и: и > О},Ло ={Х Ет\ К > 0), функция Лагранжа имеет вид
L(u, Х)= <с, иУ + <%, Аи — ЬУ = <с + ЛТХ, иУ — <Ь, Х>.
Отсюда
(-<ЬД>, с + 4т%>0,
Ч>(Л)= inf Ци, %) = , Т ..
ы=и() —оо, (с + 4т%)1<0, /.gA0.
Двойственная к (41) задача запишется в виде
< Ь, Х> — inf; X е Л = U е Ет: % > 0, с + АТк > 0). (42)
Это тоже задача линейного программирования. Нетрудно прове-
рить, что двойственная к (42) задача совпадает с исходной
задачей (41).
Наконец, рассмотрим общую задачу линейного программиро-
вания (см. задачу (3.1.5)):
<с, »>-*• inf;
и U = {и = (и1, ..., ип): uj > 0, j s Z; Аи — b 0, Аи — Б = 0}г
(43)
где / — заданное множество номеров из {1, ..., п}, А — матрица
порядка тп X п, А — матрица порядка sXn, be Ет, b е Es,
с^Еп. Здесь Б’0=={п = (п1, ..., ип): uj > 0, j е /}. ^Множители
Лагранжа удобно представить в виде А,=(ц, ц) (ц^Е™,
цеЕ®). Поскольку множители, отвечающие ограничениям типа
неравенств, неотрицательны, то
иЛо=а=(ц, ]i)eEmX£s: ц > 0).
Функция Лагранжа имеет вид
Е(п, А,)=<с, п>+<ц, Аи — Ь>+<ц, Аи — ЬУ—
= <с: Лтц + Лтц, иУ + <Ь, ц> — <Ь, ц>, и е С70, X е Ло.
Отсюда г|) (А,) = inf L (и, А,) = — <Ь, ц> — <Ь, ц> при (с + 4гц -Ь
___ и^ио ____
+ АТ^>0 (iel) и (с + Лт|л +Лтн)< = 0 G^Z), а
при остальных Х=(ц, ц)еЛ0. Тогда двойственная к (43) зада-
ча запишется в виде
<Ь, ц> + <Ь, ц> inf, X =(ц, ji)GA = ft =(н? н)е Es: ц > 0,
(с + Лтц + Лтйг>0, ie/; (е + Лтц + = 0, (44)
В результате снова получили задачу линейного программирова-
ния. Предлагаем читателю проверить, что двойственная к (44)
задача будет совпадать с исходной задачей (43).
254
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
Если задача линейного программирования имеет решение,
т. е. 7* > —оо, 0, то согласно теореме 4 функция Лагран-
жа этой задачи всегда имеет седловую точку. Отсюда и из уста-
новленной в теореме 6 связи между основной и двойственной
задачами вытекают следующие теоремы, занимающие одно из
центральных мест в теории линейного программирования.
Теорема 7. Для того чтобы точка u*(=U была решени-
ем задачи (43), необходимо и достаточно существование такой
точки Х*=(ц*, р,*)еД (здесь Л определяется условиями (44)),
для которой
<с, и*} = — <Ь, р*> — (b, (45)
Теорема 8. Для того чтобы точка и* е Еп была решени-
ем задачи~(43), необходимо и достаточно существование точки
X* = (ц*, ц*)е Em X Es такой, что
и* 0, у е 7; Аи* Ь, Аи* = Ъ,
ц* > О, (с + Лтр* + 1тц*) {
(с + Лтр* + Атц*)< = 0, i&I;
ц* (Аи* — b)i = 0, i = 1, ..., тп; и* (с + Агр* + Агр,*){ = 0,
I — 1, ..., s.
Теорема 9. Задачи (43) и (44) либо обе не имеют реше-
ния, либо обе имеют решение, причем в последнем случае вы-
полняется равенство (45), где и*—решение задачи (43), Z* =
= (ц*, р*)— решение задачи (44).
Теоремы 7, 8 являются переформулировкой теорем 1, 4, 6
применительно к задаче (43) и в отдельном доказательстве не
нуждаются. Теорема 9 специфична для задач линейного про-
граммирования — об этом говорит пример 5, в котором основная
задача имеет решение, а двойственная задача — не имеет. По-
этому теорема 9 требует отдельного доказательства.
Доказательство теоремы 9. Составим функцию Ла-
гранжа для двойственной задачи (44), взяв в качестве множи-
телей Лагранжа и = (и\ ..., ип),
Z1 (%, и) = <&, р> + <6, р> + 2 и{ ( —с — ATji — ATp)i +
isl
+ 2 ui (—c — ==
i&I
= <&, h) — (U1c +
% GE Ao = U = (ц, [X)e Em XEn: Ц > 0),
и g= UQ ={u €= En: u5 >0, 7 e= /}«
§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 255
Как видим, функции Лагранжа задач (43) и (44) отличают-
ся лишь знаком. Согласно теореме 4 задача (44) имеет решении
Х*==(ц*, ц*) тогда и только тогда, когда функция Д(Х, и) на
Ao X Uо имеет седловую точку (А,*, и*) g A0X UQ, т. е.
Li (^*,и) < Li (^*, и*) < a*)» ue=UQ, К g= Ао.
Но Li(Z, и) =—L(u, А,), поэтому из последних неравенств сле-
дует, что если (А,*, и*)— седловая точка функции Li(X, и) на
А0ХС70, то (и*, А,*)—седловая точка функции L(u, X) на
С70 ХАо- Таким образом, функции Li(X, и) и L(u, X) одновре-
менно либо имеют седловую точку, либо ее не имеют.
Согласно теореме 4 это означает, что задачи (43) и (44)
либо обе не имеют решения, либо обе имеют решение. В том
случае, когда обе эти задачи имеют решение, равенство (45) выте-
кает из теоремы 6 и следствия 1 из нее.
Таким образом, в теоремах 7—9 установлена определенная
эквивалентность исходной и двойственной к ней задач линей-
ного программирования. Такая эквивалентность широко исполь-
зуется при разработке и исследовании различных методов реше-
ния задач линейного программирования. Так, например, если к
двойственной задаче применить симплекс-метод и затем его ис-
толковать в терминах исходной задачи, то придем к так называ-
емому двойственному симплекс-методу. Об этом и других мето-
дах решения задач линейного программирования, основанных
на теории двойственности, см., например, [3, 11, 12, 33, 71, 130г
225, 265, 340].
8. Выше было замечено, что в любой задаче линейного про-
граммирования двойственная задача, написанная для двойствен-
ной задачи, совпадает с исходной. В общем случае это не так.
В самом деле, двойственная задача всегда равносильна задачи
выпуклого программирования. Поэтому в невыпуклых задачах
(1), (2) задача, двойственная к двойственной задаче, заведомо
не может совпадать с исходной. Любопытно заметить, что такое
явление возможно и в задачах выпуклого программирования.
Пример 8. Пусть J(u) = Ы2 inf (и е U ={и е Еп: g(u)~
= Ы2— 1^0}). Здесь Uf) = En, J* = 0, и* = 0, Ао ==
Х>0). Функция Лагранжа L(u, А,)= Ы2 + Х(|к|2 —
— 1) = (1 + Z) \и\2 — X. Отсюда яр(Х) = inf L(u, X) = — X при
ueEn
А + 1 > 0 и яр(Х) = —оо при % + 1 < 0. Следовательно, двойст-
венная задача имеет вид яр (А,) == —% sup; А, А = {А,, X Ао,
А, + 1 > 0}. Эта задача линейного программирования, поэтому
двойственная к ней задача не может совпасть с исходной зада-
чей. Заметим, что в этой задаче (и* = 0, А,* = 0) — седловая
точка.
9. Кратко остановимся еще на одном важном классе задач, на-
зываемых задачами геометрического программирования, в кото-
256
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ4 4
рых переход к двойственной задаче весьма плодотворен. Речь
идет о задачах минимизации следующего вида:
g (х) = 2 . ХггГ-+ inf; х X = int Ег+, (46)
i=l
где Ci > 0, ац — заданные числа, int Ег+ = {х = (хъ ..., хг): х± >
>0, Функция g(x) из (46) называется позиномом.
Для исследования задачи (46) удобнее перейти к новым пе-
ременным и = (^1, ..ит+п) по формулам щ = In Xi (i = 1, ..г);
г
иг+1 = —bi + 2 bi = —In a, i = 1, ..., n, (47)
и переписать ее в эквивалентном виде:
J (и) = 2 inf;
t=l
(48)
и е U = \и «= Ег+п: 2 aijUj — ur+i — bi = 0, i = 1, ..., п\.
I J
Отметим, что функция J(и) выпукла на Er+n, U — многогран-
ное множество, и поэтому к задаче (48) применима теорема 4.
Составим функцию Лагранжа (3) для этой задачи:
п п / г
L (и, X) = ~2 е * И- ~2 ^i ( '21 ciijUj Ufj^i bi
i=l i=l \j=l
u ge ET+n = UQ,
^En = AQ.
С помощью классического метода (§ 1.2) нетрудно показать,
что нижняя грань функции cp(z)=ez — переменной z
на числовой оси равна ср* = In — ^bi, причем при Хг > 0
она достигается в точке z* = — In функция К In kt при Zi = 0
здесь считается доопределенной по непрерывности нулем. Отсю-
да, опираясь на линейность функции L(u, Z) по переменным
Hi, ..., иг, получаем
зф(%) = inf L(u, К) =
и^Ег+п
п
2 (^i — in — ^Ьг),
i=l
— оо при других %.
n
K<=En+, 2«iA = °, 7 = 1,
i=l
•,r,
§ 91
ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА
257
Поэтому двойственная задача (34) здесь будет иметь вид
ф (%) = 2 (^i — К In К — -> sup; % е Л,;
i=l
л = к = (%ъ ... Дп) €= Е±: 2 = 0, j = 1, ..rk
I 1=1 J
(49)
Если здесь верхняя грань достигается в точке Z* =/= 0, то за-
дачу (49) можно записать в более простой форме. А именно,
учитывая, что любую точку X = (Z±, ХП)=И=О можно предста-
ть
вить в виде X = ocv, где а = 2 М, v = (v1? ..., vn), v< = Х</а,
1=1
vA + ... + vn = 1, задачу (49) перепишем сначала в терминах
переменных (a, v):
п
фх (а, у) = ф (ocv) = 2 а (vi — vi In ccVi —- у$Ь|) =
i=i
= a 1 — In a +
n
2 (Vi In Ci — Vi In Vi)
1=1
->sup;
(а, v) e Лг =
n n '
(oc, v): oc>0, veE", 2 vi = 2 auvi — 0, / = 1, ...,r
1=1 1=1
Далее, пользуясь классическим методом (§ 1.2), убеждаемся,
что точка ос* =П > 0 (здесь принято 0° = 1) доставляет
функции ipi (a, v) максимальное значение по a > 0 при фикси-
п (с^\
рованном v е причем (a*, у) = ТТ -7. I.
i=1 \у{7
Тогда двойственная задача (49) перепишется в следующем
виде:
i|>2 (у) =
С41 CVn
С1 • • • сп
Vi
V1
Vn
п
>sup; veA2,
(50)
. v
I n n ’I
Л2 = v = (vlt ..vn) f= £+: 2*1 = 1. .2 GijVi = 0, j = 1, . ..,r
I 1=1 l=l
Если v* = (v*, ..., v^) e int 2?" —решение задачи (50), то, по-
лагая X* = oc*v*, где a*
из системы линейных
п fc.\Vi
= И ( “¥ ) t ur+it^ = М (г = 1, ..., п),
1=1 \V| J
алгебраических уравнений (47) можно
258
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
получить ..., иг*> откуда имеем решение я* = (хг* = eW1*, . » в
*. .9хг* = е*г*) исходной задачи (46). Задача (50) часто бывает
проще задачи (46). Переход к двойственной задаче особенно
эффективным оказывается тогда, когда множество Л2 в задаче
(50) состоит из единственной точки v*, которая и будет реше-
нием этой задачи.
Аналогично может быть исследована и более общая задача
геометрического программирования
g0(z)->inf; хе X = {xf= int#+: gi(я)Х 1, • • •, gm(^)< 1},
где go (я), gm (г)—позиномы. Подробнее о геометрическом
программировании, его приложениях см., например, в [7,
131, 234].
Читателей, желающих подробнее ознакомиться с красивой и
богатой результатами теорией двойственности, с различными ее
приложениями, отсылаем к [2, 3, 18, 21, 67, 116, 137, 146, 156,
166, 167, 201, 255, 264, 290, 293]. Здесь мы лишь отметим, что
параллельное рассмотрение задачи минимизации и двойственной
к ней задачи, с одной стороны, приводит к важным теоретиче-
ским результатам, с другой стороны, служит источником раз-
личных методов минимизации.
Заметим также, что в последнее время растет интерес к за-
дачам, в которых нарушены соотношения двойственности
(37),— такие задачи возникают при исследовании объектов,
описываемых противоречивыми системами ограничений, и име-
ют интересные приложения [146].
Упражнения. 1. Сформулировать аналоги теорем Куна — Таккера
для задачи максимизации: g(u) ->sup (и е £7), где множество U определено
посредством (2).
Указание: рассмотреть задачу: 7(и) =—g(u)-> inf (и е U) и вос-
пользоваться теоремами 2, 4, 5.
2. С помощью теорем Куна — Таккера исследовать задачу: J(и) =
п
= 2 I ~~ ai I "*in^ е £7), где и = {и f=En: |u| 1} или U = {и е Eni
i=i
и1 + ... + ип = 0}, или U = ..., ап — заданные числа.
3. Применить теорему Куна —Таккера к задаче квадратичного про-
граммирования: Ци) = (и1)2 4- ... + n(un)2->inf (ugU), где U ==
= {и cg Еп: и1 + ... + ип = 1}, или U = {и е Еп: н1 + ... + un 1}, или
U = {и cg Еп: —1 и1 + ... + ип 1}, или U является пересечением
предыдущих множеств с Е7^,
4. Решить задачи геометрического программирования:
a) g (х) = с±х 1 + с2х °2 -> inf при х > 0, где сг > 0, аг > 0 — за-
данные числа;
б) у) = х~'у + 2х2у 4- ->inf при х > 0, у > 0;
в) у, z) = ^x^y-^z-1 + ху + kxz + 2yz-Hnf при х > 0, у > 0,
z >» 0;
г) g(x, у) = y-^mi при х > 0, у > 0, х4у~4 + х~]у1/2^ 1;
§ 9]
ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА
259
Д) g(x, у, z) = X + y-1z_1/2->inf при X > 0, у > 0, z > 0, х~ху +
+ x~xz 1.
5. Выяснить, существуют ли седловые точки функции Лагранжа в за-
дачах из примеров и упражнений к § 2.2, к гл. 3, к § 4.8; найти эти точки.
1
6. Доказать, что выпуклая квадратичная функция J (и) = {Си, и) +
+ <с, иУ либо достигает своей нижней грани на Еп, либо» не ограниче-
на снизу.
7. Сформулировать и доказать аналог леммы 2 с использованием суб-
градиента. Сформулировать субдифференциальные аналоги теорем 2, 4, 5.
8. Пусть в задачах (43), (44) U =И= 0, А у= 0. Доказать, что тогда в
этих задачах существуют такие решения и* е £/#, _ Vg А*, что в_ правых
частях равенств и* (Аи* — Ь)г = 0 (i = 1, ..., тп), г? (с Агр* + AT[i*)i =
= 0 (i = 1, ...,$) (см. теорему 8) один из сомножителей отличен от нуля.
9. Пусть Uq — выпуклое множество из Еп, функции gi(u), ..., gm(u)
выпуклы на Uq, gi(u) ={di, u>—(i = m + 1, ..., 5). Доказать, что если
система неравенств gi(u) <0 (i == 1, ..., тп), gi(u) =0 (i = т + i, ..s)
не имеет решения на Uq, то существуют числа Xi 0, ..., Хт 0, Xm+i, ...
Xs такие, что Xigi(u) + ... + Xege(u) ^0 при всех ue UQ.
Указание: построить множества, аналогичные множествам А п В
из доказательства теоремы 2, и применить к ним теорему отделимости 5.2.
10. Пользуясь теоремой 3 (Фаркаша), доказать, что для несовмест-
ности системы линейных неравенств <е,, u> (i = 0, 1, ..., тп) необхо-
димо и достаточно, чтобы существовали такие числа Хо 0, Xi 0, ...
.. Хт 0, ЧТО Xq^O + X^i + . . • + =• 0, ХоЦо + pH 4" • • • + Хтр,гп < 0
(ср. с теоремами 5.9, 5.10) [321].
И. Доказать, что два непустых многогранных множества А = {и е Еп:
<в<, и> Ни i = 0, 1, ..., к} и В = {и е Еп: <е», и> р,г-, i = к 4- 1, ..., тп},
не имеющие общих точек, сильно отделимы.
k
Указание: рассмотреть гиперплоскость <с, и> = 7, где с = X.eit
i=o
fe
у = У числа Хо, ..Хт взяты из упражнения 10.
г=о
12. Доказать, что если система линейных неравенств <е0, и> < 0,
<еь и> 0, ..., {ет, и>^0 несовместна, то существуют такие числа
Х1 0, . . ., Хщ 0, ЧТО во = Х1в1 ... Xm^m«
Указание: воспользоваться теоремой 3 (Фаркаша).
13. Пусть система <е0, u> < р,о, <e<, u> (i = 1, ..., тп) несовмест-
на, а подсистема <в{, и> н< (&==!,•.т) совместна. Доказать, что тогда
существуют числа Xi 0, ..., Хт 0 такие, что е0 = —Xiei — ... — Xwem,
|Ло + Х1Ц1 + . . . + ХтпЦтп 0 [21].
Указание: в пространстве переменных (u, t) е En+i рассмотреть
систему <е0, и> — < 0, <e$, u> — 0 (i = 1, ..., тп), <0, u> —
и воспользоваться утверждением из упражнения 12.
Глава 5
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ
МНОГИХ ПЕРЕМЕННЫХ
Выше в гл. 3 был рассмотрен симплекс-метод для решения задач ли-
нейного программирования. Перейдем к изложению других методов ми-
нимизации функций конечного числа переменных;, не предполагая линейно-
сти рассматриваемых задач.
К настоящему времени разработано и исследовано большое число мето-
дов минимизации функций многих переменных. Мы ниже остановимся
лишь на некоторых наиболее известных и часто используемых на практике
методах минимизации. Будет дано краткое описание каждого из рассмат-
риваемых методов, исследованы вопросы сходимости, обсуждены некоторые
вычислительные аспекты этих методов. При этом мы ограничимся рас-
смотрением лишь одного — двух основных вариантов излагаемых методов,
чтобы ознакомить читателя с основами этих методов, полагая, что знание
основ методов облегчит читателю изучение литературы, позволит ему без
особого труда понять суть того или иного метода и выбрать подходящий
вариант метода или самому разработать более удобные его модификации,
лучше приспособленные для решения интересующего читателя класса задач.
В конце главы будут высказаны некоторые общие замечания по методам
минимизации.
Из обширной литературы, посвященной методам минимизации функ-
ций конечного числа переменных и их приложениям, мы можем здесь упо-
мянуть лишь весьма незначительную ее часть [3, 4, 7, 8, 10—13, 15, 16,
19—23, 25—27, 29, 30, 35, 38, 40—42, 44, 46—49, 52—58, 71, 72, 76. 78, 79,
81—89, 94, 96, 103, 106, 107, 109—113, 115, 116, 119, 122, 123, 126, 127, 129—135,
139—141, 143—159, 162, 163, 165—171, 173, 174, 176—178, 180, 183, 190, 191,
194, 196, 198, 200—203, 207—209, 213—218, 221, 224, 225, 227—231, 234, 235,
237, 238, 240—242, 245, 247, 248, 250, 254—259, 261, 262, 265—267, 269—272,
274, 276—279, 282, 284, 287, 288, 291—294, 296—299, 301, 302, 306, 307, 313,
314, 316, 318, 320-324, 329-340, 343].
§ 1. Градиентный метод
1. Будем рассматривать задачу
J(u)->inf; u^U^E\ (1)
предполагая, что функция J(u) непрерывно дифференцируема
на Еп, т. е. JС1 (Еп). Согласно определению 2.2.1 дифферен-
цируемой функции
J(u + h)— lz) + o(h\ u), (2)
S и
ГРАДИЕНТНЫЙ МЕТОД
261
где lim о (h; и) | h | 1 = 0. Если J' (и) =/= 0, то при достаточно ма-
|ЛНо
лых |Л| главная часть приращения (2) будет определяться диф-
ференциалом функции dJ(u)= </'(u), кУ. Справедливо неравен-
ство Коши — Буняковского
\ • |Л| hy^ |/'(u)| • \h\,
причем если J' (u)=7^0, то правое неравенство превращается в
равенство только при h = aJ' (u), а левое неравенство — только
при /'(и)=#0, где <z = const >0. Отсюда ясно, что при
направление наибыстрейшего возрастания функции J (и) в точке и
совпадает с направлением градиента /'(и), а направление
наибыстрейшего убывания — с направлением антиградиента
Это замечательное свойство градиента лежит в основе ряда
итерационных методов минимизации функций. Одним из таких
методов является градиентный метод, к описанию которого мы
переходим. Этот метод, как и все итерационные методы, пред-
полагает выбор начального приближения — некоторой точки uQ.
Общих правил выбора точки и0 в градиентном методе, как, впро-
чем, и в других методах, к сожалению, нет. В тех случаях,
когда из геометрических, физических или каких-либо других
соображений может быть получена априорная информация об
области расположения точки (или точек) минимума, то началь-
ное приближение щ стараются выбрать поближе к этой области.
Будем считать, что некоторая начальная точка и0 уже вы-
брана. Тогда градиентный метод заключается в построении по-
следовательности {ик} по правилу
Uk+i = ик - akJ' (ик), aft>0, к = 0, 1, ... (3)
Число из (3) часто называют длиной шага или просто шагом
градиентного метода. Если J' (ufc)=#0, то шаг aft>0 можно вы-
брать так, чтобы J(uk+i)<J(uk). В самом деле, из равенства (2)
имеем
J (“fe+1) — J (“а) = «а [— I J' (uk) I2 + о (оск) аГ1] < о
при всех достаточно малых ак > 0. Если J' (ик) = 0, то ик — ста-
ционарная точка. В этом случае процесс (3) прекращается,
и при необходимости проводится дополнительное исследование
поведения функции в окрестности точки ик для выяснения того,
достигается ли в точке ик минимум функции J(u) или не дости-
гается. В частности, если J(u)—выпуклая функция, то согласно
теореме 4.2.3 в стационарной точке всегда достигается минимум.
Существуют различные способы выбора величины ак в мето-
де (3). В зависимости от способа выбора аь можно получить
различные варианты градиентного метода. Укажем несколько
наиболее употребительных на практике способов выбора ак.
262 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
1) На луче {и^Еп: и = ик — aJ'(ик), а>0}, направленном
по антиградиенту, введем функцию одной переменной
А (а) = 7 (и*-а/'(“*)). а>0,
и определим из условий
fk (»h) = inf fk (a) = /ft„ aft > 0. (4)
a>0
Метод (3), (4) принято называть методом скорейшего спуска.
При J'(uk)^0 согласно формуле (2.3.1) /а(0) = —1/'(^)|2<0,
поэтому нижняя грань в (4) может достигаться лишь при ак > 0.
Приведем пример, когда величина aft, определяемая условием (4),
существует и может быть выписана в явном виде.
Пример 1. Пусть дана квадратичная функция
j (и) = 4“ (Аи> иУ
где А — симметричная положительно определенная матрица по-
рядка п X п, Ъ — вектор из Еп. Выше было показано, что эта
функция сильно выпукла и ее производные вычисляются по
формулам
J'(u) = Au-6; J"(u) = A.
Поэтому метод (3) в данном случае будет выглядеть так:
uA+1 = ик — ак(Аик — b), /с = 0, 1, ...
Таким образом, градиентный метод для функции (5) пред-
ставляет собой хорошо известный итерационный метод решения
системы линейных алгебраических уравнений Аи = Ь. Опреде-
лим ак из условий (4). Пользуясь формулой (4.2.10), имеем
A(a) = /(^)-a|/'(uA)|2 + (a72)<A/'(zzA), J'(ufc)>, a>0.
При J' (ик) Ф 0 условие Л (а) = — ] /' (izfe) |2 + a <AJ' (ufe),
/'(^)> = 0 дает
„ |^(М12 _ 1-Ч-*!2
* ~ <^' (”*)’r ЫГ> <А (Аик ~ b)> Auk - ь>
Поскольку функция fk (а) выпукла, то в найденной точке ак эта
функция достигает своей нижней грани при а>0. Метод ско-
рейшего спуска для функции (5) описан.
Однако точное определение величины ак из условий (4) не
всегда возможно. Кроме того, нижняя грань в (4) при некоторых
к может и не достигаться. Поэтому на практике ограничиваются
нахождением величины ак, приближенно удовлетворяющей ус-
ловиям (4). Здесь возможен, например, выбор ак из условий
/л. < fk («л)< fk* + 6л, 6л>0, S6ft = 6<oo, (6)
л=о
S 1]
ГРАДИЕНТНЫЙ МЕТОД
263
или из условий (9)
+0<Х<ХЛ<1. (7)
Величины 6ft, из (6), (7) характеризуют погрешность выпол-
нения условия (4): чем ближе бЛ к нулю или к единице, тем
точнее выполняется условие (4). При поиске аЛ из условий
(6), (7) можно пользоваться различными методами минимиза-
ции функций одной переменной (например, методами гл. 1).
Следует также заметить, что антиградиент (—J' (ик)) указы-
вает направление быстрейшего спуска лишь в достаточно малой
окрестности точки ик. Это означает, что если функция J(u) ме-
няется быстро, то в следующей точке ик+1 направление антигра-
диента (—J' (ик+1)) может сильно отличаться от направления
(—J'(uk)). Поэтому слишком точное определение величины
из условий (4) не всегда целесообразно.
2) На практике нередко довольствуются нахождением како-
го-либо аА>0, обеспечивающего условие монотонности: J(uk+l)<
< J (ик). С этой целью задаются какой-либо постоянной а > 0 и
в методе (3) на каждой итерации берут аЛ = а. При этом для
каждого к > 0 проверяют условие монотонности, и в случае его
нарушения ак = а дробят до тех пор, пока не восстановится мо-
нотонность метода. Время от времени полезно пробовать увели-
чить а с сохранением условия монотонности.
3) Если функция т. е. и гра-
диент J' (и) удовлетворяет условию
\J' (и) — J' (у) | ^L\u — v], u, v^En,
причем константа L известна, то в (3) в качестве ак может быть
взято любое число, удовлетворяющее условиям
О < е0 < «л < 2/(L + 2s), (8)
где 80, 8 — положительные числа, являющиеся параметрами ме-
тода. В частности, при 8 = L/2, &O = 1/L получим метод (3)
с постоянным шагом aft=l/L. Отсюда ясно, что если константа
L большая или получена с помощью слишком грубых оценок, то
шаг аА в (3) будет маленьким. Метод (3), (8) подробнее рас-
смотрим в следующем параграфе.
4) Возможен выбор ак из условия [11, 19, 56]
J(uk\-J(uh - akJ' (ик)) > 8aJ J' (ик) |2, 8 > 0. (9)
Для удовлетворения условия (9) сначала обычно берут некото-
рое число aft = a>0 (одно и то же на всех итерациях; напри-
мер, aft = l), а затем при необходимости дробят его, т. е. изме-
няют по закону aft = Va (i = 0, 1, ..., 0<Х<1) до тех пор, по-
ка впервые не выполнится условие (9).
264 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
5) Возможно априорное задание величин <xft из условий
ah>0, к = 0,1,...; Saft=oo, (Ю)
k=0 k=0
Например, в качестве а* можно взять ак = с(к+ 1)“а, где с==
»const>0, а число а таково, что 1/2<а^1. В частности, если
а=1, с = 1, то получим ал = (/с+1)~1 (& = О, 1, ...). Такой вы-
бор {aj в (3) очень прост для реализации, но не гарантирует
выполнения условия монотонности J (ик+1) < J (ик) и, вообще го-
воря, сходится медленно. Более подробно о методе (3), (10) см.
ниже в § 3.
6) В тех случаях, когда заранее известна величина J* —
s=infJ(u)>—оо, в (3) можно принять
Еп
ОСд, = (J (Цк) I J | 2
— это абсцисса точки пересечения прямой J = с касательной
к кривой / = А(а) = J(uk — aJ'(uh)) в точке (0, А(0)).
Допустим, что какой-либо способ выбора ак в (3) (например,
один из перечисленных выше способов) уже выбран. Тогда на
практике итерации (3) продолжают до тех пор, пока не выпол-
нится некоторый критерий окончания счета. Здесь часто исполь-
зуются следующие критерии:
—uft+1|^8, или \J(uh) — J(uk+l)\ ^6, или
где 8, 6, 7 — заданные числа. Иногда заранее задают число ите-
раций; возможны различные сочетания этих и других критериев.
Разумеется, к этим критериям окончания счета надо относиться
критически, поскольку они могут выполняться и вдали от иско-
мой точки минимума. К сожалению, надежных критериев окон-
чания счета, которые гарантировали бы получение решения за-
дачи (1) с требуемой точностью, и применимых к широкому
классу задач, пока нет. Сделанное замечание о критериях окон-
чания счета относится и к другим излагаемым ниже методам.
В теоретических вопросах, когда исследуется сходимость ме-
тода, предполагается, что процесс (3) продолжается неограни-
ченно и приводит к последовательности {ик}. Здесь возникают
вопросы, будет ли полученная последовательность {ик} миними-
зирующей для задачи (1), будет ли она сходиться к множеству
точек минимума
U* = \и е Епу J (и) = J* = inf J (u)l,
I Еп J
или, иначе говоря, выполняются ли соотношения
lim J (uft) = J*, lim p (uft, CT*) = 0? (11)
§ 1]
ГРАДИЕНТНЫЙ МЕТОД
265
Для положительного ответа на эти вопросы на функцию J(и),
кроме условия J(u)^Cl (Еп), приходится накладывать дополни-
тельные более жесткие ограничения.
2. Подробнее рассмотрим эти вопросы для метода скорейшего
спуска, когда в (3) величина aft выбирается из условия (6).
Теорема 1. Пусть J* = inf J (и) >— оо, J(u) <= С1*1 (Еп).
Еп
Тогда последовательность {иА}, полученная методом (3), (6), при
произвольном начальном приближении и0 такова, что lim J' (uk) ==
h->oo
— О. Если при этом множество M6(uQ)= {и^ Еп: J(u)^ J(uQ) + 6),
где 6 взято из (6), ограничено, то lim р (uk, S*) = 0, где
fe-»oo
= {и Мб (uQ): J' (и) = 0} — множество стационарных точек
функции J(u) на Mb(uQ).
Доказательство. Если при некотором к > 0 окажется,
что j'(uft) = O, то из (3), (6) формально получаем ^ = иЛ+1 = ...
и утверждения теоремы становятся тривиальными. Поэтому бу-
дем считать, что У'(иА)=И=О при всех А = 0, 1, ... Так как
J (^fe+i) = fk (я/0 < inf h (ос) + < J (uk — aJr (uk)) + при всех
a>0
a>0, то пз неравенства (2.3.7) при v = uk, u = uh — aJ' (uh)
имеем
J(uh)- J(uh+i) > J(uh)-J(uk- aJ' (uk)) - 6ft >
> al J' (uk) |2 - La2|J' (uk) 12/2 - 8k > a(l - aL/2) \J' (uh) I2 - 6fc
при всех a > 0 и к = 0, 1, ... Следовательно,
J (uk) — J (uk+1) > max a (1 — aL/2) | J' (uk) |2 — 6fe =
a>o
= (l/(2£)) | J'(uft) |2 — 6ft, к = 0,1,... (12)
Отсюда получаем
к = 0, 1, ... (13)
Так как J(uk)^J*Z>— оо (к = 0,1, ...), то из леммы 2.3.2 и
(13) следует существование предела lim J (ик)^ J*. Тогда
k^OO
lim (J (uk)— J(uk+1)) = 0 и из (12) будем иметь lim J' (uk) = 0.
fe-»oo fe->oo
Наконец, пусть множество M6(u0) ограничено. Суммируя не-
равенства (13) по к от 0 до тп — 1, получим
тп—1
J (um) < J (и0) + 2 6Ь < J (ип) + 6, m = 1, 2, ...,
Л=0
т. е. {uk} е Л/б(и0). По теореме Больцано — Вейерштрасса огра-
ниченная последовательность {ик} имеет хотя бы одну предель-
ную точку. Пусть и* — произвольная предельная точка {uk} и
{Uftm}-> Пользуясь непрерывностью J'(u), отсюда имеем
266 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
lim J' = J' (u#) = 0, т. в. S*. Так как расстояние р (и, S*)
непрерывно (см. лемму 2.1.2), то lim р (uftm, 5#) = р (и*, S*) = 0.
7П-*ОО
Отсюда следует, что числовая последовательность {р (ик, S*)}
имеет единственную предельную точку, равную нулю, т. е.
lim р (uft, 5*) =» 0. Теорема 1 доказана.
fe->00
Теорема 2. Пусть выполнены все условия теоремы 1 и,
кроме того, функция J(u) выпукла на Еп. Тогда для последова-
тельности {uk}, определяемой условиями (3), (6), имеют место
соотношения (11). Если, кроме того, в (6) {6J = O(fc“2), то спра-
ведлива оценка
0 J (uft) — с0 = const >0. (14)
Доказательство. Из ограниченности Мб(и0), непрерыв-
ности J(u) согласно теореме 2.1.2 имеем/*>> — оо,
U*cz Мъ(и0). Тогда для любой точки u*<~U* с помощью не-
равенства (4.2.4) получаем
о< J(uft) — J* = J(uft) — J(u*) < <J' (uft), uk — u*> <
< I (“ft) H “ft — u*\<d\J'(uk)\, fc = 0,l, ..., (15)
где d^diam Mj(ue)=, sup |u — v| —диаметр множества
u,»=M6(u0)
M6(u0). В теореме 1 было доказано, что lim J' (uk) = 0. Отсюда и
fe->oo
из (15) следует, что lim J (uh) = J*. Учитывая включение {uh} <=
fc->oo
^М&(и0), тогда с помощью теоремы 2.1.2 получаем второе из
равенств (11).
Докажем оценку (14). Обозначим ak = J(uk) — J Из нера-
венств (12), (15) имеем aft — 6ife+1 = J(wfe)—J(uft+1)Xl/(2L))X
Х|/'(^)|2 — 6A^a|/(2Ld2) — По условию 6ь = О(/с“2), т. е.
(fc = l, 2, Ci = const>0). Полагая А =
= max{ci; 2Ld2}, получим
“* ^л/^1Ч* f == 1» 2, ...
Отсюда и из леммы 2.3.5 при /о = (1, 2, ...I, Ц = 0 следует
оценка (14). Если 6А = 0 (А = 0, 1, ...), то оценка (14) вытекает
из неравенств (12), (15) и леммы 2.3.4. Теорема 2 доказана.
Теорема 3. Пусть }(и)&С*>1(Еп), J(u) сильно выпукла на
Еп. Тогда для последовательности {uh}, получаемой из (3), (6)
при любом начальном приближении и0, справедливы соотноше-
ния (11). Если при этом §ь = О(к~2), то имеет место оценка
(14). Если б*==0 (^ = 0, 1, ...), то верна более сильная, чем
(14), оценка
0 < J (ик) - J* < (J (и0) - J*} q\ (16)
I— и* I2(2/р)(J(^о) *^*)= 0,1, (17)
§ 1]
ГРАДИЕНТНЫЙ МЕТОД
267
где и*— точка минимума J (и) на Еп, g = 1 — |i/L, 0 q < 1, ц —
постоянная из теоремы 4.3.3.
Доказательство. Согласно теореме 4.3.1 множество
Л/б(и0) ограничено, J* >— оо, U* состоит из единственной точ-
ки и*. Поэтому равенства (11) и оценка (14) следуют из тео-
рем 1, 2. Докажем оценки (15), (16). Из (4.3.7) при i? = uA,
и = и* имеем
a-h = J («л) — J (“*) < <J' (Wfe), uk — u*> — x | uk — u* |2 <
< I J' (Uk) I • 1 uk — u* | — x | uh — u* |2 <
C sup (| J' (uk) ] z — xz2) = | J' (uh) |2/(4x),
t. e.
aft = /(^)-/(^)<|7,(“A)l2/(4x)I к = 0,1,... (18)
Подставив неравенство (18) в правую часть (12) при б* = О,
получим
2х
ак — ak+l ak = ah,
A: = 0,1, ...
В § 4.3 было установлено, что 2х = ц С L. Поэтому 0^5 =
= 1 —(ц/Л)<1, и предыдущее неравенство можно переписать
в виде 0 < ak+i аА(1 — ц/1/) = qak. Отсюда имеем ак^ qak-^
< q2ah-2^ ... < qhaQ, что равносильно оценке (16). Наконец, из
неравенства (4.3.2) следует
XI ик — и* I2 < J (ик) — J (и*) = ак,
/с = 0,1, ...
Отсюда и из (16) получим оценку (17). Теорема 3 доказана.
Метод скорейшего спуска имеет простой геометрический
смысл: оказывается, точка ик+1, определяемая условиями (3),
(4), лежит на луче Lk = {u: u = uh — aJ'(uk), а>0} в точке его
касания линии уровня (при п > 3 — поверхности уровня) I\+i =
= {и^Еп: J(u) = J(uk+i)}, а сам луч Lk перпендикулярен к ли-
нии уровня Vk~{u^En*. J(u) = J(uh)} — см. рис. 5.1 и 5.2. В са-
мом деле, пусть u = u(t), a^t^b — некоторое параметрическое
уравнение линии уровня 1\, т. е. J(u(t)) = J(uk) = const, а t
< Ь, причем u(t^-=uh. Тогда J (u(t)} = <J' =
a^t^b. В частности, при t = t0 имеем <J'(tzfc), u(tQ)) = 0. Это
означает, что градиент (или антиградиент) J'(ик) перпендику-
лярен к касательному направлению поверхности уровня 1\ в точ-
ке ик, или, иначе говоря, луч Lk перпендикулярен к 1\. Далее,
из условия (4) при ак > 0 получаем fk (ак) = — <J' (ик — akJ' (ик)),
J‘ (^fe)> = ~ (^fe+i), J' (ик)У = 0. Но вектор J' (ик+1) перпенди-
кулярен к rfe+1 в точке ик+1, поэтому последнее равенство озна-
чает, что направление J'(uk) и, следовательно, луч Lk являются
касательными к линии уровня ГЛ+1 в точке ик+1.
268 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
3. Из рис. 5.1 и 5.2 можно понять, что чем ближе линии
уровня J(u)== const к окружности, тем лучше сходится метод
скорейшего спуска. Это же явление можно усмотреть и из оце-
нок (16), (17) —чем ближе yJL к единице (для функции 7(a) =
» |u|2, у которой линиями уровня являются окружности (сфе-
ры), как раз имеем p/L = l), тем ближе q к нулю и тем лучше
сходимость.
Те же рис. 5.1 и 5.2 показывают, а теоретические исследова-
ния и численные эксперименты подтверждают, что метод скорей-
шего спуска и другие варианты градиентного метода медленно
сходятся в тех случаях, когда поверхности уровня функции J (и)
сильно вытянуты и функция имеет так называемый «овражный»
характер. Это означает, что небольшое изменение некоторых пе-
ременных приводит к резкому изменению значений функции —
эта группа переменных характеризует «склон оврага», а по ос-
тальным переменным, задающим направление «дна оврага»,
функция меняется незначительно (на рис. 5.2 и 5.3 изображены
линии уровня «овражной» функции двух переменных). Если
точка лежит на «склоне оврага», то направление спуска из этой
точки будет почти перпендикулярным к направлению «дна овра-
га», и в результате приближения {uft}, получаемые градиентным
методом^ будут поочередно находиться то на одном, то на дру-
11]
ГРАДИЕНТНЫЙ МЕТОД
269
гом «склоне оврага». Если «склоны оврага» достаточно круты, то
такие скачки «со склона на склон» точек ик могут сильно замед-
лить сходимость градиентного метода.
Для ускорения сходимости этого метода при поиске миниму-
ма «овражной» функции можно предложить следующий эвристи-
ческий прием, называемый овражным методом. Сначала опишем
простейший вариант этого метода. В начале поиска задаются две
ТОЧКИ Vo, V1, из которых производят спуск с помощью какого-
либо варианта градиентного метода, и получают две точки и0,
щ на «дне оврага». Затем полагают
v2 = Щ — (Ui — u0) IUi — uol-1fe sign(7(uj) — J(u0)),
где h — положительная постоянная, называемая овражным ша-
гом. Из точки i?2, которая, вообще говоря, находится на «склоне
оврага», производят спуск с помощью градиентного метода и
определяют следующую точку и2 на «дне оврага».
Если уже известны точки и0, ии ..., ик то из точки
1>л+1 = ик - (и* - M*_t) |u* - sign [J(uh) - J (i^-J] (19)
совершают спуск с помощью градиентного метода и находят сле-
дующую точку иЛ+1 на «дне оврага» (см. рис. 5.3; спуск из точ-
ки vk в точку состоящий, быть может, из нескольких итера-
ционных шагов градиентного метода, условно изображен отрезком
прямой, соединяющей точки vA, & = 0, 1, ...).
Величина овражного шага h подбирается эмпирически с уче-
том информации о минимизируемой функции, получаемой в ходе
поиска минимума. От правильного выбора h существенно зависит
скорость сходимости метода. Если шаг h велик, то на крутых
поворотах «оврага» точки vk могут слишком удаляться от «дна
оврага» и спуск из точки vk в точку ик может потребовать боль-
шого объема вычислений. Кроме того, при больших h на крутых
поворотах может произойти выброс точки vk из «оврага», и пра-
вильное направление поиска точки минимума будет потеряно.
Если шаг h слишком мал, то поиск может очень замедлиться и
эффект от применения овражного метода может стать незначи-
тельным.
Эффективность овражного метода может существенно возрасти,
если величину овражного шага выбирать переменной, реагирую-
щей на повороты «оврага» с тем, чтобы: 1) по возможности быст-
рее проходить прямолинейные участки на «дне оврага» за счет
увеличения овражного шага; 2) на крутых поворотах «оврага»
избежать выброса из «оврага» за счет уменьшения овражного
шага; 3) добиться по возможности меньшего отклонения точек vk
от «дна оврага» и тем самым сократить объем вычислений, тре-
буемый для градиентного спуска из точки vk в точку ик (& ==
== 0, 1, ...). Интуитивно ясно, что для правильной реакции на по-
ворот «оврага» надо учитывать «кривизну дна оврага», причем
270 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
а постоянная
определяется
венстве (20)
с 1 является п
из (19) при h = h}
связана с «кривш
информацию о «кривизне» желательно получить, опираясь на ре-
зультаты предыдущих итераций овражного метода.
В работе [276] предлагается следующий способ выбора овраж-
ного шага:
= ^.cC0saft-C0sa^-i, к = 2, 3, .. (20)
где afe — угол между векторами vk — uk-i, ик — ик_^ определяемый
условием
cos ак = <vh - ик_^ ик - I vk - Ufe-iI-1 \uk - I-1,
раметром алгоритма. Точка vk+i
.i. Разность cos — cos o^-i в ра-
гой дна оврага» и, кроме того,
обладает важным свойством
указывать направление изме-
нения «кривизны». А имен-
но, при переходе с участ-
ков «дна оврага» с малой
«кривизной» на участки с
большей «кривизной» будем
иметь cos ак — cos ak-i < 0
(см. рис. 5.4). Тогда в силу
(19) hk+i<hk, т. е. овраж-
ный шаг уменьшается, при-
спосабливаясь к повороту
«дна оврага», что в свою
очередь приводит к умень-
шению выбросов точки Vh±i
на «склоны оврага». При пе-
реходе с участков «дна овра-
га» с большой «кривизной»
на участки с меньшей «кривизной», наоборот, cosaft —cosaft-i>0,
поэтому овражный шаг увеличится и появится возможность срав-
нительно быстро пройти участки с малой «кривизной», в частно-
сти, прямолинейные участки на «дне оврага». Если «кривизна дна
оврага» на некоторых участках остается постоянной, то разность
cos ак — cos ал-! будет близка к нулю, и поиск минимума на та-
ких участках будет проводиться с почти постоянным шагом,
сформированным с учетом величины «кривизны» при выходе
на рассматриваемый участок.
Параметр с в равенстве (20) регулирует «чувствительность»
метода к изменению «кривизны дна оврага», и правильный вы-
бор этого параметра во многом определяет скорость движения по
«оврагу». Некоторые эвристические соображения по поводу вы-
бора с и другие аспекты применения овражного метода обсуж-
дены в [276]. Выражение (20) для овражного шага удобнее пре-
S 1] ГРАДИЕНТНЫЙ МЕТОД 271
образовать так:
= fy/0Saft-C0Sab-l = ^_1CC0Safc-C0Sab-2 = . . . = fc/03^-003®!,
откуда имеем
hk+1 = ЛсС03а\ А = fe2c“cosai = const >0, к = 2,3, ...
Другой способ ускорения сходимости градиентного метода за-
ключается в выборе подходящей замены переменных ^ = g(£)=s
= (gi(^)7 ..., gn(^)) с тем, чтобы поверхности уровня функции
^(?(Ю)===^(^) в пространстве переменных .*., |п) были
близки к сферам. Заметим, что G'(^) = (gz (^))r/'(g(^)), где
g' (£) Q)} — матрица, i-я строка которой представляет со-
бой gi (g) = (g.gl (£), ..., g^n (£)), a (gz (£))T — матрица, получен-
ная из g' (%) транспонированием. В пространстве переменных
градиентный метод выглядит так:
₽ft>0, fc = o, 1,...
В пространстве исходных переменных u = (u4, ..., ип) этот
подход можно трактовать как итерационный процесс вида
Uk+i = UkAkJ' (uk), > 0, к = 0, 1, ...,
где Ah — некоторая невырожденная матрица порядка п X п, пред-
ставляющая собой параметр метода. То, что на этом пути можно
добиться существенного ускорения скорости сходимости итера-
ций, подтверждается, например, излагаемым ниже методом Нью-
тона, в котором полагается Ak = (J" (uft))~4 (7с = 0, 1, ...). О ме-
тодах минимизации овражных функций и различных приемах
ускорения сходимости итерационных методов см. [4, 19, 54, 111,
229, 238, 250, 258, 284, 307, 314, 336].
4. Исследуем сходимость другого варианта градиентного метода (3),
в котором параметр а& определяется из условия (9) с помощью дробления.
А именно, пусть 1 < 8 < 2, a > 0 — фиксированные числа, а i 0— наи-
меньший номер, для которого выполняется неравенство [11, 19, 56]
J(uh) -1(ик-2-Ш'(ик)) >2^"1ae[7'(^)|2, (21)
и пусть
aA = a/2<. (22)
Теорема 4. Пусть в задаче (1) <7* > — ^*=75=0» функция
J(u) выпукла на Еп, J(и) е С1>1 (Еп). Тогда для последовательности {нл}»
определяемой методом (3), (21), (22), имеют место соотношения (И) и, бо-
лее того, существует точка у» такая, что
| P(«ft+1. V*), Л = о, 1, (23)
причем равенство в (23) возможно лишь при и* — uJi_^1 = ... = о*; спра-
ведлива оценка
0 < J (ufe) - Л < {min {(2—e)/(2L); a}}"1 (2/е) | aQ - р/с”1 = О (1/Л),
А=1, 2, .... (24)
272 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
и если U—-аффинное множество, то v* = ш. е. и*—ближайшая
к и0 точка из U*.
Доказательство. Сначала покажем возможность выбора ал из
условий (21), (22). Пусть j 0 — наименьший номер, для которого
L • 2”% 2 — е; (25)
здесь L > 0 — константа Липшица для J'(u). Из неравенства (2.3.7) при
v = и^ и = Uk — 2~jaJ'(uk) с учетом (25) имеем
7(uft) -J(uk-2~iaJ'(uh)) ^<J'(uk), 2“WX(uA)> - L - 2^“1a|7'(w0 |2 =
= 2“i~1a(2 - 2->aL) 17х(uk) |2 > 2^-1ae|7'(uft) |2. (26)
Это значит, что при i = j неравенство (21) выполняется, и, следовательно,
минимальный номер 0, при котором справедливо (21), существует и не
превышает номера j из (25). Покажем, что для ал из (21), (22) справедли-
ва оценка
ak>min {(2-e)/(2L); а}, £ = 0,1,... (27)
Сначала рассмотрим случай a > (2 — e)/(2L). Тогда оказывается,
ал > (2 — e)/(2L) при всех к — 0, 1, ... В самом деле, для номера / из (25)
в этом случае имеем 2~ja (2 — s)/L < 2~^‘+1a (/ ^0). Поэтому с учетом
правила выбора номера г, определения ал из (22) и неравенства i /
получим ал = а/2га/2^ > (2 —e)/(2L). Пусть теперь а (2 — e)/(2L).
Тогда неравенство (25) ц, следовательно, (26) выполняется при j = 0.
Отсюда и из (21) следует, что i = 0. Согласно (22) тогда аь = а/2°=а
(к = 0, 1, ...). Объединяя оба рассмотренных случая, приходим к оцен-
ке (27).
Далее, возьмем любую точку и* <= £7*. Из (3), (21), (22) и теоремы
4.2.2 имеем
(е/2) aft | 7х |2 < — J (wft+1) < J (w&) — J (“*) < </' (M&), uk ~ “*>•
(28)
Кроме того, из (3) следует | uk+i — и* |2 = [ uk |2 = —
— u* (2— 2afe uk — a^ | J' |2. Отсюда с учетом оценки (28)
получаем
|uft+1-u.|2<|uft-u.|2-(8-l)a||J' (Uft)|2, 1 < e < 2. (29)
Следовательно,
I“fe+1 — —M*|2< “*!2 (30)
Из (30) вытекает существование предела lim I uk — I2 и ограничен-
fe-»oo
ность последовательности {uk}. Тогда найдется подпоследовательность
{Ufe7nV сходящаяся к некоторой точке и*. Из (27), (29) следует, что
{/' (у*) = 0. По теореме 4.2.3 тогда и* е U*. Приняв и* = р*,
пз (30) получаем lim I и, — v* I = lim I иъ — г* I = 0, т. е. вся последо-
fe->oo m->oo । 771 I
вательностъ {и^ сходится к точке v*. Отсюда и из (29), (30) следуют
неравенства (23). Как видно из (29), равенство в (23) возможно лишь при
7х(ик) =0. Тогда в силу теоремы 4.2.3 uk = и* U*, и процесс (3), (21),
(22) на этом заканчивается.
§ 1]
ГРАДИЕНТНЫЙ МЕТОД
273
Докажем оценку (24). Обозначим = — Из (28), (30) при
w* — v* имеем
(e/2)aft|J'(uft)|2<aft-aft+1, ак < | Г (uh) 11 uQ - v* |, fc = 0, 1, ...
Отсюда с учетом (27) получаем ak — aft+1 (е/2) min {(2 — е) / (2А); a} X
Х| uQ — (к = 0, 1, ...). Из леммы 2.3.4 тогда следует оценка (24).
Наконец, пусть С7ф — аффинное множество. При &->оо из (30) имеем
| г* — и* |2 | uQ— u*|2 при любом и* е Z/ф. В частности, в этом нера-
венстве можно взять u#= г>ф + a (wQ) — v*) = U*, a > 0. Получим
I Mo“ va I2 >| p* - ”a I2 = | (”* - »0) - (”a - %) |2= I p* - Mo |2 + | t’a-Mo|2-
-2<v*-u0> t>a — «0> = | t»a — uQ |2—1— u0 |2 — 2a — u0,
— Рф> или
| у» — w012 > 2a | у* — (м0)I2 + 2a (wQ) (%)>.
Отсюда с учетом равенства (4.4.2) имеем ] v* — uj2 2a | v* — (u0) |2
при всех a > 0. Разделив это неравенство на a > 0 и устремив a -> оо, по-
лучим Рф = (ы0). Теорема 4 доказана.
5. Следуя [229], рассмотрим метод, представляющий собой комбина-
цию несколько модифицированного метода (3), (21), (22) и овражного
метода.
Возьмем начальные приближения: v0 е Еп, Ьо = 1, a_j > 0, положим
u-i — vQ. Пусть для некоторого к 0 уже известны vk е Еп, bk 1, oa-i >
> 0, u,k-\ е Еп. Определим наименьший номер i 0, для которого выпол-
няется неравенство
J(vk)-J(vk-2-iak-lJ'(vk)) (31)
Далее, положим
ak = aft-i/21’, uk = Vk — aft7'(pft), (32)
1 / /~ " \ 1
6*+i = T P + V4bk+1 • vk+i = uk + ~b—r(uk-uk-i')- <33)
\ / 1
Таким образом, в описанном методе (31) —(33) спуск из точки Vk на «дно
оврага» осуществляется по формулам (31), (32) с помощью одного шага
градиентного метода (3) с правилом выбора параметра а&, близким к (21),
(22). Здесь возможно использование некоторых других вариантов градиент-
ного метода, например, по аналогии с (8) в (32) можно взять а& = 1/L.
Как видно из (33), пересчет точки Vk осуществляется с помощью овражно-
го метода по формуле, близкой к (19). Первое из равенств (33) представ-
ляет собой правило пересчета длины овражного шага; величина bk+i яв-
ляется положительным корнем квадратного уравнения х2 — х — Ь2 = 0,
так что
Ь1+1~Ьь+1 = Ъ1 6о=1- bft>0, У * = 0,1, ... (34)
С помощью индукции нетрудно получить оценку
bk > к, к = 1, 2, ... (35)
Теорема 5. Пусть функция J(u) выпукла на Еп, J(и) еС1,1 (Еп),
J*> — оо, последовательность {uk} определена методом
274 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
(31) - (33). Тогда.
О < J < (mi“{V(2Z-); a.J)-1 (2% (J (wQ) — J*) +
4- inf |и-и0|2)/(2А2) = О(1/Л2), fc = l,2, ... (36)
ll €=17*
Доказательство. Пусть j 0 — наименьший номер, для которого
2-^-х 1/L. (37)
Нетрудно видеть, что тогда
7(ра) > 2-^ak^\J'(vh) |2; (38)
это неравенство доказывается так же, как (26). Отсюда следует существо-
вание номера 1^/, удовлетворяющего неравенству (31). Рассуждая так же,
как при доказательстве оценки (27), из (31), (32), (37), (38) с помощью
индукции получаем
ctfc min {1/(2L); a-J, Л = 0, 1, ... (39)
Обозначим рл= (Ьл—-1)(ил-1 —ил). Тогда из (33) следует
г>л+1 = Uk — Pk/bk+ь Pk=bk+i(uk—Vk+i). (40)
Далее, с учетом (32), (40) имеем
рл+1 — Uk+l ==! (bfc+i — 1) (Uk — Uk+l) — Uk+\ = bk+i (uk — пл+1) — Uk ==
= bk+i(uk — Vk+i + (vk+\)) — Uk = Pk — Uk 4- cik+ibk+Jr(vk+i)t
Тогда для любого u* e CZ* получаем
Ph+1- “ft+x+“»l2= 1 Ph-uh + “*l2+ 2aft+xbft+x<7' (pfe+l)’ pft-“ft+“*>+
+aft+x6ft+ll/'(pft+x)l2«
или с учетом (40)
I Ph+1 - «й+1+ “*|2 -1 Ph - Uh + и* I2 < 2aft+1 </' (Pft+1), (bh+1pk - ph) +
+ {Pk~ 6ft+i“ft) + 6ft+i“»> + aft+ibft+iIJ> (“ft+i) 12= 2aft+x(bft+i~
X<7,(Ph+l)’ Pft>+ 2aft+l6ft+l<7, (Pft+x)’ “* — “л+1>+ “ft+l6ft+xl J> (pft+x) |2»
Л = 0, 1, ... (41)
Заметим, что (31) с учетом (32) можно переписать в виде 7(у*) — 7(»л)
(»л/2) |7'(рл) |2. Для к + 1-й итерации это неравенство имеет вид
J (aft+1) > J (uh+1) + 4 aft+11 Г |2. (42)
Из теоремы 4.2.2 с учетом (42) получаем
1
(“ft+x). “ft+x^ J (“♦) ~~ Al’ft+x)</»-/(“ft+x)-TaA+il/'(l’ft+x)l2-
(43)
Далее, из теоремы 4.2.2 и из (40), (42) следует
(a*+i/2)|7'(p*+i)l2^ 7(f*+i) — J(a*+i) J(uk) —<7,(p*+i), a/, —p/,+i> —
—/(uk+0 =/(«*) — J(u*+i) — <7'(аЛ+1), px>/b*+1,
откуда
<T(va+1). Pk> &ft+i((7(uft) - J(u»+1)) - (a*+I/2) | J'(vk+1) p). (44)
ГРАДИЕНТНЫЙ МЕТОД
275
§ 1]
Обозначим aft= J(ufe) —Подставим оценки (43), (44) в (41).
С учетом (32), (34) получим
I Р&+1 - “м-1 + и*|2 “ I Ph-uk + и* |2<
2ak+l (Ьй+1 ~ 9 Ьк+1 (afe — afe+l — (аЛ+1/2) I J' (уЛ+1) |2) +
+ 2ай+1ЬМ-1 (— “fe+l — (afe+l/2) I J' (vk+l) I2) + al+l6l+l I J' (vk+l) I2 =
= 2ah+l&feak — 2аЫ-Л+1 + ЬЛ+1) 2акЬкак ~ 2ак+1Ьк+1ак+1'
Таким образом,
I Pm+l H~ M* | | Pm um ~t~ u* | ^am+l^m+iam+v
m = 0, 1, ...
Суммируя эти неравенства по тп от 0 до некоторого т = к — 1, получим
| Рк - ик + “* I2 + 2акЬкак < 2aoboao +1 Ро - “о + “* I2-
Отсюда с учетом равенств b0 = 1, = 0, оценок (35), (39), произвольности
выбора точки и* из С7# приходим к оценке (36). Теорема 5 доказана.
Отметим, что метод (31) — (33) не обеспечивает монотонное убывание
функции J(u) на последовательностях {иь}, {рь}« Сравнение оценок (24)
и (36) показывает, что для выпуклых гладких задач овражный метод имеет
более высокую скорость сходимости, чем градиентный метод (3), (9).
В [228] показано, что оценка J (uk) — J* = o(i/k2) является неулуч-
шаемой на этом классе функций среди всех методов, использующих лишь
значения 7(п), J'(u).
6. Кратко остановимся на непрерывном аналоге градиентного метода.
Для этого- перепишем формулу (3) в безындексной форме, приняв иь — u(t),
Uk+i — u(t + Дг), = Дгр(г), дг > 0, Р (г) > 0. Получим
(п(г + Дг)—п(г))/Дг==—р(г)7'(а(г)), u(O)=uo.
Отсюда, формально переходя к пределу при Дг->Ч-О, придем к следующей
задаче Коши:
п(г) =—₽ (»(^))» t 0; u(O)=uo. (45)
Задача (45) представляет собой непрерывный аналог градиентного метода,
а исходный процесс (3) является методом ломаных Эйлера для решения
задачи (45). Понятно, что задачу Коши (45) можно решать и другими чис-
ленными методами, которые, возможно, будут сходиться быстрее метода
Эйлера и лучше приспособлены для минимизации овражных функций
[4, 13, 39, 54, 258].
Определение 1. Траекторию (решение) и (г) задачи (45) будем
называть минимизирующей, если и (г) определена при всех г^0 и
lim J (и (г)) = «7*.
t->oo
Ограничимся следующей теоремой о сходимости метода (45).
Теорема 6. Пусть функция J(и) сильно выпукла на Еп и J(и) е
е С1’ функция ^(г) определена,, непрерывна и £(г) р0 > 0 при всех
г 0. Тогда траектория задачи (45) при любом выборе начальной точки Uq
является минимизирующей и сходится к точке минимума и* с оценкой
I и («) — “* К I % — м* | ехР {— РРог}’ * °’ (46)
где постоянная р, взята из теоремы 4.3.3.
Доказательство. Прежде всего заметим, что по теореме 4.3.1
точка минимума и* функции J(u) на Еп существует и единственна, а по
276 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
теореме 4.2.3 J' (и*)= О- Далее, из доказываемой ниже теоремы 6.1.1
следует, что траектория задачи (45) определена при всех t 0 для любой
начальной точки ио. Положим
V (t) = I и (t) — u* |2/2, t > 0.
Тогда с учетом условий (45) и теоремы 4.3.3 имеем
V (t) = <м («) — W*, И (t)> = — 0 (t) </' (u (0) — J' (и*}, и (t) — и*> <
<-li₽0|u(«)-u*l2 = -2fifJ0r(t). *>0; V (0) = | uQ - и* |г/2.
d
Отсюда следует (7 (0 ехр {+ 2p$0Q) <0 (t > 0). Интегрируя это
неравенство, получим
0 < V (I) < V (0) ехр {- 2n₽ot} = | и0 - и, |2 ехр {- 2ц₽0«}/2,
что равносильно оценке (46). В силу непрерывности функции J(u) тогда
lim J {и (t)) = J*, что и требовалось.
/-»ОО
Пользуясь терминологией, принятой в теории устойчивости обыкновен-
ных дифференциальных уравнений [9, 172, 251, 295], можно сказать, что
в теореме 6 доказана асимтотическая устойчивость системы (45) относи-
тельно точки равновесия и* этой системы. Для доказательства этого фак-
та использован второй метод Ляпунова, в качестве функции Ляпунова была
взята функция (47). В связи с этим полезно заметить, что при исследовании
многих методов минимизации явно или неявно используется второй метод
Ляпунова или его дискретный аналог; в качестве функции Ляпунова наряду
с (47) часто используются также функции V (t) = J (и (t)) — J*, V(t) =
= |Z'(u(£)) |2 и др. Систематическое исследование сходимости методов
минимизации с помощью метода Ляпунова проведено в [49].
Существуют и другие дифференциальные уравнения, траектории кото-
рых являются минимизирующими. Например, так называемый метод тя-
желого шарика [4] заключается в рассмотрении системы дифференциальных
уравнений
6(0 + Y»(0 + ^'(а(0) в 0, t 0, = const > 0.
Оказывается, траектории этой системы при довольно широких предполо-
жениях сходятся к точке минимума функции J(u) на Еп, причем скорость
сходимости, вообще говоря, выше, чем у траекторий системы (45).
7. В заключение отметим, что градиентный метод, вообще говоря, хо-
рошо работает лишь на первых этапах поиска минимума, когда точки ик
из (3) не слишком близки к точке минимума и*, а вблизи точки и* рас-
стояние | uk — и* | часто перестает уменьшаться, сходимость метода ухуд-
шается. Это связано с тем, что в окрестности точки минимума градиент
J'(uk) близок к нулю, главная линейная часть приращения J (uk) — J (а*),
на базе которой выбирается направление спуска в методе (3), становится
малой, учитывается влияние квадратичной части приращения, метод (3)
становится слишком чувствительным к неизбежным погрешностям вычис-
лений. Поэтому вблизи точки минимума при необходимости пользуются бо-
лее точными и, вообще говоря, более трудоемкими методами, лучше учи-
тывающими не только линейные, но и квадратичные части приращения.
Упражнения. 1. Описать различные варианты градиентного мето-
да для задачи из примера 2.2.1.
2. Установить сходимость метода скорейшего спуска для функции (5);
описать другие варианты градиентного метода для этой функции.
( 2] МЕТОД ПРОЕКЦИИ ГРАДИЕНТА 277
3. Рассмотреть метод скорейшего спуска и другие варианты градиент-
ного метода для задачи минимизации функции J(и) = |Ли — &|2, ue£n,
где А — матрица порядка т X п, Ъ е Ет; исследовать их сходимость.
4. Рассмотреть метод скорейшего спуска для минимизации функций
J(а) = х2 + ау2, и = (ж, у) e J(и) = х2 + у2 + лз2, и = (х, у, z) е Е3,
при различном начальном приближении ио, считая коэффициент а намного
больше единицы.
5. Доказать теоремы 1, 2 для метода (3), (7).
§ 2. Метод проекции градиента
1. Будем рассматривать задачу
inf; u^U^En, (1)
где множество U необязательно совпадает со всем простран-
ством Еп, а функция Непосредственное применение
описанного выше градиентного метода в случае U ^Еп может
привести к затруднениям, так как точка из (1.3) при ка-
ком-то к может не принадлежать U. Однако эту трудность
можно преодолеть, если полученную с помощью формулы (1.3)
точку uh--akJ' (ик) при каждом к проектировать на множество U
(см. определение 4.4.1). В результате мы придем к так назы-
ваемому методу проекции градиента.
А именно, пусть uQ е U — некоторое начальное приближение.
Далее будем строить последовательность {иА} по правилу
uA+1 = ^(uft-aftZ'(ufc)), fc = 0, 1, (2)
где аА — положительная величина. Если U — выпуклое замкну-
тое множество и способ выбора {аА} в (2) задан, то в силу тео-
ремы 4.4.1 последовательность {иА} будет однозначно определять-
ся условием (2). В частности, при U = En метод (2) превратит-
ся в градиентный метод.
Если в (2) на некоторой итерации оказалось uA+1 == ик (на-
пример, это случится при J(uA) = 0), то процесс (2) прекращают.
В этом случае точка ик удовлетворяет необходимому условию
оптимальности ик = &и(ик —akJ'(uk)) (см. теорему (4.4.3), и для
выяснения того, является ли в действительности ик решением за-
дачи (1) или нет, при необходимости нужно провести дополни-
тельное исследование поведения функции J (и) в окрестности
точки ик. В частности, если J(u) — выпуклая функция, то такая
точка ик является решением задачи (1).
В зависимости от способа выбора ak в (2) можно получить
различные варианты метода проекции градиента. Укажем не-
сколько наиболее употребительных на практике способов вы-
бора а*.
1) Введем функцию одной переменной А(а)в/(Л(к*-
— aJ' (ик)) (а > 0) и определим ак из условий
fk (а&) = inf fk (а) “ fkj > 0. (3)
а>о *
278 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Очевидно, при U = En метод (2), (3) превратится в метод ско-
рейшего спуска. Поскольку величину из условий (3) удается
найти точно лишь в редких случаях (возможно также, что ниж-
няя грань в (3) не всегда достигается), то на практике оп-
ределяют приближенно из условий типа (1.6) или (1.7).
2) Иногда приходится довольствоваться нахождением какого-
либо аА>0, обеспечивающего условие монотонности: У(ыА+1)<
<J(uA). Для этого обычно выбирают какую-либо постоянную
а>0 и в методе (2) на каждой итерации берут аА = а, а затем
проверяют условие монотонности и при необходимости дробят ве-
личину = а, добиваясь выполнения условия монотонности.
3) Если функция J(u) принадлежит и константа
Липшица L для градиента J'(и) известна, то в (2) в качестве
можно взять любое число, удовлетворяющее условиям
О < 80=^ ah ^2/(L + 2s), (4)
где 80, 8 — положительные числа, являющиеся параметрами
метода.
4) Возможен выбор ah из условия
/(uft) - J(ик - а*/' (ил))) > е 1 ик - (uk - akJ' (ик)) |2, (5)
где 8 > 0 — параметр метода. Для определения такого ак можно
взять какое-либо число ак = а (например, а = 1) и затем дробить
его до тех пор, пока не выполнится условие (5). Если J(u)^
то можно показать, что выполнения условия (5) мож-
но добиться за конечное число дроблений.
5) Возможно априорное задание величин ah из условий
0, к = 0, 1, ..2^=0°, 2 °°? (6)
fe=o fe=o
например, а^ = (/с + 1)~1 (& = 0, 1, ...). Сходимость метода (2),
(6) будет исследована в § 3.
Заметим, что описанные здесь варианты метода (2) при U =
= Еп переходят в соответствующие варианты градиентного
метода.
На практике для ускорения сходимости вместо (2) часто
пользуются более общим вариантом метода проекции градиента
uh+i = uh+$k(uk - akJ' (uh) )-uk) =
= ^l7(^-aft7'(^)) + (l-^)uft, 0<pA^l, aft>0, (2')
где параметры <zft, $к могут выбираться различными способами.
Заметим, что в методах (2) или (2') на каждой итерации,
кроме выбора параметров aft, нужно еще проектировать точ-
ку на множество U или, иначе говоря, решить задачу мини-
мизации
Фл(и)= |u —(uA —(uk)) I2-> inf, ut=U\ (7)
МЕТОД ПРОЕКЦИИ ГРАДИЕНТА
279
§ 2]
здесь возможно использование функции ФА(и)= |w — uft|2 +
+ 2aft<J' (ик), и — иА>, отличающейся от предыдущей функции
постоянным слагаемым. Задачу (7) можно решать приближенно
и вместо точки uft+i е [7, Фд(^+1) = inf Ф&(ы) = Фн* определить
и
ее приближение zk+i из условий
zk+i ^U: Фк (zh+1) Ф^ + 61. (8)
Предполагая, что U — выпуклое замкнутое множество, из (8)
с помощью неравенства (4.3.3) имеем —ий4.1|2^Ф^(г&+1)—
— Фй (uk+1) < 61 или
zk+l s |zft+1 UA+1I 6*.
Конечно, задачи (7), (8) далеко не всегда просто решаются.
Поэтому методом проекции градиента обычно пользуются лишь
в тех случаях, когда проекция точки на множество легко опре-
деляется. Например, когда множество U представляет собой шар
в Еп, параллелепипед, гиперплоскость, полупространство или по-
ложительный октант (см. примеры 4.4.1—4.4.6), задача проек-
тирования точки решается просто и в явном виде, и реализация
каждой итерации метода проекции градиента в этом случае не
вызывает особых затруднений. Если же задача проектирования
для своего решения в свою очередь требует применения тех или
иных итерационных методов, то эффективность метода проекции
градиента, вообще говоря, значительно снижается.
2. Остановимся на вопросах сходимости метода (2), (4).
Теорема 1. Пусть U—выпуклое замкнутое множество из
Еп, функция J (^)^С1,1 (U), inf J (и) = — оо. Тогда для по*
следовательности {ик}, полученной методом (2), (4) при любом
начальном приближении uQ, имеет место соотношение lim | —
fe->oo
— uk | =s 0. Если при этом множество M(u0) = {u: u^U, J(u)^
J(uQ)} ограничено, то limp (uk, S*) = 0, где S* = {ш u^M(u0)t
k-^oo
<J' (u), v — иУ > 0 при всех v^U} — множество стационарных
точек функции J(u) на М(и0).
Доказательство. Из неравенства (2.3.7) при v = uk, и —
== uk+l имеем
J(uk)-J(uk+l)><J'(uk), uk-uk+i> — (L/2) |uft —us+1|2,
к = 0, 1, ... (9)
Из (2) и теоремы 4.4.1 следует, что
<«h+i —(“л —и~ “л+1>>0 Vue=C7.
Перепишем это неравенство в виде
</'(«*), и-ик+1> Х.ик-ик+1, и-ик+1)/ак> к = 0, 1, ... (10)
280 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Отсюда при и = ик с учетом условия (4) получим
</'(us), uk-uk+l> > 1«л-им^^ал>(£/2 + е)|ил-ил+1|2.
Подставим эту оценку в (9):
7(uA)-7(uft+1)^e|uA-uA+1|2, /с = 0, 1, ... (11)
Так как J (uh) —00 и последовательность {/ (ик)} — убы-
вающая, то существует конечный предел lim и, еле-
fe^oo
довательно, lim (J (uk) — J (uh^) = 0. Отсюда и из (11) сразу
fe-»oo
получим lim | uk — uk+11 = 0.
Й-* ОО
Пусть теперь множество М(и0) ограничено. Так как согласно
(И) J(uh+l)^ J(uk)^ ... 7(u0), то {uk}t=M(uQ). По теореме
Больцано — Вейерштрасса ограниченная последовательность {и^
имеет хотя бы одну предельную точку. Пусть и* — произвольная
предельная точка {uk} и -*-и*. По доказанному lim | Uh+i —
&->ОО
— uk | = 0, поэтому Переходя в (10) к пределу при
к = кт-+ оо, с учетом условий (4) и непрерывности Г (и) шту-
чим </' (и*), и — &*> при любом u^U, т. е. и* По лем-
ме 2.1.2 расстояние р(и, S*) непрерывно по и, поэтому
lim р (ukm, SA = р(ы*, = 0. Отсюда следует, что {р(^, 5*)}
тп-^оо
имеет единственную предельную точку, равную нулю, т. е.
lim р (иь, 5*) = 0. Теорема 1 доказана.
fe->oo
Теорема 2. Пусть выполнены все условия теоремы 1 и,
кроме того, функция J (и) выпукла на U. Тогда для последова-
тельности {uk} из (2), (4) имеем
lim J (uk) = J*, lim p (uk, U*) = 0, (12)
k->oo Й-ЙОО
причем справедлива оценка
J (uk) — J* ^C^k"1, CQ = const >0, k = 1, 2, ... (13)
Доказательство. Из ограниченности M (uQ), непрерывно-
сти J (и) согласно теореме 2.1.2 следует J*Z> — °°,U*={u: и^
^U, J (ц) = J*}=^ 0, U -j.cz М (uq). Возьмем произвольную точку
u*^U*. Из неравенства (4.2.4) тогда имеем
0 ah = J (uk) J (и*) <«7 (^fe)? Uh и*У =
= (z^k), Uh Uh+i) {J (ць), u^ Uh+i)i k = 0Л •••
9 2]
МЕТОД ПРОЕКЦИИ ГРАДИЕНТА
281
Пользуясь неравенством (10) при и — и* и условием (4) выбора
ак, отсюда получим
0 < а* < < J' (uft), ик — ufe+1> — <ик — uft+1, и* — uft+1>/aft <
— ик+1\( sup I J' (u)\ + D/So^Cil^fe —wfe+1|, fc = 0,1, ...
\M(u0) J
(14)
Здесь мы учли ограниченность множества AI(u0), поэтому D =
е=5 sup \и—V | < оо и, кроме того, \J' (и) | IJ' (и) — J' (и0) I +
u,i>-=M(Uo)
+ \J'(u0) I L\u — uol + U'(u0) I < LD + I/'(uQ) I при любом ue
ej/(uo), так что sup | J' (u) | < оо. Из (11), (14) следует
M(uo)
ak — ak+i 8Ci 2ak = Aak (& = o, 1, ...). Отсюда с помощью лем-
мы 2.3.4 придем к оценке (13), из которой также следует пер-
вое из равенств (12). Второе равенство (12) является следствием
теоремы 2.1.2.
Рассмотрим случай сильно выпуклой функции, предполагая,
что в методе (2) величина ак выбирается постоянной.
Теорема 3. Пусть U — выпуклое замкнутое множество,
функция и сильно выпукла на U. Пусть 0<а<
<2цЛ“2, где постоянные ц, L, цСЬ, взяты из (2.3.6), (4.3.8).
Тогда последовательность {щ}, получаемая из (2) при ссА==а
(& = 0, 1, ...), сходится к точке минимума и*, причем справед-
лива оценка
| uk — I и0 — и* I (q (a))ft, /с = 0,1,..., (15)
где #(а) = (1~2ца + а2£2)1/2, 0<д(а)<1.
Доказательство. Введем отображение
Аи = &и(и — aJf (и)),
действующее из U в U. Покажем его сжимаемость при 0 < a <
< 2цЛ“2. G помощью теоремы 4.4.2 имеем
\Аи — Лр|2 = \^и(и — aJ'(u)) — &u(v — aJ'(v)) I2 <
C |u — a7'(u)— v + aJ' (v) |2 = |u — v|2 + a2|7'(u) — J' (v) I2 —
— 2a<7' (u) — J' (и), и — иУ < \u — p|2(1 + a2L2 — 2p,a) =
= g2(a) lu- z?|2,
t. e.
lAu — Av\ q(a) |u — v\, u,v$=U. (16)
Так как 0<а<2ц1г2, то 0<g(a)<l. Это значит, что отобра-
жение А — сжимающее. Заметим также, что замкнутое множе-
ство U <=Еп представляет собой полное метрическое простран-
ство с метрикой p(u, v) = \u — v\. Следовательно, можно пользо-
ваться принципом сжимающих отображений [179]. Метод (2)
при аЛ = а, записанный в виде uk+l = Auh, представляет собой
282 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
известный процесс поиска неподвижной точки и* сжимающего
отображения А, т. е. точки и*, для которой и* — Аи*. Известно
[179], что такая точка и* существует, единственна и lim | uh —
fe-»oo
— u*| = 0. Из (16) следует, что
\uk — um\^t(q (a))ft | uQ — ит~к | к.
Отсюда при получим оценку (15). Так как —
— aJ' (и*))ч то из теоремы 4.4.3 следует, что и* — точка мини-
мума функции J (и) на множестве U. Теорема 3 доказана.
Заметим, что наименьшее значение q(a) из (15) при 0<а<
< 2ц£“2 достигается при а* = pL~2 и равно д(а*) = (1—
-(p/L)2)1/2.
3. Следуя [29], рассмотрим сходимость метода (2), (4), не требуя, в
отличие от теоремы 1, 2, ограниченности множества M(uQ). Кроме того,
будем считать, что вычисление градиента функции и проектирование на
множество на каждой итерации проводятся с погрешностями.
Теорема 4. Пусть U—выпуклое замкнутое множество из Еп, функ-
ция J (и) выпукла на U, J(и) Сх*х (U), >—оо, С7#=/:0. Пусть вме-
сто точного значения градиента J'(и) и проекции ^и(и) ==^(н) известны
их приближения Jh(u) и соответственно 0*k(u) с погрешностью
Р'(“)-4(«)|<бй, ueU-, |^(u)-^ft(«)|<C0Sft,
» (17)
us£n, Со = const > 0, 6ft > 0, к = 0, 1, 2 6ft=6<0.
k—0
Наконец, пусть последовательность {иь} определяется условиями
= и0^и’ * = 0,1,..., (18)
где ак выбирается так:
0 < е0 < aft 2(1 — e)/L, к = 0, 1, ..., 0 < е < 1. (19)
Тогда {uk} сходится к некоторой точке к* е
Доказательство. Наряду с {uk} введем вспомогательную после-
довательность {ра}, определяемую следующим образом:
Vk = ^(uk — a,kJ'(uk)), А = 0, 1, ...; vq = »о. (20)
Отсюда и из (18) с помощью теоремы 4.4.2 и условий (17) получаем
I “й+1 ~ vh I | (“л — akJk (“ft)) ~ (“ft ~ ahJk (“fe)) I +
+1 “Л (мл)) - (“й - akJ' (“fe))|< СЛ. + аЛ I Jk(uk)~J' (“h)l<
< Cosft + (2 (1 - 8)/L) 6ft = СД, к = 0, 1, ... (21)
Возьмем произвольную точку к* е U*. Согласно теореме 4.2.3 тогда
</' (и*), и — и*)^0, u^U. (22)
Из (20) и неравенства (4.4.1) получаем
(иа)’ 0 Vug 1Г. (23)
8 2]
МЕТОД ПРОЕКЦИИ ГРАДИЕНТА
283
Положим в (23) и— и*, а (22) умножим на а^> 0 и примем и =
Сложим получившиеся неравенства
<vk ~ ик и* - vk) + ak <7' (uh) - J' (“♦)> ~ > 0, (24)
к = 0, 1, ..,
Преобразуем каждое слагаемое в правой части (24). Прежде всего имеем
2 (vk — и* — vk} = | uk — u* |2 — | uk — vh |3 — | vk — u* |2. (25)
Далее, воспользуемся неравенством (4.2.20) при и = иъ, v = u*, w =
= Vk] получим
<J' (Uk) - J' (u*), u* - vky < (L/4) 1 Uk - Vk |2, к = 0, 1, ... (26)
Подставив (25), (26) в (24), получим
1 “л - “* I2 -1 vh - “* I2 - G - ahLi2) \un~vk I2 >°-
Отсюда, учитывая условие (19), имеем
1 uh~ и* |2> ph — “*|2 + 8| uk~ vk |2’ fc = 0, 1, ... (27)
Далее, воспользуемся леммой 2.3.10 при Zk = иь, z* = Wk = Vk\ из (17),
(21), (27) получим
lim | uk — и* I = lim I vk — u* I < oo, lim I vk — uk I = 0. (28)
k->oo ‘ fe->oo fe->OO
Отсюда следует, что последовательность {uk} ограничена. Тогда существует
хотя бы одна предельная точка г* этой последовательности и подпоследо-
вательность [uk 1, сходящаяся к у*. Из (28) имеем lim vk = р*.
I т J т-*оа т
Согласно (23) с учетом (19) получаем
<7'(“ft)> IP-M8?1-
Отсюда при к — кт-*- оо будем иметь </' (р*), и — р*> 0 при всех и е U*
По теореме 4.2.3 тогда р* е £7*. Вспомним, что неравенство (27) было по-
лучено для любой точки и* е £7*. В частности, (27) верно и для и* =
Но р* — предельная точка последовательности {иь}. Из леммы 2.3.10 тогда
следует, что {иъ} сходится к р*. Теорема 4 доказана.
Замечание 1. Если в (17) = 0 (к = 0, 1, ...), то из (18) —(20)
следует, что uA+j = рА (Ар=О, 1, ...). Тогда из (27) имеем
ph—“♦|2>рй+1—«♦|2 + e|uft—uft+1|2, Л = 0, 1, .... Vu«g-Z7,.
Пользуясь произволом в выборе u* е £7*, отсюда получаем
| — р* |> | uh+i — |» Р (и/р ^*) Р (uk+v к = °’ •••’
причем равенство здесь возможно лишь при Uk+i = что в силу теоре-
мы 4.4.3 означает uh е U*. Таким образом, при точной реализации метода
(17)—(19) расстояние от точки их до множества £7# или до точки р* мо-
нотонно убывает. Как мы видели, таким же свойством обладает градиент-
ный метод (1.3), (1.21), (1.22).
4. Опираясь на неравенства, полученные при доказательстве теоремы 4,
можно оценить скорость сходимости метода (2), (4) для сильно выпуклых
функций, причем, в отличие от теоремы 3, новая оценка оказывается не-
улучшаемой на классе сильно выпуклых функций, принадлежащих С1’1 (£7).
284 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 8
Теорема 5. Пусть U — выпуклое замкнутое множество из Еп,
а функция J(u) сильно выпукла на U и принадлежит СЩП). Пусть после-
довательность {иъ} построена методом (2) при = а (Л? = 0, 1, ..О <
< а < 2/L). Тогда
I«ft— * = 0,1,..., (29)
где
= 0 < а < 2 (L + р)"1,
(Ха —1, 2(£ + р)-1<а<2Г“1,
О < q(a) <С 1, постоянные [1, L взяты из (2.3.6), (4.3.8), а и*—точка мини-
мума Ци) на U. Наименьшее значение q(a) при 0 < а < 2Z/"1 достигается
при а = а* = 2 (£ + р)”1 и равно q (а*) = (L — р) (L + Р)~х.
Доказательство. Из теоремы 4.3.1 следует, что > — оо, С7*
состоит из единственной тонкий*. Тогда из теоремы 4 имеем lim I иъ — и* |=*
fe->oo‘ А 1
s=0. Здесь мы предполагаем, что в (17) 6^ = 0 (к = 0, 1, ...), поэтому
из (18), (20), (21) следует Vk = Uk+i (к = 0, 1, ...). Учитывая последнее
равенство и условие си = а, подставим (25) в (24). Получим
I Uk+1 — и* |2 1 uk ~~ u* |2 “ I uk |2+ (uk) ~
м* “ Mk+i) ~ I uk ~ и* |2 “ 1 uk ~ ufe+i ~~ а (J' (uk)|2 +
ос | Jf (u&) J (^*) p 2oc (J J (M*)> к = 0, 1, •, a
(30)
Вспомним неравенства (4.3.17), (4.3.18), из которых имеем
I J' (uk) ~ J' (u*) |2 + 1 uh ~ u* |2 <
<(L + p)<J'(^)-J'(^), * = 0, 1, ..., (31)
P | u* | | J (w&) J (и*) | L j u* I» Л = 0, 1, ... (32)
Из (30), (31) следует
I llk+l — I2 < I “fe — м*|2 + “213' (uh) — r (“*) I2 —
- 2a (L + p)-1 | J' (uft) - J' (uj |8 - 2aXp (X + p)"1| ufe - |2 =
= а [a - 2 (X + p)"1] | /' (uft) - J' (uj |2 +
+ [1 - 2aXp (L + p)-1] | uk - u, |2, Л = 0, 1, ... (33)
Рассмотрим два случая:
1) если 0 < a < 2(L + р)-1 р-1, то из (33) и левого неравенства (32)
имеем | uk+1 — w* |2< | uk~ u* |2[a (а — 2 (L-j-P)-1) р2+1— 2a£p(L+p)~1]=3«
= (1 оср) | и* р;
2) если Lrl 2(L + р)-1 а < 2L~\ то из (33) и правого неравенств
ва (32) получим | uk+1 — w* |2 < | uk — и* |2 [а (а — 2 (L + Р)-1) L2 +
+ 1 — 2aLp (L + р)-"1] — (La — I)2 | uk — и* |2. Объединяя оба случая, име-
ем | uh+1 — м* | q (а) | uk — u* | (к = 0, 1, ...), откуда следует оценка
(29). Из графика функции g(a) (рис. 5.5) видно, что функция g(a) дости-
гает минимума при 0 < a < 2L-1 в точке а* = 2 (L + р)”1» причем
q (а*) = (L — р) (L + р). Теорема 5 доказана.
§ 3J
МЕТОД ПРОЕКЦИИ СУБГРАДИЕНТА
285
Приведем пример, показывающий, что оценка (29) неулучшаема на
классе сильно выпуклых функций из Cl>l(U).
Пример 1. Пусть и = (ж, у) е U = Е2, J(u) = (Lx2 + цу2)/2 (0 <
Ясно, что это функция сильно выпукла с константой х = ц/2,
принадлежит С1»1^2) с константой L и достигает минимума на Е2 в точке
и* = (0,0). Процесс (2) при = a
(0 < а < 2L-1) имеет вид ’
— хъ,— aLxk == (1 — aZ/)#fe,
yk+1 = Ук — apz/fe = (1 — ap) yk,
к = 0, 1, ...
Положим здесь а = 2(£ + ц)-1, q =
= (L— ц)(Л + ц)~1. Тогда xk+i = —qxk,
yk+i = qyk. Следовательно, | —
— u* | = q | uk | = qk+11 uQ |, т. e. оцен-
ка (29) неулучшаема. Заметим, что ес-
Рис. 5.5
ли в теоремах 1—5 U — Еп, то мы по-
лучим сходимость соответствующих вариантов градиентного метода (1.3).
Упражнения. 1. Вычислить несколько итераций метода проекции
градиента при различных способах выбора «а в (2) для функции
Ци) = (х- 1)2+ (у + I)2,
и е U = Е2+ = {и = (ж, у) е Е2: х 0, у > О}.
Рассмотреть начальные приближения ио = (0, 0), uQ = (0, 1), uQ = (1, 0),
uQ = (1, 1).
2. Описать одну итерацию метода проекции градиента для функции
(1.5), считая, что множество U представляет собой шар, гиперплоскость,
параллелепипед, полупространство или положительный октант (см. при-
меры 4.4.1—4.4.6). Исследовать сходимость метода.
3. Рассмотреть метод проекции градиента для функции J(u) =
= ]Аи— &|2, где А — матрица порядка т X п, Ъ е Ет, считая, что мно-
жество U имеет вид, описанный в примерах 4.4.1—4.4.6. Исследовать схо-
димость.
§ 3. Метод проекции субградиента
1. В рассмотренных выше градиентном методе и методе проекции гра-
диента требовалась дифференцируемость минимизируемой функции. Одна-
ко для выпуклых функций указанные методы более естественно описать
на языке субградиентов (см. § 4.6). А именно, пусть U — выпуклое замкну-
тое множество из Еп, функция Ци) выпукла на U п ее суб дифференциал
дЦи) непуст при всех и е U. Тогда для приближенного решения задачи
J(u)->inf; и е U, (1)
можно предложить следующий итерационный метод:
Uk+i = &u(uk— Wk), aft > 0, Ck€=dJ(uk), &=0, 1, ..., (2)
где uq — некоторая точка пз U, а субградиент Ck выбирается из дЦик) про-
извольным образом. Если при некотором к окажется, что uk+i = Uk, то про-
цесс (2) прекращается, так как в этом случае uk— решение задачи (1).
В самом деле, при uk = &u(uk — Wk) согласно теореме 4.4.1 (uk — (uk —
— Wk), u — uk> = <са, и — Uk)Uk 0 или <Cfe, и — Uk) 0 при всех u^U,
Отсюда из теоремы 4.6.4 следует, что uk е Z7*.
286 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
В том случае, когда функция 1(и) дифференцируема во всех точках
и е U, метод (2) превращается в метод проекции градиента, а при U =
,= Еп в градиентный метод. При выборе длины шага си в (2) можно ру-
ководствоваться теми же соображениями, которые были описаны выше
в § 1, 2. Мы здесь ограничимся рассмотрением случая, когда в (2) вы-
бирается из условий
оо оо
aft>0, к = 0, 1, 2ай = 00> 2а1<°°- (3)
fe=0 fe=o
Как уже отмечалось в § 1, в качестве аь можно взять = С(& + 1)-а, где
С = const >0, 1/2 < а 1; например, а& = (к + I)-1 (к = 0, 1, ...).
Метод (2), (3) не гарантирует выполнения условия монотонности
J(uk) > J(uk+i) на каждой итерации и сходится, вообще говоря, медленно,
но если проекция точки на множество U и субградиент dJ(uk) находят-
ся несложно, то этот метод очень прост для реализации на ЭВМ. Докажем
его сходимость.
Теорема 1. Пусть U—выпуклое замкнутое множество из Еп, функ*
ция J(и) определена и выпукла на некотором открытом выпуклом множест-
ве W, содержащем U (например, W = Еп). Пусть — оо, множество U*
точек минимума J(u) на U непусто и ограничено, и пусть, кроме того,
sup sup | с | = А < оо. (4)
u^U c~dJ(u)
Тогда последовательность {иь}, определяемая условиями (2), (3), такова,
что
lim J (иЛ = lim р (uh, Z7*) = 0. (5)
fe-»oo fe->oo
Доказательство. При сделанных предположениях функция 7(и)
непрерывна на U, субдпфференциалы dJ(u) непусты, выпуклы, замкнуты и
ограничены при всех и (= U (см. теоремы 4.2.15, 4.6.1, 4.6.2). Из ограничен-
ности множества U* и теоремы 4.2.17 следует, что множество М(С) =
= {u^U: J(u)^.C} ограничено при любом Множество U* вы-
пукло и замкнуто в силу теоремы 4.2.1 и леммы 2.1.1.
Согласно определению 4.4.1 проекции точки на множество и теоре-
ме 4.4.2 имеем
Р2 (“л+1> ^») = | ufc+l ~ (wft+l)2 I uk+l ~ (“к) |2 =
= ] Фр (0Ut (uft)) |2 < | uft — akck — 3s (u^ |3 =
= P2 (“n. U*) + “ft I ck I2 - 2afe Uk-?U* (“fe)>
или
2as <ck’ uk - &Ut (uh)> < ak I Ck Г + P2 (“fc« u*) - P2 (“л+г
* = 0,1,... (6)
Суммируя неравенства (6) по к от 0 до некоторого тп 1, с учетом усло-
вий (3), (4) получим
m m
2 2«й <СЙ’ uk - 2 «1 + Р2 (%- ^*) - р2 (“т+1-и*) <
h=0 k=0
<д2 2 al + P2(“0. ^*)=-в<оо> m = (7)
h—0
МЕТОД ПРОЕКЦИИ СУБГРАДИЕНТА
287
§ 3]
Далее, по определению субградиента имеем
О < J (uft) — 7. = 7 (Ufe) — J (фи* (“й)) < <cft> «й — (“й)>.
* = 0,1,... (8)
Из (7), (8) следует, что числовой ряд
оо
2 ak <ch' ик ~ &U* (“й)>
Ь=0
ОО
с неотрицательными членами сходится. Но согласно (3) 2 а& = о°- По-
fe=o
этому сходимость предыдущего ряда возможна лишь при lim uk —
fe->oo
— (^)) = о. Это значит, что существуют номера к\ < к2 < .,. < кт<
< ... такие, что
<схт' иът - (иьт)> = °- ®
Тогда из (8) при к = кт-+ оо получим lim J (иъ Кроме того, из
т^+со '
(8), (9) следует, что J < 7. + sup (ckm, uhm - (u^yy = C<oo,
t. e. [ukm] e M (C). Ho M(C) ограничено, a — минимизирующая
последовательность, поэтому из теоремы 2.1.2 имеем lim р (ик , £7*} =0.
Тем самым показано, что для подпоследовательности | иьт}> удовлетво-
ряющей условию (9), справедливы равенства (5). Опираясь на это, пока-
жем, что равенства (5) имеют место для всей последовательности {иь}*
Из (3), (4), (6), (8) получаем, что
P2(«ft+r^)<P2(“ft, + ^) + «|Л2, * = 0,1, ...
Это значит, что числовая последовательность ak = р2 U*) (к = 0, 1, ...)
удовлетворяет условиям леммы 2.3.2, из которой следует существование
предела ^lim р2 (uft, Так как подпоследовательность |р2 (иьт,
сходится к нулю, то этот предел может равняться лишь нулю. Следова-
тельно, lim р (u., U*) = 0. Покажем, что тогда lim J (иЛ — J*. По усло-
вию множество ограничено. Тогда последовательность {и&}, сходящая-
ся к £7#, также ограничена. Возьмем любую предельную точку и* этой по-
следовательности. Пусть -* u*. Так как £7* — замкнутое множество и
lim р (иь , U*} = р (и*, £7#) = 0, то и* е £7*. А тогда lim J (и, \ = J (и*)=5
г-»оо \ ) Г-+ОО \ Г'
= J*. Это означает, что числовая последовательность {/(ил)} имеет един-
ственную предельную точку, равную /*, т. е. lim J (иЛ —J*. Теорема 1
fe-»oo
доказана.
Замечание 1. В условии теоремы 1 предполагается выполнение
условия (4). В том случае, когда £7 ограничено, то, как следует из тео-
ремы 4.6.5, условие (4) всегда выполняется. Заметим также, что в теоре-
оо
ме 1 вместо (4) можно потребовать сходимость ряда 2 | |2*
л=о
2. Описанный выше метод проекции субградиента после некото-
рой модификации можно использовать для решения следующей задачи
288 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
выпуклого программирования:
7(u) -> inf; и g= U = {и е Еп: ugeUq, gi (и) < 0, i = 1, ..т}. (10)
Заметим, что система неравенств gi(u) sC 0 (i = 1, ..т) равносильна
одному неравенству g(u) С 0, где g (и) = max gi(u) (u^U). Кроме то-
го, из выпуклости функций gi(u) (i — 1, ..т) на С70 следует выпуклость
g(u) на Uo (см. теорему 4.2.7). Поэтому задачу (10) можно переформули-
ровать в виде эквивалентной задачи
7(н)inf; и <= U = {и е UQ, g(u) < 0), (11)
также являющейся задачей выпуклого программирования.
Предположим, что субдифференциалы dJ(w), dg (и) непусты при всех
и е UQ. Следуя [334], рассмотрим метод
uh+i~ &UQ(uk~akck)' & = 0, 1, ...; u0eZ70, (12)
где {ай} выбирается из условий
afe>0, & = 0, 1, ..., 2ал+?==о°» 2ал<°°» 0<Т<1, (13)
ft=Q k=0
а субградиенты {сь} таковы, что
Ck S dJ (Wft) Л₽И g (“a) < ak И Ck e d8 (Uh) nPH g (“a) > «А- (14)
Таким образом, метод (12) — (14) работает так: если ограничение g(u) 0
при и = ик не нарушено или нарушено немного, то минимизируем функ-
цию 7(н), а если нарушение этого ограничения велико, то минимизируем
функцию g(u). Если функции 7(u), g(u) дифференцируемы на Uo, то в
(12), (14) вместо Ck нужно брать соответствующие градиенты J'(uk) или
g'(uk). В качестве последовательности {а&}, удовлетворяющей условиям
(13), можно взять, например, а* = С(к + 1)"а, где С = const > 0, а чис-
ло а таково, что 1/2 < а < (1 + 7)“'. В частности, при а = 3/5, у = 1/2,
С = 1 получим ak = (к + 1)“3/5 (к = 0, 1, ...).
Теорема 2. Пусть UQ—выпуклое замкнутое множество из Еп,
функции 7(u), g(u) определены и выпуклы на некотором открытом выпук-
лом множестве W, содержащем UQ (например, W = Еп). Пусть J* =
== inf 7 (и) > — оо, множество U* точек минимума задачи (И) непусто,
ограничено и, кроме того,
sup sup I с 1 = А < оо.
u^U0 c(=dJ(u)LJdg(u)
Тогда для последовательности {иъ}, определяемой условиями (12) — (14),
справедливы равенства (5).
Доказательство. При выполнении условий теоремы функции
Ци), g(u) непрерывны на Uo, суб дифференциалы dJ (и), dg(u) непусты,
выпуклы, замкнуты и ограничены при всех и е Uo (см. теоремы 4.2.15,
4.6.1, 4.6.2), а множество U* выпукло и замкнуто (см. теорему 4.2.1 и лем-
му 2.1.1). Покажем, что множество
Л7(СЬ С2) = {u е UQ: Ци) G, g(u) С2)
ограничено при всех С, > inf J (и), CS> inf g (и). В самом деле, M(J*, 0)=
1 2
« £7* ограничено по условию. Тогда по теореме 4.2.17 множество М(С\, 0) =
= {и: u^Uq, g(u) 0, 7(u)^Ci} ограничено при всех C1>infJ(M).
§ 3]
МЕТОД ПРОЕКЦИИ СУБГРАДИЕНТА
289
Теперь, фиксируя любое Ch по той же теореме 4.2.17 получаем ограни*
ченность М(Сь С2) при каждом > inf g (и).
и0
Нетрудно видеть, что неравенства (6), (7) сохраняют силу и для ме-
тода (12) —(14). Из (7) имеем
2 ? uh < °°, r = 1, 2,.. • (15)
fe=o
Отсюда следует существование номеров кл < к2 < ,.. < кт < ... таких,
что
<%,’ и*т ~ *0 (“кт)> < “Vw « = 1. 2, ... (16)
В самом деле, допустим, что (16) не имеет места. Тогда uk~*~
— (uk)> > ah ПРИ всех = 0, 1, ... Отсюда и из (15) имеем
2 al+v< 2 ал<сл’ “ь-^п*(ий)><в<°°’ г = 1>2- ••••
fe=0 fe=o
оо
что противоречит расходимости ряда 2
fe=o
Тем самым показано существование подпоследовательности [ц^та}>
удовлетворяющей условию (16). Докажем, что
7 От)=7*’ р (“km-и*)=°- (17>
Сначала убедимся в том, что
с^е57(М- w = 1’2-- <18>
Для этого достаточно показать, что# (ukm) akm С771 ~ 2, ...), и вспом-
нить условия (14). Допустим, что#(и^) > при некотором т 1. Учи-
тывая, что тогда ck^ е dg и, кроме того, Фу* (ukm) с т« ©•
8 (0*и* (ukm)) из (16) имеем
“L < е (“km) < g (“km) “ g От)) <
От' Ukm ~ (ukm)) < аЛга-
Получили противоречивое неравенство. Включения (18) доказаны, и по-
путно установлено, что
g(“km)<aL' те = 1’2> ••• <19>
Множество номеров {кт}, удовлетворяющих условиям (16), предста-
вим в виде объединения непересекающихся множеств J (иЛт)
> /») И I2 = J (“кт)<Лр
290 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Сначала рассмотрим случай, когда множество Ц бесконечно. Из (16),
(18) имеем
0 < J (ukm) = J (ukm) - J (&U* (Ukm)) <
Отсюда следует, что J (ukm) ПРИ w -> o°, кт e Ir Тогда J (ukm) <
(13), (19) g(uk )<о$<supaj =
\ птп/ кт я
(кт<==1^. Так как ог-
< °o, и, кроме того, согласно
= c2 < ОО, т. е. {uftm] s М (Cv Q
раничено, то имеет хотя бы одну предельную точку. Не
умаляя общности, можем считать, что (A^eZJ. Из замкну-
тости Uo, неравенства (19) и непрерывности g(u) следует, что и* е U.
Но J (ukm) (и*) ПРИ °°,кт е /1, так что и* е U*. Отсюда и
из непрерывности р (u, U*) имеем р U*j -> р (u#, £7*) — 0 при кт-+
Теперь рассмотрим случай, когда множество Z2 бесконечно. Если кт е
е/2. то J (“йт)<Л. a g(Kfem)<a^m<sup^ = C2 в силу (19). Это
значит, что{^т} ^71/(7#, (кт^12}. Поскольку множество С2)
ограничено, то [ukm’ ^пе^2) имеет предельную точку. Не умаляя общно-
сти, можем считать, что w*’ кт е ^2* (19) и замкнутости Uq
следует, что и* е U. Поэтому J (w#) С другой стороны, J (иьт) <
(кт <= Z ), так что lim J (иъ ) = «Мм*) < Z*. Следовательно,
femS72,m-^oo V тп/
J (и*) — J*, т. е. и* е U*. Отсюда и из непрерывности р (и, С7Ф) получаем
₽ (ukm’ и*) -* р («*. ^*) = 0 при кт~* °°» кт е 72-
Объединяя оба рассмотренных случая, заключаем, что для подпосле-
довательности удовлетворяющей условию (16), справедливы равен-
ства (17). Отсюда, повторив заключительные рассуждения из доказательст-
ва теоремы 1, убеждаемся в справедливости равенств (5) и для метода
(12) —(14). Замечание 1 сохраняет силу и здесь.
На этом закончим рассмотрение методов минимизации негладких вы-
пуклых функций. Отметим, что негладкие задачи в последние годы ин-
тенсивно исследуются, продолжается разработка различных методов их ре-
шения [27, ИЗ, 123, 127, 132, 133, 148, 156, 158, 214, 219, 235, 306, 334,
336, 339].
Упражнения. 1. Рассмотреть возможность применения метода про-
екции субградиента к задачам из упражнений 4.6.1 и 4.6.3.
2. Описать метод (12) —(14) применительно к задаче
Ци) = \х + у \ + \х — у\ -> inf, и е= U = {и = (х, у) (=Е2: и Z70,
g(u) = и2 — 1 0},
Uq = {и = (х, у): х 0, у 0}.
3. Проверить условия теоремы 2 для задачи
J(u) = | <с, u>l inf; и е U = {и е=Еп: g(u) = | <a, и} \ — 1 0},
где а, с е Еп. Описать метод (12) — (14) применительно к этой задаче.
4. Пользуясь формулой (4.6.12), модифицировать метод (12) — (14) так,
чтобы его можно было применять к задаче (10) непосредственно, не сводя
ее к задаче (11).
§ 4] МЕТОД УСЛОВНОГО ГРАДИЕНТА 291
5. Пусть W — открытое выпуклое множество, Ци) —выпуклая функция
на W. Показать, что вектор с*, удовлетворяющий условиям
| с* | = inf | с | > 0, с* е дJ (и),
c~dj(u)
является направлением убывания функции Ци) в точке и.
§ 4. Метод условного градиента
1. Этот метод приспособлен для решения задачи
u^U, (1)
где U — выпуклое замкнутое ограниченное множество из Еп,
санкция J(и) е= С1 (U). Опишем его. Пусть и0 U — некоторое
начальное приближение. Если известно fc-e приближение uk^U
(Л>0), то приращение функции J(u) в точке ик можем пред-
ставить в виде
J(u) —J(wk) = <J'u — uk> + o(\u — uk\).
Возьмем главную линейную часть этого приращения
Jfe(iz)= <J'(ufe), (2)’
и определим вспомогательное приближение ик из условий
Uh €= и, infJft(u) = Jk(uk) = {J' (Ць), uk — uh}. (3)
и
Так как множество U замкнуто и ограничено, а линейная функ-
ция Jh(u) непрерывна, то точка ик из (3) всегда существует.
Если функция Jk(u) достигает своей нижней грани на U более
чем в одной точке, то в качестве точки йк возьмем любую из
них.
Заметим, что если
U = {и е Еп: и > 0, <а{, и> Ь£,
i = 1, ..., т; (at, и> = Ъ\ i = m + 1, ..., s},
то задача (3) превратится в задачу линейного программирова-
ния, которая может быть решена известными методами (напри-
мер, описанным в гл. 3 симплекс-методом).
Укажем случаи, когда решение задачи (3) выписывается в
явном виде. Если
U == {и = ип): ’С и* С I = 1, .. .,п}
п
— n-мерный параллелепипед, то функция Д (и) = 2 Jui ( U —
г=1
п
— ик) или 2 (,uk) очевидно, достигает своей нижней
г=1
292 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ, 5
грани на U в точке u* = (uj, ..и£), где
_. Jui (uk) > О»
Л<(^)<0;
в случае Jui (uk) = 0 здесь возникает неопределенность и в ка-
честве Uk можно взять любое число из отрезка [а<, PJ (обычно
берут и\ = (%i, или u*k = р|, или ulk = (а< + Р$)/2).
Если
U = {u^En: \и — Vol г}
— шар радиуса г с центром в точке v0, то с помощью нера-
венства Коши — Буняковского <J' (ик), и> = <J' (ик), u — v0) +
+ <Jz(uk), v0> ~I/' (uk) |r+ <J' (uh), v0>, получаем, что
Uh = vQ - rJ' (uk) \J' (uk) I-1.
Разумеется, так просто получить вспомогательное приближе-
ние йк удается далеко не всегда, и вместо точного решения за-
дачи (3) часто приходится довольствоваться определением како-
го-либо приближенного решения. А именно, будем предполагать,
что оно определяется из следующих условий:
uk^U, Jft(uft)<min Jh(u) + eft, eft>0, lim = 0. (4)
U fc-»0O
Допустим, что точка uh, удовлетворяющая условиям (4) (или
(3)), уже найдена. Тогда следующее (fc+l)-e приближение бу-
дем искать в виде
ик+1^ик + ак(йк-ик), 0^аь^1. (5)
В силу выпуклости множества U всегда uh+i е U.
Заметим, что при йк = ик (это может случиться, например,
когда J'(uk) = 0) имеем uk±i = uh независимо от способа выбора
ак в (5). Если при этом йк было определено точно из условий
(3), то имеем
A (uh) ~ Jk (uk) = 0 = min Jk (и) или <J' (ufe), и — uk} 0
и
при всех и U. Согласно теореме 4.2.3 это означает, что точка
ик удовлетворяет необходимому условию минимума в задаче (1).
В этом случае итерации прекращаются, и для выяснения того,
будет ли uk<~U*, при необходимости проводится дополнитель-
ное исследование поведения функции J(и) в окрестности точ-
ки ик. В частности, если J(u) выпукла, то согласно теореме
4.2.3 uh<~U*, т. е. задача (1) решена. Если случай йк = ик реа-
лизовался при определении ик из условия (4), то будем иметь
— 8/^ min Jk (и)^ J\(uk) = Jk (uk) = 0, и при 8*>0 здесь тео-
S 4]
МЕТОД УСЛОВНОГО ГРАДИЕНТА
293
рему 4.2.3 применять нельзя. В этом случае согласно (5) пола-
гаем uft+1 = ик и переходим к проверке условия (4) для номера
к + 1 и т. д.
В зависимости от способа выбора величины аА в (5) можно
получить различные варианты описанного метода, часто именуе-
мого в литературе методом условного градиента. Укажем неко-
торые наиболее употребительные способы выбора а* в (5).
1) Величина аА может выбираться из условий
о < ak < 1, /й (ccft) = min fk (а) = /й#, fh (а) = J (uh + a(uh—ub)).
0<а<1
(6)
Для некоторых классов задач удается получить из (6) явное
выражение для ah.
Пример 1. Пусть
J (w) = — —• <ь> u>,
где А — симметричная положительно определенная матрица по-
рядка пХп, Ь^Еп. Тогда J'(u*) = Ли* — Ь. Пользуясь формулой
(4.2.10), имеем
А (а) = / (и*)+ а<7' (и*), й* - и*> +
+ (а2/2)<Л(й*-и*), й*-и*>. (7)
Если <Л(й* —и*), й*—и*>=0, то и* = й* и, как было указано
выше, тогда полагаем и*+1 = и*. Поэтому пусть <Л(й* —и*), и* —
— и*> > 0. Тогда функция (7) представляет собой квадратный
трехчлен, достигающий своего наименьшего значения на числовой
оси —оо < а < +°° при
а* = — <J' (uft), йк — и*> «Л (й* — ик), й* — и*»"1.
Рассматривая возможные случаи a*<Oj O^a*^ a*> it
из условий (6) тогда получаем
(°’
*
Д,
=
a*<0,
O^a*^ 1,
a*> 1.
(8)
Кстати, если точка uk в (7) найдена из условий (3), то Д(мА)^
^Л(иА) = О и, следовательно, aj0—в этом случае формула
(8) для аА запишется в виде = min {1; aft}.
Однако точное определение аА из условия (6) возможно да-
леко не всегда. Поэтому вместо (6) можно ограничиться опре-
делением величины ак из условий
0<aft<l; A (ah)< А» + 6fcs 6fc>0, SSh = fi<°o (9)
fc=O
294 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
ИЛИ __
0^aft^l, + Wfe*» 1.
Здесь могут быть использованы известные методы минимизации
функций одной переменной (например, методы из гл. 1).
2) Если и константа Липшица L для J'(и)
известна, то возможен выбор аА в (5) из условий
__ j01!11 {1, Pk I Jk (Uk) । । Uk Uk । 2}> Jk (Wfe) О» /4П\
fe 10, Jft(^)>0, 1 j
где
0<e0<pfe<2(l-e)/L, (11)
Co, 8 — параметры метода, 0 < 8 < 1.
3) Другой способ выбора аА: при Д(йА)>0 полагают аА = 0,
а если Jft(wft)^0, то а& = Х*о,где г’о — минимальный номер среди
номеров I > 0, удовлетворяющих условию
J(ик) -J(uk + К (ил - ик)) > Vel Jk(ик) I,
где %, 8 — параметры метода, 0 < X; 8 < 1.
4) Величины ак в (5) можно априорно задавать из условий
0<aft<l,
lim ak = 0,
fc->oo
оо
S aft = оо,
о
(12)
например, аА = (/с + 1)"1 (& = 0, 1, ...) (предложен М. Ячимови-
чем). Такой выбор ак очень прост для реализации на ЭВМ, но,
вообще говоря, не гарантирует
выполнение условия монотонности
J(uk^)<J(uk).
5) Возможны и другие спосо-
бы выбора ак в (5). Например,
можно задавать ак = 1 и прове-
рять условие монотонности
J(uk), а затем при необ-
ходимости дробить ак до тех пор,
пока не выполнится условие мо-
нотонности.
На рис. 5.6 поясняется геомет-
рический смысл метода (3), (5)
в двумерном случае.
2. Рассмотрим теперь сходимость метода (4), (5), (9).
Теорема 1. Пусть U — выпуклое замкнутое ограниченное
множество из Еп, функция J(и)С1*1 (U). Тогда при любом вы-
боре ий ^и для последовательности {иА}, определяемой условия-
ми (4), (5), (9), справедливы равенства
lim <J' (uft), uh — uky = 0, lim р (uft, S*) = 0x (13)
§ 4]
МЕТОД УСЛОВНОГО ГРАДИЕНТА
295
где S* — {и\ u^U, <J' (и), v — uy^O при всех v^U} — множен
ство стационарных точек функции J(и) на U.
Если, кроме перечисленных условий, J(u) выпукла на U и
+ бА < Сок"**, Со = const > 0, 1/2 < р < 1, (14)
то
lim J (uk) = J*, lim p (uk, U*) = 0, (15)
k-+co k-^OO
и справедлива оценка
0 J (uk) к = 1, 2, ...; Сг = const 0. (16)
Наконец, если, кроме того, J(u) сильно выпукла на U, то
К - и* |2 < (Сх/х) к~\ к = 1, 2, ... (17)
Доказательство. При сделанных предположениях J*>
> — оо, Так как множество U ограничено, то
sup |u —р|^й<оо.Из условия (9) следует/(uA+1)=/A(aft)^
и.теП _
fk* + бй =С •> (uk + «(“ft — “ft)) 4- 8h при всех а (0^а^1).
Поэтому пользуясь неравенством (2.3.7), имеем
J(uh) - J (u*+l) + 6А > J(uh) - J(uft + а(йА - uk)) >
>—a<J'(uft), M;, — uh> — a2L|«k —uft|’/2 >
>-aJh(uh)-a,2L(P/2, O^a^l, fc-0, 1, ... (18)
Множество N — {0, 1, 2, ...} разобьем на два множества N+ =
= {к: k^N, <T(uk), w*-u*>>0} и N~ = N\N+._ Так как
inf (и) Jk (uh) = 0, то из (4) получаем 0^J*(u*)<e* при
и
всех к е N+. Поэтому если N+ — бесконечное множество, то
Л («л) -*• 0 при к -> оо, к^ N+.
Теперь пусть к е N~. Тогда из (18) имеем
0 < J(uk+i) + 6ft)/a + aL<F/2 (19)
при всех a (0<a<l), k<^-N~. Далее, из (9) следует, что
7(пЛ+1)< J(uft)+6ft (& = 0, 1, ...). Так как J (uft) > — оо
(к = 0, 1, ...), то из леммы 2.3.2 вытекает существование ко-
нечного предела lim J(ufe) Следовательно, Нт(/(и,,)—
ft-»oo h-*oo
— J (uA+1)) =0. Если Лт“ — бесконечное множество, то при к -> «>,
k^N~, из (19) имеем
0 lim | Jk (uk) | <1 lim | Jh (uk) | aLd2/2
fe-»oo h-*eo
при всех a (0 < a < 1). Устремляя a -> +0, отсюда получим
Л(иА)->0 при к-+<*>, k^N~\ Объединяя оба случая k^N+ и
k^N~, приходим к первому равенству (13). Так как U ограни-
чено и {ufc} е U, то последовательность {щ) имеет хотя бы одну
296 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
предельную точку. Пусть и* — произвольная предельная точка
U*}, пусть {икт]-+и*. Согласно (4) Jk(uk)~^<inf Jk(u)^
^.(J'(uk), и — ику при всех u^U и fc = 0, 1, ... Отсюда при
= с учетом первого равенства (13) получим, что
</' (и*), и — и*У 0 при всех и е U. Тем самым показано, что
любая предельная точка последовательности {uk} принадлежит
5*. Отсюда следует второе равенство (13).
Пусть теперь J (н) выпукла на U и и*— произвольная точка
из U*. Тогда из теоремы 4.2.2 и условия (4) имеем
О < ah = J (uk) — J (iz*) < <Г (uh), uk — u*y =
₽ — A(u*)< — minjft(u)< — Jk(uk) + eft, fc = 0, 1, ... (20)
и
Отсюда и из первого равенства (13) следует lim J (uk) т. е.
fe->oo
{ик} — минимизирующая последовательность. Из теоремы 2.1.1
тогда получаем lim p(zzft, £/*) =0. Равенства (15) доказаны. За-
fe-*0O
метим, что неравенство (20) может служить полезной апосте-
риорной оценкой при практическом использовании метода (4),
(5), (9).
Остается получить оценку (16). Для этого множество N ==
={0, 1, 2, ...} разобьем на два множества IQ = {k: k^N, ак>
> г J, Ц == {к: Q^ak< 8*}. Из оценки
0 аь — еь —/Диь), к Zo, (21)
являющейся следствием неравенства (20), следует, что Де АГ*.
Поэтому (18) можно переписать в виде
aft-^+i>a|7ft(uA)l ~a2Ld72~6h, 0<a^l, к е= Ц. (22)
Так как в силу (13) {|Д(нл)|} ограничена, то взяв при необхо-
димости d еще большим, можем сделать O^czfe = I Jk(uk) Id"2/,"1
С1 при всех к ® 0, 1, ... Принимая в (22) a = ал, получим
ак - aft+1 > 1/(2Ld2) \Jk(uk) I2 - 6ft, k^ Io.
Отсюда и из (21) с учетом условия (14) имеем
«Н-i С ак - (a к - efe)2/(2Ld2) + 8k - a*k/(2L&) +
+ (supa/AL~4~2eft +—4/Л + Л/с-2р, к<=10, (23)
где А = max {2Ld?; (sup aftj L-1d~2C0; Co|.
Если то 0 < a* < 8* C0/c_2p. Кроме того, из (18) при
а-*+0 получим ал - a*+i + 6ft > 0 или а*+1 С а* + 6* а* + Слк-г»
для всех к = 0, 1, ... Таким образом, последовательность {а*}
§ 4]
МЕТОД УСЛОВНОГО ГРАДИЕНТА
297
удовлетворяет условиям леммы 2.3.5, из которой следует оцен-
ка (16).
Наконец, оценка (17) вытекает из неравенства (4.3.2) и оцен-
ки (16). Теорема 1 доказана.
3. Исследуем сходимость метода (4), (5), (10).
Теорема 2. Пусть U—выпуклое замкнутое ограниченное множество
из Еп, функция J(u) принадлежит CX>X(U). Тогда при любом uq^U для по-
следовательности {ик}, определяемой условиями (4), (5), (10), справедли-
вы равенства (13). Если, кроме того, J(u) выпукла на U, то имеют места
равенства (15), а при ел C^k-2», Cq = const >0, 0 < р 1, верна оцен-
ка (16). Для сильно выпуклой функции справедлива оценка (17).
Доказательство. Так же, как неравенство (18), нетрудно пока-
зать, что
J (uk) ~ J (Wfe+1) “ akJk (wft) akL \uk'~uk |V2» & = 0, 1, ... (24)
В соответствии с формулой (10), определяющей величину ал, рассмотрим
три возможных случая:
1) Если Jk(uk) <0, ак = 1 р*!Л(ил) | - и&|~2, то из (24) с учетом
(11) имеем
Цик) - /(нл+1) > \Jk(uk) | - ЬркЩик) |/2 > г\Ь(Дк) |. (25)
2) Если h(uk) <0, ал = рл|7л(ил) 1 |ил — ил|~2<1, то из (24) с уче-
том (11) получаем
/(»>) ^(ufe+i)> Pfe | Jк (nfc) Pl uk ~~ uk |~2““ L$k | Jk (wh) |2 | Uh Uk | V2 e
= 1 Jk (uh) |2 I uh ““ uk | 2 Pfe (1 ~ £Pfe/2)
>1Л(М12^ЧС’ (26)
3) Наконец, если 7л(йл) > 0, то согласно (10) и из (24) имеем
7(ил) -J(ufc+i) >0, (27)
а из (4) следует
0 < 7л (йл) ел. (28)
Из (25) —(27) вытекает, что последовательность {J(uh)} не возрастает.
Так как J (WA)> 7* > — оо, то существует lim J (и^ > и, следователь-
но, lim (J (uft) — J (aft+1)) = 0. Отсюда и из (25), (26), (28) имеем 0^
fe-»oo
|7л(йл) | тах{ел; const* (Цик) — 7(ил+1))1/2} ->0 при всех &->оо, Пер-
вое из равенств (13) доказано. Второе равенство (13) устанавливается так
же, как в теореме 1.
Пусть теперь функция J(u) выпукла на U. Тогда справедлива цепочка
неравенств (20), из которой следуют равенства (15). Предполагая, что
ел^Со&“2р (0<р<1), докажем оценку (16). Предварительно заметим,
что 0 < ak = J (uft) — J* < sup J (и) - = С, < оо, поэтому
а? < sup ak-ah < С ah, К == 0, 1, ... (29)
fe>o
Еще раз переберем рассмотренные выше три возможности.
1) Если 7л(йл) =^0, ал = 1 С Рл|7л(йл) | |йл — ил|2, то из (20), (25), (29)
имеем ак — аь+i еал — вел, если
аЬ+1 < ah - евл + 88А <ай~ а1 (®/Q + e<V2p. (30)
298 мкт оды МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
2) Пусть 7л(«л) ah = рл|Л(нл) | \ик — uft|~2< 1. Здесь, в свою оче^
редь, имеются две возможности: ak 8л или 0 аь < 8л. Если ah 8л, то
из (20), (26), (29) получим eft-aft+1>(eft-8ft)2d-2e0e>a^-280e-2C2.
•8fed“2808 ИЛИ
aft+l<afe-“h(e0e/d2) + 2C2808d 2Р>
(31)
Если же 0 ак < 8л, то достаточно воспользоваться более простым следст-
вием (26): ak+i^ak. Последние два неравенства можно переписать в виде
0 ак CqA:“2p, ал+i ак ал + Сок~2р. (32)
3) Наконец, пусть 7л(йл) > 0, ал = 0. Тогда из (20), (27) получим
0 ал 8л, ал+i ал, что снова приведет к неравенствам (32).
Из (30) — (32) следует, что последовательность {ал} удовлетворя-
ет условиям леммы 2.3.5, из которой получаем оценку (16). Теорема 2
доказана.
4. Наконец, рассмотрим вариант метода условного градиента (4),
(5), (12).
Теорема 3. Пусть и — выпуклое замкнутое ограниченное множест-
во из Еп, функция Ци) ^CX>X(U) и выпукла на U. Тогда при любом u0^U
для последовательности {пл}, определяемой условиями (4), (5), (12), спра-
ведливы равенства (15). Если при этом ал=(& + 1)~1, 8л == Сз(& + I)-1
(к = 0, 1, ...), то
0< —/#<С41п(^ + 1)Д, & = 1,2, ...» (33)
а если ал = (к 4- 1)“р, 8л == С3(к + 1)~р (к = 0, 1, ..., 0 < В < 1), то
О < / (uft) — Л, <C4fc-p, fe = l, 2, (34)
здесь С3, С4 — некоторые положительные постоянные.
Доказательство. Заметим, что неравенства (20), (24) не зависят
от способа выбора ал (0 ал 1) в (5), поэтому сохраняют силу и в рас-
сматриваемом случае. Из них имеем aft — aft+1 ая(ай““ 8л)““ °^£б22/2 или
вЛ+1 < (* - afc) ak + «hid2/2 + afeefe> л = о, 1, ...
Отсюда с учетом свойств последовательностей {ал}, {вл} из (4), (12) заклю-
чаем, что {ал} удовлетворяет условиям леммы 2.3.6. Поэтому lim ak = О
Л-»оо
или lim J = J*. Отсюда и из теоремы 2.1.1 получаем равенства (15).
Оценки (33), (34) следуют из лемм 2.3.8, 2.3.9.
Упражнения. 1. Вычислить несколько итераций метода (3), (5),
(6) для функции J(и) = х2 + ху + у2 при и s U = {и = (ж, у) е Е2: 0
—1<У^0}, выбирая u0= (1, —1), (—1, 0), (1, 0) или (0, 0).
2. Для функции из примера 1 проверить выполнение условий теорем
1—3 и сформулировать условия сходимости соответствующих вариантов ме-
тода условного градиента.
3. Дать описание различных вариантов метода условного градиента для
функции J(и) = \Аи — &|2, где А —матрица тп X n, Ъ е Етч а множество U
является шаром или параллелепипедом. Опираясь на теоремы 1—3, дока-
зать сходимость метода.
§ 5] МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ 299
§ 5. Метод возможных направлений
1. Продолжим рассмотрение задачи минимизации гладкой
функции на заданном множестве U^En. Напомним, что
направление е ¥= 0 называется возможным в точке и U, если
и + te е U при всех t, O^t^to, где tQ — положительное число,
зависящее от точки и, направления е и от структуры множества
U (см. определение 4.2.3).
Определение 1. Направление е¥=0 назовем возможным
направлением убывания функции J(u) в точке и на множестве
£7, если е — возможное направление в точке и и J(u + ae)<J(u)
при всех а, 0 < а < £, где 0 < £ С tQ.
Метод возможных направлений основан на следующей есте-
ственной и прозрачной идее: на каждой итерации этого метода
определяется возможное направление убывания функции и по
этому направлению осуществляется спуск с некоторым положи-
тельным шагом. Собственно говоря, эта идея для нас уже не
новая — именно на ней были основаны многие варианты изло-
женных в § 1, 2, 4 методов. В самом деле, если U = En, J'(u)¥*
’И10, то возможное направление убывания функции легко нахо-
дится — это направление антиградиента е = —J' (и). Более труд-
ным был выбор возможного направления убывания в методах
§ 2, 4: в методе проекции градиента (см. формулы (2.2) и (2.2'))
для этого нужно было проектировать точку на исходное множе-
ство 17, а в методе условного градиента — решать задачу мини-
мизации линейной функции на множестве U (см. задачу (4.3)).
Понятно, что если задача выбора возможного направления
убывания на каждой итерации слишком сложна и требует ре-
шения вспомогательных задач минимизации, сравнимых по труд-
ности, быть может, с исходной задачей, то такой метод миними-
зации будет малоэффективным. Возникает вопрос: нельзя ли ука-
зать простые и достаточно удобные для реализации на ЭВМ
способы выбора возможных направлений убывания? Оказывает-
ся, для достаточно широких классов гладких задач такие спо-
собы существуют. Покажем это на примере следующей задачи:
J(u)->inf; u^U = {u^En: gi(u)<0, / = 1, ..., тп}, (1)
где функции J(u), gi(u) (i = 1, ..., тп), определены на всем
пространстве Еп и J(и), gi(u)^Cl(U).
Чтобы проще было пояснить суть метода возможных направ-
лений для задачи (1), сначала опишем более простой вариант
этого метода. Пусть и0 U — некоторое начальное приближение.
Пусть известно fc-e приближение ик U (к > 0). Введем мно-
жество номеров
Ik = {i: gi(uh) = 0}.
Возможно, что 7ft = 0,—это будет означать, что gi(uk)<0 при
всех i = l, ..., тп, т. е. uk^int?7— такая возможность ниже не
300 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГД. 5
исключается. В пространстве переменных
z = (e, о) = (е‘, еп, o)<=En+l
рассмотрим вспомогательную задачу
o-Hnf, z=(e, o)s Wk = {(e, о): еУ о,
(gi(Uk), e)^a, i<=Ik, ; = 1, . ..,n). (2)
Заметим, что задача (2) является задачей линейного програм-
мирования, причем минимизируемая функция <с, z> = <0, еУ +
+ 1-о, с = (0, 1)е£п+‘, явно не зависит от переменных е —
= (е‘, ..., е"). Далее, ясно, что точка z = (e = O, о = 0) = (0, 0)е
е Wk, так что Wk¥*0 и inf о = < О при всех к = 0, 1, ... Оче-
видно, множество Wk замкнуто. Наконец, условия |e*I s? 1 (/ =
-I, ..., п), называемые условиями нормировки, гарантируют
ограниченность множества Wk. Тогда из теоремы 2.1.1 следует,
что задача (2) имеет хотя бы одно решение. Для получения
решения задачи (2) могут быть использованы известные конеч-
ные методы линейного программирования (например, симплекс-
метод, описанный в гл. 3).
Предположим, что задача (2) решена и найдены (ек, од)е
е Wk такие, что сгд. = inf а. Выше было замечено, что о* 0.
wk
Сначала рассмотрим случай с*<0. Оказывается, в этом слу-
чае направление ек, полученное из задачи (2), является возмож-
ным направлением убывания функции J(u) в точке ик. В самом
деле, из условия (ек, о*)е Wk следует, что
</' (“л), еь> < ал < 0, (uft), ек) < ак < 0, is Ik.
Отсюда ясно, что ек 0. Кроме того, для любого номера i <= 1к
имеем
(gi (Uk + aeft) = gi (uk + aek) — gi (uk) = (uft), ek} a + »(«) <
a [Ofc + o(a)/a] < 0 при всех a, 0<a<a<, «i>0.
Если i&Ik, t. e. gi(uh)<0, то в силу непрерывности функции
gi(u) неравенство gi(uk + аек)<0 сохранится при всех а (0<
< a < a<), где > 0 — достаточно малое число. Положим a0 в
e min {a1? ..., am} > 0. Тогда
gi(uk + aek)<0, i = 0<a<a0,
т, е. ек— возможное направление множества U в точке ик.
Далее, взяв при необходимости число а0>0 еще меньшим,
можно добиться выполнения неравенства
J(ик + аек) - J (ик) = < J' (uft), eA>a + о (a)
а[о* + о(a)/a] < 0 при всех а, 0 < а < ае.
§ 5]
МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ
301
Тем самым показано, что если (eft, ок)— решение задачи (2),
причем щ<0, то —возможное направление убывания функ-
ции J(и) в точке ик на множестве U.
Используя найденное таким образом направление eft, следую-
щее (& + 1)-е приближение определим так:
uft+1 = ик + акек, 0 < ак < (3)
где
pft = sup{a: uh + teh^ U, 0^f^a}>0. (4)
Выбирая ah в (3) различными способами, будем получать раз-
личные варианты метода возможных направлений. Перечислим
некоторые способы выбора ак.
1) Величина ак может выбираться из условий
fh(ak)= inf =
fk (a) = J (uh + aek). (5)
Для минимизации функции Д(а) могут быть использованы из-
вестные методы (см., например, гл. 1). Точное решение задачи
(5) удается найти лишь в редких случаях; возможно также, что
на некоторых направлениях ек величина и нижняя грань
функции Д(а) при а>0 не достигается. Поэтому вместо (5) на
практике целесообразно употреблять такой способ выбора а*:
О < ah < fh (afe) < fk + б/г > 0, 2 = 6 < 0 (6)
или
J (uk + Uk^k) (1 — hk) J + ^kfk^ 0 < X 1.
2) Если функция J(a)eCM(P) и константа Липшица £для
градиента J' (и) известна, то в (3) в качестве а* можно принять
aft = min{pA; loj/r1}.
3) Возможен выбор а* из условий
J(ик)-Цик + акек)> eajoftl, 0 < aft < р*, 0 < s < 1/2.
Для определения такого а* сначала можно положить ак =
а затем при необходимости дробить эту величину.
4) В тех случаях, когда трудно оценить величину из (4),
приходится довольствоваться нахождением какого-либо ак > 0,
обеспечивающего включение ик + акек и условие монотонно-
сти J (ик + акек)< Цик). Для этого обычно выбирают какую-либо
постоянную a > 0, полагают ак = а и проверяют условие моно-
тонности и принадлежность точки ик+1 множеству U; при необ-
ходимости дробят величину afc = a, добиваясь выполнения уно*
мянутых условий.
302 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Один шаг метода возможных направлений для задачи (1) в
случае ом < 0 описан. Попутно выяснен смысл вспомогательной
задачи (2): минимизируя о, мы добиваемся того, чтобы направ-
ление ек было как можно ближе к направлению антиградиента
(это обеспечивается условием </'(uft), ек>^с) и в то же время
оставалось возможным направлением для множества U в точке
ик (это обеспечивается условиями {gi (ик), ек} ст, i <= 1к), при-
чем чем меньше о, тем ярче выражены указанные свойства напра-
вления ек. Кстати, если 1к = т. е. ик е int U, то ек =
= —а/ (ик), а = (max | Juj (ик) |j”1 >0— направление антигради-
ента.
Теперь рассмотрим случай, когда в решении (ек, ок) задачи
(2) координата oft = 0. Как видно из (2), это может случиться,
например, при J' (ик) = 0 или gi (uk) — 0 для некоторого номера
i^Ik. При ол = 0 уже нельзя гарантировать, что ек будет воз-
можным направлением убывания. В этом случае итерационный
процесс (2) —(4) прекращается. Оказывается, при сц = О точка
ик является стационарной точкой задачи (1), или иначе говоря,
в точке ик выполняются необходимые условия минимума, выра-
женные в теореме 4.8.1. Для выпуклой регулярной задачи (1)
условие сц = О гарантирует, что un^U*. Покажем это.
Теорема 1. Пусть функции J(u), gi(u) (i«l, ..., m)
определены на Еп, J(и), gi(u)^Cl(U), где множество U задано
условиями (1), и пусть задача (1) имеет решение, т. е.
> ~ оо, U* 0. Тогда для любой точки и* е U* задача
а -> inf; z = (е, а) е W* = {(е, а): < J’ (и*), е> а,
ie/*, I ei | < 1, / = 1, ..., n}t (7)
где
I* = {i- 1 < i < m, gi (u*) = 0},
необходимо имеет решение (е*, а*) с er* —miner —0. Если, кро-
w*
ме того, J(u), gi(u) выпуклы на Еп, а множество U регулярно
{см. определение 4.9.2), то всякая точка и* , для которой за-
дача (7) определяет величину в* = inf а = 0, является решением
w*
задачи (1).
Доказательство. Необходимость. Пусть u*^U**
По теореме 4.8.1 тогда существуют множители Лагранжа ...
неотрицательные и не все равные нулю, такие, что
m
^'(“*) + S («*) = ot ^*gi(w*) = 0, i = 1, m, (8)
Если i ф I*, то из второго равенства (8) следует X* = 0, поэтому
§ 5]
МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ
303
первое равенство (8) можно переписать в виде
^о*/'Ы+2^Ы = о. (9)
it=I*
Возьмем любую точку (е, о) е W*. Тогда </' (и*), е> о,
(g (и*), Умножим первое из этих неравенств
на Хо 0, остальные — на соответствующие Ji* 0 и сложим.
С учетом равенства (9) получим
\KJ' (^*) + i ^iSi (^*)> — 0a (a0 + + . •. + Kn)>
Достаточность. Пусть теперь J(u), gi(u) выпуклы на U,
а множество U регулярно, пусть для некоторой точки u*^U
задача (7) определяет величину cr*=infa = O. Покажем, что
w*
тогда и* g U*. С этой целью введем конус
К = {z = (е, а) е= En+1: <J' (и*), е> + (- 1) О,
{g'i(u*h е> + (— 1)а<0, i<=7*},
образующими которого являются векторы с0=(J' (и*),—1), Ci—
= (gi (и*), — 1) (ie I*). Покажем, что вектор d = (0, 1) К*-^
двойственный к К конус. Из (7) с учетом Infor = о* = О имеем
w#
<Х z\ = (0, е) + 1 • о — о а* = 0 (10)
для всех z = (в, о) К, для которых k’l 1 (j = l, ..., n).
Однако условие k5l 1 (/==!,..., п} здесь можно отбросить,
п неравенство (10) на самом деле верно для всех z^K. В самом
деле, пусть z=(e, с)^К и kJl > 1 для некоторого номера j
(1^/^п). Тогда |kl|== тах Положим
1<3<п
z = (е, о), е = е /Hell, о = o/lkll.
Ясно, что ze W*. Следовательно, <d, z> «= <d, z>/llell == о —
= o/llell > 0, так что <d, z> = о > 0. Тем самым показано, что
неравенство (10) верно для всех z К, т. е. d е К*.
По теореме 4.9.3 тогда существуют неотрицательные числа
• • •> такие, что
d = (0, 1) = - Х0%0 - S Aci.
Вспоминая определения векторов с0,с< (^е^)> отсюда имеем
о = - \*г Ы - S ^ig'i Ы = 0, I = s + х х;. (И)
Кроме того, из определения множества следует, что gi (и*) =
= 0, поэтому K*gi (^*) = 0 (i I*). Доопределим X* = Опри всех
304 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
1^7*. В результате с учетом первого равенства (11) получим
т
(и*) + 2 («*) — °, ttgi («*) = 0, i = 1, .... т, (12)
i—1
а из второго равенства (11) следует, что не все числа Xj\ X* (ie
е /*), равны нулю.
Покажем, что Х*>0. Если 7* = 0, то из (11) сразу имеем
X* = 1. Допустим, что 7* #= 0, но тем не менее Хо = 0. Тогда среди
неотрицательных чисел Х{ (i е 7*) найдется хотя бы одно положи-
тельное число. Пусть Хр>0, р^1*. По условию множество U
регулярно, поэтому существует точка u^U такая, что gt(w)<0
для всех i = 1, ..., тп. Поскольку I* =# 0, то и и*. В силу вы-
пуклости множества U тогда аи +(1—а)и* = и* + а (и*—и*) е U
при всех а (О^а^ 1). Это значит, что направление е = и—
=/= 0 является возможным для множества U в точке и*. Из вы-
пуклости функций gi(u) для_всех имеем 0>gi(^)=
= gi (“) — Si (“*) > (gi (и*), u — u*> = (g'i (uj, e). Поэтому
m
2 (g'i (“*), e) < (g'v (“*)> e) < °- Ho с другой стороны, из пер-
i=l
т
вого равенства (12) при Хо — 0 получим 2 (g'i(u*), г) = 0-
i=l
Полученное противоречие показывает, что Хо >* 0. Разделив
первое равенство (12) на Хо > 0 и сделав очевидные переобозна-
т
чения, придем к равенству /' (и*) + 2 ^tgi (^*) = 0- Функция
1=1
т
Лагранжа L (и, X*) = J (и) + 2 ^igi (и) выпукла по и Еп из-за
1=1
выпуклости«7(^), gi(u) и неотрицательности Xi (i = 1, ..., т).
Поэтому предыдущее равенство в силу теоремы 4.2.3 равносильно
условию 7/(u*, X*)^L(u, X*) при всех и е Еп. Отсюда и из вто-
рого равенства (12) с помощью леммы 4.9.1 и теоремы 4.9.1 по-
лучим, что и* е U*. Теорема 1 доказана.
В невыпуклых задачах условие о* = 0 не является достаточ-
ным для оптимальности точки и*. Это показывает следующий
Пример 1. Пусть 7 (и) = я: + cos у, u<=U = {u=(x, у) е
^Е2\ g(u)= —я^0} (ср. с примером 4.8.1). Возьмем точку
«*= (°, °)- Тогда Г (iz*) = (1, 0), g' (u*) = (—1,0), W* = {(e, о) =
= (e1, e2, or): e1 a, — e1 cr, | e11 1, | e21 1}. Отсюда | e11 о
при всех (e, о) e ГИ*. Это значит, что inf a = о* = 0, причем ниж-
w*
няя грань достигается прие* = (0, 1)или = (0, — 1), а^.=0. Но
здесь и* == (0, 0) не является точкой минимума J(и) на U, Любо-
МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ
30S
§ 5]
пытпо заметить, что векторы е*~ (0,1) или (0, — 1) в данном
случае являются возможными направлениями убывания.
2. Описанный выше вариант метода возможных направлений
(2) —(4) на практике применяют редко. Дело в том, что когда
в решении (ек, оА) задачи (2) координата оА< 0 мала по абсо-
лютной величине, направление теоретически являясь возмож-
ным направлением убывания в точке иА, практически может об-
ладать указанными свойствами в весьма слабой форме. Это оз-
начает, что либо (gi(uk), « 0 при некотором i е А и на-
правление ек почти «касается» множества С7, не ведет «вглубь» U*
а величина из (4) может оказаться очень малой, либо </,(иА)>
~ оА ~ 0, т. е. вдоль ек функция J(и) в точке ик убывает слиш-
ком медленно. В результате длина шага ак в (3) может полу-
читься очень малой даже вдали от стационарной точки, и сходи-
мость метода может оказаться очень медленной.
Чтобы как-то избежать таких неприятных явлений, можно по-
пытаться несколько варьировать множество номеров 1к в (2) и
осуществлять спуск из точки ик только в том случае, когда полу-
чаемое из (2) направление ек обладает достаточно ярко выражен-
ными свойствами возможного направления убывания.
Опишем один из таких подходов. Пусть U, е0> 0 — неко-
торое начальное приближение. Допустим, что к-е приближение
еА), ик е U, &к > 0, при каком-то к > 0 уже известно. Опре-
делим множество номеров
{i: 1 i тп, — 0) (13}
и решим вспомогательную задачу (2) при таком Д. Задача (2}
по-прежнему будет задачей линейного программирования и будет
обладать хотя бы одним решением (еА, сц) с = inf о^О.Име-
wk
ются две возможности:
1) В этом случае считаем, что ек является достаточ-
но хорошим возможным направлением убывания в точке и
полагаем
иА+1 = ик + aft^, 0 < а* С eft+1 = 8ft, (14}
где определяется из (4), а выбор ак может быть осуществлен
одним из описанных выше способов.
2) — 8а< Оа^ 0. В этом случае считаем, что направление eh
не обладает ясно выраженным свойством возможного направле-
ния в точке На, полагаем
НА+1= НА, 8а4-1== 8а/2 (15)
и снова переходим к рассмотрению задачи (2) с заменой множе-
ства /а на множество Zft+1={f: 1 i тп, — — 8А/2
gi(uk)^0}, надеясь на то, что на более широком множестве
(при сужении 1к множество Wh, вообще говоря, расширяется)
удастся найти лучшее возможное направление убывания и т. д.
306
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Описание одной итерации метода возможных направлений для
задачи (1) закончено. В методе (2), (13) — (15) имеются пара-
метры 8о, 81, .. •? удачным выбором которых, вообще говоря, мож-
но улучшить выбор направлений eh на каждой итерации, уско-
рить сходимость метода. Кстати, в (15) вместо деления пополам
можно принять иной способ дробления 8А, например, 8fe+i = 0,9eft.
3. Следуя [11], изучим сходимость метода (2), (4), (6), (13) —(15).
Предварительно докажем несколько лемм.
Лемма 1. Пусть 7(zz), gi (zz) е Сх>1 (Z7) (z = 1, ..., тп) и I — некоторое
фиксированное множество номеров, взятых из {1, 2, ..., пг} (возможности
1—0 или I — {1.......пг} не исключаются), Для каждого u^U положим
(и) = mine, где G(u) = {(е, о) = (е1, ..., еп, о) g En+l: (J'(u), еУ о,
G(u)
^g^(zz), о, i I; \еЦ 1, / = 1, п}. Тогда
|o(zz)—о(р) ] =< L^n\u — р|, и, v е U, (16)
яде L — константа Липшица для градиентов J' (и), g^u) (z = l, ..., иг).
Доказательство. Возьмем произвольные точки и, v ^U. Пусть
(е, о) е C(v), т. е.
(J' (v), о, (z>), 5 е7 | 1, / = !,..., и.
Тогда
<J'(u), е> = <J'(v), е> + (Г(и) -J'(v), е>^а + Ь\и-и\ |е|
а + Ь|в — v\]fn
и, аналогично, __
(g- (и), e^<o + L|zz — р| ]/п, i е I.
Это значит, что при каждом (е, a)^G(v) точка (е, а + L^n\u — р|) при-
надлежит множеству G(u). Тогда о (zz) = min о о + L Д/п | zz— pl для
G(u) _
любых (е, о) eG(t'). Следовательно, o(zz) о(р) + L^n 1 и — v\. Поменяв в
этих рассуждениях точки и, и ролями, получим o(v) o(zz) -]-L}n\u — p|.
Из последних двух неравенств следует неравенство (16).
Лемма 2. Пусть
J(u),g (u).......gm(u)eC1'1(U), max sup | gC (и) I < оо,
а последовательности {«&}, {«/J, {Ы> {8а}, {ол} определены условиями (2),
(4), (6), (13) —(15). Тогда
Ai min{sk, |a*|}, k = 0, 1, (17)
еде Ai = min{l/(x40yn); l/(nL)} >> 0, L — константа Липшица для градиен-
тов Г (и), g\\u), ..., g^(zz).
Доказательство. Если Рь — оо, то неравенство (17) верно. По-
этому пусть < оо. Из определения (4) величины и замкнутости U
следует, что Uk + fihCk е £7 и gi(uk+ ₽ье&) = 0 хотя бы для одного номера i.
Зафиксируем один из таких номеров z. Может оказаться, что gi (uh) <Z —еь
Тогда 8ft < - gt (uft) = gi (uk + - gi (Mft) = {g’i (uft + epfeeA), <
< 4Л1 ek 1 < Ao ’• e. > eh/(A0 УЙ).
§ 5]
МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ
307
Если же оказалось, что —8ft < gi (ик) <0, то i е h и (gj (uk), ek) < Gk^
0. Допустим, что Ch < 0. Тогда направление ек является возможным в
точке ик и заведомо > 0. По определению рл имеем gi (ик + cm) 0 при
всех а(0 < а < pft). Кроме того, gi(uk + Pm) = 0 по выбору номера L
Тогда 0>gi(Mk + aeft)-gf(«ft + ₽fteft) = (g,i(uft+₽fteft), efe>(a-₽ft) +
+ о (| a - ₽h |) или (uk + Ы’ ek)> ° (I a ~ I) (Pft - a)-1 пРи всех
a (0 < a < рл). Отсюда при a -> Рь — 0 получим (g\ (uk + Pfeeft), e^)
Тогда |cfe| = -oft<<-g-(»fe), <><<£«(“й + Р)Л) - Zi («й). «ft><
< 7Pfe | |2 LnPfe, т. e. p& | oft|/(nL). Если Gk = 0, то последнее нера-
венство также остается верным, так как согласно (4) всегда рь 0. Объеди-
няя обе полученные оценки для рл, приходим к оценке (17). Лемма 2
доказана.
Лемма 3. Пусть Ци), gi(u) е СХЦП) (i = 1, ..., m). Пусть, кроме
того, в процессе (2), (4), (6), (13) — (15) на некоторой к-й итерации оказа-
лось Gk — Еь. Тогда
J (uft) - J (ttft+1) > А2 min {Pfe I Ofe |; og) _ 6ft, (18>
где A2 ~ min{l/2; l/(2nL)} > 0.
Доказательство. Из неравенства Gk —ел и определения ен, Ол
следует, что <7'(ил), ел> Ол — &k < 0. Кроме того, ek является возмож-
ным направлением в точке иь и, следовательно, рл > 0. Из (6) и леммы 2.3.1
имеем
J (ufe) - J(“м-i) > J (uk) - „ fk (“) - sfe> J (uk) - J (uk + aeh)-6fe>
> — a eky — a2L [ efe |2/2 — 6ft > — aaft — a2nL/2 — 8k (19)
при всех a (0 a P&). Положим здесь a = ппп{Рл; | Ok\/(nL)}.
Может случиться, что a = рл |Gk\l(nL). Тогда из (19) получаем
Цик) — 7(«л+1) > а] оА| — a-a-nZ/2 — бА > рл[ол| — Ра(|йл|/(пЬ)) (nL/2) —
— 6ft = Pfe | CFfc 1 /2 — бл.
Если же a = |Gk\l(nL) < рь, то из (19) следует
J (“ft) - J (“ft+i) > -WnL^nLK) - 6fe = ^h/(2nL) - 8k.
Объединяя оба рассмотренных случая, приходим к оценке (18).
Теорема 2. Пусть функции Ци), gi(u) (i = 1, ..пг), определены
и выпуклы на Еп\ множество U из (1) регулярно^ Ци), gi(u) ^Cl>l(U),
АЛ — max sup I g. (и) I < 00. Пусть задача (1) имеет решение, т. е. J*> •—
0 i^i^m U 1 1
— оо, =/= 0, и начальная точка Uq е U такова, что множество Mq(uq) ==
== {и: и е U, J(u) Ци0) + 6} ограничено. Тогда при любом выборе е0 > 9
для последовательности {и&}, определяемой условиями (2), (4), (6), (13) —
(15), справедливы равенства
lim J (иЛ = J*, lim р (uft, = 0. ;20>
fe-»OO А“>ОО
Доказательство. Сначала установим, что
lim (J (uft) — J (^ft+1)) = 0. (21)
k-^co
Если Gk — 8ь, то из (14), (6) имеем J(uk+i) — }Цаъ.) /л(0)+ бл = Цик) +
4- бл. Если же —б* < Oft 0, то из (15) следует Цик+1) = J(цк) < J(ил)+б*.
308 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Таким образом, / (uft) > > — °° и, кроме того,
оо
+ *=о, 1,S6ft = 6<oo.
k—0
(22)
'Согласно лемме 2.3.2 тогда существует lim J (ufe) Отсюда следует
fc-»oo 4
равенство (21).
Далее, покажем, что limsft = 0. Согласно (14), (15) последователь-
k~»OO
«ость {еь} получается дроблением и не возрастает. Допустим, что lim eft =з
fe-*oo
==е>0. Это значит, что в процессе построения {uk} было конечное число
.дроблений и е > 0 при всех к kQ. Из (14) тогда имеем =
== —е, т. е. | Okl е, к к$. В этом случае согласно лемме 2 Л18, к
kQ. Поэтому из леммы 3 получим J(ur) — J(uk+i) A2min{Ai82; 82}—
— 6л (fc^/fo), ЧТО противоречит равенству (21). Итак, показано, что
lim 8fe = 0.
А->оо
Пусть к\ < к2 < ... < кг < ... — номера тех итераций, когда происхо-
дит дробление 8&. Согласно (14), (15) тогда — e&r Gkr^® (г — 1, 2, ...).
«Следовательно, lim crft =0. Тем самым установлено, что существует хо-
Г->00 г
тя бы одна подпоследовательность сходящаяся к нулю.
Возьмем произвольную подпоследовательность Покажем,
что тогда любая предельная точка соответствующей подпоследовательно-
сти принадлежит множеству СТ*. Из (22) следует, что J(uk+i)
<;7(и0)+6 (к = 0. 1, ...), т. е. {иъ} е М&(ио). По условию множество
J/g(zzo) ограничено. Поэтому можем считать, что взятая выше подпоследо-
вательность | uh? | сходится к некоторой точке и*. Далее, множество номеров
А, определяемое согласно (13), представляет собой подмножество конеч-
ного числа номеров {1, 2, ..., тп}, поэтому число различных множеств 1к
конечно. Это значит, что среди г = 1, 2, ...} найдется хотя бы одно
множество Ikr = Z, которое повторяется бесконечно много раз. Выбирая
при необходимости подпоследовательности, можем, таким образом, счи-
тать, что
{%.}-*0- (%.}"*“*> ткг=^ г=1, 2, ...
Согласно лемме 1 при G (ukr^ = ^kr имеем
| ° (и*> |= | ° (%)— а <к*> | < L V" | uhr—и* | * °>
т. е. lim a/w. \ — lim аь = 0 = в (и*), где a(u*) = inf a, G(u*) =-
г->оо К Г/ г-*оо г G(u*)
«= [(е, а) <= £n+1: < (и.), в> < а, (и.), е) < а, j е= Z; | е’| < 1, / = 1,...
Рассмотрим задачу (7), соответствующую точке u* = lim . Покажем,
г-»оо г
'что W* C1G (и*). По определению множеств I = Ih = (г: 1 i г,
"Г I
— 8kr (ukr) ^0} (r = 1, 2, ...). Отсюда при г-> оо получим gj (и*) = 0
для всех 1&I. Это значит, что /С/*, т. е. в определении множества
число ограничений типа неравенств не меньше, чем число таких ограниче-
ний в определении G(u*), Тем самым установлено, что W* C^G (u*)t А то-
§ 6]
МЕТОД ЛИНЕАРИЗАЦИИ
30»
гда, замечая, что одна и та же функция на более широком множестве име-
ет меньшую нижнюю грань, получаем о* — inf а inf а = о (w#) = 0.
W* G(u*)
С другой стороны, (0, 0) е И7*, поэтому ст* < 0. Следовательно, а* = 0.
Поскольку задача (1) по условию выпукла и множество U регулярно, то
согласно теореме 1 u* е £7*.
Выше было доказано существование предела lim J (иЛ, Теперь можем
ft-* оо
сказать, чему равен этот предел: lim J (uk) = lim J (uk \ = J (и*) = J*.
k~*<X> r-»OO V r'
Таким образом, построенная последовательность {uh} минимизирует
функцию J (и) па множестве U. Поскольку —ограниченное
множество, то из теоремы 2.1.2 следует, что lim р (uk1 £7*) = 0. Равенства
ft-* оо
(20) и, тем самым, теорема 2 доказаны.
4. Для задачи
J(w) -> inf; и е U = {и е Еп: gi (и) О, i = 1, ..т,
gi(и) — (at, и) — Ь* == 0, i = m + 1, О,
содержащей линейные ограничения типа равенств, метод возможных на-
правлений описывается так же, как выше, лишь в задаче (2) нужно доба-
вить еще ограничения <а<, е> = 0 (i = т + 1, ..., s).
Можно заметить, что описанный в гл. 3 симплекс-метод для решения
канонической задачи линейного программирования по существу является
вариантом метода возможных направлений. Более того, опираясь на идеи
метода возможных направлений, можно получить симплекс-метод непосред-
ственно для основной задачи линейного программирования (без ее сведе-
ния к канонической задаче).
Выше во вспомогательной задаче (2) было принято условие нормировки
|| 1 (/ = !,...,»). Возможны и другие условия нормировки, напри-
мер, | е |2 С 1 или | В^е | 1, где Вь — специально выбираемая матрица. За-
метим, что при такой нормировке задача (2) уже не будет задачей линейного
программирования. Тем не менее удачный выбор Вь может облегчить вы-
бор возможного направления убывания, ускорить сходимость метода. О дру-
гих способах нормировки, о сходимости различных вариантов метода воз-
можных направлений и других аспектах этого метода см., например, [11,
159, 163, 338].
Упражнения. 1. Сделать несколько итераций метода возможных
направлений для задачи минимизации J(u) =х +у на множестве U =
= fи — (х, у): gi (и) = х2 — у 0, g2(u) = у — 1 0} при различном вы-
боре начальной точки и0.
2. Вычислить несколько приближений по методу возможных направле-
ний для задачи из примера 1 при различном начальном приближении и0.
§ 6. Метод линеаризации
Этот метод на каждой итерации использует линейные аппрок-
симации минимизируемой функции и функций, задающих ог-
раничения. Опишем его для задачи
J(u)-*inf, u^U = {ueU„: g,(u)<0, gm(u)^0), (1)
предполагая, что UQ — выпуклое замкнутое множество из Еп и
функции /(u), gi(u)^Cl(Uo). Пусть и0 — начальное приближе-
ние, Uo s иа. Предположим, что к-е приближение u*е Uo при
310 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИИ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
некотором к > 0 уже известно. Введем функцию
Фй(и) = — Mftl2 + и — ик\ ₽fe>0, (2)
и множество
Wk = \u<=.U^ gi (uft) + (gi (uft), u — uft>< 0, i = l, m}. (3)
Пусть В качестве к + 1-го приближения uft+1 возьмем
решение следующей задачи минимизации:
<Dfc(u)“>inf, u^Wh. (4)
Поскольку функция (2) сильно выпукла, множество (3) выпук-
ло и замкнуто, то согласно теореме 4.3.1 задача (4) имеет, при-
том единственное, решение. Задачу (4) необязательно решать
точно: достаточно найти точку uh+i из условий
uk+1 е= Wk: Фк (uh+1) < inf (u) + efe, 8ft > 0. (5)
Если UQ многогранное множество, то задача (4) представляет
собой задачу квадратичного программирования и может быть ре-
шена конечношаговым методом (см. ниже § 7). Если Wk—огра-
ниченное множество, то для решения задачи (4) может быть
использован, например, метод условного градиента, который бу-
дет сходиться и при > 0 позволит определить точку ик+1 из
(5) за конечное число шагов. В общем случае задача (5), ко-
нечно, не всегда просто решается. Метод линеаризации (5)
обычно используют лишь в тех случаях, когда определение точ-
ки uh+l из (5) не требует большого объема вычислений. Полезно
заметить, что задача (4) равносильна задаче
<Рь (“) = -у । и — ("* ~ К J' (“л)) I2 inf, « е Wh,
так как q>ft (u) — <Dft (и) = | J' (uh) |2 = const, и е Это значит,
что точное решение ик задачи (4) представляет собой проекцию
точки Uft —рА7'(ил) на множество Wkj а точка ик+1 из (5) явля-
ется приближением для vk. Отсюда следует, что если в (1) огра-
ничения отсутствуют (тп = О), то U = U0 = Wk и метод
линеаризации превратится в метод проекции градиента.
Теорема 1. Пусть UQ — выпуклое замкнутое множество из
Еп (в частности, возможно UQ = En); функции J(u), gi(u)&
выпуклы на UQ и
max f| J' (и) — J' (v) max | gi (u) — gi (z?) L | и — v | Vu,
[ KKm j
существует такая точка и U, что
gi(u)<$, ..., gm(u)<0; (6)
§ 6]
МЕТОД ЛИНЕАРИЗАЦИИ
311
J*> — °о, числа рА, 8а в (2), (5) таковы, что
оо
8ft>0, 2/sT<oo, O<To<pft<₽, (7)
k—0
где p определяется ниже формулой (22). Тогда множество (3)
непусто при всех к 0, последовательность {uk}, определяемая
методом (5), сходится к некоторой точке
Доказательство. Согласно теореме 4.2.2
М“а) + <&(“а)> “-“й> <?»(“) V«eZ70. (8)
Отсюда следует, что если и е U, то и е И\, так что U cz Wk. По условию
U Ф 0, поэтому Wk =7^0 (к = 0, 1, ...). Таким образом, при каждом
к 0, ел ;> 0 существует точка uk+i, удовлетворяющая условиям (5): на-
пример, можно взять Uk+\ — trq Vk — точное решение задачи (4). При-
меняя теорему 4.3.1 к задаче (4) с учетом (5) имеем |uA+i — rft|2/2
< Фь(1^+1) ~ Фл^’л) еА, так что
I uk+i — Т2ел. (9)
Возьмем произвольную точку u* е При сделанных предположениях
о выпуклости и регулярности задачи (1) по теореме 4.9.2 и лемме 4.9.2
найдутся такие числа > 0, ..О, что
</'(и.) + 2 ° Vusf/o’ <10>
1=1
^*?{(и*) = 0, 1 = 1, u* = Ut. (И)
Подчеркнем, что в силу замечания, сделанного после формулировки следст-
вия 2 к теореме 4.9.6, числа X*, . ..,Х^ в (10), (И) могут быть выбраны
одни и те же для всех е U*.
Далее, из условия регулярности (6) и неравенств (8) следует
(ма) + (4 (“а)> и~ «а) <?i(“) <°> i = l, ...,т. (12)
Это значит, что множество (3) также регулярно и к задаче (4) также при-
менима теорема 4.9.2, из которой следует, что функция Лангража этой
j т
задачи L± (и, 5) = -у | и — ик |2 + РА </' (ик), и — uft> + 2 Bt (,Si (uk) +
i=l
+ (e'i V — икУ), u^U0,l= (gp ..5m) s ло = £+’ имеет седловую
точку (vh, 5*), Vk — решение задачи (4), 5ft = (51.ft, Ъ,тк)е= £%. В силу
леммы 4.9.2
<\vk - uk + Ра7' (ма) + 4S Wi (ма)> “ - vk/> > 0 v“ е ^о- <13>
BiA (Si (ыа) + (g'i (uh)< vk - Uk)) = °> i = l.. <14)
^(“A) + <«i(“A)- t’A-MA><°> 1 = 1, (15)
Возьмем в (10) и = v^ умножим на Ра > 0 и сложим с (13) при и ==
312 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
Получим
0 < <Ук - “» - vh> + ₽й <7' (“♦) ~ Г (“ft)’ vk - “*> +
+ 0ft 2 (е\ («»), vh - u*> + 2 КШ (“ft)- “*- ^>. (16)
i=l i=l
Преобразуем и оценим каждое слагаемое в правой части (16). Для первого
слагаемого имеем
1 1 1
“.-^>=т1“й~М2-тРй~“й12~т1“*~1’й12' (17>
Пользуясь неравенством (4.2.20) при и — иь, w = р*, v=* u#, получаем оцен-
ку для второго слагаемого
Pft. </' (“♦) — (mr)> vk “ w*> < $kL I uh “ vk I2/4*
Далее, из леммы 2.3.1 при J(и) = gt(u), и — vx, v = их с учетом нера-
венств (15) имеем g} (vk) < gt (uh) + (uft), vh — uft> + L | uh - vk |2/2<
L\uk — Pft[2/2 (i s=. 1, ..., m). Отсюда для третьего слагаемого из (16) с
помощью равенств (11), неравенств (8) при и == и Х*^0 получаем
2 *•* (s’i («•), vh—и*) = ph 2 (8i (“*) + (4 (“♦)• vk—“•)) <
i=l i=l
m m
< 0ft 2 W < ₽ft I *• liLI - vk I2/2- i x* ix = 21 I- <19)
i=l i=l
Наконец, для четвертого слагаемого из (16) с учетом равенств (14), не-
равенств (8) при и = включений u* е U, е Е™ имеем
2 (“*)> иь- vh) = 2 ^й fa(“й)+(e'i (»fe),«.- «й» -
i-l i=l
- U (gi («h) + (g'i (^k)> vk - uh>) < 2 tikgi (“») < °- (20>
i=l
Сложим оценки (17) —(20); с помощью (16) получим
0 <“у I uk — I2 — “2" | vk — |2 — -у | vk — uk |2 X
/1 \
(21)
Выберем Рл из условий
2 (1 — V)
° < vo< ₽й< Z, (1 + 21 X* 1х) = 0’ (22)
где 7о, 7 — настолько малые положительные числа, что у0
sc 2(1 - 7)/(Л(1 + 2|Х‘|1)). Из (21), (22) тогда имеем
I vk~ “» |2 + "И vk~ “й|2^ | uk~ “» I2’ Л = 0, 1, ... (23)
Из неравенств (7), (9), (23) и леммы 2.3.10 следует существование конеч*
S 6]
МЕТОД ЛИНЕАРИЗАЦИИ
313
ных пределов
lim I uk — u* | = lim I vk — u* I, lim I uk — vk | = 0. (24)
fe-^OO fe-»oo fe-»oo 1
Это значит, что последовательности {и&}, {иъ} ограничены. Покажем огра-
ниченность последовательности {£*} из (13) —(15). G помощью (12), (14)
из (13) при и = й имеем
<Vk ~ик+ (“а), “ - ”а> > - S SiA (g'i (“а), “ - Vh) =
i=l
m
e 2[*1а(-М“а)-<&(“а)> “-“а»+^а(^(“а)+<^(“а)- vk~uk))]>
i=»l
m
Отсюда и из неравенств (22), ограниченности {и&} и {р*} получаем
1
0 < Ijh < —;—;—[<yk — uk 4- р, J’ (uft), и — pft\] < const < 00,
mm £$(и) А А А ' А/ A/J
14i<m1 1
j = 1, ..., m.
Таким образом, последовательность {V} ограничена. Отсюда и из (22)
следует ограниченность Перепишем (13), (14) в виде
+ 7'(“а) + 2 T-gi(Uk)’ u~vk)>Q
Pft iTi Pft / (25)
t.
(gi (“a) + <*'i vh - Ufe>) = 0, i = 1.....m.
Выбирая при необходимости подпоследовательности из ограниченных по-
следовательностей {ил}, {уь}, {£ft/pfc}, можем считать, что эти последователь-
ности сходятся. С учетом (24) тогда
lim uk = lim vk = lim 0, i = 1, ..m.
fe-*oo fe-»oo fe-»oo
Из замкнутости Uo следует, что v* e UQ1 а из (15) при к-^оо получим
(i = 1, ..., zn). Следовательно, v* e U. Далее, из (25) при A:-*
-*oo с учетом (22) имеем
М + 2 (у*), и — 0 Vи е= и0,
g*gi(f.)=0, i = l, (26)
Как следует из леммы 4.9.2 и теоремы 4.9.2, соотношения (26) означают,
что р* е Z7*. Вспомним, что неравенство (23) было получено для любых
е &*. В частности, (23) верно и при и* == у*. Но р# —предельная точка
последовательности {иь}. Согласно лемме 2.3.10 тогда {wftJ р*. Теорема
доказана.
Замечание 1. Если в (5) = 0, то согласно (9) uk+i = »k (к =
= 0, 1, ...), и неравенство (23) можно записать в виде
I“a+i~u*|2 + V|“a+i — ua12<|“a — “*|2« Л = 0,1............ Vu«e^,.
314 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Пользуясь произволом в выборе и* е Z7*, отсюда имеем
I I I wfe+i “ v* I’ Р (wfe» Р (иЫ-г ^*)» & = 0,1, •••♦
причем равенство здесь возможно лишь при wft+1= J7*. Таким об-
разом, при точной реализации описанного метода линеаризации расстояние
от точки ик до множества U* или до точки v* монотонно убывает. В то
же время можно отметить, что хотя и {J (wft)}-> / (г#) == У#, но {/(м*)}
не обязательно монотонно убывает и не обязательно ик s U,
Различные варианты метода линеаризации описаны и исследованы в
[8, 19, 21, 29, 115, 132, 150, 250, 314, 338]; регуляризованные формы метода
линеаризации для задач с неточно заданными исходными данными иссле-
дованы в [86, 329].
Упражнения. 1. Доказать, что если в (4) окажется vk = ик при
некотором к 0, то точка ик удовлетворяет необходимым условиям опти-
мальности. Указание: применить теорему 4.8.1 к задаче (4), затем при-
нять ик = ик.
2. Доказать, что если выполнены условия теоремы 1, е& = 0, к = О,
1, ..., и в (4) ик =* ик при некотором к 0, то Указание: по-
ложить в (25), (15) ик = ик и воспользоваться леммой 4.9.2 и теоремой 4.9.2.
3. Рассмотреть метод линеаризации для задачи (1) при UQ = т = 0.
4. Описать метод линеаризации для задачи (1) с дополнительными ли-
нейными ограничениями <а$, п> = Ъ* (i == тп + 1, ..., $).
§ 7. Квадратичное программирование
1. Рассмотрим задачу
J (и) = <Си, и) + <е, и> -> inf, и <= Uf (1)
U = {и Еп: <ai, и> i = 1, ..т\
<пъ и> = Ь\ i = т + 1, ..$}, (2)
где С — симметричная неотрицательно определенная матрица
размера пХп, т. е. ОО; с, а^Еп, (i = l, $) (воз-
можности т = 0, или $ = тп, или s == т = 0 не исключаются).
Задачу (1), (2) принято называть задачей квадратичного про-
граммирования: в ней квадратичная выпуклая функция мини-
мизируется на многогранном множестве. Такие задачи возника-
ют в различных приложениях. Задачи определения расстояния
от точки до многогранного множества, проектирования на такое
множество также представляют примеры задачи квадратичного
программирования, когда в (1) C — I— единичная матрица. За-
дачи вида (1), (2) часто возникают как вспомогательные при
описании различных методов минимизации (см., например, § 6).
Поэтому важно иметь достаточно простые методы решения зада-
чи квадратичного программирования. Оказывается, для задачи
(1), (2), как и для задачи линейного программирования, суще-
ствуют конечные (конечношаговые) методы их решения. Для
построения таких методов сначала нужно выявить некоторые
специфические особенности этой задачи. В частности, здесь по-
лезно рассмотреть двойственную к (1), (2) задачу.
§ 7]
КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ
315
Введем функцию Лагранжа задачи (1), (2):
L (и, X) = 4" иУ + иУ + <Л? Аи—Ь) = ~ {Си, и) + <с +
+ АТХ, и) — <Х, Ь>, u^U0 = En, ХеЛ0 = {Х = (Хь ...» Хв)<=
е= Е1'. Хх О, ..Хт 0|г
где А — матрица размера $Хп со строками а^, ..а$, Ъ =
= (Ъ*, ..., Ь8). Если — оо, £7* =#0, то согласно теореме 4.9.4
(функция L(u, X) имеет седловую точку (u*, X*), причем в силу
леммы 4.9.2
dL V) = Си* + с + АТХ* = 0, (3)
X* (<aj, и*} — 6*) = 0, i = 1, ..., s; и* е U*, X* е Ад. (4)
Тогда двойственная к(1), (2) задача
4>(Х) = inf L(u, X)->sup, ХеА0, (5)
USEn
согласно теореме 4.9.6 также имеет решение, причем
J* = яр = sup if (X) — i]? (X*) = J (и*), u*^U*, %* е Л* =
^о
= {X е Ло: Ф (1) = 4>*}.
При дополнительном предположении положительной определен-
ности матрицы С, т. е. С>0, функция -ф(Х) может быть выписа-
на явно. В самом деле, тогда С невырождена и точка минимума
ii=u(V) функции Ци, %) при и^Еп однозначно определяется
из системы Си + с + АТК = О, так что и(%) = —С-1(с + ЛтХ).
Поэтому
4 (%) = L (и (X), X) в — у (с + АТХ, С~г(с + Атк)) — <Х, Ь> =
= - V<(АС-гАт) X, Х> -<АС-1с + Ь, Х> —1 ((Г'с, с), Хе ЛОг
где АС~\АТ > 0. Таким образом, при С > 0 двойственная задача
(5), записанная в виде
—inf, Х^Л0, (6)
также является задачей квадратичного программирования вида
(1), (2), но множество Ло по сравнению с (2) имеет более про-
стую структуру. Зная какое-либо решение %* задачи (6), можно
записать решение исходной задачи (1), (2) в виде
и* = - С-1 (с + АТХ*). (7)
В самом деле, при С>0 функция J(u) сильно выпукла и соглас-
но теореме 4.3.1 задача (1), (2) имеет единственное решение
316 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
и*, которое обязательно будет решением системы (3), (4), где
X* — решение задачи (6). И поскольку система (3) при фикси-
рованном %* однозначно определяет точку то необходимо при-
ходим к формуле (7).
Особенно проста задача (6) в том случае, когда в исходной
задаче (1), (2) отсутствуют ограничения типа неравенств
(т = 0) и множество U имеет вид
U = {u^En\ и> = Ь\ i=l, $}. (8)
Тогда Ao = Z?e, и задача (6) запишется в форме
- ip(X)»inf, Хе£8. (9)
Множество А* решений задачи (9) в силу теоремы 4.2.3 совпа-
дает со множеством решений системы
-г|/ (х*) == АС~'АТК* + AC~ic + Ъ = 0. (10)
В общем случае система (10) может иметь более одного реше-
ния. Если матрица А невырожденная, т. е. векторы ал, ..., а9
в (8) линейно независимы, то из С > 0 следует AC~'AT > 0,
и тогда задача (9) и, следовательно, система (10) будут иметь
единственное решение. Таким образом, при С > 0 для решения
задачи (1), (8) достаточно решить две системы линейных алгеб-
раических уравнений (10), (3). Здесь могут быть использованы
известные методы линейной алгебры [4, 39, 54, 93, 164]. По-
скольку для линейных систем имеется принципиальная возмож-
ность получить решение за конечное число арифметических опе-
раций (например, методом исключения Гаусса), то такая воз-
можность имеется и для задачи (1), (8) при С>0.
2. Следуя [21], покажем, что исходная задача (1), (2) при
С > 0 может быть сведена к решению конечного числа задач
вида (1), (8). Здесь важную роль играет понятие особой точки
задачи (1), (2).
Определение 1. Точка v называется особой точкой зада-
чи (1), (2), если U и v является решением задачи
J(u)->inf, u^V = {u^En: <ah u> = b\ IU {m + 1, .$}},
(11)
где 7 —какое-либо подмножество индексов {1, m} (возмож-
ность I — 0 не исключается).
Лемма 1. Пусть в задаче (1), (2) ОО,
=/=0. Тогда каждое решение и* задачи (1), (2) является особой
точкой этой задачи.
Доказательство. Положим 7(и#)={г: i.^.t^.m,(ai,u*)=
= &’) и рассмотрим задачу (И) с 7 = 7 (и*). Заметим, чтои^еУ.
Так как {at, u*}<Zb' при i^7(u#) и функция <ai,u>
непрерывна, то существует такая окрестность 5(u$, е)= [ue Ent
S 7]
КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ
317
| u —- u* ] < s] (в > 0) точки и*,что и) < bl при всех i ф I(u*)
и и e S (u*, 8). Это значит, что VП S(u^ s)cz£/\
Тогда J (u) J (u*) ~ J* при всех и e V f| S (u*, e). Таким
образом, и*— точка локального минимума выпуклой задачи (11)
с I = 1 (и*). По теореме 4.2.1 тогда появляется точкой глобаль-
ного минимума функции J(u) на множестве V. Следовательно^
Uo — решение задачи (11) с/=/(иД так что и* —особая точ-
ка задачи (1), (2).
Теорема 1. Пусть С>0, множество (2) непусто. Тогда
существует конечный метод решения задачи (1), (2).
Доказательство. Так как множество {1, ..., ш} имеет
конечное число подмножеств Z, а всякая задача (11) при С>0
имеет одно решение (теорема 4.3.1), то и число особых точек
задачи (1), (2) конечно. Согласно лемме! для отыскания решения
задачи (1), (2) достаточно перебрать все ее особые точки и
найти ту из них, в которой функция (1) принимает меньшее
значение. Так как задача (11) имеет вид (1), (8), то каждая
особая точка может быть найдена за конечное число арифмети-
ческих операций. Таким образом, поиск решения задачи (1), (2)
закончится за конечное число шагов.
3. Установленная в теореме 1 принципиальная возможность
получения решения задачи (1), (2) за конечное число шагов
имеет лишь теоретический интерес. Дело в том, что здесь мы
не учли возможную неустойчивость систем (3), (10) по отноше-
нию к погрешности задания исходных данных, к погрешности
округления при выполнении арифметических операций. Кроме
того, полный перебор особых точек задачи (1), (2) на практике
требует слишком большого объема вычислений уже при не очень
больших значениях п, $. Опишем один из методов упорядочен-
ного перебора особых точек задачи (1), (2), более экономичного
по сравнению с полным перебором [21]. При описании этого ме-
тода можно выделить три этапа.
На 1-м начальном этапе определяется, будет ли множество
(2) непустым, и если £7 ¥= 0, то находится какая-либо v^U.
Здесь может быть использован, например, спмплекс-метод, опи-
санный в главе 3.
2-й этап состоит в переходе от какой-либо точки v е U к осо-
бой точке w U со значением /(ш)^/(р). Для построения та-
кой точки w можно воспользоваться следующим итерационным
процессом. В качестве начального приближения берется и0 = и.
Пусть известно k-е приближение uh^U, J(р). Опреде-
лим вспомогательное приближение йк как решение задачи (11)
при
1 = 1 (uft) = {i: <а^ uk> = Ьг}.
Поскольку uh е Vx то /(йк)^ J(uft)^ J(v). Поэтому если
318 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
то в качестве требуемой особой точки можем взять w = ик. До-
пустим, что ик Ф U. Тогда <ah икУ > Ъ* хотя бы для одного j &
& I (ик) (1 ?п), так что множество индексов Ц =
== {;: <а;, йА> > b\ ] &I(uk), 1 тп} ¥= 0. Положим
uk+1 = uh + ah (iih — uh), ah = min [(&' — <ah uh})/<,a}, uh — uft>].
(12)
Из определения и включения uk е U следует, что
О< bi ~<ai' и*> _________< {
<ai<uh-uk> (ь’-<ар “&» + «aj’“й>~Н ’ = ь
поэтому 0<а&<1. Покажем, что uk+i^U. Из выпуклости мно-
жества У и из ик е У, йк У следует, что ик+1 е У, где У взято
из (11) при I = I(uk). Остается доказать, что <а;, ик+1У С Ь3 при
всех (1^7 <w). Если то с учетом определения
(12) величины ак имеем
<ah uft+1> = <ab uk> + ah<ah ик-икУ^Ь\ (13)
Если ]^Ци1(ик) то <&j, uk+i> = ah<ah икУ +
+ (1 —aA)<flj, икУ < b3. Таким образом, показано, что ик+1 U.
Далее, поскольку /(йА)^/(иА)^/(р) и функция J(u) выпукла,
то J(uh+i)^ aAJ(wA) + (l — ak)J(uk)^ J(v). Далее, из включения
uk+l^V, где У взято пз (11) при Z = Z(uft), следует, что Z(uA)c=
<=Z(uft+1) = {i: <cii, ик+1У = Ь\ В то же время для тех
/o^Zt, для которых в (12) реализовывается минимальное значе-
ние при определении аА, неравенство (13) превращается в ра-
венство, так что /оеZ(uA+1), но Следовательно, мно-
жество Цик+1) содержит по крайней мере на один элемент боль-
ше, чем Z(uft). Таким образом, следующее приближение uk+^U
со значением J{uk+i) J(v) построено, причем множество 1(ик+1)
существенно шире 1(ик). Однако множества 1(ик)^{1, ..., т}
не могут бесконечно расширяться, и поэтому описанный процесс
закончится на какой-то fc-й итерации, когда йк <= J7, причем w s
йк—особая точка задачи (1), (2) со значением
Поскольку решаемая на каждой итерации задача (11) с I = I(uk)
имеет вид (1), (8) и для ее решения существует конечный ме-
тод, то и весь переход от точки v к точке w осуществим за ко-
нечное число шагов.
На 3-м этапе выясняется, не будет ли особая точка ш, по-
строенная на 2-м этапе, решением задачи (1), (2), и в том слу-
чае, если w^U*, осуществляется переход к следующей точке
z^U, для которой J (z)< J (ip) . Для этих целей достаточно со-
вершить один шаг несколько модифицированного метода услов-
ного градиента, приняв в качестве начальной точку ш, получен-
ную на 2-м этапе. А именно, сначала можно решить следующую
§ 7]
КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ
319=
задачу линейного программирования
</' (w), е> = (Cw + с, е> -> inf, е (S = {е == (в1, ..е”)
= £?: <ай еУ <0, = <ab w> = ЬТ,
<аг-, е> =0, i = in + 1, ..s, —1 ej 1, / = 1, ..., п}. (14)
Пусть е=е*— решение задачи (14), которое может быть полу-
чено, например, симплекс-методом. Так как в = то Р-
= <J' (w), е*У = min <J' (ш), е> </' (ш), 0> = 0. Поэтому имеются
ее «Г
две возможности: либо (3 = 0, либо (3 < 0. Покажем, что в случае
(3 = 0 точка w — решение задачи (1), (2). С этой целью возьмем
произвольную точку u^U, u=£w, и положим e = t(u — w), где
t>0 столь мало, что leJl = t\uj — wj\ < 1 (/= 1, ..., п). Если
то <«;, еУ = <аг-, и — = (<&f, п> —&г’)£=^0. Если
т + l^i^s, то <лг-, е> = Ц<аг-, иУ — Ьг) = 0. Следовательно, е =
= t(u — <S. Поэтому (3 = 0 = <J' (ш), е*у </' (ш), е>. Поль-
зуясь теоремой 4.2.2 тогда имеем J(u) —7(ш)> <7'(ш), и — ip>—
= </'(ш), в>^”1>0 при любом u^U. Это значит, что
т. е. задача (1), (2) решена.
Рассмотрим вторую возможность: (3 < 0. Тогда е*— возмож-
ное направление убывания функции J(u) в точке w. В самом
деле, при достаточно малых а > 0 с учетом того, что е* — ре-
шение задачи (13), имеем J (w + ае*)— J (w) = (J' (ip), е*У& +
+ о (ос) = а (Р + о (а)/а) < 0; если i е I (а-) или т + 1 i <7 $, то
<&{, w + ае*У — Ьг + а <щ, е*У Ь1; если i I (w) (1 т)?
то wy<Zbl и w ае*У <Zbl. Тогда в качестве искомой
точки z = С7, J (z) < ](ш), можно взять z = ip + аое*, где а0 > 0 —
достаточно малое число, которое может быть найдено за конечное
число шагов, например, перебором чисел &0 = 2_р (р = 0, 1, ...).
Описание 3-го этапа закончено.
Отправляясь от точки z, полученно!! на 3-м этапе, можно*
снова перейти ко 2-му этапу при р = z, затем к 3-му этапу
и т. д. В результате будет построена последовательность особых
точек, на которой функция J(u) строго убывает. Так как при
С > 0 число особых точек конечно, то на каком-то шаге процесс,
состоящий в последовательном применении 2-го и 3-го этаповг
закончится нахождением решения задачи (1), (2). Таким обра-
зом, описанный метод позволяет за конечное число шагов найти
решение задачи (1), (2) при ОО.
Существуют конечные методы решения задачи квадратичного
программирования (1), (2) и при ОО; об этих методах чита-
тель сможет прочесть, например, в [7, 12, 13, 19, 21, 23, 30, 33г
41, 102, 111, 135, 159, 250, 256, 257, 261, 271, 314, 320, 330].
О задачах кубического программирования и, в общем случаег
полиноминального программирования, когда минимизируемая
функция является многочленом, см. [44, 52].
320 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Упражнения. 1. Уточните описание каждого этапа приведенного
выше метода для задачи (1), (2) при С = I — единичная матрица, а также
яри и=Е^ или и = {и = (и1, ип)^Еп: а{ < и1 I = 1, п}.
2. Примените описанный выше метод к задачам квадратичного про-
граммирования из упражнения 3 к § 4.9.
3. Пусть U = {и == (ж, у) <= Е2: — 1 С х, у С 1} или U = {и = (ж, у) е
Е2: 0 х, у ^Л}. Найдите особые точки задачи минимизации функций
J (и) = (х — а)2+ (у — b)2, J(u) = (ах 4- by)2 на этих множествах при раз-
личных а, Ь.
4. Доказать, что множество точек минимума квадратичной функции
J(u) = fAu — Ъ\2 на Еп совпадает со множеством решений системы АтАи =
= АТЪ (см. пример 4.2.4).
5. Доказать, что квадратичная функция (1) либо достигает своей ниж-
ней грани на множестве (2), либо неограничена снизу.
§ 8. Метод сопряженных направлений
В описанных выше методах, использующих градиент функ-
ции, на каждой итерации учитывается информация лишь о ли-
нейной части приращения минимизируемой функции в окрест-
ности полученной точки. С помощью этих методов точку мини-
мума квадратичной функции удается найти, вообще говоря, лишь
за бесконечное число итераций. Возникает вопрос: нельзя ли
придумать метод, использующий лишь градиент функции, кото-
рый позволяет найти точку минимума квадратичной функции
на всем пространстве за конечное число шагов? Если бы такой
метод существовал, то можно было бы ожидать, что он сходится
к точке минимума гладких функций быстрее градиентного ме-
тода, поскольку в окрестности точки минимума гладкая функ-
ция достаточно хорошо аппроксимируется квадратичной
функцией.
Оказывается, методы с упомянутыми свойствами существу-
ют. Одним из таких методов является метод сопряженных на-
правлений. Опишем один из вариантов этого метода.
1. Сначала рассмотрим квадратичную задачу:
J(u) = (Аи, и) — <Ь, u>->inf; u^U = En, (1)
где А — симметричная положительная матрица, b е Еп. Тогда,
как было показано выше, справедливы формулы
J'(u) = Au—b, Г(и) = А,
и, кроме того, J (и) сильно выпукла на Еп и достигает своей
пижней грани на Еп в единственной точке и* такой, что
J' (и*) ~ Аи* — Ъ = 0 или и* = А~ХЬ. (2)
Возьмем произвольную начальную точку и0 е Еп и вычислим
Po = J'(uQ). Если 7'(ио) = О, то и0 = и — задача (1) решена. По-
§ 8]
МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
321
этому пусть Тогда положим
U1 = Щ — О&оРо, С&о О,
где величина а0 определяется условием
/о (ао) = min /о (“)> /о («) = 7 («О — «Ро)-
а>о
Таким образом, первая итерация метода сопряженных на-
правлений совпадает с итерацией метода скорейшего спуска.
Заметим, что /0 (а) сильно выпукла, поэтому величина а0 суще-
ствует и определяется однозначно (см. ниже формулу (14)).
Поскольку /о(О) — — (ио), Ро> = \J' (uo)|2<O, т0 «о>О.
Следовательно,
/о (“о) = 0 = — </' (и0 — а0/>0), р0> = — <J' (Ui), Z’o> =
= -<7'(И1),7'(«о)>. (3)
Можем считать, что /'иначе их = и* и задача (1)
решена.
Так как р0 =/= 0, то Лр0 =/= 0 и множество
1\ = {и^Еп: <Лр0, и — ==> 0)
представляет собой гиперплоскость размерности п — 1, проходя-
щую через точку Ui. Важно заметить, что искомая точка и*
также принадлежит 1\. В самом деле, поскольку матрицы Л,
Л-1 симметричны, то с учетом равенств (2), (3) имеем
<4Ро, «* — ui> = (лРо, А~гЬ — «1> = (А~1Ар0, b — Аиг} = — <р0,
J' (ui)> = 0. Поэтому дальнейший поиск точки и* имеет смысл
проводить в гиперплоскости Гь Для этого нужно найти какое-
либо направление параллельное гиперплоскости 1\. Можно
искать pi, например, в виде
Pi = (ui) — Mo, Po = const.
Условие параллельности pi гиперплоскости 1\ дает равен-
ство <Ар0, pi> = <Лр0, J' (щ) — Mo> =0, т. e.
^о = <Лро, /'(uJV^po, Po>.
Поскольку J' (u) =/= 0, to Pi =/= 0. В самом деле, если бы pi = 0, то
J'(u) = $Qp0 и согласно (3) \J' (и{) I2 = ро<Ро, J' (щ) >= 0 — проти-
воречие с условием J'(Ui)^Q. Из следует, что Лр1^0.
Положим
u2 — Ui — aiPi, aj>0,
где величину ai будем определять из условия
fi («1) = min fi (a), fi (а) = J — apj).
а>0
С учетом равенств (3) имеем Л(0) = </' (их)г — рх> =</'(1гх)й
322 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
—роРо> = -|/'(^)12<0, поэтому ОС!>0. Тогда
fi («О = 0 = </' («! — а1Р1), — Р1> = — <J' (w2), Р1> = 0.
Заметим, что
J' (и^— /'(и2) = Аи^ — Ъ — Аи2 + b = aiApi.
Тогда в силу (3) и выбора Pi получаем
</' (и2), J' (uQ) > = < J' (и2), р0> = < J' (щ) - o^Api, pQ> = 0.
Отсюда следует равенство
</' (и2), J' (ja) > = < J' (и2), pi + ^оРо> = 0.
Таким образом, первые две итерации метода сопряженных
направлений для задачи (1) описаны. Показано, что
<7'(а), po> = <J'(Ui), J'(uo)>=O, <Лр0, Pi> = <Ар h pQ>=0,
<J'(u2), pi> = <J' (u2), pP = <Z'(u2), /'(ut)> = <J'(u2), J'(u0)> = 0.
Кроме того, заметим, что векторы ApQ, Api линейно независимы.
В самом деле, если ^0ApQ + 'liApi = 0, то, умножая это равенство
скалярно сначала на р0, затем на получим 7о = А = 0. Можем
считать, что (лх2) =И= 0, иначе и2 = и*—задача (1) решена.
Теперь у нас есть основание сделать следующее индуктивное
предположение: пусть при некотором к >2 уже найдены точки
u0, ub ..., ик, uh+i=^Ui — &iPi (i = 0, 1, ..., к— 1), где
Pi = j' (Wi) — PiPi-i ¥=0, Pi = <J' (Ui), Pi-iX
а величины > 0 определены из условий
А (°ч) — min A (a), A (a) '== J (ui — upt), i = 0, 1, ..., к — 1;
пусть
<Лръ pj> = 0, f¥=J, 0^i, i^k— 1, (4)
</' {щ), Pj> = 0, 0^/ /с, (5)
<J'(Ui), J'(Uj)>=0, i^i, 0^f, j^k\ (6)
и, кроме того, пусть (i = 0, 1, ,.., к) и система век-
торов {Лр0, Ар^ ..., Apk-i} линейно независима.
Тогда множество
1\ = {и е Еп: <Api, и — ui+i} = 0, i = 0, 1, ..., к — 1}
представляет собой гиперплоскость (аффинное множество — см.
пример 4.1.4) размерности п — к. Поскольку из (5) следует
<Api, uk — ui+i> = (pi, Аик~ Aui+l> = <pi, J' (ик)— J' (ui+i)> =0
для всех i = 0, 1, ..., к — 1, то ик^Тк. Замечательно то, что
МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
323
§ 8]
и* е 1\, так как согласно (2), (5)
<Лр., u* — Uj+1> = (Apv А~гЬ — ui+1) = </?., b — Aui+1y =
= {Р^ — J' (wi+i)) = 0, i — 0, 1, ..., к — 1.
Поэтому дальнейший поиск точки и* целесообразно продолжать
в гиперплоскости 1\. Для этого нужно найти направление рк,
параллельное ГА, т. е. удовлетворяющее условиям <Лрй pft> = 0
= 1, ..к — 1). Будем искать рк в виде
Pk = J4uk)~?>kPk-i. (7)
Заметим^ что
J' (щ) — J' (ui+l) = Ащ — Aui+i = i == 0, 1, ..., к — 1. (8)
Из (4), (6), (8) следует
{.APv Pk) = (Apv J' ~ ^Pk-1) ^(APv J' <“*)> —
— Pfe 07>i, Pk_^) = </' (Mi) — j' (Mi+1), j' (Mfe)> a?1 = o
для всех 1 = 0, 1, ..., к —2 при любом выборе $к в (7). Поэтому
для параллельности направления рк гиперплоскости 1\ остается
удовлетворить равенству pfe>=0. Отсюда имеем
<Apk-h J' (ик)- = (Ар^, J'(uk)> -^(Ар^, рк^>=0 или
J (ик)У 1 {Арк-^ Pk-i^* (9)
Заметим, что рк=£ 0, ибо в противном случае J'(ик) = ^kpk-i,
и тогда в силу (5) \J' (ик) I2 = $k<J'(uk), рк_1>=0, что противоре-
чит индуктивному предположению.
Итак, учитывая выбор направления рк и равенства (4), имеем
<Лрй р;>=0, /=/=/, O^f, /<&. (10)
Следующее (к+1)-е приближение будем искать в виде
ик+1 = ик-акрк, ак>0, (И)
где ак определяется из условия
fk (ak) = min fk (a), fk (a) = J (uk — ap ). (12)
a>o
Поскольку fk(a)— сильно выпуклая функция, то величина ак
существует и единственна. С учетом предположений индукции
и формулы (7) имеем
f'k (0) = (J' (uk), — pk) = (J' (uk\ — J' (uk) + fikPk^) =
= -|^'Ы12<о.
Это значит, что ah > 0 и fk(ak) = 0 ~ (Jf (uk+i), — или
^> = 0. (13)
324 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Отсюда нетрудно получить явное выражение для В самом
деле,
О = </' (ик+1), Рк> = (Auk+l - b, рк> =
== <.Аик - ahApk - b, рк> = < J' (ик), рк> - ак<Арк, рк>.
Так как рк 0, то <.Арк, ркУ =#= О и из последнего равенства вы-
текает
== ~ $kPk-i> _ IJf (uk) |2 /л л\
k <^Ph> <APk,Pk> <АР^РкУ k ;
Далее, заметим
J' (ик) - J' (uh+l) = Auk - Auk+l = акАрк.
Отсюда и из (4), (5) имеем
<J'(uk+l), Pi> = <J'(ик)-акАрк, Pi> = 0, f = 0, 1, k-1. (15)
Собрав все равенства (5), (13), (15), получим
<7'Ы, Л> = 0, 0<7 < i к+ 1. (16)
Из предположения индукции и равенств (16) следует
J' = <J' (uk+1), pi+friPi-J = 0, i = l, ..., k,
(J' (^ft+l) , J (^o) = (uh+l) ? РУ = 0.
Отсюда и из (6) имеем
< J' , J' (uj) > = 0, i =# j, 0 i, / < к + 1.
Наконец, покажем, что система Ыр0, ..., Лрл) линейно не-
зависима. В самом деле, если + Ч^Ар^ + ... + ^кАрк = 0, то
умножая это равенство на р} скалярно, с учетом (10) получим
Уз<Арз, Pj> = 0 (/ = 0, 1, ..., к). Так как ^=#=0, то (Ар^, /^>>0
и последние равенства возможны лишь при у = 0 (/ = 0,1,..., к).
Тем самым все этапы индукции проведены, следующее (к +
+ 1)-е приближение ик+1 построено. Если J'(uk+l) — 0, то Uk+i =
~и*—решение задачи (1) найдено. Если же J'(uk+l)¥=0, то
согласно индукции процесс можно продолжать дальше.
Метод сопряженных направлений для задачи (1), заключаю-
щийся в построении последовательности {ик} по правилу (11),
где ак, рк определяются из (7), (9), (12) (или (14)), р0 = J' (uQ),
описан. Название этого метода объясняет следующее
Определение 1. Векторы р0, р^ ..., рк называются со-
пряженными относительно матрицы А или А-ортогоналънымщ
если <Лр,, pj> = 0 при всех i ¥= j, 0 i, j к.
Нетрудно видеть, что для квадратичной задачи (1) метод со-
пряженных направлений закончится за конечное число итераций
нахождением точки и*. В самом деле, векторы Z'(u0), J'(ut), ...
..., J' (ик), ..., получаемые этим методом, образуют ортогональ-
§ 8]
МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
325
ную систему: <7'(щ), J'(wj)>=0 (г =/=/). Однако в п-мерном
пространстве не может быть более п ненулевых взаимно орто-
гональных векторов. Следовательно, найдется номер к, 0 к <
< п) такой, что J' (uk) = 0. Тогда uh = и* — решение задачи (1).
2. Перейдем к рассмотрению задачи
J(a)inf; (17)
где функция J(w)^C'1(E'n), причем в отличие от задачи (1)
здесь J(и) не предполагается квадратичной. Так как формула
(9) содержит матрицу Л, характеризующую квадратичную функ-
цию (1), то описанный выше метод сопряженных направлений
(7), (9), (И), (12) не может быть непосредственно применен
для решения задачи (17). Поэтому сначала формулу (9) при-
ведем к виду, не содержащему матрицу А. С учетом равенств
(6), (8) числитель и знаменатель дроби (9) можно преобразо-
вать так:
<APk_v J' (uk)) = <J' (“fe-i) — J' (“ft), J' (“fe)> «л-i =
= — I J' (wft)|2ar-i,
{APk_v Pk-i) = <У' (“fe-i) — J' “fc-i =
= (J' (Uh-i), ph_^ аГ-i = </' (“fe-i), J' (“ь-i) — Ph-iPft_2> «Г-i =
= | J' (Uk-,) |2 ак1г.
Тогда формула (9) запишется в виде
о <^' (“ft)’ J> Q
= Pw (18)
где
Кроме того, вспоминая, что для функции (1) Л = /"(ик), фор-
мулу (9) можно представить еще и в такой форме:
о <7„ (Ufe) Pk-v (Uk)) /9Пч
Для квадратичной функции (1) все три формулы (18) —(20) да-
ют одну и ту же величину Но если функция J (и) отлична
от квадратичной, то из этих формул будут получаться, вообще
говоря, различные значения [}ft.
В результате, отправляясь от соотношений (7), (11), (12),
(18) — (20), придем к следующему описанию метода сопряжен-
ных направлений для задачи (17). Пусть и0 — некоторое началь-
326 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
ное приближение. Будем строить последовательность {ик} по
правилам
Uh+l = akph, к = 0, 1, ..., (21)
где
Ро = /'(^о), к = 1, 2, ...» (22)
величина определяется условиями
fhi^h) = min/ft(a), fk(a) = J (uk — apfe), (23)
a>o
a в (22) вычисляется по одной из формул (18), (19) или (20).
Отметим, что в варианте (20) — (23) метода сопряженных на-
правлений требуется, чтобы J (и) С2 (Еп), и поэтому на прак-
тике он применяется очень редко и лишь в тех случаях, когда
матрица 7" (и) вычисляется достаточно просто.
Так как в задаче (17) квадратичность функции не предпо-
лагается, то нельзя ожидать, что описанный метод сопряженных
направлений за конечное число итераций приведет к точке ми-
нимума функции 7 (и) на Еп. Далее, точное определение вели-
чины ak из условий (23) возможно лишь в редких случаях, по-
этому реализация каждой итерации метода будет сопровождаться
неизбежными погрешностями. Как показывает практика, эти
погрешности, накапливаясь, могут привести к тому, что векторы
{pk} перестают указывать направление убывания функции,
и сходимость метода может нарушиться. Чтобы бороться с этим
явлением, метод сопряженных направлений время от времени
обновляют, полагая в (22) = 0. Обозначим множество тех но-
меров А:>1, при которых принимается ^ = 0, через IQ. Номера
называются моментами обновления метода. Если метод
используется без обновления, то 70 = На практике часто бе-
рут 70 = {п, 2тг, Зп, ...}, где п — размерность рассматриваемого
пространства. Возможны и другие правила выбора моментов
обновления. Кстати, если 70 = {1, 2, 3, ...}, то метод (21) — (23)
превратится в метод скорейшего спуска.
Если функция J(u) не является квадратичной, то для описанного ме-
тода сопряженных направлений равенства (5), (6), вообще говоря, не вы-
полняются. Однако, тем не менее, и в общем случае при любом выборе
моментов обновления справедливы равенства
<J'(nft+i), Pk> = 0, pk> I2, к = 0, 1, ... (24)
В самом деле, при к — 0 имеем ро = J' поэтому <J'(no), р0> =|J'(»o) I2-
Из условий (23) при к = 0 в случае ао > 0 следует /0 (а0) = (uQ— aopo)
— j%> = — </' (^х), p0> = 0. Если же a0 = 0, то и0 и 0 < /' (0) =
(w0), pQy = — | J' (u0) |2 < 0, так что J'(no) =7'(^i) = 0, <J'(iii),
p0> = 0. Таким образом, равенства (24) при к = 0 верны. Сделаем индук-
тивное предположение: пусть для некоторого к 1 имеют место равенства
<J'(iik), Pfe-i>=0, <7,(ufe-i), Pfe-i>= |J'(wfe-i) |2. Тогда из (23) при aft>O
получим (afe) = — <7' (^ft+j)» Рь) = 0- Если же = 0, то иь+i = ил и
МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
327
§ 81
=—| J' (uk+1) |2< 0, поэтому J'(ttA+i) = 0 и </'(^+1), pk> — 0- Наконец,
<7'(М, pn> = <J'(uk), J'(uk) — ^kPk-l> = |/'(M I2.
Равенства (24) доказаны. Из первого равенства и определения (22) векто-
ра рк следует
I Pft|2=|^(“A)-Mft-1|2 = |-Z'(M|2 + ₽I|Pft_1|2. л =1,2,... (25)
3. Пользуясь соотношениями (24), (25), установим сходимость метода
сопряженных направлений (21) — (23), (18).
Теорема 1. Пусть функция J(u) сильно выпукла на Еп, J(u)g
^С1г1(Еп). Тогда при любом выборе множества Iq моментов обновления
и любом начальном приближении и$ последовательность {и&}, определяемая
условиями (21) — (23),, (18), сходится к точке и* минимума функции
J(u) на Еп, причем справедливы оценки
| uh - и* |2 < qha0, Л = 0, 1, ..., (26)
где #=1— " у- 2-----Т2\ (0<#<1), Ц — постоянная из теоремы 4.3.3,
L (ц + L )
L— константа Липшица для градиента J'(и) на Еп.
Доказательство. Из теоремы 4.3.1 следует существование и
единственность точки и*, в которой J (u*) ~ J* — inf J (и), Функция
Еп
Д(а) = J(uk — apk) при рк 0 также сильно выпукла, и условия (23)
однозначно определяют величину «/< > 0. Будем считать, что pk ¥= 0, /'(н*) #=
=# 0, ak > 0 при всех к = 0, 1, ..., ибо в противном случае из (24) при
рк = 0 получим J'{uk) =0 и uh = и* — решение задачи (17).
В силу выбора ak при всех а^0 имеем J(uk+i) ^J(u,k — apk). Отсюда
и из леммы 2.3.1 с учетом второго равенства (24) получим
„2 т
J (Uk) ~ J (%+1) J (Uk) ~~ J (Uk ~ aph) a (Uk)’ pk> ~ I Pk Г =
‘2 r
= a | Г (uk) |2 - ph |2, a>0, fc = 0, 1, ... (27)
Докажем неравенство
ТЛЫ2< |Г(»*)12, 7 = H^-1(pi2 + i2)-1, * = 0, 1, ... (28)
Согласно теореме 4.3.3 p | uk — uft_1 |2=P«|_11 Pk-i (“fe)~J'{uh— 1)’
uh - uh-i> = <7' (uk) - J' ^-i> (- afe-i)- Отсю«а c учетом ₽a-
венств (24) имеем
p,aft_i|pk_i|2 < <J'(ii/i-i), Pk-i>= |J'(ufe_i)|2.
Тогда из (18) следует
\^k\^\J'(uk)\L\uk—Uk-i\\J'(uk-i)\~2^
\J'(uk) |£аЛ_1|рл_1| (pafe_i|pk-i|2)-1 = Ly, 1 \J'(uh) II/?a-i | \
t. e.
|pft| A: = 0,1,...
Отсюда и из (25) получим |р&|2 | J'(uk) [2(1 + ify"2), что равносильно
неравенству (28).
328
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Теперь нетрудно доказать оценки (26). Из (27) с учетом (28) имеем
Ч--#) I'W «>°- * =
Следовательно,
(1-§) Р'ЫI2 = -tIj' Wl2’ fc=0’1’ •••
Но 2|АЯА IГ(ик) |2 (см. неравенство (1.18)), поэтому ak — ак+\ > или
flfe+1 < (1 — ур,)^ = qak (& = 0, 1, ...). Отсюда следует первая из оценок
(26). Вторая оценка (26) вытекает из первой оценки и неравенства (4.3.2).
Остается заметить, что 0 < q < 1, ибо ц L. Теорема доказана.
Отметим, что оценки (26) являются довольно грубыми. Более тонкие
исследования показывают, что метод сопряженных направлений на самом
деле имеет более высокую скорость сходимости, чем это следует из оценок
(26). В то же время этот метод не намного сложнее метода скорейшего
спуска. Недостатком метода сопряженных направлений является его чув-
ствительность к погрешностям при определении величины из условия
(23) — недостаточно точное определение может привести к ухудшению
сходимости метода.
4. В методе (7), (9), (11), (12) направления р0, ..., рк строятся с
помощью процесса А-ортогонализации последовательно вычисляемых гра-
диентов 7(и0), /'(^i), •.J'(uk), и поэтому этот метод для задачи (1) и по-
лученный на его основе метод (21) — (23) для задачи (17) в литературе
часто называют методом сопряженных градиентов. В общем случае в мето-
де сопряженных направлений могут быть использованы и другие способы
построения векторов рк, отличные от (22). А именно, пусть направления
Ро, pi, ..., рк, удовлетворяющие условиям (10), уже известны и с их по-
мощью последовательно построены точки щ, ..., Uk+i по формулам (21),
(23). Следующий вектор ph+i будем определять из условий <рь-н, Арг> = 0
(i — 0, 1, ..., к). В случае квадратичных функций (1) формула (8) остается
справедливой при любом выборе векторов р^ pi, ..., рк в (21), (23), поэто-
му условие ортогональности вектора рк+1 к векторам Ар^ Ар^ ..., Арк здесь
приводит к равенствам
<Рь+1, £i> = 0, =7'(tt.i) — 7'(и<+1), f = 0, 1, ..., к. (29)
Условия (29) имеют смысл и для неквадратичных функций, и ими поль-
зуются для определения рк+\ в общем случае. Обычно вектор рк+\ ищут
в виде [11, 41, 46, 48, 111, 250, 330]
Ры-1 = ^k+i^/(^fe+i), Hk+i = Нь-]- (30)
где матрица &Hh определяется из условий (29). Нетрудно видеть, что пере-
численные условия (29), (30) матрицу &Нк определяют неоднозначно и в
зависимости от того, как распорядиться этим произволом, можно получить
различные варианты метода сопряженных направлений. Если на каком-
либо шаге Нк = 0, то метод (21), (23), (29), (30) обновляют, полагая Ак =
= I — единичная матрица. Приведем один из вариантов этого метода, в
котором матрицы Нк определяются по правилу
77 — 77 п т' fi, \ Т' /и \ 77 Т
&+1 —<Hqk, qk) ’ 4k~~J \ k+V~J ( &)’
В [19] предлагается и исследуется метод сопряженных направлений,
позволяющий за конечное число итераций найти точку минимума квадра-
тичной функции (1) на множестве, задаваемом линейными ограничениями
типа равенств и неравенств.
Исследование сходимости различных вариантов метода сопряженных
направлений, более тонкие оценки скорости сходимости читатель может
найти в [11, 19],
МЕТОД НЬЮТОНА
329
§ 9]
Упражнения. 1. Показать, что точка полученная методом
сопряженных направлений для квадратичной функции (1) при Jo = 0,
есть точка минимума этой функции на гиперплоскости, проходящей через
точку «о и натянутой на векторы J'(u0), /'(щ),
2. Описать метод сопряженных направлений для функции J(u) =
= \ Аи — Ь|2, и е £п, где А — матрица порядка т X п, Ъ е Ет.
§ 9. Метод Ньютона
До сих пор мы рассматривали методы первого порядка —
так называются методы минимизации, использующие лишь пер-
вые производные минимизируемой функции. В этих методах для
определения направления убывания функции используется
лишь линейная часть разложения функции в ряд Тейлора.
Если минимизируемая функция дважды непрерывно дифферен-
цируема и производные J'(и), J" (и) вычисляются достаточно
просто, то возможно применение методов минимизации второго
порядка, которые используют квадратичную часть разложения
этой функции в ряд Тейлора. Поскольку квадратичная часть
разложения аппроксимирует функцию гораздо точнее, чем ли-
нейная, то естественно ожидать, что методы второго порядка
сходятся быстрее, чем методы первого порядка.
Ниже будут описаны два метода второго порядка: в этом
параграфе будет рассмотрен метод Ньютона, имеющий квадра-
тичную скорость сходимости на классе сильно выпуклых функ-
ций, а в следующем параграфе — метод с кубической скоростью
сходимости на этом же классе. Здесь мы пользуемся следующей
терминологией, принятой в литературе: говорят, что последова-
тельность {uk} сходится к точке и* с линейной скоростью или со
скоростью геометрической прогрессии (со знаменателем д), ес-
ли, начиная с некоторого номера, выполняется неравенство
|uk+1 — и* | q | uh — и* | (®<Zq < 1); при выполнении неравен-
ства | uk+1 — и* | qk | uk— и* |,; где {gA} -> 0, говорят о сверхли-
нейной скорости сходимости последовательности {uh} к и*, а если
здесь qh = С | uk —и* р-1, т. е. | ид+1—и* | | uh—и* |s, то говорят
о скорости сходимости, порядка s (при s = 2 получим квадра-
тичную скорость сходимости, при s = 3 — кубическую). Для не-
которых методов выше была установлена линейная скорость схо-
димости на классе сильно выпуклых функций; в тех случаях,
когда | uk — и* | — О (1/fc), скорость сходимости ниже линейной;
для метода сопряженных направлений можно показать сверхли-
нейную скорость сходимости [19].
1. Опишем метод Ньютона для задачи
J(u)->inf; u^U, (1)
где J(u)^C2(U), U—выпуклое замкнутое множество из Еп (на-
пример, U = Еп). Пусть щ U — некоторое начальное прибли-
жение. Если известно &-е приближение ик, то приращение
330 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
функции J(u)^C2(U) в точке ик можно представить в виде
J (и) — J (uft) = <J' (uk), и — uhy +
+ А < J" (uk) (и — uh), и — uk > + О (I и — uk I2).
Возьмем квадратичную часть этого приращения
Jk (и) = (J' (uk), и — uft> + A <J" (uk) (и — uft), и — uhy (2)
и определим вспомогательное приближение ик из условий
uk^U, Jk(uh) = inf/ft(u). (3)
и
Следующее (/с+1)-е приближение будем искать в виде
Uk+i = Uk + ah(uk — uh), O=sSaft*Sl. (4)
В зависимости от способа выбора величины aft в (4) можно по-
лучить различные варианты метода (2) —(4), называемого мето-
дом Ньютона. Укажем несколько наиболее употребительных
способов выбора afe.
1) В (4) можно принять
aft = 1, к = 0, 1, ... (5)
В этом случае, как следует из (4), uh+i = йк (А: = 0, 1, ...),
т. е. условие (3) сразу определяет следующее (А+1)-е прибли-
жение. Иначе говоря,
uk+1<=U, Jk(uh+1) = inf Jk(u), к = 0, 1, ... (6)
17
В частности, когда U = En, в точке минимума функции Jk(u)
ее производная Jk(u) обращается в нуль, т. е.
Jk (uk+i) — J' (uk) + J" (uk) (uk+i — uk) — 0. (7)
Это значит, что на каждой итерации метода (2) — (5) или (6)
нужно решать линейную алгебраическую систему уравнений
(7) относительно неизвестной разности uk+i — ик. Если матрица
этой системы J" (ик)—невырожденная, то из (7) имеем
uk+l==uk-(J" (ик))~Ч'(ик), fc = 0, 1, ... (8)
Широко известный метод Ньютона для решения системы урав-
нений
..., Fn(u)} = 0, и^Еп,
представляет собой итерационный процесс [4, 54]
ик+1 = uk — (Ff(uk))-lF(uk), /с = 0, 1, ..., (9)
МЕТОД НЬЮТОНА
331
§ 9]
где F'(u) — матрица, f-я строка которой равна F\(u) = (Fiui,...
- Сравнение формул (8) и (9) показывает, что ме-
тод (8) решения задачи (1) в случае U = Еп представляет собой
известный метод Ньютона для решения уравнения /' (и)=0,
определяющего стационарные точки функции /(и). Отсюда про-
исходит название метода (2) —(4) и в общем случае.
2) В качестве в (4) можно принять аЛ = Х*о,где io — ми-
нимальный среди i > 0 номер, для которых выполняется нера-
венство [19]
J(Uk)—J(ик + ЭС(ик — ик))> еМ\1к(ик) ], (10)
где X, 8 — параметры метода, 0 < X; 8 < 1.
3) Возможен выбор ак в (4) из условий [19]
/й (afe) = min (a), fk (а) = J (uh + a(uk — uft)).
(11)
Заметим, что метод (2) — (4) с выбором длины шага ак по пра-
вилам (10), (11) аналогичен соответствующим вариантам ме-
тода условного градиента. Для определения йк использовалась
линейная часть приращения, а в методе Ньютона — квадратич-
ная часть (2).
Если Л(гг) из (2) сильно выпукла, a U = Еп или U зада-
ется линейными ограничениями типа равенств или неравенств,
то для определения йк из (3) могут быть использованы мето-
ды из § 7, 8. Следует заметить, что задача (3) в общем случае
может оказаться весьма сложной и сравнимой по объему тре-
буемой для своего решения вычислительной работы с исходной
задачей (1). Метод Ньютона для решения задачи (1) обычно
применяют в тех случаях, когда вычисление производных /'(и),
J" (и) не представляет особых трудностей и вспомогательная
задача (3) решается достаточно просто. Достоинством метода
Ньютона является высокая скорость сходимости. Поэтому хотя
трудоемкость каждой итерации этого метода, вообще говоря, вы-
ше, чем в методах первого порядка, но общий объем вычисли-
тельной работы, необходимой для решения задачи (1)' с требуе-
мой точностью, при применении метода Ньютона может оказать-
ся меньше, чем при применении других более простых методов.
2. Сначала исследуем сходимость метода Ньютона (2) — (4)
с выбором шага ак из условия (5) при условии U = Еп или,
проще говоря, метода (8).
Теорема 1. Пусть функция J(u) сильно выпукла на Еп,
J(и)<=С2(Еп) и, кроме того,
\\J" (и) —J" (v)\\ L\u — v\, u,v^En, L = const >0. (12)
Пусть начальное приближение щ выбрано таким, что
L\J'(uq)\ ^2ц2д, (13)
332
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
где |х > 0 — постоянная из теоремы 4.3.4, a q •— некоторая кон-
станта, 0<д<1. Тогда последовательность {ик}, определяемая
условиями (8), существует, сходится к точке и* минимума J(и)
на Еп, причем справедлива оценка
I Wfe — и» К 2p,L-1g2ft, к = 0, 1, ... (14)
Доказательство. Существование и единственность точки
и* установлена в теореме 4.3.1. Согласно теореме 4.3.4
<7"Ш, и^Еп, Ъ^Е\ (15)
Отсюда следует, что система уравнений J" (и)£ = 0 имеет един-
ственное решение £ = 0 и, следовательно, матрица J" (и) невы-
рожденная при всех и^Еп. Это значит, что система (7)
при каждом к = 0, 1, ... имеет, и притом единственное, ре-
шение, т. е. последовательность {ик} однозначно определяется
условиями (8). Кроме тою, полагая в (15) £ = (/"
получим ц1 (J" (и) )“4^12 С <z, (J" (и) )~4z> С |zl I (J" (и) )“4z| или
1 (J" (u))~lz\ С Ыц"1 при всех z е Еп. Это значит, что
Н(/"(и))-1Н^ц-\ и^Еп. (16)
Введем числовую последовательность ak=\J'(uk)\ и покажем,
что
afe<2p2L- к = 0, 1, ... (17)
При fc = 0 неравенство (17) следует из условия (13). Пусть
(17) справедливо при некотором Из условия (8) и фор-
мулы (2.3.5) имеем
1
J' («А+1) = J' («й) + j 7" + t (ик+1 — uk)) (uk+1 — uk) dt =
0
1
= J [J” («й) - J" (Uh + t (uh+l - uk))] dt {Jn (Uh))-\r (uh).
0
Отсюда и из (8), (12), (16) с помощью предположения индук-
ции получим
ak+1 < (L/2) | uh+1 — uk | < (Z//(2p,2)) 4 <
< (L/(2r2)) (2H2/^)2 G2*)2 = (2И2/^) Я241-
Неравенства (17) доказаны. Тогда из теоремы 4.3.3 с учетом
равенства J' (и*) = 0 имеем р, | uk и* |2 <Jr (uft) — Jr (u*), uh —
— и^У I Jf (uk) 11 Ur — u*\ или | uk — u* | afep-1. Отсюда и из
неравенства (17) следует оценка (14).
Теорема 1 доказана.
Как видно из оценки (14) и как показывает практика, ме-
тод Ньютона (8) сходится очень быстро. Однако у него есть
§ 9]
МЕТОД НЬЮТОНА
333
один существенный недостаток: для его сходимости начальная
точка uQ должна выбираться достаточно близкой к искомой точ-
ке и*. Это требование в теореме 1 выражено условием (13), оз-
начающим, что | uQ — и* | «ор,-1 (2p/Z/) q. Приведем пример,
показывающий, что при отсутствии хорошего начального при-
ближения метод (8) может расходиться.
Пример 1. Пусть
|-4^+4(1 + тИ
j ~ I и2 3
(^- + 214-46, |и(>6,
где и е Е\ а 6 — сколь угодно малое фиксированное положи-
тельное число, 0 < 6 < 1. Нетрудно видеть, что J(u)^C2(El) и,
кроме того, J" (и)^1 при всех так что J(u) сильно вы-
пукла на Z?1. Далее, ясно, что = 0, и* — 0. В качестве началь-
ного приближения возьмем uQ = S. Из (8) получим последова-
тельность uft = (—1)Л-2 (fc = l, 2, ...), которая расходится, хо-
тя начальное приближение и0 отличается от и* = 0 на малое
число 6.
Метод (8) часто применяют на завершающем этапе поиска
минимума, когда с помощью более грубых, менее трудоемких
методов уже найдена некоторая точка, достаточно близкая к
точке минимума.
3. Исследуем сходимость метода (2) — (5) без предположения, что
U = En.
Те о^рем а 2. Пусть U—выпуклое замкнутое множество из Еп,
функция J(u) сильно выпукла и принадлежит классу C2(U) и
|7"(н)—J"(y)\^.L\u — v|, и, L = const. (18)
Тогда последовательность {uk} однозначно определяется условиями (6) при
любом выборе начального приближения Uq. Если
q = (Ь/(2И)) | W1 — wo| <1, (19)
то последовательность {и^}, определяемая условиями (6), сходится к точке
и* —решению задачи (1), причем справедлива оценка
m—k
з^есь ц >» 0 — постоянная из теоремы 4.3.4.
Доказательство. В силу теоремы 4.3.1 функция 7(п) ограниче-
на снизу и достигает своей нижней грани на U в единственной точке и*Л
Из теоремы 4.3.4 следует
<Г(н)£, £>>p|g|2, ue=U, (21)
где Lu — подпространство, параллельное аффинной оболочке множества U.
Так как j"k (и) = J" (ufe), то из предыдущего неравенства и теоремы 4.3.4
вытекает сильная выпуклость функции Jk(u) на множестве U при всех
к = 0, 1, ... Снова обращаясь к теореме 4.3.1, заключаем, что условия (6)
334 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
однозначно определяют точку Uk+i- Таким образом, существование после-
довательности {иъ} из (6) доказано. Применив теорему 4.2.3 к функции
Jk(и) на U, получим
(j'k (“й+1)’ “— ик+1) °’ и^и. к = 0, 1, ... (22)
Так как Jk (и) == J' (и^ + J" (и^ (и — ик), то неравенство (22) перепи-
шется в виде
<J'(uk) + (iife+i — ua), и — uk+i> 0, и e U, к = 0,1, ... (23)
Может случиться, что Uk+i — и^ Тогда из (23) имеем <7,(uft), и — Uk> 0
при всех и е U. Согласно теореме 4.2.3 в этом случае ик = и*— задача (1)
решена. Поэтому можем считать, что Uk =£ uk+i при всех к = 0, 1, ...
Положим в (23) и — Получим
</'(ид) + Г(uk) (uk+i — Uk), ик — uk+i> 0.
Отсюда и из (21) имеем
и| Uk+1 — Uk\2 С <7"(ufe) (Uk+1 — Uk), Uk+\ — Uk>
^<J'(uk), Uk — Uk+1>, к = 0, 1, ... (24)
Оценим правую часть (24) сверху. Для этого в (22) заменим к на к — 1.
Получим (иь), и — uk) 0, и U. Полагая здесь и = Uk+i, имеем
uk ~ uh+i) /с = 1, 2, ...
Отсюда, из формулы (2.3.5) и условия (18) следует
(ufe), uk — uk+iy < (uk) — Jk^,1 (uft), uk — uk+1) =
= </' (ufe) ~ J' (uk-i) ~~ J" (wfe-i) (uk ~~ ufe-i)’ uk ~~ ufe+i>
= <^J [J" + t (uh - Uh_^ - J" dt (Uh - ик_+ Uh - uk+^>^
° L
^~\uk~ Uk-112 | uh ~~ Uk+1 Ь & = 1, 2, . ..
Подставив полученную оценку в (24), получим
\uk+i —Uk\ (L/(2[i))\uk —Uk-1\2, к — 1, 2, ... (25)
Докажем оценку
I Uk+1 - uh | < (W-) *=0,1,... (26)
При к = 0 эта оценка следует из условия (19). Сделаем индуктивное пред-
« &__________________________________________1
положение: пусть | ик — uk—i | (2^/^) 0. при некотором к 1. Отсюда
и из (25) имеем | ufe+1 — uh | (L/(2pi)) (2p7L)2 1)2= (2[x/L) q2k. Оцен-
ка (26) доказана. Из (26) следует
р-1
m=fe
итп+1
ит
р-1
m=h
2ц 2тп 2ц 2^(1 2h\ — 1
21 тз
(27)
§ 9]
МЕТОД НЬЮТОНА
335
для всех р, к, р > к 0. Так как 0 < q < 1, то правая часть (27) стремится
к нулю при к -> оо. Это значит, что последовательность {на} фундаменталь-
на и сходится к некоторой точке w*. В силу замкнутости множества U
точка u* е U. Переходя к пределу при р -+ оо, из (27) получим оценку
(20). Остается убедиться в том, что и* — точка минимума J(u) на U, Так
как J(и) е С2 (77), то при к оо из (23) имеем < J' (иш), и — и*> 0 при
всех и е U. Учитывая выпуклость 7(и), отсюда и из теоремы 4.2.3 заклю-
чаем, что w* — решение задачи (1). Теорема 2 доказана.
Из (20) при к — 0 имеем | uQ — и* | (2ц/£) q (1 — g)”1. Это неравен-
ство означает, что метод (6) при U =£Еп, так же как и метод (8), который
получен из (6) при U ~Еп, сходится, вообще говоря, лишь при выборе
достаточно хорошего начального приближения.
4. Перейдем к рассмотрению метода (2) — (4) с выбором шага =
= Vo, где го — минимальный номер, для которого выполняется неравен-
ство (10). Этот вариант метода Ньютона кратко будем называть методом
(2) — (4), (10). Покажем, что метод (2) — (4), (10) сходится при любом
выборе начального приближения и этим выгодно отличается от метода
(2)-(4), (5). х
Теорема 3. Пусть U — замкнутое выпуклое множество из Еп, J(и) е
(==C2(U) и
ц|£|2С<Г(а)£, ueU, ВеЬц, (28)
где Lu — подпространство, параллельное аффинной оболочке множества U,
а ц, М — постоянные, 0 < ц М. Тогда последовательность {ил}, опреде-
ляемая методом (2) — (4), (10), при любом начальном приближении
существует и сходится к точке и*—решению задачи (1). Если,
кроме того, J" (и) удовлетворяет условию Липшица (18), то найдется номер
ко такой, что в (4) ak — 1 при всех к ко, и справедлива оценка
т=
Доказательство. Согласно теореме 4.3.4 J(u) сильно выпукла.
Тогда из теоремы 4.3.1 следует существование и единственность точки йк,
удовлетворяющей условиям (3). Согласно теореме 4.2.3 тогда и —
— uk) 0 или
<Г(»а) + (uk — Uk), и — йа>:>0 при всех и s U. (30)
Если оказалось, что йь = Uk, то из (30) имеем <J'(wa), и — Uk>^0, u^U.
В силу теоремы 4.2.3 и выпуклости J(u) отсюда следует ик = ик = и* —
задача (1) решена. Поэтому можем считать, что uk ф uk. Тогда А(йа) <
< h(uk) =0. Покажем, что тогда существует хотя бы один номер i 0,
для которого выполняется условие (10). С этой целью возьмем произволь-
ное число а (0 а 1), и положим иа = uk + а(йь — гг&). Отсюда и из
выпуклости Jk{u) следует
Jk(на) aJk(uk) + (1 — а)Jk(uk) = aJk(uk) < 0.
Тогда из формулы
J(ua) -J(uk) =JkM + (а2/2)<(Г(ггь+ 0а(йА-нА)) -
— J"(uk))(uk — Uk), Uk — Uk>, 0 а < 1, (31)
с учетом условий (28) получим
7(иа)~-J(ua) ^Jk(ua) + (a2l2)(M — \x>)\uk — Uk\2^
aJk(uk) + (<x2/2)M|ua - uk\2, 0 а С 1. (32)
336 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Так как ип— точка минимума сильно выпуклой функции Jn (и) на U, то
согласно теореме 4.3.1
| ип - йп 12 с (2/н) [Jk (ип) - Jn (йп) ] = (2/Ц) | Jk(йк) |. (33)
Подставив эту оценку в (32), получим
J(un) —J(uk) a|7ft(ttft)| + a2(M/[k)\Jn(uk)\1 1.
Возьмем произвольное а, удовлетворяющее условиям
О < &о = Л(1 — 8)ц/> < a < (1 — е)ц/М < 1. (34)
Отсюда и из предыдущего неравенства будем иметь
J(uh) — J(un + а(йп — uk)) > a(l — а(М/ц))\Jk(un) | ^ea\Jh(uk)\ (35)
при всех а, удовлетворяющих условиям (34). Возьмем такой номер т 1,
для которого Кт (1 — 81)ц/М < Кт~1. Отсюда следует, что
О < ао = Л(1 — г)ц/М < V1 < (1 — е)рЖ (36)
Таким образом, a == Кт удовлетворяет условиям (34) и, следовательно, при
a = Кт будет справедливо неравенство (35). Это значит, при I = т выпол-
няется условие (10). Тогда найдется наименьший номер i == i0 (0 i0 т)г
удовлетворяющий неравенству (10). Приняв в (4) afe = X °, получим сле-
дующее приближение un+i.
Тем самым показано, что последовательность {ип} из метода (2) — (4),
(10) при любом начальном приближении существует. Из (10) при i =
имеем
J(uk) — J(uk+i) > 8afe|7fe(ufe) |, к = 0, 1, ...
Учитывая, что согласно (36) ak = X*0 Хт > 80, отсюда получим
J(un) — J(un+i) ztio\Jk(un) I, к —0, 1, ... (37)
Таким образом, J (zzfe) > J (uk+1) J* (к = 0, 1, ...). Тогда существует
lim J (uk)^ J* и lim (J (wfe) — J (wfe+1)) = 0. Из (37) теперь имеем
fe->oo ' fe-^oo 4
lim Jk ( = 0, а из (33) следует
k-+<x>
lim I uk — uk I = 0. (38)
k-^oo
Далее заметим, что согласно (37) {uk} е М(и0) — {и: и е £7, J(u) ^J(uv)}.
Для сильно выпуклых непрерывных функций множество M(uQ) выпукло,
замкнуто и ограничено. Тогда последовательность {ип} имеет хотя бы
одну предельную точку. Пусть у* —произвольная предельная точка {uk}
и пусть |ukm] v*‘ G учетом (38) и условием J(u) е C2(U) из (30)
при к = кт-+- оо получим </'(у*), и — и*У 0 для всех и е U. Согласно
теореме 4.2.3 тогда у* = и*— точка минимума J(u) на U. Следовательно,
lim J (иь\= lim J (и. \ = J (и*) — т. е. {ип}—минимизирую-
&->оо тп->оо \ 7П/
щая последовательность. Отсюда и из теоремы 4.3.1 следует
Пусть теперь выполнено условие (18). В силу (38) существует номер
к0 такой, что (L/\i)\uk — ик\ ^1— 8 при всех к к0. Из (31) с учетом
условия (18) и оценки (33) тогда имеем
J(ua) —J(uk) ^^Jk(uk) + (a3/2)L|wfe — Hft|3 <
—a|7fe(^) ] + a2(L/p,) | Jh(uk) | |wfe — uk\,
§ 9]
МЕТОД НЬЮТОНА
337
т. е.
J(u,k) — J(ua) > \h(uk) |а(1 — а(£/ц) — »л|) > az\Jk(uk) |
при всех а, 8о а 1, к к0. Это означает, что условие (10) выполнено
при i — iQ = 0, и, следовательно, а& = Л° = 1, Uk+i = Uk при каждом к к0.
Таким образом, начиная с номера к = /с0, метод (2) — (4), (10) превращает-
ся в метод (2) — (5) с начальным приближением иь , удовлетворяющим
ко
условию
q = (£/(2И)) | ufto+1 - uho | = (£/(2И)) |’% - | < (1 - е)/2 < 1.
Отсюда и из теоремы 2 следует оценка (29), что и требовалось.
Таким образом, метод (2) — (4), (10) не намного сложнее метода (2) —
(5), по скорости сходимости не уступает ему и в то же время не столь
чувствителен к выбору начального приближения, как метод (2) — (5). При
наличии эффективных методов минимизации квадратичной функции Jk(u)
на множестве U метод (2) — (4), (10) можно с успехом применять для
минимизации достаточно гладких функций.
Другие теоремы о сходимости описанных выше вариантов метода Ньюто-
на читатель может найти в [19].
5. Для задачи безусловной минимизации, когда в (1) U = En, метод
Ньютона является частным случаем квазинъютоновских методов
Uk+i = Uk — akAkJf[uk)<, aft > 0, к = 0, 1, ..(39)
в которых матрица Ak выбирается из условия
lim |4-(J"(»ft))-1|| = °. (40)
fc->oo
Взяв в (39) Ak = (/"(п^))"1, ось = 1, приходим к методу (8), которыйг
согласно теореме 1 имеет квадратичную скорость сходимости. Оказывается,
и методы (39), в которых матрица Ak выбирается близкой к (/"(п^))-1 в
соответствии с (40), обладают высокой скоростью сходимости. Другим до-
стоинством методов (39) является возможность определения матриц Ak из
достаточно простых рекуррентных соотношений, использующих информа-
цию с предыдущей итерации, обходясь без вычисления и обращения мат-
рицы J"(uk). Примером квазиньютоновского метода является метод Давидо-
на — Флетчера — Пауэлла, в котором матрицы Ak определяются соотноше-
ниями
Ak+i
= 44
(Ak<ik) (AkrJk)T
<Ak4k,4k>
к = 0,1,
4 = /, (41)
<4- ЧкУ
где =/'(»*+О—J'(uk), rk — Uk+i — и^ а величина ak находится из
условия
fk (<М = тлп fk (“) - fk№ = J(uk~aAkJ'(uk))-
(42)
Отметим, что векторы pk-AkJ'(uk) удовлетворяют равенствам (8.29), так
что метод (39), (41), (42) одновременно является методом сопряженных
направлений.
К методам (39) можно прийти, исходя из других соображений. А имен-
но, если В — положительная симметричная матрица, то в Rn наряду с
п
обычным скалярным произведением <и, и} = 2 можно ввести
i=l
другое скалярное произведение <n, y>i == <2?н, и). Из представления
J(u + h) - J(u) =<ВВ-Ч'(и), h> + o(\h\) =.<В-ДДи), h^i + oKBh,
«338
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
следует, что градиентом функции J(u) в новой метрике является вектор
В~']'(и). Отсюда вытекает, что &-й шаг метода (39) представляет собой
шаг градиентного метода в пространстве со скалярным произведением,
порожденным матрицей В = > 0. Поэтому метод (39) часто назы-
вают методом переменной метрики.
С квазиньютоновскими методами, методами переменной метрики чита-
тель подробнее познакомится в [19, 48, 111, 134, 250, 307, 314, 330, 336].
§ 10. Метод Стеффенсена
1. Описанный выше метод Ньютона на каждой итерации тре-
бует вычисления матрицы вторых производных. Отсюда ясно,
что в тех случаях, когда вычисление матрицы J" (и) требует
значительного объема вычислений, трудоемкость каждой итера-
ции метода Ньютона может стать чрезмерной. Поэтому возни-
кает вопрос о возможности построения методов минимизации,
которые по скорости сходимости не уступали бы методу Нью-
тона, но для своей реализации не требовали вычисления матри-
цы вторых производных. Одним из таких методов является
метод Стеффенсена, представляющий собой разностный аналог
метода Ньютона (9.8), в котором матрица вторых производных
заменяется разностным отношением первых производных гради-
ента по специально выбранным узловым точкам. Поначалу ме-
тод Стеффенсена разрабатывался для решения нелинейных урав-
нений [239], затем он был обобщен на случай операторных урав-
нений [301]. Применяя этот метод к решению системы уравне-
ний J' (и) = [Jui (и), . . ., Jun(u)} = 0, получим следующий ите-
рационный метод решения задачи минимизации
7(u)->inf, u^U = En. (1)
Если приближение uk (к > 0) уже известно, то следующее
приближение uh+l определяется так:
Uk+i — Uk — (Г (^, uk - м' Ы)) -V' Ы, к = 0, 1, ..., (2)
где fih — числовой параметр, /'(и, у)={ЛДи, v)} — матрица раз-
деленных разностей первых производных, определяемая по пра-
вилу
Jij (и, и) =
J а (у1, ..., г7’"1, ui, z?+1, ..., ип) — J а (у1, ..., у7*, i^+1, ..., ип}
иг ____________ ____иг _____________________
, ui — ui
I u3^v3,
I .. .,v}~1,v>,u}+1, .. .,un), u3 = v3;
(3)
здесь J a (u, v) — элемент г-й строки /-го столбца матрицы Г (и, v),
§ 10]
МЕТОД СТЕФФЕНСЕНА
339
a Jui (и), Juiuj (и), ка^к и выше, обозначают первые и соответ-
ственно вторые производные по переменным и\ uj функции J (и)
(Z, / = 1, и); предполагается, что J(u)^C2(En). Тогда из (3)
следует, что
lim || J' (и, v) — J" (и) || = О, Г (и, и) =-- Г (и) Vuf= Еп.
r-»u
Это значит, что при рА = 0 (к = 0, 1, ...), метод (2) превраща-
ется в метод Ньютона (9.8).
Как видно из (2), на каждом шаге метода Стеффенсена нуж-
но решать систему линейных алгебраических уравнений
J'(ик, ик- (uk) )y = ~J'(uk), у = uft+1 - ик. (4)
Здесь подразумевается, что матрица J'(ик, ик—$kJ'(ик)) невы-
рожденная. Если при всех j = 1, ..., п, то
согласно формуле (3) для определения элементов матрицы
J'(uk, ик — fikJ'(ик)) достаточно знать первые производные Jui(u)
в точках и = uh и и = [ик — pA/ui (uk), — uk+1, • • •
..., ик) (/ = 1, ..., п). Если же J (uk) = 0 при некотором /,
то в силу (3) для определения /-го столбца матрицы J' (ufe, uk —
— $hJ' (uk)) придется вычислять вторые производные Juiuj (и)
в точке и = [ик — (uA), ..., и^1 — (ик), uJk, ..., ик].
Если при некотором оказалось J'(uk) = 0, то про-
цесс (2) или (4) прекращается: в этом случае ик — стационар-
ная точка, и для выяснения того, будет ли uk^U*, при необ-
ходимости нужно провести дополнительное исследование. По-
этому будем считать, что «Г (ufe)¥=0. А тогда для определения
матрицы J'(ик, ик—$к1'(ик)) потребуется вычислить заведомо не
все вторые производные ^иг^Ц), и в этом смысле метод (2)
имеет преимущество перед методом Ньютона. С другой сторо-
ны, оказывается, метод (2) на классе сильно выпуклых функ-
ций сходится с такой же скоростью, как и метод Ньютона
(9.8). А именно, справедлива
Теорема 1. Пусть функция J(и)^ С2(Еп),
[11 и — v\2^{J'(u)— J’(у),и— и} У/и,и^Еп, fx>0, (5)
]| J' (u, v) — J' (v, w) || К (| и — v | + [ v — w I) Vu, u, w e 50, A>0,
(6)
где So = (ue= En; | и — u0 |<R = max+ 0; i-j| J' (u0) |], | 0Й|<
(fc = 0,1, .e>); начальное приближение uQ таково, что
4 + p 4h'(«o)i<i. (7)
Г" /Г1
340 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Тогда последовательность {uh}, определяемая методом (2), схо-
дится к решению и* задачи (1), причем справедлива оценка
|Uft-«*|<j^|/'Ml/, /с = 0, 1, ... (8)
Доказательство, Из условия (5) и теоремы 4.3.3 вы-
текает сильная выпуклость функции J(u). Отсюда и из теоре-
мы 4.3.1 следует существование и единственность точки и*. По
индукции докажем
uh G= So, ah = IГ (uh) к q*h~l | J' (“«) |, k = 0,1, ... (9)
При k = 0 действительно uQ e 50, ao = <T | J' (uo) |- Пусть при
некотором k > 0 точка uh уже найдена и справедливы соотноше-
ния (9). Поскольку (?<1, то из (9) следует, что ak^aQ. Тогда
из (5) при u = uft, v = uQ имеем — u0l2 С 2a0luft — lz0I или
1“й~ (10)
Обозначим xk = uk — ^kJ'(uh). Заметим, что в силу (10)
J — u0 КI uh — u01 + I pfe 11 J' (uk) £ “o + < (тГ + ₽)«()<#,
так что xk ^S0. Далее, с учетом условия (7) имеем
1«й — *й|<РР'(“й)| = рДй < рд0 < Р iK (И)
Отсюда и из (6) следует
II/'(“л, %) — /" (“*)Н = HZ'(“ft, ^s) —/'(“ft, “fc)H K\uh — arA| |i/2.
Тогда с помощью теорем 4.3.3, 4.3.4 получаем
</' (“й, xh) |, g> = < J" (Uk) g, g> + <(/' (Uk, Xk) - J" (Uk)) Z, |> >
>p|g|2-(p/2)|g|2 = (p/2)|g|2 Vge£n. (12)
Из (12) вытекает, что система уравнений /'(м*, я:/1)| = 0 имеет
единственное решение £ = 0, так что матрица /' (uh, xh) невы-
рожденная, и точка ик+1, определяемая условиями (2) или (4),
существует. Полагая в (12) | = (/'(щ, xh))~lz, z^En, получим
(ц/2) I (J'(uk, ^))-‘z|2^<z, (J'(uk, ^))-1z><|zll(/,(uft, ^))-*г|
или l(/'(uft, xft))-1z| <(2/|1) |z|, z s Еп. Это значит, что
И (/'(“ft, о*))-,П^2/и. (13)
Отсюда и из (2), (10) имеем
|uk+1 — Uol l“s+i — “si + lw* — «al «S(2/|x)aft +
+ (2/p.) a0 (4/p.)a0 R,
§ 10]
МЕТОД СТЕФФЕНСЕНА
341
т. е. Uk+i е $о. Далее, из (3) следует
2 Jij (Ц, 0 (?? — I?) = 2 {jui (yl, • • •, u\ . . ., иП) —
j=l j=l K
— . ..,un) = J Ui(u) — J ui(v), i
t. e.
J' (u, v) (u-v) = Г (и)—J' (0 Vzz, v g= En. (14)
Полагая в (14) w = zzA+1, v = uk и пользуясь (2), имеем
J (uk+i)=J (uA)+ J (uk+l, Uk) (Uk+i — Uk) —
= (J'(uk, Xk)-J'(uh+i4 Uk))(J'(Uk, хк))~Ч'(uh).
Отсюда с помощью (2), (6), (11), (13) и предположения ин-
дукции (9) получим
ak+i = | J' (uft+1)|<£(|uk+1 — uk\ + | wh —
< К ak + 0aft) £ ak = К (1 + p) <
\И / и \ и /и
2 . q\ 2 f 2^—1 \2 2ft+1—1
+ Ч) =ч a<>-
Рассуждения по индукции закончены, существование после-
довательности {uk}, определяемой методом (2), и соотношения
(9) доказаны. Наконец, из (5) при u = uk,v = и* с учетом равен-
ства J' (и*) = 0 имеем
ц | uk — и* I2 < </' (uk) — J' (u*), uk — ZZ*> < ak] uk — zz*|
или | uk — u* | Отсюда и из (9) следует оценка (8). Тео-
рема доказана.
Недостатком метода (2), как видно из (7), является тре-
бование достаточной близости начальной точки uQ к искомой
точке zz*.
2. Как мы убедились, описанные выше методы Ньютона,
Стеффенсена на классе сильно выпуклых функций имеют квад-
ратичную скорость сходимости. На основе этих методов, немного
усложнив их, можно получить методы, имеющие более высокий
порядок сходимости. Примером такого метода является следу-
ющий [316]
wh = uh - (/' (ик, хк))~Ч'(uh), uk+l = Wk~ (/'(ик, хк))"'J'(wk)4
(15)
где хк = uh — $hJ'(uh)i — числовой параметр, к — 0, 1, ... На
каждой итерации метода (15) последовательно решаются две
системы линейных алгебраических уравнений вида (4) с одной
и той же матрицей, но с разными правыми частями. Таким
342 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
образом, метод (15) не намного сложнее метода (2). Можно по-
казать [83, 316], что на классе сильно выпуклых функций при
выборе хорошего начального приближения метод (15) имеет ку-
бическую скорость сходимости: | ик — и* | Cq3 (к= 0,1, ...),
Если в (15) считать (/с = 0, 1, ...), то xk = uh, J'(uk, xk) =
= J" (uk) и в результате приходим к модифицированному ме-
тоду Ньютона, в котором матрица вторых производных обновля-
ется через два шага и который также имеет кубическую ско-
рость сходимости.
Об итерационных методах высокого порядка сходимости для
решения задачи минимизации (1), для решения систем уравне-
ний см., например, [4, 8, 19, 20, 45, 54, 73, 76, 111, 209, 238,
239, 301, 330].
§ И. Метод покоординатного спуска
В предыдущих параграфах мы рассмотрели методы, кото-
рые для своей реализации требуют вычисления первых или вто-
рых производных минимизируемой функции. Однако в практи-
ческих задачах нередко встречаются случаи, когда минимизи-
руемая функцйя либо не обладает нужной гладкостью, либо
является гладкой, но вычисление ее производных с нужной точ-
ностью требует слишком большого объема работ, много машин-
ного времени. В таких случаях желательно иметь методы мини-
мизации, которые требуют лишь вычисления значения функ-
ции. Одним из таких методов является метод покоординатного
спуска [4, И, 153, 171, 326].
1. Сначала опишем этот метод для задачи
7(a)-> inf; u^U~En. (1)
Обозначим вг = (О, ..., 0, 1, 0, ..., 0)—единичный координатный
(базис) вектор, у которого i-я координата равна 1, остальные
равны нулю i = 1, ..., п. Пусть uQ — некоторое начальное при-
ближение, а ссо — некоторое положительное число, являющееся
параметром метода. Допустим, что нам уже известны точка uk^
^Еп п число > 0 при каком-либо к > 0. Положим
= ik = к — + 1, (2)
fk 1
— означает целую часть числа к/п. Условие (2) обеспе-
чивает циклический перебор координатных векторов е2, ...,
т. е.
Ро === £1» • • м Рп--1 == Рп == ^1? • • Pan—1 ^п,
Рап^вц ...
Вычислим значение функции J(u) в точке u = ub+ ahph и про-»
§ 11]
МЕТОД ПОКООРДИНАТНОГО СПУСКА
343
верим неравенство
Цик + акрк)<Цик). (3)
Если (3) выполняется, то примем
uk+i =^ик + акрк, ak+l = ак. (4)
В том случае, если (3) не выполняется, то вычисляем значение
функции Ци) в точке и = ик — акрк и проверяем неравенство
Цик--акрк)< J(uk). (5)
В случае выполнения (5) положим
Uk+i — ик — акрк, ak+i ~ (6)
Назовем (fc+l)-ro итерацию удачной, если справедливо хотя бы
одно из неравенств (3) или (5). Если (й+1)-я итерация не-
удачная, т. е. не выполняются оба неравенства (3) и (5), то
полагаем
Uk+1 — Uk, OCk+1 —
ik — и, Uk — Uk—п-ы?
ik¥=n или uk^Uk-n+i,
. или 0^ к n — 1;
(7)
здесь К (0<1<1)—фиксированное число, являющееся пара-
метром метода. Условия (7) означают, что если за один цикл
из п итераций при переборе направлений всех координатных
осей е19 ..., еп с шагом ак реализовалась хотя бы одна удачная
итерация, то длина шага ак не дробится и сохраняется на про-
тяжении по крайней мере следующего цикла из п итераций.
Если же среди последних п итераций не оказалось ни одной
удачной итерации, то шаг ак дробится. Таким образом, если на
итерации с номером к = кт произошло дробление ак, то
J (Ukm + (Ukm “ J (ukm) (8)
при всех i == 1, 2, ..., п. Метод покоординатного спуска для за-
дачи (1) описан. Справедлива
Теорема 1. Пусть функция J(и) выпукла на Еп и при-
надлежит классу СЦЕп), а начальное приближение и0 таково,
что множество М(и0)—{и^Еп: J(u)^J(uQ)} ограничено. Тогда
последовательность {ик}, получаемая описанным методом (2) —
(7), минимизирует функцию Ци) на Еп и сходится ко множе-
ству и*.
Доказательство. Согласно теореме 2.1.2 —оо,
U*^0. Из описания метода (2) —(7) следует, что
^J(uk) (й = 0, 1, ...), так что {w М (uQ) и существует
lim J (uk)^*J*. Покажем, что найдется бесконечно много номеров
fe->OO
kh ..km, ... итераций, на которых шаг ah дробится, и поэтому
344 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. &
lim ak == 0. Допустим противное: пусть процесс дробления копе-
k-*oo
чен, т. е. аА = а>0 при всех k^N. Обозначим Л/а = {и: и =
= uN +arei^M(uo), и — 1, ..., п, г = 0, ±1, ±2, —сетку
(решетку) с шагом а. Из описания метода покоординатного
спуска при ак == а, к^ N, следует, что начиная с номера N
все последующие циклы из п итераций будут содержать хотя
бы одну удачную итерацию, и на каждой удачной итерации бу-
дет происходить переход от одной точки сетки Ма к другой со-
седней точке этой сетки. По определению удачной итерации
переход от точки к точке сопровождается строгим уменьшением
значения функции J(zz), поэтому каждая точка сетки Ма бу-
дет просматриваться не более одного раза. Но множество М(и0)
по условию ограничено, и поэтому сетка Ма состоит из конеч-
ного числа точек. Следовательно, процесс перебора точек этой
сетки закончится через конечное число итераций определением
точки ukm (km>N), для которой выполняются неравен-
ства (8) при всех i — 1, ..., п. А тогда вопреки допуще-
нию придется дробить число ak = а. Полученное противо-
речие показывает, что процесс дробления ak бесконечен и
lim ak = 0.
k~»OO
Пусть ki < к2 < ... < кт < ...— номера тех итераций, на ко-
торых длина шага ак дробится и выполняются неравенства (8).
Так как последовательность принадлежит ограниченному
множеству M(uQ), то из (ufern] можно выбрать сходящуюся под-
последовательность. Без умаления общности можем считать, что
сама подпоследовательность {ukm} сходится к некоторой точке
и*. С помощью формулы конечных приращений из (8) имеем
<7' (и*т + emakmei), ei) akm > 0,
У (ukm — ^ктег), et) (— akm) > 0,
откуда
Jui (ukm + Qmakmei) > 0, Jui (uhm — 0mafeme{) < 0,
0 < 0rn, 0m < 1 при всех i = 1, ..., n и m = 1, 2, ... Пользуясь
тем, что J(u)^ С1 {En) и lim akm — 0, отсюда получим =
m-»oo
= 0 (j = 1, ..., n), т.е. — 0. В силу выпуклости J (и) тог-
да u* е £7*. Следовательно, lim J (uk) = lim J (икт) = J (^*) =
fe-»oo 771—>oo
= J*. Таким образом, последовательность {uh} является миними-
зирующей. Отсюда и из теоремы 2.1.2 следует, что p(uh, £7*)->
—> 0 при &-><». Теорема доказана.
Заметим, что хотя метод (2) — (7) для своей реализации не
требует знания градиента минимизируемой функции, однако в
условии теоремы 1 содержится требование гладкости этой функ-
ции. Оказывается, если функция J(u) не является гладкой, то
f 11]
МЕТОД ПОКООРДИНАТНОГО СПУСКА
345
метод покоординатного спуска может не сходиться ко множе-
ству решений задачи (1). Об этом говорит следующий
Пример 1. Пусть
J(u) = x2 + у2-2(х — у)+2\х —у\, и = (х, у)^Е2.
Нетрудно проверить, что J(u) сильно выпукла на Е2 и, следо-
вательно, ограничена снизу и достигает своей нижней грани
на Е2 в единственной точке. Возьмем в качестве начального
приближения точку но = (О, 0). Тогда имеем J(Ho + ae4) =
= /(aej = а2 — 2а + 2|а| > 0 = /(0), J(u0 + ае2) = 7(ае2) = а2 —
— 2а + 21а1 > 0 = 7(0) при всех действительных а. Отсюда сле-
дует, что все итерации метода (2) — (7) при начальной точке
и0 = (0, 0) и любом выборе начального параметра а = а0 > 0 бу-
дут неудачными, т. е. ик = щ при всех к = 0, 1, ... Однако в
точке и0 = (0, 0) функция J(u) не достигает своей нижней гра-
ни на Е2: например, в точке р = (1, 1) имеем J(v) = —2<
<7(п0)= 0.
2. Описанный выше метод покоординатного спуска нетрудно
модифицировать применительно к задаче минимизации функции
на параллелепипеде:
J(n)->inf; и е U == {(и1, ..., ип): а< и* bi, $ = 1, ..., п},
(9)
где Лг, bi — заданные числа, ^<Ьг- (i=l, ..., ri). А именно,
пусть к-е приближение ик е U и число ак > 0 при некотором
к > 0 уже найдены. Выберем вектор Pk = eik согласно формуле
(2), составим точку ик + акрк и проверим условия
uk+akpk^U, Цик + акрк)<Цик). (10)
Если оба условия (10) выполняются, то следующее приближе-
ние ик+1, ак+1 определяем по формулам (4). Если же хотя бы
одно условие (10) не выполняется, то составляем точку ик —
— акрк и проверяем условия
uk-akpk^U, J (ик — акрк) < J (ик). (И)
В случае выполнения обоих условий (11) следующее прибли-
жение определяем по формулам (6), а если хотя бы одно из
условий (11) не выполняется, то следующее приближение на-
ходится из неравенств (7).
Теорема 2. Пусть функция J (и) выпукла на U и J(u)^
^C^U). Тогда при любом выборе начальных u0^U и а0 > 0
последовательность {ик}, получаемая методом (10), (4), (11),
(6), (7), минимизирует функцию J(u) на U и сходится ко мно-
жеству решений задачи (9).
Доказательство. Так как U—параллелепипед, то мно-
жество М(щ)={и-. u^U, J(u)^J(uQ)} ограничено. Так как
J (uh+i)^J(Uh) (& = 0, 1, *••), то {uk}^U и существует
346
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
lim 7*. Так же, как в теореме 1, доказывается суще-
fe—>оо
ствование бесконечного числа номеров ki < ... < кт < ... итера-
ций, на которых длина шага ак дробится, и поэтому lim ак ~ 0.
&->оо
В силу ограниченности M(uQ) из {uhm} можно выбрать сходя-
щуюся подпоследовательность,
считать, что {икт\ = (и*, .
Не умаляя общности, можем
,, и*). При каждом i = 1, ..п
возможны следующие три случая.
1) ai<Zu\<Zbi. Так как lim ak = 0, то найдется номер N
такой, что икт + akm^i и uhm akmei U ПрИ всех т > N*
Поскольку ah при к = кт дробится, то
J (ukm + ahmei) > J (uhm), J (ukm - akmei) > J (ukm)
для всех m > N. Отсюда, как и в теореме 1, получаем Jui (ц*) =
= 0, так что
/ui (и*) ~ = 0, иг Ъ{.
2) и* = Тогда uhm + f= U и J (uhm+ акте{)^ J (ukm)
при всех m^N. Следовательно, (J' (икт + 0makmeiy akm^ 0 или
Jui (Ukm + ®m,akmei) 0 для каждого m^N. Отсюда при m->oo
получим Jui (u*) > 0 или Jui (ы*) (и — at) = Jui (u*) (иг — и’) >
>0
3) и* = bt. Тогда uhm — ahm e; <= U n J (ukm — akmei)>J (ukm)
при всех m^N. Поэтому (J (ukm — 0makmei), e») (—aftm)>0 или
Jui (ukm — 6makmei) C 0 (m > N). Отсюда при m -+ оо получим
(u^) 0, следовательно,
~ 0, G'i bi»
Объединяя все три рассмотренных случая, заключаем, что
(U*) °» ai иг^г. t = i, . . .,п.
Суммируя эти неравенства по всем i = 1, ..., п, получим
< J' (и^), и — и^) 0 для всех и е U.
Согласно теореме 4.2.3 тогда Следовательно, lim J (ик) =
fe-^OO
= lim J (Ukm) = J = J*, t. e. минимизирующая после-
довательность. Отсюда и из теоремы 2.1.2 следует, что
lim p(^fe, U^) = 0. Теорема 2 доказана.
fe-*OO
3. Существуют и другие варианты метода покоординатного
спуска. Можно, например, строить последовательность {uk} по
§ 12]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
347
правилу
uA+i = uft + aftpA, (12)
где ph определяется согласно (2), а — условиями
A((Xfe)= min Д(а), fk (а) = J (uk + apk). (13)
—оо<а<4-оо
Метод (12), (13) имеет смысл применять в том случае, когда
величина из (13) находится в явном виде. Так будет, если
функция Ци)—квадратичная, т. е.
7(м) = у(Ли,к) — <Ъ,иУ, и^Еп, (14)
где А — симметричная положительно определенная матрица Ъ -е
Нетрудно убедиться, что для функции (14) метод (12),
(13) приводит к хорошо известному методу Зейделя из линей-
ной алгебры [4].
Хотя и скорость сходимости метода покоординатного спуска,
вообще говоря, невысокая, благодаря простоте каждой итерации,
скромным требованиям к гладкости минимизируемой функции
этот метод довольно широко применяется на практике.
Существуют и другие методы минимизации, использующие
лишь значения функции и не требующие для своей реализации
вычисления производных. Например, используя вместо произ-
водных их разностные аппроксимации, можно построить моди-
фикации рассматривавшихся в предыдущих параграфах методов,
требующие вычисления лишь значений функции в подходящим
образом выбранных точках (ср. с § 9, 10).
Другой подход для минимизации негладких функций, осно-
ванный лишь на вычислении значений функции, дает метод
случайного поиска, который будет рассмотрен ниже в § 17. Ме-
тод поиска глобального минимума, излагаемый в следующем
параграфе, также относится к методам, не требующим вычисле-
ния производных минимизируемой функции.
Упражнения. 1. Нарисуйте линии уровня 7 (и) = С = const функ-
ции из примера 1 и поясните причину расходимости метода покоординат-
ного спуска для этой функции при выборе и0 — (0, 0).
2. Опишите метод покоординатного спуска и докажите его сходимость
для случая, когда в задаче (9) = —оо или bj — оо для каких-либо г, /,
1 тг.
3. Докажите сходимость метода (12), (13) для функции (14) [4].
§ 12. Метод поиска глобального минимума
1. Заметим, что если задача минимизации
/(&)-> inf; u^U (1)
является многоэкстремалъной — так называются задачи, в кото-
рых имеется хотя бы одна точка локального минимума, отлич-
ная от точки глобального минимума, то с помощью описанных
348 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. &
выше методов удается найти, вообще говоря, лишь приближе-
ние к какой-либо точке локального минимума. Поэтому упомя-
нутые методы часто называют локальными методами.
Для решения многоэкстремальной задачи (1) локальные ме-
тоды обычно используются по следующей схеме: на множества
U задают некоторую сетку точек и, выбирая в качестве началь-
ных приближений точки этой сетки, с помощью того или иного
локального метода находят локальные минимумы функции, а за-
тем, сравнивая полученные результаты, определяют ее глобаль-
ный минимум. Однако ясно, что такой подход к решению много-
экстремальных задач весьма трудоемок и не всегда приводит
к цели. Поэтому представляют большой интерес методы поиска
глобального минимума в многоэкстремальных задачах.
Если относительно свойств функции J(u) ничего неизвестно^
то вряд ли можно предложить какой-либо подход к решению
задачи (1), кроме вычисления значений функции J (и) во всех
точках u^U, Понятно, что такой подход практически нереали-
зуем. И как показывает наш предыдущий опыт, для построе-
ния эффективных численных методов решения задачи (1) на
функцию, а также на множество приходится накладывать те
или иные ограничения.
Ниже будут изложены методы поиска глобального минимума
в задаче (1) для случая, когда множество U является парал-
лелепипедом, т. е.
E7=U = (z?, и2, ..., ип): а^и*^Ьь f = l, ..., и}, (2)
аг, —заданные числа, аг <Ьг- (г = 1, ..., п), а функция J(u)
удовлетворяет условию Липшица
\J(u) — J(v)\^L\u--v\ Vu,v<=U, L = const ^0. (3)
Эти методы являются обобщением методов покрытий, рассмот-
ренных в § 1.7 для минимизации функции одной переменной
на отрезке. Как ив § 1.7, через Q(L) обозначим класс функций,
удовлетворяющих условию (3) с одной и той же для всех функ-
ций этого класса константой L > 0.
Пусть рт — какой-либо метод, представляющий собой пра-
вило выбора т точек щ, ..., ит из J7, в которых вычисляются
значения функции /(щ), ..., J(um) и затем определяется ве-
личина min J (щ), принимаемая за приближенное значение
J* = \nij (гл). Зададимся вопросом: как выбрать число т и метод
рт = {щ, ..., Um} так, чтобы
min J (и^) </* + £ V7 (и) е Q (Z), (4)
1
где 8 > 0 — заданная точность? Поставленную задачу будем
кратко называть задачей (1) — (4).
§ 12]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
349
2. Можно предложить следующее правило выбора точек
Wi, ..ит: пусть эти точки из U таковы, что объединение
шаров
R) = {и е Еп: \u — Ui\^R}, i =
с центрами в точках щ и радиуса R = &/L покрывает множество
т
т. е. U cz (J S (щ, R). Оказывается, при таком выборе то-
г=1
чек Ui, ..., ит, приняв величину min J (щ) за приближение к
J*, мы решим задачу (1) —(4). В самом деле, возьмем любую
точку u^U. Так как шары S(Ui, R) (Z = l, ..т), покрывают
множество U, то точка и принадлежит одному из шаров S(ui, R),
т. е. Iu — Uil R = z/L. Отсюда и из условия (3) следует J(u)^
J (щ) — L\u — ui\^ min J (U{) — 8 или J (u) min J (щ) — &
для всех и U. Переходя в левой части этого неравенства к
нижней грани по и U, будем иметь 0 min J (ui) — 7* 8 для
1
каждой функции J Это значит, что для описанного
метода рт выполняется неравенство (4), что и требовалось.
Однако покрывать множество U шарами не очень-то удобно.
Гораздо проще и удобнее покрывать множество (2) параллеле-
пипедами или кубами. Заметим, что шар S(ut, R) содержит в
себе n-мерный куб
Vi = [и = (и1, ..., ип): u{~h^.uj ^.и{ + h,
h = 7?Л^=е/(£Уп)
с длиной ребра 2h и с центром в точке щ = (и], ..., щ). Поль-
зуясь этим обстоятельством, нетрудно покрыть параллелепипед
(2) кубами следующим образом. Возьмем точки
Ui±...in = (4х, ...,4Р ij = 1, .. ,,т}, j =
(5)
где j-e координаты и\, ..., и3т. образованы по правилу
и\ = а, + h (2i — 1), i = 1, ..., m,j — 1,
u3m. = min {bj‘, aj + h (2mj — 1)},
а номер m} определяется условием
Umj-1 < bj — h C dj + h (2mj — 1) = + 2h.
Тогда кубы Vt....in с длиной ребра 2h = 2R/1n и с центром
в точке щ ...in (i = l, т}, j=i, п) покроют параллеле-
пипед (2).1Так как куб Vi±.in принадлежит шару S (ui±..in,^)t
350 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
то объединение шаров S R) (ij — 1, ..., j = 1, n)
покроет параллелепипед (2). Тогда, как было показано выше,
метод рт, заключающийся в выборе точек {щ, ..ит}, т =
= 7п17п2--. по правилу (5), решает задачу (1) —(4) на классе
функций Q(L).
3. Рассмотренный выше метод (5) относится к так называе-
мым пассивным методам — в нем все точки ..., ит задаются
одновременно до начала вычислений значений функции. Между
тем, если точки uh ..., ит выбирать последовательно и при вы-
боре очередной точки Ui как-то учитывать результаты вычис-
лений в предыдущих точках ..., и,--!, то шансы найти ве-
личину 7* с той же точностью 8 > 0 за меньшее число вычис-
лений, чем в описанном пассивном методе (5), имеются. Следуя
J139], опишем один такой последовательный метод, одномерный
вариант которого был изложен в § 1.7 (см. метод (1.7.3)).
Для простоты и наглядности этот метод сначала изложим
для случая п = 2, когда
U = {и = (z/1, и2): ai < и1 bi, а2 и2 С Ь2}
— прямоугольник на плоскости Е2. Введем обозначения
Fi = min {Fo, 7(zzi), ..., J
R = 8/д h = 7?/V2 = 8/ (ill), (6)
Ri^R + tJ^-F^JL, h^Ri/12, f = l, 2, ...,
где точки zzi, u2, ... будут выбираться последовательно по пра-
вилам, указанным ниже; в качестве Fo пока можем взять Fo =
= ДМ, а вопрос о других, более удобных способах выбора Fo
будет обсужден ниже.
Сначала последовательно определим точки
их, ..., ит^ ui = (4, Pj), i = 1, ...,
где
= ar + h, v}+1 = v\ + h + i = 1, . .., m1 — 2;
= min {бх; ^-i + h + v* = a2 + h.
(7)
номер mi находится из условий
— h 1^—1+ h + hm^u
Затем положим dmi = min ., hm^ и введем прямоугольник
Пт1 = {и = (u\ и2у +dm^.
Так как система отрезков [4 — h, v} + hi] (i = 1, ..., mJ покры-
вает отрезок [ab &i], то прямоугольник Пт^ будет принадлежать
§ 12]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
351
объединению прямоугольников
Пт^ = = (и1, И2): Й —+
*4 — h = a2O2Oi + dwJ, i = 1, ..rn^
Так как (г = 1, ..., 7ПХ), то для любой точки и —
= (и1, и2) (= Птгг имеем I и1 — v] I < hi = Rj /2, | и2 — v2 | <
^Ri/V2, так что | и — щ | = (| и1 — v\ |2 + | и2 — v2 |2)1/2 <R^
Это значит, что ПтГ1 принадлежит шару 5(щ-, 7?г) (г = 1, ...
..., 7П4). Отсюда следует, что прямоугольник Пт1 покрывается
системой шаров 5(&г-, Ri) (i = 1, ..., т^). Возьмем произволь-
ную точку и^Пт^ fl U. Тогда найдется шар 5(щ-, Д), содер-
жащий эту точку, т. е. \и — иг| Ri. Отсюда, учитывая условие
(3) и обозначения (6), получим
J (и) J (ui) — L\u — Ui\^J (ui) — LRi = Fi — 8 Fm^ — s
или
J (u) Fm^ — 8 при всех и e Г) U. (8)
Если U cz Пт^ то отсюда получим 0 Fm — J* 8 — задача
(1) — (4) решена. Допустим, что U ф. Пт1- Тогда последователь-
но введем точки
+ • • • ? Um^i — ^2)? f = 1, . . ., W2 ^1?
где
^тт^+1 — ~1~ h, == Vm^i + h + hm^-\-i-) i==l, . . ., ^2
v^2 = min (bp + h + (9>
^2 = *4 +
а номер m2 определяется условиями
^7П2-1 < ym2~l +^ + ^m2-l*
Положим dm^ = min {/гШ1+1, ..., и введем прямоугольник
Пт2 = [и = (ц1, и2): аг < и1 < v22 — h < и2 < + ^ш2},
принадлежащий объединению прямоугольников
Ят2,г = {и = (u1, и2): Vmi+i — h < Ul < V^i +
z?2 — h u2 v2 + dmj, i — 1» • > •»
352 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Как и выше, показываем, что Пт^1 cz SRm^i) (i = 1, ..,
..., т2 — ^i), и, кроме того,
J (и) Fm* — 8 при всех и е Пт^ Q U.
Поскольку Fm^ Fmто объединяя последнюю оценку для /(и)
с оценкой (8), имеем
J (u)^Fm^ — в при всех u^Qm2 A U, (10)
гДе Qm2 — Qm1 (J Qm1 — Пт^
Если U cz Qm^ то из (10) следует 0 Fm^ — J* 8 — задача
(1) —(4) решена. Если же U^.Qm^ то процесс продолжаем
дальше.
Пусть точки и±, . . .,ит& и величины F^ ..., Fm&, dm^ . .., dm&
уже найдены, прямоугольник Qms = Cws_1 U Пт8 рассмотрен и
показано, что
J (и) — u^Qmsp[ U9 (И)
Если U ф Qms, то рассматриваем точки
ит8+1ч . . ums+v Um&+i ~ (vms+i, ^s+i),
г = 1, . . .,ms+1 — mst
где координаты Vms+i вычисляются по формулам, аналогичным
(7), (9), v2s + h-[-dms. Затем полагаем 4ж=шЦЦ+ь...
. . ВВОДИМ прямоугольник
^™s+1 = (^ = (и1, и2)- < и1 < Ьъ Рз+1 — h < и2 < + ^me+1}.
Аналогично тому, как это делалось выше, устанавливаем, что
этот прямоугольник покрывается шарами S (ит&+1ч Rms+i)
(i = 1, . .., ms+1 — ms) и отсюда получаем неравенство
J (и) Fms+1 — 8, и (?ms+1 П U, Qms+1 = Qms U Пт§+1
я т. д. Нетрудно видеть, что этот процесс закончится за конеч-
ное число шагов при таком s, для которого rs-i<b2 — h^.vl_1 +
4- h + dms, v2s = min (fc2; z?Li + h + E7cz Qm&, неравенство
(И) выполняется при всех и U. Из (11) следует 0 Fms — —
~ min {J (^i), ..., J (ит^} — J* 8 для любой функции / = J(u) е
^Q(L), Последовательный метод для решения задачи (1) — (4)
для случая az — 2 описан.
§ 12]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
353
Кратко опишем такой метод в общем случае, когда п > 2.
Аналогично (6) введем обозначения
F< = min{F0; /(^), J(u<)}, R = dL, h = R/1n = e/(L1n),
(12)
7?i = 7? + (J(u1)-Fi)/L, hi^Rilln, f = l, 2, ...,
где точки Ui, ..Ui, ... выбираются последовательно по следу-
ющим правилам. Сначала определяем точки
U^, . . ., Ui = (uj, . . . j Vi ) , I == 1, . . ., 722-1,
где номер и координаты и* (г = 1, .тп^, вычисляются по
формулам (7), причем величины ft, h{ берутся из (12), а тД =
= + h (/ = 2, ..., тг). Полагаем d^i = min [ht, ..., /zmJ и, как
и выше, доказываем, что
J (u) > Fm^ — 8, и е= Qmi f| U,
где Qm^ = Пт1 = [и = (и1, ..., ип): aj +
+ /г + / — 2, ..., тг}. Если параллелепипед Qmi не покрыва-
ет параллелепипед (2), то далее рассматриваем точки
, um2<f Um^i — ^Vmi+i, . . ^,Vm^ijf 1 = 1, ...,ТП2 T72lf
где номер m2 и координаты vj^+i (i = 1, . ..,m2 — mJ, опреде-
ляются формулами (9), v^+i = 4^ + h + d^, v^+i = Uj+ h (j ==
= 3, ..., n; i = 1, ..., m2 — mi). Далее, полагаем йт2=*
= min {An^+i, .. •, d^2 = min {/гх, ..., доказываем, что
J (u) > Fm^ — 8, U G= Qm2 П U,
ГД6 U Пт2 — U1 Утп2
<»m2 + 42, а}<и’<а5 + h + dm2, / = 3, n) и т. д. Про-
должая этот процесс дальше, найдем точки
ums_1, • • •» Wms, WTOs_1+i = (vmj-j+b • • •> yms_1+i),
i — i, ...» m, — m,-i,
где номер m, и координаты ^ms_x+i определяются по формулам,
аналогичным (7), (9), i4s_1+i = min {b2; + h + drms _J,
< h ~h^.Vms_x + h + dms_i; ^ms_i+1 = + h (j= 3,. . ., Tl)
354 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
устанавливаем неравенство
— 8, U Qma A U,
где Qm> = {и: ах<и1 <Ьг, а2<и2<b2, а^и1 < а? + h + £&,}f
dms = min .,hmi], dmt = min {h^ .. .,hms]. После это-
го начинаем менять координату и3: сначала берем Цп$4-г— ^т5 +
+ h + dm9 и при vins+i = а$ + h (j = 4, ..., п) осуществляем
перебор координат и1, и® по описанной выше схеме до тех
пор, пока при некотором тк не получим оценки J (и) Fmk —
— 8, иеQmh л и, Qmk = {и: a2<u2<&2, v„h —
— h^.us^Vmh + dmh,aj^.u}^.a} + h + dmk, /=4,...,п}, где
dfnk — min {fei, ..hmk], a d^h — минимальное среди чисел {fej,
полученных на последнем цикле перебора координат и1, и2,
соответствующем значению ^ms+i = + h + ; затем берем
= vmk + h + dn^ заново перебираем координаты и1, и2
и т. д. Такое изменение координаты и3 закончится на не-
которой итерации тр установлением оценки J (и) Fmj> — 8, ue
<^Qmp Л и, где Qmp = [u: а^и3^Ъ}, /=1,2,3; aj<uj<aj +
+ j = 4, . . n}, dmp = min [7^, . .
Далее, по такой же схеме изменяем координату и4 по закону
uf+i = Ui + h + d%nq, затем — координату и5 и т. д., продолжая
этот процесс до тех пор, пока получившийся параллелепипед
Qmr не покроет исходный параллелепипед U и не будет полу-
чена оценка J (и) Fmr — 8, и е U. Из этой оценки будет сле-
довать, что 0 /гтг — 7*^8 для любой фиксированной функ-
ции Z = J(u)e^(L). Так как на каждой итерации хотя бы од*
на координата увеличивается на величину, не меньшую, чем А»
«s/ (LV п), то описанным методом за конечное число вычисле-
ний значений функции J(u)^Q(L) будет определена величина
J* с требуемой точностью 8 > 0.
Так же, как в случае функции одной переменной (см. § 1.7)f
нетрудно привести примеры самых «плохих» функций из класса
(?(Z), для которых описанный метод последовательного пере-
бора превратится в пассивный перебор (5), и самых «хороших»
функций из @(L), для которых этот метод дает существенный
выигрыш по сравнению с пассивным перебором (5).
Численные эксперименты показывают [139], что перебор су*
щественно сокращается, если в (6) или (12) принять Fo==/(п0),
где J(uQ) близко к J*. Поэтому сначала полезно провести пред-
§ 12]
МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА
355
варительное исследование функции J(u) на грубой сетке и по-
лучить грубую оценку для которую можно принять за Fo.
Для определения Fo возможно использование какого-либо про-
стого локального метода минимизации; для этих целей можно
также использовать и сам описанный метод последовательного
перебора с грубым значением в > 0. Возможно сочетание опи-
санного метода с каким-либо локальным методом, когда время
от времени последовательный перебор прерывается и для уточ-
нения значения FA из последней найденной точки производится
спуск с помощью выбранного локального метода.
Недостатком описанного метода является требование знания
константы L из условия (3). Если величина L неизвестна, то
можно попытаться взять некоторое начальное значение L = LQ
и применять метод с L = L0, 2Д, 4£0 и т. д. до тех пор, пока по-
лученное приближение значения не будет отличаться от пре-
дыдущего приближения не более чем на е. Для уточнения по-
стоянной L можно также использовать результаты проведенных
вычислений значений функции на предыдущих итерациях.
4. Для класса Q(L) можно предложить и другой вариант
метода покрытий [231], одномерный вариант которого также был
рассмотрен в § 1.7, п. 4. Предположим для простоты, что в (2)
61 — at = ... = Ъп — ап = d, т. е. U — куб с ребрами, параллель-
ными осям координат. Найдем наименьшее целое число т из
условий d/2w+1 е/(ЛУп) (тп>0). Через точки cik = (cikl, ...
Сгьп), где Cikj = aj+ i(bj — а^/2к (i = 0, 1, ..., 2*, О^к^т),
проведем всевозможные прямые, параллельные осям координат,
и разобьем куб U на систему кубов, которые будем называть
кубами &-го уровня. Тем самым, исходный куб будет иметь ну-
левой уровень; кубы fc+1-го уровня получаются из кубов к-го
уровня делением их ребер пополам и проведением через середи-
ны ребер прямых, параллельных осям координат. Далее, поль-
зуясь той же схемой, которая описана в § 1.7 (слово «отрезок»
теперь нужно заменить словом «куб»), можно организовать пере-
бор кубов различных уровней, последовательно вычислять зна-
чение функции J(u) в центрах ш этих кубов и определять ве-
личину Fs = min J(щ), причем неравенство (1.7.5) здесь следует
заменить на
F8^J(u8}- fnLh8 + ^
где hs — длина ребра рассматриваемого на s-м шаге куба с цент-
ром в точке и8. В результате для любой функции
произведя не более 2mn вычислений ее значений, получим ре-
шение задачи (1) — (4).
В общем случае, когда множество (2) не является кубом,
для построения покрытия множества U можно воспользоваться
параллелепипедами или комбинациями кубов и параллелепипе-
356 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ. S
дов. В [231] рассмотрены варианты метода покрытий для более
сложных множеств, задаваемых неравенствами gt(u)^0 (Iе
= 1, ..т).
Метод последовательного перебора для других классов функ-
ций описан в [139]; об оптимальных последовательных методах
на различных классах функций см. в [21, 106, 228, 282, 298].
§ 13. Метод модифицированных функций Лагранжа
1. Рассмотрим задачу
/(«)-> inf; и е U = {и <=Е”: и е Uo,
g<(u)^Q, i=l, ..., т, gi(u)=0, i = ..., s), (1)
где J (и), gi(u), ..., g, (u) — заданные функции на множестве Ut.
Пусть /*>—00,J7*=H=0. Выше (см. теоремы 4.9.2, 4.9.4, 4.9.5)
при определенных условиях выпуклости и регулярности задачи
(1) было установлено, что для любой точки найдутся
множители Лагранжа %* = (^*, ..., X*):
Х*еА0 = Х,>0, ..., Xm>0)
такие, что точка (u#, V) образует седловую точку функции
Лагранжа
L (и, %) = J (и) + 2 ^igi (и), ut=U0, Х«=Л0, (2)
1=1
т. е.
L(u*, Х)<Ь(и^, X*) == J* u^Uq. ^еЛ0. (3)
Была также доказана справедливость обратного утверждения:
если (и*, Uq X Ло является седловой точкой функции (2),
то (теорема 4.9.1).
Основываясь на этих фактах, можно предложить различные
методы решения задачи (1), сводящиеся к поиску седловой точ*
ки функции Лагранжа. Например, здесь естественным образом
напрашивается итерационный процесс, представляющий собой
метод проекции градиента по каждой из переменных и и Л
(спуск по переменной и и подъем — по %):
«Л+1 = puQ (Uk — «Л (u-к, М), (4)
^Ь+1 s ^Ло + akLk (Цк, ^к)) = Лл0 (^к + akg (ufc))» (5)
к = 0, 1, где Lu(u, X) = (Lui(u, %), ..., Zun(uf X)),
Lx, (u, X) = (L%1 (u, X), .,., LKs (u, %)) = (gi (u), ..., g, (u)) =« g (u);
длину шага а* в (4), (5) можно выбирать из тех же сообра-
жений, как это делалось выше в § 2. Заметим, что проекция
любой точки К^Е* на множество Ло вычисляется просто по
S 13]
МЕТОД МОДИФИЦИРОВАННЫХ ФУНКЦИЙ ЛАГРАНЖА
357
формулам -Рд0W = (Н1> НЛ гДе
р,{ = X? = шах {Х4, 0}, i = It m, р{ = Х{, i = m + 1, ..., s.
Вместо (4) возможно использование других итерационных
процессов, таких, как метод Ньютона и др. В тех случаях, ког-
да задача минимизации функции L(u, X) по переменной
при каждом фиксированном Х^А0 решается достаточно просто,
можно предложить следующий итерационный метод:
L (uh+1, X) = inf L (и, Xfe), Xfe+1 = РА (Xfe + ahg (uft+1)),
ueU0
Л = 0, 1, ...
Однако, как оказалось, сходимость перечисленных методов
удается доказать лишь при довольно жестких ограничениях на
данные задачи (1).
Приведем простейший пример выпуклой задачи, когда метод
(4), (5) не сходится к седловой точке функции Лагранжа.
Пример 1. Пусть U — {и^Е1: g(u)^u = 0}. Тог-
да /* = 0, U* ={0}. Функция Лагранжа L(u, J(u)+ hg(u)^
EX(u) на U0XA0 = EiXEl имеет седловую точку (0, 0), так
как £(0, Х) = 0-X0 = Z(0, 0) = L(w, 0)=0-м. Процесс (4),
(5) здесь имеет вид
Uk+i аДл, Xa+i,а= Ха + ocaUa, к = 0, 1, ...
Поскольку Uh+1+ X|+1=(u| + Х£) (1 + a*) (&=0, 1,.)s
то ясно, что при любых (rzo, Хо)=^О и любом выборе длины ша-
га aft >0 этот процесс расходится.
Анализ перечисленных методов показывает, что причина их
расходимости заключается в том, что функция Лагранжа (2)
по переменной X не очень хорошо «устроена» и допускает, в ча-
стности, случаи, когда в (4.9.38) имеют место строгие вклю-
чения (см. пример 4.9.7). Чтобы преодолеть возникающие здесь
трудности, можно попытаться видоизменить функцию Лагранжа,
строить так называемые модифицированные функции Лагранжа,
которые имеют то же множество седловых точек, что и функция
(2), и которые обладают лучшими свойствами, чем функция
(2). Такие функции, оказывается, существуют и могут быть
использованы для поиска седловой точки функции (2) и для
решения задачи (1). Следуя [29], мы рассмотрим один из воз-
можных здесь подходов.
2. Будем рассматривать задачу
J(u)->inf, = ue= ?70, g(u)=C0), (6)
где J(u), g(u) = (gi(u), ..., gm(и)) — заданные функции из
С*(ио). Как и в гл. 3, векторное неравенство g=(gi,
0 [g С 0] здесь и ниже означает, что >0 [g< С 0] при всех
358 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ. 5
i = 1, ,.т, а неравенство а > Ь для а, b & Ет эквивалентно
неравенству а — b > 0.
Наряду с классической функцией Лагранжа задачи (6)
L(u, X) = /(u)+<g(u), %>, uet70, = %>0} (7)
еще рассмотрим следующую модифицированную функцию Лаг-
ранжа:
М (и, %) = J (u) + А- [(X + Ag (u))+]2 - 23-1 % I8 (8)
переменных u^Ua, ?,<=Д, где A — произвольная фиксированная
положительная константа; в (8) принято обозначение
а+ = Р™(а) = (а*, .... Ят), а? = тах{я{; 0},
я+ (9)
i = l, ..т,
проекция точки а Ет на положительный октант =з
*={ае=Ет: а^О}.
Нетрудно видеть, что функция (p(z) = (max {z; 0})2=(z+)a
одной переменной непрерывно дифференцируема на всей число-
вой оси Z?1, причем
<р' (z) = 2 max {z; 0} = 2z+.
Отсюда следует, что при /(u), g(u)^ C^Uq) функция (8) не-
прерывно дифференцируя по и и X, причем
= Ми(а, X) = Г (и) + (g' (и)-)Т(к + Ag(u))+,
-^=МЦиД) = 1[(Л + 4г(и))+-Ь], uet70, К(=Ет,
где g' (и) — матрица порядка т X п, у которой в f-й строке,
7-м столбце giuj(и) = —— (г = 1, ..w, j = 1, .. .t п\ а матри-
ца (g'(и) )т получена транспонированием g'(и). Далее, пользуясь
теоремами 4.2.7, 4.2.8 и следствиями из них, нетрудно показать,
что если UQ — выпуклое множество и функции J (u), gi(u) вы-
пуклы на Uq, то функция М(и, X) выпукла по переменной и
на множестве UQ при любом фиксированном К^Ет. Отметим
также, хотя это ниже явно не будет использовано, что М (и, %)
является вогнутой по переменной X на множестве Ао при лю-
бом фиксированном u^UQ— в этом проще всего убедиться, до-
казав неравенство <Ж(и, X)— Мк(и, ц), X—ц>=^0 для всех X,
р, е Ао и затем обратившись к теореме 4.2.4.
Перейдем к описанию метода решения задачи (6), исполь-
зующего функцию М(и, X). В качестве начального приближения
возьмем любые точки uQ^UQ, ХоеАо. Пусть к-е приближение
8 13]
МЕТОД МОДИФИЦИРОВАННЫХ ФУНКЦИЙ ЛАГРАНЖА
359
Uo, ХлеЛ0 уже известно. Составим функцию
фл(«) = у |«— Wfel2 + аМ(и, %ft), u(=U01 (11)
где а — некоторое положительное число, являющееся парамет-
ром метода. Предположим, что существует точка Рл, удовлет-
воряющая условиям
vh^U0, Oft(pft) = infOft(u). (12)
ио
В качестве следующего (& + 1)-го приближения возьмем точку
uft+1 такую, что
uk+1<^U0, Ф& (Mfe+1)< inf Фк (и) + 61/2,
ио (1б)
|g(uft+i)-g(vk)l C6ft,
где б*>0, lim б^ = 0. В частности, если точка п* из (12) изве-
Ь-*ОО
стна, то можно принять uk+i = vh\ в общем случае для опреде-
ления uft+i из условий (13) нужно решать задачу (12) с по-
мощью какого-либо сходящегося метода минимизации. Дальнейшее
изложение не зависит от того, каким методом решается задача
(12), поэтому здесь мы можем ограничиться предположением,
что имеется какой-либо достаточно эффективный метод решения
задачи (12), позволяющий за конечное число итераций найти
точку иЛ+ъ которая удовлетворяет условиям (13). После опре-
деления uft+1 точка XA+i находится по формуле
^а+1 ~ "Ь Ag (ufe+i)) (^)
Правила получения (&+1)-го приближения uk+i Z70,
изложены.
Описанный метод кратко будем называть методом (13), (14). Для ис-
следования сходимости метода (13), (14) нам понадобятся некоторые свой-
ства функции а+, определенной равенствами (9). Из теоремы 4.4.2 сле-
дует, что
|a+_&+|<^|a —Ь| У/а, bt=Em. (15)
Далее, система соотношений
g 0, % 0, higi = 0, f = 1, т, (16)
эквивалентна равенству
%= (Н4)+ (17)
при любых постоянных А > 0. В самом деле, если выполняются соотноше-
ния (16), то либо gi = 0, Ki >0, либо Ki = 0, gi ^0. В каждом из этих
случаев, очевидно, равенство (17) верно. Таким образом, из (16) следу-
ет (17). Докажем обратное. Пусть имеет место равенство (17). Распишем
это равенство в координатной форме
Ki = (Ki +-4g<)+ = max{Xi + Agr, 0}, i = 1, ..., m. (17')
Отсюда ясно, что Ki > 0 при всех i = 1, ..., тп, т. е. Ki 0. Если К{ = 0,
то Kigi = 0 и, кроме того, из (17') получим 0 = (0 +Agi) + = Ki + Agi,
860 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
г. О, gi < 0. Если же и > 0, то из (17') следует 0 < Х< = (Х< + 4gi) + =
= Х< + 4gi, что возможно лишь при gi = 0 и X<gf = 0. Эквивалентность
(16) и (17) доказана.
Далее, пользуясь определением (9) функции а+, нетрудно получить, что
<а+, а> = <а+, а+>, <а+, &> < <а+, &+> Va, b <= Ё\
Отсюда имеем
<а+ _ ъ+, а — by = <а+, а> + <&+, Ь) — <а+, &> — <&+, а> >
> <а+, а+> + <&+, 6+> — <а+, &+> — <6+, а+> = <а+ — &+, а+ — Ь+>,
е.
<а+ — &+, а — by > <а+ — &+, а+ — &+>. (18)
Теорема 1. Пусть Uq — выпуклое замкнутое множество из Еп (на-
пример, Uq = Еп), функции J(u), gi(u), ..., gm(u) выпуклы на Uq и принад-
лежат классу Cx(Uq), /* > — &*•=/= 0, функция Лагранжа (7) имеет хо-
тя бы одну седловую точку (и*, X*) е U^ X Ао в смысле неравенств (3),
Пусть, кроме того, последовательность {бь} из (13) неотрицательна и
оо
2 < °°« Тогда последовательность {(ик, Хь)}, удовлетворяющая уело-
fc-o
виям (13), (14), при любом выборе начальных (и0, Хо) е Uq X Ло и любых
фиксированных параметрах а > О, 4 > О существует и сходится к неко-
торой седловой точке функции Лагранжа (7).
Доказательство. При сделанных предположениях функция
М (и, X) выпукла по переменной и е UQ при всех X е Ло, А >> 0, поэтому
при любых ик е Uq, Хь^Ло, а > О, 4 > О функция Фк(и), определяется
формулой (11), сильно выпукла на Uq с константой сильной выпуклости
х = 1/2. Отсюда и из теоремы 4.3.1 следует, что точка ик, удовлетворяющая
условиям (12), существует и определяется однозначно. Тогда существует
и точка ик+1, удовлетворяющая условиям (13): например, в (13) можно
взять ил+1 = ик. Здесь важно заметить, что многие из описанных выше
методов минимизации для задачи (12) сходятся и при любом бк > 0 по-
зволяют получить точку ик+\ из (13) за конечное число итераций. Таким
образом, при выполнении условий теоремы последовательность {(ик, Хь)}
существует и имеются достаточно эффективные способы реализации каж-
дой итерации метода (13), (14).
Наряду с точкой Хл+], определяемой по формуле (14), введем еще точку
IU= (Xft + 4g(yft))+, k = Q, 1, ... (19)
Покажем, что для любой седловой точки (и*, X*) функции Лагранжа (7)
справедливо неравенство
К~“* |a + ^Rfe-b*la>pfe-4a + jpft-**r+
“й|2 + -д|Нй — A.fe|2, fe = 0, 1, ... (20)
Согласно лемме 4.9.1 существование седловой точки (и*, X*) в задаче (6)
эквивалентно соотношениям
L(u*, b*)^L(u, X*) u^UQ, (21)
g(w«)<0, X*>0, X.tgi(M=O, i = l, .... m. (22)
В силу эквивалентности соотношений (16), (17) условия (22) можно пере-
писать в следующей равносильной форме:
х* = (Ь» +4g («,))+. (23)
§ 13J МЕТОД МОДИФИЦИРОВАННЫХ ФУНКЦИЙ ЛАГРАНЖА 361
Кроме того, функция L(u, X*) выпукла на Uq и принадлежит Cl(UQ), а тог-
да согласно теореме 4.2.3 неравенство (21) эквивалентно условию
<Ьи <“*> ~ м*> = </' (и*) 4- (g' (и*))тХ*, и — и*> > О
при всех и е UQ, Отсюда с учетом равенства (23) имеем
</' («») + U' (“*))Г (V + Ag («.))+, и - и*> > 0, и е Ut. (24)
Далее, из условия (12) и теоремы 4.2.3 следует
<фй(М> “-^>>0.
Отсюда с учетом формулы (10) получим
<i>»— uh + aJ'(vk) +a(g'(yk))T(ht + Ag(vtt))+, и — г*>>0,
u^U0. (25)
Примем в (24) и — умножим это неравенство на а > 0 и сложим с не-
равенством (25) при и = и*. Получим
<УА _ uh 4- а (/' _ j' („„)) 4- а (g' + Ag _
— а (g' (и#))Т (к* 4" Ag (и*))+, и^ — v^^O, Л = 0, 1, ...
Отсюда имеем
<рь — “й> “* — vk> > “ <У' Ы —г vk — “*> +
+ а <(Ч + As (уа))+> «' (уй) (vk ~ м*)> -
- а((А* 4- Ag (и„))+, g'(u*)(yh-и*)}, Л = 0,1, ... (26)
Так как функции J(u), gt(u) выпуклы, то согласно теореме 4.2.4
</' (yk) — J' (к»), vk — и») > 0,
в' (”a) ("а ~ И*) > S (vh) — g (и») > g' (w#) (yh — и»).
Отсюда и из (26) следует
<РА — ИА> “* — vh> > а <(^А + AS (уа))+~(X* + AS (и*))+, g (yk)—g (и»))=а
=j <(Ч+Л^ (^))+-а*+4?(«*))+, [(Ч+^(рл)) - М- *-*]>•
К правой части этой оценки применим неравенство (18). G учетом форму-
лы (19), определяющей точку р*, и равенства (23) получим
> z <(^А + AS (vk))+ ~ + AS (“*))+. [(4 + W)+ ~ M ~
- [(%♦ + Ag (u«))+ - V]> = j <jift - X», Hfe - 4>«
t. e.
^vk — uk> u* — vk> + "А ~ к = 0, 1, ,., (27)
Справедливы тождества
I uh~и*Г=|(иа- М+Съ-ЧР-К-“аГ+1м*“vk\*+2<vk~и» u»~vh>>
|xft-%*[2= |gi- %»|*4- |%*_р*|2 4-2<р*-%*,
362 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ. 5
Умножим второе из этих тождеств на а/4 и сложим с первым. Отсюда с
учетом оценки (27) получим обещанное неравенство (20).
Далее, покажем, что
|м*+1 — |ХА+1 — Цк| ^28*, k = 0,i,... (28)
Поскольку функция Фк(и) сильно выпукла на Uo, то с помощью теоре-
мы 4.3.1 и первого неравенства (13) получим
1 М&+1 “ vk I2/2 ФА (МА+1) — ФА (Уа) $а/2»
что равносильно первой оценке (28). Из формул (14), (19), определяющих
точки Хл+i, щ+1, неравенства (15) и условий (13) следует
|XA+i —цА| < A|g(uft+i) — g(vA)| ^4бл.
Оценки (28) доказаны.
В (п + тп)-мерном линейном пространстве Rn+m переменных z =
= (и, %) = (и1, ..., ип, Xj, ..., кт) введем скалярное произведение
<<2i, 2г>> = <ui, u2> + (а/4)<Х1, Х2> и соответствующую ему норму
1Ы1 = (|u|2+(a/4)|X|2)V2. (29)
Тогда, обозначив zh = (u*, ХА), wk = (г>А, ИлМ* = (м*> X*), неравенства (20)
и (28) можем записать в виде
U-2*112>Н^а-z*IP+ ||ша — zaI12, Л = 0, 1, ..., (30)
h*+i-wk||^ (4а + 1)бл, к = 0, 1, ... (31)
< оо. Таким образом, последователь-
условиям леммы 2.3.10. Для полной
что в неравенствах (2.3.30), (2.3.31)
Напомним, что по условию 2 $А
а=о
ности {zA}, {wk}, {5л} удовлетворяют
строгости, конечно, нужно заметить,
использована евклидова норма линейного пространства Rn+m, а в только
что полученных неравенствах (30), (31)—норма (29). Тем не менее, рас-
суждая так же, как при доказательстве леммы 2.3.10, нетрудно показать,
что существует конечный предел lim Ц zk___z*|| и, кроме того,
Заметим, что
Jhn || — zft|| = 0.
(32)
min {1; a/4} |z|2 ||z||2 max {1; a/4} |z]2,
т. e. нормы |z| и IIz|] эквивалентны. Отсюда и из существования конечного
предела lim||zft — z*|| следует, что последовательность {zA = (ыА, X*)} <=
е Uq X Хо ограничена в Еп+т и из нее можно выбрать подпоследовательность
{zAr=(MAr» ^Аг)}, которая сходится в Еп+т к некоторой точке сф = (а*,
Ь*), причем а* е С70, 6*еЛ0 в силу замкнутости UQ и Ло. Покажем, что
с* a (a*, b*) — седловая точка функции Лагранжа (7). Из ->с* и (31),
(32) следует, что -> с*> {2аг+1} с** Тогда из (14) при к = кг-+ оо
получим
6» = (&♦ + Ag (a.))+.
(33)
В силу эквивалентности соотношений (16) и (17) из (33) следует
g («♦) < 0, > 0,
b*gi («♦) = °.
i = 1, т.
(34)
9 14J МЕТОД ШТРАФНЫХ ФУНКЦИЙ 363
Далее, переходя в (25) к пределу при к = кг -► оо, будем иметь
(1' («•) + (ё' («*))Г (6* + Ag (аш))+, и — я*) > 0, в е Z70,
или с учетом (33)
(а*) + (g' (а*))тЬ», и — = (Ли (аш, Ь»), и — а*> > О
при всех и е Uq. В силу выпуклости L(u, &*) последнее неравенство экви-
валентно неравенству
L(a^ b*)^L(u, &♦), ue=UQ. (35)
Из соотношений (34), (35) и леммы 4.9.1 следует, что с* «= (а#, £♦) —
седловая точка функции L(u, %) в смысле неравенств (3), а тогда соглас-
но теореме 4.9.1 а*—решение задачи (6).
Заметим, что неравенство (30) верно для любой седловой точки, в
частности, оно верно и для найденной точки с* = (а#, Ь*).Поэтому сущест-
вует конечный предел lim II zk_с* II, причем в силу определения точки с*
fe->ool
имеем lim II z, — с* II = lim II zh — с* I! = 0. Это значит, что вся последо-
/г-»оо ’• r-»ooll т II
вательность {zk = (u&, Хл)} сходится в точке с* = (а*, &*), и, в частности,
{и*} сходится к а* —решению задачи (6). Теорема 1 доказана.
Другие методы поиска седловой точки функции Лагранжа, другие ме-
тоды решения задачи (1) или (6), основанные на связи между двойствен-
ными задачами (см. теорему 4.9.6), а также библиографию по таким мето-
дам читатель найдет в [8, 29, 111, 116, 152, 330].
§ 14. Метод штрафных функций
1. Метод штрафных функций является одним из наиболее
простых и широко применяемых методов решения задач мини-
мизаци. Основная идея метода заключается в сведении исходной
задачи
J(u)»inf; u^U (1)
к последовательности задач минимизации
Ofe(u)->inf; u^UQ, * = 0, 1, ..., (2)
где ФДи)— некоторая вспомогательная функция, а множество
Uq содержит U. При этом функция ФДи) подбирается так, что-
бы она с ростом номера к мало отличалась от исходной функ-
ции J(u) на множестве U и быстро возрастала на множестве
Uq\U. Можно ожидать, что быстрый рост функции Фл(и) вне U
приведет к тому, что при больших к нижняя грань этой функ-
ции на Uо будет достигаться в точках, близких ко множеству Ut
и решение задачи (2) будет приближаться к решению зада-
чи (1). Кроме того, как увидим ниже, имеется достаточно ши-
рокий произвол в выборе функций Фк(и) и множества С70 для
задач (2), и можно надеяться на то, что задачи (2) удастся со-
ставить более простыми по сравнению с задачей (1) и допуска-
ющими применение несложных методов минимизации.
364 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Л(и) = {
Определение 1. Последовательность функций {Pfe(u),
k = 0, 1, определенных и неотрицательных на множестве С70,
содержащем множество С7, называют штрафом или штрафной
функцией множества U на множестве С70, если
[О, u^U,
lim Ph (u) = < тт \ тт
fe-»oo loo, ue=UQ\U.
Из этого определения видно, что при больших номерах к за
нарушение условия и U приходится «платить» большой штраф,
в то время как при и е U штрафная функция представляет собой
бесконечно малую величину при к -> <».
Для любого множества U ^Еп можно указать сколько угодно
различных штрафных функций. Например, если {А^ — какая-
либо положительная последовательность, lim ЛА = оо^ то можно
й->00
ВЗЯТЬ
Ph (и) = Ллр (>u, U), u^En = U0, к =» 0, 1, ...
(здесь U предполагается замкнутым) или
0й и е U,
—u|, и ф U $ k==0, 1, ...;
здесь р (u, U) = inf | и — v | — расстояние от точки до множе-
иен
ства U, а и — какая-либо точка из U. Другие примеры штрафных
функций будут приведены ниже.
Допустим, что некоторое множество UQ, содержащее Z7,
а также штрафная функция {Pft(u)} множества U на Uo уже
выбраны. Предполагая, что функция J(u) определена на С70,
введем функции
ФДи) = У(.и) + РА(и), u^UOi k = 0, 1, ... (3)
и рассмотрим последовательность задач (2) с функциями (3).
Будем считать, что
Фл. = inf Фй (и) > — оо, к = О, 1, ... (4)
"о
Если здесь при каждом ^ = 0, 1, ... нижняя грань достигается,
то условия
Фл (Wft) == ФАф| uk g= (5)
определяют последовательность {uk}. Однако точно определить
uh из (5) удается лишь в редких случаях. Кроме того, нижняя
грань в (4) при некоторых или даже всех к ~ О, 1, ... может и
не достигаться. Поэтому будем считать, что при каждом к ==
«О, 1, ... с помощью какого-либо метода минимизации найдена
I 14]
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
365
точка определяемая условиями
uh е £/0, Фа (^а) ®а* + £а> (6)
где {eft} — некоторая заданная последовательность, sft > О, к =
= 0, 1, lim 8ь = 0 (если ик удовлетворяет условиям (5), то
А^оо
в (6) допускается возможность 8Л = 0). Отметим, что, вообще
говоря, ик Ф U. Метод штрафных функций описан.
Подчеркнем, что дальнейшее изложение не зависит от того,
каким конкретным методом будет найдена точка ик из (6). По-
этому мы здесь можем ограничиться предположением, что име-
ется достаточно эффективный метод определения такой точки.
2. Перейдем к исследованию сходимости метода штрафных
функций. Так как
lim Ph (и) == оо при и е £70\£7s
А-*оо
то можно ожидать, что для широкого класса задача (1) последо-
вательность {ик}, определяемая условиями (6), будет прибли-
жаться ко множеству U и будут справедливы равенства
lim J (uft) — J*f lim р (uk, U*) = 0.
А->оо А-»00
Мы здесь ограничимся рассмотрением задачи (1) для слу-
чая, когда множество U имеет вид
U = {и^Еп: Е70, 0, 1, ..., пг; £г(и)=* 0,
i = т+ 1, ..., $}, (7)
где Uо — заданное множество из Еп (например, t70~£n), функ-
ции Ци), gi(u) (г==1, •••, 5), определены на Uo. В качестве
штрафной функции множества (7) возьмем
Ра (ц) = АкР (п),
m 8 (8)
P(u)= 2 (max{gi(u);0})p+ S u<=U0,
i=l i—m+1
где Ль>0 (fc = 0, 1, ...), lim Ah = oo, a — фиксирован-
A->oo
ное число.
Очевидно, если функции gt(u) г раз непрерывно дифферен-
цируемы на множестве t/0, то при любом р>г функция (8)
также будет г раз непрерывно дифференцируема на Uo. Если
в (8) р = 1, то из непрерывности gi(u) (i«l, s) следует
непрерывность Рк(и) на UQ, но гладкости Рк(и) в этом случае
ожидать не приходится. Полезно также заметить, что если UQ —
выпуклое множество функции g<(u) при г = 1, ..., т выпуклы
на UOl gi(u)= {сц, иУ — Ьг— линейные функции при i — m+i, ...
s, то функция (8) выпукла на UQ — это вытекает из след-
ствия к теореме 4.2.8.
366 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Если для краткости ввести обозначения
(max {gi (и); 0} 1 = 1,...,™,
gi ~ (| gi (ц) |, i = m + l,
то функцию (8) можно записать в виде
Рй(и) = АР(ц), Р(«)=2(^(«)Л
i=l
Функцию Р[и) мы иногда также будем называть штрафной
функцией множества (7), подразумевая при этом, что после ум-
ножения на Ah > 0, lim Ak — оо, она превратится в штрафную
к->оо
функцию в смысле определения 1. Величины Ah из (8) будем
называть штрафными коэффициентами.
Заметим, что существуют и другие штрафные функции мно-
жества (7). Например, вместо (8) можно взять
Pk (и) = 2 Ai (gi ие=и0, k = 0, 1,
i=l
где Pi > 1, Ahi > 0, lim Aki = oo (i = 1, .,., 5); здесь каждое ог-
k-*co
раничение из (7) имеет свой штрафной коэффициент. Весьма
широкий класс штрафных функций множества (7) дает следу-*
ющая конструкция:
Pk (и) ~ 2 Afridi (gi" (u))A и Uq, к = 0, 1, • 9 •,
где <p<(g)—произвольная функция, определенная при g>0 та-
кая, что <pi(0) = 0, <p<(g)> 0 при g>0, Z = l, ..., 5. При необхо-
димости можно выбрать функции <p$(g) так, чтобы штрафная
функция Pft(u) обладала различными полезными свойствами,
такими, как, например, непрерывность, гладкость, выпуклость,
простота вычисления значений функции и нужных производных
и т. п. Возможны и другие конструкции штрафных функций
множества (7). Приведем еще два конкретных примера штраф-
ной функции
(8 \ Ад
1+S(gf(u))₽i -1,
i=l /
Pk (и) = Ak1 [ 2 exp {Akgi (u)} + 2 exp{4ftg?(u)] L ut=Un
\i=l i=m+i J
где AX) (A = 0, 1, ...), lim 4ft = 00,
fe-*oo
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
367
§ 14]
Прежде чем переходить к строгим формулировкам теорем
сходимости метода штрафных функций, рассмотрим несколько
конкретных примеров.
Пример 1. Пусть требуется решить задачу
J(u) = х2 + ху + у2 -> inf,
u^U = {u = (x, у)^Е2: х + у — 2 ==0).
В качестве штрафной функции возьмем Рк(и)~к(х + у--2)2 и
положим
Фк(и) = х2 + ху + у2 + к(х + у — 2)2, u(=U0 = E2; Л = 1, 2, ...
Функция Фк(и) при каждом фиксированном fc®!, 2, ... сильно
выпукла на Е2 и достигает своей нижней грани на Е2 в точке
ик = Ук), которая определяется уравнениями
дф. (и*}
—= 2zk + yk + 2k(xk + уь — 2) = 0,
дФ(ЧЛ
—— = xh + 2ук + 2к (xk + уь — 2) = 0.
Отсюда получаем
Uh = (з+4*’ 3 + 4*)’ Ф* = 4*4-3 =
При к -> оо будем иметь uh~+u* = (1,1), ФДиА) -> 3. Нетрудно
видеть, что и* — решение исходной задачи. В самом деле,
J' (и*) = (3; 3), </' (?г*), и — и*} = 3 (ж—1) + 3 (у—1) = 0 для всех
и е U, В силу выпуклости множества U и функции J (и) соглас-
но теореме 4.2.3 тогда и*—точка минимума J(u) на U, причем
J (^*) = = 3 = ИтФА (uh). Таким образом, в рассмотренном
fe->oo
примере метод штрафных функций сходится.
Пример 2. Пусть
J(u) = е~и -> inf; и е U = {и еEl: g(u) = ue~u = 0).
Здесь U = {0} = U*, /*=1. Возьмем штрафную функцию Рк(и) =
« kg2 (и) = ки2е~2и и положим Фк(и)== е~и + ки2е~2и, u^U0 = El.
Так как ФА(и)>0 при всех и е £\lim Ф& (и) = 0, тоФ^ =
U—>оо
a inf ФА (и) = 0. В качестве точки иА, удовлетворяющей усло-
ех
виям (6) при 8fe = e~h + к3е~2\ здесь можно взять ик = к (к—
« 1, 2, ...). Получим lim J (uk) = 0< = 1, lim р(и^ U^) =s
fe-*oo fe->oo
e=oo. Таким образом, выясняется, что метод штрафных функ-
ций не всегда сходится.
Перейдем к изложению достаточных условий сходимости ме-
тода штрафных функций для задачи (1), (7). Для определенно-
сти все формулировки и доказательства теорем проведем для
368 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
штрафной функции (8), хотя некоторые из нижеследующих ут-
верждений будут справедливы и для более широкого класса
штрафных функций.
Теорема 1. Пусть функции J(u), gi(u) (i = l, s), on-
ределены на множестве UQ, а последовательность {ик} определена
условиями (3), (6), (8). Тогда
lim J (uk) <lim ФА (uk) = lim Фк* < J*. (10)
A-»oo A->oo A-»oo
Если, кроме того, J** = inf/ (u)> —oo, mo
P(uk)=i(gt(uh)y = O(A^), * = 0,1,..., (H)
i=l
lim (ufe)0, i = l, lim g, (uft) = 0, i = m + 1, ..s.
A-»oo A~»oo
(12)
Доказательство. Так как P(u)>0, то из (3), (6), (8)
имеем
J (uk) J (uk) + AkP (щ) == Фа (uk) Фа* + sa
<Фа (ц) + 8& = J (и) + AkP(u) -ь Vug Uq, к = 0, 1, ...
Отсюда, переходя к нижней грани по и U и учитывая, что
Р(и) = 0, и е U, получим
J (ин) Фа (ua) Фа* + £а J* + sa, fc = 0, 1, .. w (13)
При к -> ©о из {13) вытекает (10).
Пусть теперь — оо- Так как J*^J**, то /*> —оо.
С учетом (13) имеем
0 AjJP (uft) — Ф& (и&) J (uk) J* + 8fc , к = 0, 1, ♦,
или
0<P(ufe)<(J# + sup8^ — Аь1, к = 0, 1, ...
\ ft>o )
Оценка (11) доказана. Из нее следует, что limP(ufe) = 0 или
А-юо
lim gt (uk) = 0 (i = 1, .,., s). Вспоминая определение (9) для
А-*оо
gi" (и), отсюда получим соотношения (12).
Пример 2 показывает, что в общем случае неравенства в (10)
могут быть строгими. Приведем достаточные условия, когда
lim J(uh) = J
А-»оо
Теорема 2. Пусть Uo — замкнутое множество из Еп, функ-
ции J(u), gi(u), ..., gm(u), lgrn+1 (u) I, ..., lge(u) | полунепрерыв-
ны снизу на UQ, inf J (u)> — оо. Пусть последовательность
§ 14]
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
369
{иА}, определяемая условиями (3), (6), (8), имеет хотя бы одну
предельную точку. Тогда все предельные точки {uki принадле-
жат множеству U* точек минимума задачи (1), (7). Если, кро-
ме того, множество
Z7e=(u: u<=U0, gf(u)^8, i = 1, (14)
ограничено хотя бы при одном значении S > 0, то
lim Фь (ий) = lim Ф&* — lim J (wft) = J*, lim p (Uk, U*) = 0. (15)
k-»oo k-»oo k-»oo k->oo
Доказательство. При сделанных предположениях для
последовательности {иА} соотношения (10) —(12) сохраняют си-
лу. Пусть и* — какая-либо предельная точка последовательности
{uh}, пусть {Ukr} -+и*. Заметим, что v*^UQ в силу замкнуто-
сти Uo. Тогда с учетом полунепрерывности снизу указанных
в условии теоремы функций из соотношений (12) получим
gi(р*)<limgi(wfer) < lim gi(ufe)<0, i = 1,
| gi (v*) I < lim | gi (z^r) | = lim | gi (uk) | = 0, i = m + i, ...,s.
r->oo
Следовательно, и* e U. Тогда с учетом (10) имеем J* J (y*)
<lim J (Uhr) < lim / (uft)< J*, t. e. lim J (uk\ = J (u*) = J*
T-+OQ k^OO r^OO
или u* (= [7*.
Наконец, пусть множество (14) ограничено при некоторых
6>0. Из соотношений (12) следует, что {uk}^U6 для всех
к > к0. Это означает, что {uk} имеет хотя бы одну предельную
точку. Тогда, как было выше показано, все предельные точки
{uh} принадлежат U*. Следовательно, lim р (ик, U*) = 0. Из тех
&->оо
же рассуждений и неравенств (10) вытекают остальные равен-
ства (15). Теорема 2 доказана.
Для иллюстрации теоремы 2 рассмотрим
Пример 3. Пусть
J(u) = е~и inf; u^U ~{и^Е'-. g(u) = u = 0}.
Здесь «7* = 1, U* — {0}. Функции 7(и), g(u) непрерывны на
замкнутом множестве UQ = Е1, J**— inf е~и=0, множество £7б =®
Е1
=^{ие=Е*: |и| 61 ограничено при любом 6>0. Таким образом,
все условия теоремы 2 выполнены. Возьмем штрафную функцию
Р(и) = (g(u) У = и2 и положим
ФА(и)=е~и + /ш2, и<=Е\ k = i, 2, ...
Нетрудно видеть, что Фк(и) сильно выпукла на Е\ поэтому
Ф&* = inf Фк (и) >—00• Пусть {8 J — произвольная неотрицатель-
Е1
370 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ4 5
нал последовательность, стремящаяся к нулю. Определим точку
uh из условия Фа(^)^Фа» + = 1, 2, ...). Для получаемой
таким образом последовательности {uk} согласно теореме 2 имеют
место равенства (15).
3. Нетрудно видеть, что рассмотренные в примерах 2 и 3 задачи по су-
ществу одинаковые: минимизируется одна и та же функция е~и на одном
и том же множестве U = {0}, и отличие лишь в том, что в примере 2 мно-
жество U задается ограничениями g(u) = ие~и = 0, а в примере 3 —
g(u) =з и = 0. Тем не менее, в примере 2 метод штрафных функций
расходится, в примере 3 — сходится.
Отсюда заключаем, что для сходимости метода штрафной функции важ-
ное значение имеет способ задания множества U: ограничения, задающие
множество Z7, и штрафные функции этого множества должны быть как-то
согласованы с минимизируемой функцией Ци).
Определение 2. Скажем, что задача (1), (7) имеет согласованную
постановку на множестве UQ, если для любой последовательности {wa} е UQ,
для которой
lim g+ = 0, i = 1, ..., s, (16)
А->оо
имеет место соотношение
lim J (ukj J* = inf J (и).
/г->оо и
(17)
Отметим, что в примере 3 задача имеет согласованную постановку на
Е1, а в примере 2 такой согласованности нет.
Теорема 3. Пусть ФЦи) == Ци) + А*Р(и), где Р(и) определена
формулой (8), пусть = inf Ф& (и) {к — 0, 1, ...). Тогда для того,
ио
чтобы
ИшФ. (18)
А->оо
необходимо, чтобы задача (1), (7) имела согласованную постановку на мно-
жестве Uq. Если*!** inf J (и) >•—оо, то согласованной постановки зада-
ио
чи (1), (7) на Uq достаточно для справедливости равенства (18).
Доказательство. Необходимость. Пусть имеет место ра-
венство (18). Возьмем произвольную последовательность {ur}^Uo, удов-
летворяющую условиям (16). Тогда lim Р (иЛ = 0. Справедливы нера-
г-+ ОО
венства (ar)< J (ur) + AkP (иг), г = 1, 2, ... Отсюда при г оо
получим Фй* < lim J (иг) при всех к =, 0, 1, ... Переходя здесь к пределу
Г-400
при &->оо, с учетом (18) будем иметь lim J (ur) lim Ф^вА» что и
г^оо й->оо
требовалось.
Достаточность. Пусть — °°, задача (1), (7) имеет согласо-
ванную постановку на множестве Uo. Поскольку ФЦи) Ци) при всех
и е Uo, то Фк > — оо, и имеет смысл говорить о последовательнос-
тях, удовлетворяющих условиям (6). Возьмем одну из таких последователь-
ностей {и*}. Согласно теореме 1 тогда справедливы соотношения (10) — (12).
Заметим, что (12) равносильно (16), откуда следует (17). Из (13), (17) по-
лучим lim / (иЛ = lim Фк Теорема 3 доказана.
А->оо А->оо *
Класс задач (1), (7), имеющих согласованную постановку на UQ, ука-
зан в теореме 2. Другой такой класс задач выделяется в следующей лемме.
§ 14]
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
371
Лемма 1. Пусть функция Лагранжа L (и, %) = J (и) + 2 Wi
u^U0, Z е Ло {X = (Хь ..., X,) е Е8: Aq О, ..., Хт 0} имеет седло*
вую точку на (7оХЛо. Тогда задача (1), (7) имеет согласованную поста-
новку на Uq,
Доказательство. Пусть (и#, %*) е UQ X Ло — седловая точка
функции Л (u, X), т. е.
W*, %)<L(u*, V)<L(u, %♦) VwetZ0, 1еЛ0. (19)
Согласно теореме 4.9.1 тогда и* е Z7#, J (ыф) = /# = L (ы#, %*). Из опреде-
ления (9) функции g+ (и) с учетом условия VeA0 имеем
Kigi (U) < I I gt («) Vu&U0, i =
Отсюда и из (19) получим
J, с J (и) + 2 I Л* I gf («) Vu е= и0. (20)
2=1
Возьмем любую последовательность {иъ} е Uq, удовлетворяющую услови-
ям (16). Тогда из (20) при и = иь получим lim J(ufe)^ 7», т. е. задача (1),
к->оо
(7) имеет согласованную постановку на Uq.
Из теорем 1, 3, леммы 1 следует
Теорема 4. Пусть функция Лагранжа задачи (1), (7) имеет седло-
вую точку и J** = inf J (и) >> — оо; пусть последовательность {иъ} опреде-
ли
лена условиями (3), (6), (8). Тогда lim J (u#) = lim Фк (wft) = lim Фк = J*
fe-»oo fe-»oo &->оо
и справедливы соотношения (11), (12).
4. Покажем, что теорема 4 сохраняет силу и без требования /*♦>—оо.
Более того, для задач, у которых функция Лагранжа имеет седловую точку
и даже для несколько более общего класса задач (1), (7), можно получить
оценку скорости сходимости метода штрафных функций.
Определение 3. Скажем, что задача (1), (7) имеет сильно согла-
сованную постановку, если найдутся такие числа ci 0, .,с9 0, v > 0,
что
J» (и) + 2 ci (4 (“))V V“ e U0- <21>
2=1
Как видно из неравенства (20), задачи (1), (7), функция Лагранжа ко-
торых обладает седловой точкой, имеют сильно согласованную постановку,
причем в (21) можно взять ci — | X* I, v = 1. Другой важный класс задач
с сильно согласованной постановкой будет приведен ниже в лемме 5.
Теорема 5. Пусть задача (1), (7) имеет сильно согласованную по*
становку в смысле определения 3, J# > — оо, последовательность {иь} опре-
делена условиями (3), (6), (8), где р >> V. Тогда
0<(4МР<-Р(иь)<Рй- * = 0,1,..., (22)
-Id(pft)v/P</* = 0,1.................... (23)
- ВА-^Р-^ a>k(uh) - Л < eft) - BA-^-V < - л <
k = 0, 1, .... (24)
372 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. S
Сдв
Pk~\Ak ) +P-V Ah ’
Л = 0,1,
(p-v)/p
\1=1 /
В = (p - v) vv/(p"v)p-p/(p-v) 1 c
Если, кроме того, UQ замкнутое множество, функции J(u), g+ (и) полуне-
прерывны снизу на Uq, {Ль} -> оо, {еь} -> 0, и и*—• предельная точка по-
следовательности {щ}, то и* е 17*.
Доказательство. Прежде всего покажем, чтоФй#> — оо. Из (21)
следует
Фй (и) - J. = J {и) - А + Akp (и) > - 2 Ci (g+ (u))v + Ah 2 (<?f (»))”>
i=l i=l
> 2 min (— cizV + AzP) Vu e C70, (25)
i=l 2^=0
Нетрудно видеть, что функция <p(z) «—ctzv + AhZ?, где p > v, достигает
/ VC. \ V(p-v)
своей нижней грани при z > 0 в точке z* = [ —_L , причем <р (г*) =
\pAk /
==min<p(z) =—Vv/(p—v)^—p/(p—v) c^Kp—v)(p __ vj A^v^p~v\ Осюда и пз(25)
следует, что
Фй (и) - Л > - ВА-^-^ 4и е и0. (26)
Переходя к нижней грани по и е Uq, из (26) имеем
Ф — Г > — П 4“V/(p-V)
(27)
Отсюда вытекает, что > — оо. Это значит, что при е& > 0 точка ыь,
удовлетворяющая условиям (6), существует по определению нижней гра-
ни (при еь = 0 существование такой точки предполагается).
Далее, из (13), (21) имеем
J (“а) + АкР < А + < J Ы + 2 ci (st (“a))V + 28)
1=1
так что
0<^P(uft)<2ci(g+(ufe))'' + 6ft> fc = 0,1, ... (29)
i==l
Пользуясь неравенством Гельдера
при bt = ct, ai = (gf (Mfc))v, m = p/v, r = p/(p — v), получаем
0 < 2 ci (st (“a))v < 1c i (P (u^v!v- (3°)
i=l
е 14]
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
373
Отсюда и из (29) следует 0^AkP(uk) |с| (P(uk))v/P + или 0<zp/v<
I с I 2 + &k (к = 0, 1, ...), где z = (AhP(uk))v/p. С помощью лем-
мы 2.3.11 тогда получаем
(\ v/p
(|c|4-v/P)P/(P-v)+_L_8ft) ,
что равносильно оценке (22). Далее, из (28) с учетом (30) имеем
Отсюда и из уже доказанной оценки (22) следует оценка (23). Далее, ле-
вые неравенства (24) получаются из (26) при и = иъ, и из (27), правые
неравенства (24) вытекают из (13). Наконец, утверждение о том, предель-
ная точка р* последовательности {иъ} принадлежит £/*, вытекает из оце-
нок (22) — (24) и доказывается также, как аналогичное утверждение в тео-
реме 2.
Теорема 6. Пусть задача (1), (7) имеет сильно согласованную по-
становку в смысле определения 3, — оо, последовательность {и&} оп-
ределена условиями (3), (6), (8), где р — v, А. > | с | = max |С||. Тогда
1 i<s
8ь
0<(4ЫУ <рЫ < хчф (31)
I с 1 Ak — | с | J (ufc) £k’
0 Ф& (uk) ~~
Если TJ£ -А— , то
и. = Ukjf ={u е С70: фй (и) = <Dft J. (34)
Если, кроме того, Uq — замкнутое множество, функции J(u), g^ (и) полуне-
прерывны снизу на Uo, {ел} -> 0, и v* — предельная точка {ujJ, то
Доказательство. Из (25) при р — v, Ah > 1 с | имеем Фк (u)—J
>0, u^UQ, так что > — оо, и последовательность {иъ}, удов-
летворяющая условиям (6), при ел > 0 существует. Из (29) при р = у,
Ак> |с| сразу получаем оценку (31). Из нее и из (28) при р =v следует
оценка (32). Из (13) и (25) при р == у, Ah> |с| с учетом того, что
min (— C|ZV + = 0» приходим к соотношениям (33). Докажем равенст-
f >0
во (34)• Возьмем произвольную точку и* е U*. Тогда Р (и*) = 0 и Фй (w*) =
е= j (Wj|8) = j* = так что w# е Uk*. Следовательно, U* с Uk*. Пусть
теперь ик* е Uk*, т. е. Ф^(^) = Фд#« Это значит, что условие (6) при
ик «= ик* выполняется с гк = 0. Тогда из оценки (31) при 8&= 0 получаем
Р(%) = 0, T.e.ufts е U. Отсюда, из (33) и из того, что J {иь*}~ Ф& (и&#) ==
= Фк* = следует, что uk* е U*. Следовательно, cz U*. Равенство
(34) доказано. Последнее утверждение теоремы вытекает из оценок (31) —
(33) и доказывается так же, как аналогичное утверждение в теореме 2.
Из теоремы 6 следует, что случай р = v интересен тем, что при точ-
ной реализации метода штрафных функций (3), (6), (8) решение исход-
ной задачи (1), (7) может быть получено при конечных значениях штраф-
ного коэффициента Аь.
374 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ* 5
Рассмотрим примеры, которые показывают, что оценки, полученные в
теоремах 5, 6, не могут быть существенно улучшены на классе задач (1),
(7), имеющих сильно согласованную постановку.
Пример 4. Рассмотрим задачу
J(u) = —и е U = {и е Ег: g(u) = и 0}.
Здесь = 0, U* = {0}. Функция Лагранжа L(u, X) = —и + Хи, и е UQ= Е\
X е д0 = {X е Е1: 0} имеет седловую точку (и* = 0, X* = 1), так что
согласно (20) неравенство (21) выполнено при v == 1, ct = 1, s = 1. Возь-
мем штрафную функцию Рл(и) == Ak(g+(u))* = 4*(max{u; 0})р, р > 1, Ак >
> 1, {Ль} оо. Тогда функция (3) будет иметь вид
ф. (м) = |-«+4<
I— и, и < 0.
Нетрудно показать, что
= inf Фь (“) =
Е1
0, р = v = 1,
₽>1«
причем нижняя грань достигается в точке ufe<t = 0 при р = 1 и uft# =а
= (рЛЛ)“"1№"1)при р > 1, к ® 0, 1, ... Последовательность {ий<}удовлет-
воряет условиям (5) или (6) с Ел = 0, причем
/0, р = 1, (0, р = 1,
р>1, Р>1
Сравнение этих точных равенств с оценками теорем 5, 6 при е& = 0 пока-
зывает, что в случае р = 1 оценки (31), (32) точны, а в случае р > 1 оцен-
ки (22) — (24) точны по порядку и отличаются от точных оценок лишь кон-
стантами при степени Л*. Если 8& > 0, то при р = 1 в качестве точки им,
удовлетворяющей условиям (6) и наиболее удаленной от (7*, здесь мож-
но взять иЛ— Gkl(Ak — 1) (к = 0, 1,...). Тогда P(uh) = uh= £н(Ан — |с|)-\
J (uk) А == — = — I с I (Ak — | с I) 1, (wfe) — Д = (Afe — 1) uk =s
= 8ft (к = 0, 1, ...), что совпадает с оценками (31) —(33). Если еь > О,
р = 2, то точка иь = (1/(2Ла)) + (8а/Ль)1/2 удовлетворяет условиям (6),
причем AhP (ик) = Aku* = (l/(44fe)) + eft+ (e/Atf/*, J (uh)
(ma) = cfe — (1/(4^)),что также свидетельствует о том, что оцен-
ки (22)—(24) на классе задач с сильно согласованной постановкой не яв-
ляются грубыми.
Этот же пример показывает, что в теореме 6 требования Ан > | с | не
может быть опущено. В самом деле, если Ан < 1 = | с |, р == 1, то Ф^
==? —оо; если же Ан = 1 = |с|, р = 1, то Фь(и) а 0, ФАе = 0, =« Е1
и. нарушено равенство (34).
Пример 5. Рассмотрим задачу
J(и) = —и ~>inf, и е U — {и е El: g (и) — и2 0}.
Здесь J* = 0, U = U* = {0}. Функция Лагранжа £(и, X) =—и + Xw2, ue Е1,
X е , седловой точки не имеет, но тем не менее задача имеет сильно со-
гласованную постановку. В самом деле, справедливо неравенство =0<
< — и 4- I и I = — и +(g (м))1/а при всех и^Е1, так что неравенство (21)
выполняется при с = 1, v = 1/2. Возьмем штрафную функцию Р(и) =
== (max{u2; 01 )р = (и2)*. Если р > 1/2 » v, то функция Ф*(и) = —в + Льп2^
Ан > 0, {Ан) -> оо, достигает нижней грани на UQ == Е1 при =as
8 14]
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
375
x=s(2pHfe) i/(2p—1) (^ = о,1, ...), причем -Р(иь*) = (2М&) 2р/(2р-1\
J (“*♦) - Л = ~ - Л = - (2р - 1) (к = 0,
1, ...). Как видим, эти оценки лишь константами при степенях Ak отлича-
ются от оценок (22) —(24). Интересно заметить, что с увеличением р оцен-
ки ухудшаются. Если р = v = 1/2, Ah > 1 = |с|, то ФЛ(ы) = — к + 4Л|н|,
Ф&* = 0. Точка = Qk (Ак — I)"1 удовлетворяет условиям (6) и наиболее
удалена от £7* = {0}. Тогда P(uk) = Ы = еЛ(ЯЛ — I)-1, — Л =»
—uk, Ф&(и&)~~ = 8fe, что совпадает с оценками (31) —(33).
5. Выполнение соотношений (12) или (16), как показывает пример 2,
еще не гарантирует сходимость последовательности {uk} из (6) ко мно-
жеству U. Для такой сходимости множество должно удовлетворять неко-
торым дополнительным условиям.
Определение 4. Скажем, что множество (7) задано корректными
ограничениями на £70, если всякая последовательность {и*} е £70, удовлет-
воряющая условиям (16), сходится ко множеству U,
Примеры 2, 3 показывают, что одно и то же множество может быть за-
дано как корректными, так и некорректными ограничениями. Как следует
из доказательства теоремы 2, ограничения из (7) будут корректными на Uq,
если функции gf (и) (i = !,...,«), полунепрерывны снизу на замкнутом
множестве Uo, а множество £7(6), определяемое согласно (14), ограничено
при некотором 6 >* 0. Корректными будут также ограничения, для которых
удается доказать неравенство
p(u,U)^h(g+(u),...,g+(u)) Vu^U0, (35)
где функция h(t) = h(ti4 ..., t») > 0 при всех t е Е^, t #= 0, h (0) = 0,
lim Л (J) =0. Приведем важные классы множеств (7), задаваемых коррект-
но
ными ограничениями, для которых неравенство (35) имеет вид
p(u, £7)<М( max g£ (u)V Vwe£7; M > 0, ?>0. (36)
J °
Лемма 2. Пусть Uq — выпуклое замкнутое множество, функции
gi(w), ..., gm(u) выпуклы и непрерывны на Uq, пусть существует такая точ-
ка й е £70, что gi(a)<0, ..., gm(u) <Z 0; пусть множество U={ugUq:
g\(u) 0, ..., gm(u) 0} ограничено. Тогда неравенство (36) выполняется
с у = 1, М = diam U ( min |gi(^)h"’1, diam U =* sup | u — p|.
7 u,vsL7
Доказательство. Введем функцию g (u) = max gj (u). В силу
ixicm
теоремы 4.2.7 функция g(u) выпукла на Uq. Возьмем произвольную точку
u^Uq\U. Тогда g(u) >0. Функция f(t) = g(u + t(u — и)) переменной i
непрерывна на отрезке [0, 1], /(0) = g(u) > 0, /(1) = g(u) < 0. Следова-
тельно, существует точка to <= (0, 1), такая, что /(io) = 0. Положим у =
==и-М0(й— и); тогда io = |у —u| |й— 1 — io == |у — й| |й—
Пользуясь выпуклостью функции g(u), имеем g(v) — /(i0) = 0 iog(u) +
+ (1 —io)g(w) или —*og(a)^(l —to)g(w) или |v — и\ |g(«) — u|g+(u).
Отсюда с учетом и, и е U получаем, что p(u, U) \ и—1?| ^g+(u) X
X I у — й| (g(w))-1 = Mg+(u), что и требовалось.
Лемма 3. Пусть U={u^En: gi(u) = {at, и) — Ъ1 0, i = 1, ...
тп} =/= 0, где ai е Еп, Ь* е R (i»l, ..., тп). Тогда ограничения, зада*
ющие множество U, корректны на Еп, и неравенство (36) выполняется
с у = 1, Uq = Еп.
Доказательство. Возьмем произвольную точку и U. Так как
U — выпуклое замкнутое множество, то согласно теореме 4.4.1 однозначно
определяется проекция w = &и(и) точки и на U. К задаче определения
проекции^ g(v) = |v — и | ->inf, и е £7, применимы теорема 4.9.4 и лем-
376 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. Б
ма 4.9.2, которые гарантируют существование таких чисел Xi 0, ..., Хщ
0, что
т s
g'(w) + y USi (“О = + 2 ^гаг = °- (<ai’ W> - bi) = °-
i-=l i=l
i = 1, .m*
Отсюда, учитывая, что | w — u| = p(u, U), имеем
u — w = p(u, U) У X^, I(u) = [i:
<a-, 1Р>-дг = О). (37)
Можно считать, что система векторов {а<, feZ(u)} линейно независима.
В самом деле, если существуют числа (ieZ(u)), не все равные нулю,
2 ?iai = 0, то и — w = р (и, U) 2 (М аг' гДе v< = Х< — >
iSJ(u) iS/(u)
>s0 (ieZ(u)) при всех t, 0 < t < tOl ^ — достаточно малое число. Можно
считать, что среди (ieZ(u)), есть положительные числа, иначе изме-
ним знаки всех *у< (ieZ(u)). Положим t = as/?8 т*п
Vi>o,iei(u)
Тогда Vi = Х<— t^i 0 (ieZ(w)), причем по крайней мере одно число
v< = Х< —Ц9 = 0. Таким образом, заменив в (37) Х< на v< и исключив из
Ци) те номера, для которых v< = 0, снова придем к равенству вида (37)
с меньшим числом слагаемых. Последовательно применяя этот прием да-
лее, за конечное число шагов придем к представлению (37), в котором си-
стема {а<, ieZ(u)} линейно независима. Из (37) следует
max g^(u)> max gt (и) > max g; (и) = max ({a^ u\ — d1) =
1^г<т г 1 is=l(u) x x z z
= max (a,, u—w\ = p(u, U) max /2 (38)
is/(u) iel(u) jsl(u) /
Покажем, что величину max /2 Mj\, где система {a<, i e= Ци)}
линейно независима, можно оценить снизу положительной величиной, не
зависящей от п. С этой целью возьмем любое множество индексов
I cz {1, ..., т}, таких, что векторы {а<, i е Z} линейно независимы, и введем
множество
Заметим, что Л/ — замкнутое ограниченное множество. В самом деле,
если Xft = (Х|, i е/) е Лр X* ->Х, то предельным переходом в (39) легко
убедиться, что X е Ль Следовательно, А/ замкнуто. Покажем ограничен-
ность Ль Допустим противное: пусть найдутся Xft е Л/ (к = 1, 2, ...),
|ХЛ| ->оо. Тогда последовательность рЛ = Х*/|ХЛ| (к = 1, 2, ...) ограни-
чена: |рЛ| = 1. Выбирая при необходимости подпоследовательность, можем
считать, что {рЛ} ->р,, |ц| = 1. Поскольку I 2 ^iai I в то I 2 ^iai I
Iiei I I lei I
₽= 1/| Xft |->0 = 2^iai» гДе И = (И?, ieZ)^=0. Однако это противоречит
isi
линейной независимости {а<, i е Z}. Следовательно, Л/ замкнуто.
На множестве Л/ рассмотрим функцию d (X, Z) = max /<ц, 2 Xja--\.
IGI \
Убедимся в том, что d(X, Z) > 0 при всех Хе Ль В самом деле, если су-
• 14]
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
377
ществует Х° =(%®, / е /) е= Лр что d (х°, l) < 0, то /ait 2 Ч«,\<0
\ 3^1 /
при всех ie/, Умножим эти неравенства на X® (i s Z) и сложим; полу-
чим равенство V I ~ противоречащее определению Л/. Таким
I iei \
образом, d(X, I) > 0 при всех Ль Функция d(X, I) непрерывна по X
и на компактном множестве Л/ достигает своей нижней грани в некоторой
точке X* е Л7, причем d* (Z) = inf d (X, I) = d (X*, I) > 0. Поскольку
множество {Z} различных подмножеств I множества {1, ..., пг}, для кото-
рых векторы {а<, i е 1} линейно независимы, конечно, то d* = ini d* (I) >0.
Отсюда и из (37), (38) имеем max g^(^)>p(w, U) d(X, Z(u))>p(u, U) й#,или
p (w, t7)< (l/d#) max gf (u) (ueE71). Таким образом, неравенство (36)
справедливо с у = 1, М = l/d*. Лемма 3 доказана.
Лемма 4. Непустое множество
U = {и е Ent, gi (и) = <а$, и> — Ъ1 0, i = 1, ..., тп;
gi (и) = (сц, иУ — Ь* == 0, и = m + 1, ,.$}, (40)
где е Еп, е Z?, задается корректными ограничениями на Еп и нера-
венство (36) выполняется с у = 1, Uo = Еп.
Доказательство. Каждое ограничение gi(и) = (dt, иУ — Ь1 = 0
заменим равносильными ограничениями hu(u) = gt(и) ^0, h2i(u) =
= —gi(u) ^0и воспользуемся леммой 3. Получим
Р («, Ц) <М’ max {g+ (и)...g+ (и); h+m+1 (и), ...,h+ («),
kjirn+l • • •’ ^23
Отсюда и из
л+j (и) = max {g{ (u); 0} < | g{ (u) | = gt (и),
*2i (и) = max{—g4 (u); 0}<]g4 (u) | = gf (u), i = m + 1, .... s,
приходим к неравенству (36) с у = 1. Лемма 4 доказана.
Другие классы множеств (7), заданных корректными ограничениями,
читатель найдет в [21].
6. В лемме 1 был выделен класс задач (1), (7), имеющих сильно со-
гласованную постановку (см. неравенства (20), (21)). Следуя [21], приве-
дем еще один содержательный класс таких задач.
Лемма 5. Пусть функция J(u) ни множестве Uq удовлетворяет усло-
вию Гелъдера
| J (и) — J (v) 1 < L | и — v 1а
Vu, У(=(70, L>0, 0<а<1; (41)
огрнничения, зндяющие множество (7), корректны Hd Uq и удовлетворяют
HepdeeHCTey (36). Toedd 3ddd4d (1), (7) имеет сильно соглисовинную пости-
новку, причем неривенство (21) выполняется при Ci = с^ = LMat
== ay.
Доказательство. Возьмем произвольную точку и е Uq, По опре-
делению р (ut U) = inf | и — v | для любого 8 > 0 найдется такая точка
v^u
378 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
иг s £7, что |и — ие\ < р(и, £7)4-8. Тогда с учетом условий (36), (41) имеем
+ (и))^ + LM max* gT (и) р 4- J (и) - J (и*) >
>Ь(р (u, U))a-L\u- ue]®>E(p(u, £7))а-Е(р(а, £7)4-8)®.
Пользуясь произволом 8 > 0, отсюда при е О получим
LMa 2 (g+ («))“’ + J (и) - Д > О
i=l
VMe£70.
Заметим, что в общем случае из выполнения условий леммы 5 не сле-
дует существование седловой точки функции Лагранжа задачи (1), (7) и,
наоборот, существование седловой точки не гарантирует выполнение ус-
ловий леммы 5. Это означает, что выделенные в леммах 1, 5 два класса за-
дач (1), (7), имеющих сильно согласованную постановку, взаимно допол-
няют друг друга. Отметим также, что этими двумя классами не исчерпыва-
ются задачи (1), (7) с сильно согласованной постановкой. Поясним это на
примере.
Пример 6. Рассмотрим задачу
J(u) = —-ua->inf, и <= U = {и > 0: g(u) = 0}, (42)
где a > 0, ₽ > 0, £7= {и е= Е1: и > 0} = Е\. Ясно, что £7 = £7* = {0}
Л = 0.
Далее, имеем
/* = О = - иа + («₽)“/₽ = J(u) + (g+ (u))a/3 Vи е и0,
так что неравенство (21) выполняется при $ = т = 1, а = 1, v = a/p«
Следовательно, задача (42) имеет сильно согласованную постановку и к ней
применимы теоремы 5, 6. Отметим, что здесь р(и, £7) = | и — 0) = | и| =
= (#+(и))1/э, и е £70, т. е. условие (36) выполняется с М = 1, у = 1/3. Да-
лее, при 0 < a 1 функция Ци) — —иа удовлетворяет условию Гель дера:
|ua — ya[ |u__ y|a v e так что в этом случае применима лем-
ма 5. При a > 1 условие Гельдера на £70 = не выполняется и лемма 5
неприменима. Далее, функция Лагранжа L(u, X) = —ua4- W (и > 0, X > 0)
задачи (42) при a = £ имеет седловую точку (и* = 0, X* = 1). Кстати, сед-
ловая точка здесь не единственная: любая точка (0, X*), X* 1, также яв-
ляется седловой. Заметим также, что функция Ци) = — иа, и^0, выпукла
лишь при 0 < a 1, а g(u) = up, и 0, выпукла лишь при ₽ 1. Если
а Ф р, то функция Лагранжа не имеет седловой точки. Таким образом, при
a > 1, 3>О,а=/=3 задача (42) не охватывается леммами 1, 5.
7. Покажем, что метод штрафных функций может быть использован
для поиска седловой точки функции Лагранжа задачи (1), (7).
Теорема 7. Пусть Uq — выпуклое замкнутое множество из Еп; Функ-
ции Ци), gi(u), ..., gm(u) выпуклы на Uq и принадлежат классу Cx(Uq)i
gi (и) = {а*, иу — (i = m 4- 1, ..s); пусть J* >— <», £7*5/= 0 и функ-
ция Лагранжа задачи (1), (7) имеет седловую точку (и*, X*) е UQ X Л&
в смысле неравенства (19). Кроме того, пусть функция (и) = J (и) 4*
8
+ Ak 2 (#i” (W))P> и £7q, Р > 1, при каждом к = 0, 1, ... достигает своей
г=1
нижней грани на Uq, в некоторой точке uk^Uq, Тогда если последователь-
ность {ил} имеет хотя бы одну предельную точку, то и последовательность
{М},где = ....%t = p4fe|g+(uft)|₽-i (г==1...............т);^-
= pAh | gf (uk) j”-1 sign gj (nft) (i = m 4- 1, ..s) также будет иметь пре-
в 14J
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
379
дельную точку, причем любая предельная точка последовательности
{(ин, X*)} будет седловой точкой функции Лагранжа.
Доказательство. С учетом леммы 1 из оценки (22) при 8ft = 0#
№ 1, е,=| Х*| получим I (Мй) | <( 11* Тогда Лй| g± (uk)
IX* I при всех i = 1, ..s, к = 0, 1, ... Отсюда следует, что | |
< р | X* | (i = 1, ..s, к = 0, 1, ...), т. е. последовательность {Xft} ограни-
чена. Пусть ?♦— какая-либо предельная точка последовательности {на},
пусть {икД -> Согласно теореме 5 u# е Z7*. Из {х г} выделим подпосле-
довательность, сходящуюся к некоторой точке ц*. Можем считать, что сама
последовательность {х Н сходится к ц*. Так как Х*>0 при 1 = 1, тп,
то и [i*^0 (i = 1, ..., тп), так что ц* е Ао. Далее, так как Фл(п) выпук-
ла и ФА(и) €= C'(Uq), то согласно теореме 4.2.3 в точке иь имеем
<фй(“й), и-кй)>0 Vu<=UQ. (43)
Поскольку
m
< (М = '' (uk) + 2 PAk 14 (uk) I’’1 e-(M +
1=1
+ 2 PAk I 4 (»ft) |p-1 sign gi (Uk) g'i (uft) = r (Uk) + 2 4s'i (“ft).
i=m+l i=l
TO
lim (ukr) = J' ("*) + 2 PiSi (“*) = Lu h*)-
r->0O T \ Г/ {-aj
Поэтому из (43) при к = kr-+ оо получим (Lu (v*, рЛ), и — и е Uq.
Так как X* е Ао, то при выполнении условий теоремы функция L(u, X*)
выпукла на Uo, и последнее неравенство равносильно такому:
£ (у*» Р*) £ (и, Н*) yfu^UQ. (44)
Далее, если (р#) < 0 при некотором t (1 < i < m), то из lim gi (uk ) =з
r->0O \ r'
eg<(i>*)<0 следует, что £Цийг)<0 или 4(Uhr) — ® Аля BCex r^ro.
А тогда 4r—^ при всех r>r и lim 1*г = н*=0- Таким образом, р.*=0
для всех номеров i (1 i т), для которых g$ (v#) < 0, а для остальных
номеров i (l^i^s), мы имеем gi(v^)=0. Следовательно, р*£$ (*>♦)=*
= 0 (1 = 1, ...,$). Отсюда и из (44) с помощью леммы 4.9.2 получим,
что (у*, р*) — седловая точка функции Лагранжа. Теорема доказана.
8. Метод штрафных функций может быть использован и для получения
условий оптимальности в задаче (1), (7). В частности, с помощью этого
метода можно получить другое довольно простое доказательство правила
множителей Лагранжа, правда, при несколько больших требованиях, чем
в § 4.8.
Теорема 8. Пусть в задаче (1), (7) Uq — выпуклое замкнутое мно-
жество, функции J(u), g\(u), ..., g»(u) е Cl(UQ), — оо, Если
u^^U^, пго существуют числа Х*>0, Х^>0, Х^+1, .X*, не все
равные нулю и такие, что
+ v“e£Zo- (45)
Л^(».)=0, i = l..........s. (46)
380 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. &
Доказательство. Введем новую функцию g0 (а) = J (а)4-|а—а* |\
множество WQ = UQ П S (и*), где S (и*) ={izg | и — и* |< 1}, и рас-
смотрим вспомогательную задачу минимизации
go(a)->inf, {ueW gi(») < 0, ...» gm(u) 0,
gm+i(u) = 0, ..., g,(u) == 0}. (47)
Так как gQ (а) > J (а) > при всех и е W, причем gQ (а*) =
а* е то ясно, что а#— единственное решение задачи (47). Применим к
задаче (47) метод штрафных функций. Введем функцию Фк (а) = gQ (и) 4*
4- Ak 2 (gf (и))Р» и ^о, Р > 1- Так как Wq — компактное множество,
функции go(u), Фл(а) непрерывны на WOf то g0<s<s = inf g0(a) > — оо, <Dk* =»
*= inf Фь (а) > — оо, и существует точка ал s WOf для которой Ф^ (aft) =«
w0
ФАФ. Далее, множество W (6) = {а е gf (и) < 6, г = 1, ..., $} огра-
ничено при всех б > 0, так как Wo ограничено. По теореме 2 тогда
lim | иъ — а* I = 0, lim gn (иъ) = lim J (иЛ = J#. Применяя теорему 4.2.3
fe-»OO fe->oo fe—>оо
к задаче: Фа(u) ->inf, а е Wq, имеем
<ФА (“а)> “ - uk> > 0 v“ е (48}
Покажем, что это неравенство на самом деле верно для всех а е если
номер к достаточно большой. А именно, выберем номер kQ таким, чтобы
| afe — а* | < 1/2 при всех к к$. Возьмем произвольную точку v е С/о. За-
фиксируем число а (0 < а < 1), столь малым, чтобы а | и—а* | <1 /2. Тогда
точка va = ик + a(v — uk) е UQ и, кроме того, |va— и*| = |(1 — a)(aft — а#) 4-
4- а (а — а*) | < (1 — а) | afe— а* | 4- а | v ~ и* |< 1. Следовательно, va <= WQf
и в (48) можем принять а = иа. Получим (ФА (afe), а (и — 0 или
(ф^ (uk), и — 0. Таким образом, показано, что при каждом к kQ не-
равенство (48) выполняется при всех и е Uq. Подставим в (48) явное выра-
жение для производной Фк получим
(Uh) + 2 (Uh - и.) + *2 l^ikS’i (uk)> и - uky>> 0 V« e uo> к>к0»
(49)
где = рАк | gf (ик) I*-1 >0 (i = 1............m), |iife = PAk | g+ (uft)|p~1 X
X signg|(afe) (i = тп 4-1, ..., s). Разделим неравенство (49) на
(® \ 1/2
1 + 2 И?* > 1; будем иметь
i*=l /
\^0hJ' (“ft) + 2*0fe (“a - “*) + 2 ^iA?i (ma)> u - *e,
(50)
(S \ -1/2 / 8 \—1/2
i+SnfJ >0, i+2^ (i = i,......
i=l / \ i=l /
§ 14]
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
381
8
Xlft>0, XmR>0, Ясно, что = так что последова-
_ 1=0
тельность {%* = (Хол, ..Хвь)} ограничена.
Пользуясь теоремой Больцано — Вейерштрасса и выбирая при необхо*
димости сходящуюся подпоследовательность, можем считать, что {Xft}~*
X* = (X*, X*), причем X* >0 (г = 0, 1, ..., тп), | X* | = 1, так что
не все числа X*, X*, ..., X* равны нулю. Так как J' (и), g[ (и) непрерыв-
ны, то из (50) при к-+оо придем к неравенству (45). Далее,
если (и*) = 0, то равенства (46) для таких г, очевидно, выполняются.
Если же gj (u#) < 0 при некотором г, 1 i т, то g< (им) < 0 при всех к^
ki, а тогда |ш = 0, Хгь = 0, к к\, и, следовательно, X* = 0. Равенства
(46) также доказаны.
Замечание 1. Предположим, что наряду с условиями теоремы 8
для задачи (1), (7) справедливо неравенство (21) с параметром v 1е
Тогда
₽0» = in* g0 (и) = А < J (“) + s ci (st <“))V < So (») + 2 ci(st <U))V>
w ,=i i=i
Vk <= Uo,
так что задача (47) также имеет сильно согласованную постановку с теми
же параметрами , v. Пользуясь оценкой (22) при = 0, р > v 1, по*
лучим
о < Ы = рАк (gf (и^ ^Р\С 1(P-D/(P-v)?lr(v-1)/(p-v) <
<p|cl(P-1)/(I,-v)<oo, i = l,й = 0, 1,... (51>
Выбирая при необходимости подпоследовательность, можем считать, что
0W -* (f = 1, .,,, s). Отсюда и из (49) при /с->оо получим неравенст-
во (45) с X* = 1. Таким образом, гладкие задачи (1), (7) с сильно согла*
сованной постановкой с параметром v 1, являются регулярными. Если
v > 1, то, как видно пз (51), lim == X* = 0 (i = l, ...,$), и в качест*
fe-»oo
ве множителей Лагранжа в (45), (46) можно взятьXj=l, Х* = ... =Х*=
с=0. Это значит, что необходимые условия оптимальности в задаче (1), (7>
совпадают с необходимым условием в задаче: J(u) -> inf, и е Uq, и ограни*
чения gi(u) 0, gj(u) = 0 в (1), (7) не играют существенной роли. Отсю*
да следует, что класс гладких задач, удовлетворяющих неравенству (21) с
параметром v > 1, хотя и не пуст (см. пример 6), но не является слишком
содержательным.
9. Отдельно остановимся на случае v = 1. Оказывается, класс выпук*
лых задач (1), (7), которые удовлетворяют неравенству (21) с параметром
v = 1, является подмножеством задач, у которых функция Лагранжа име-
ет седловую точку.
Теорема 9. Пусть W — открытое выпуклое множество из Еп, функ*
ции J(u), gl(u), . . ., gm(u) выпуклы На W, gi(u) = <Лг, Н>— (lea
= тп + 1, ..., s), Uq — выпуклое подмножество из W, пусть в задаче (1),
(7) — ьо, 0. Тогда для того, чтобы в задаче (1), (7) функция
Лагранжа имела седловую точку, необходимо и достаточно, чтобы неравен*
ство (21) выполнялось с показателем v = 1,
382 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
Доказательство. Необходимость доказана в лемме 1. Докажем
достаточность. Пусть выпуклая задача (1), (7) удовлетворяет неравенст-
ву (21) с v = 1, пусть е С7ф. Согласно теореме 4.6.1 субдифференциалы
dJ(u), dgt(u) непусты при всех и е= Ж. Штрафная функция Ф (и, A)=J (и) +
3
+ S (и) (Л>0) выпукла на Ж. Пользуясь правилами 7), 9) суб-
г=1
дифференцирования из § 4.6 и представлением
g/’(w)=K(a)|emax{<ai’ “>—6‘; 0}4-max{—<af, «>+&*; 0},
Z = щ 1, ..., я,
имеем
дФ (w, А) = dJ (и) + 2 (») + S #iei- (52)
i=l i=m+l
где 0 < sC 1 при i=l, ..., тп, причем = 0 при g<(u) <0, щ = 1
при gi(w)>0; — 1 < 1 при i = тп + 1, ..., $, причем Ц* =
== sign(<a<, w> — Ь{) при <а/, w> — Ь* Ф 0. Применяя теорему 6 при р =
= v = 1, А > |с|, заключаем, что Ф (п#, Л) = Ф* = inf Ф (п, Л). Тогда по
теореме 4.6.4 найдется такой субградиент е дФ (и*, Л), что
<Сф, и — Иф> >0 Vu е UQ. (53)
в
Согласно (52) для справедливо представление с* = с* 4- 2 4р,*с*, где
♦ ♦ i=1 г г
с* е 9J (и), с* е 5g. (u*), 0< 1 при г = 1, ..., тп, причем Ц*=0 при
gi (и*) <0; с* = п., — 1<р.*<1 при i = т + 1, ..Положим X* =
= (X*, ..X*): X* == (i = 1, ...,s), где Л фиксировано из условия
Л >» |с|. Далее, заметим, что при сделанных предположениях функция
3
L (и, X) =* J (и) + 2 (м) выпукла по переменной и е Ж при каждом
г=1
ХеЛо = {Х= (Х>, ..., Xf): %i > 0, ..., Хт 0}, и, следовательно, 5L(u, X)
0 при всех к е Ж, X е Ло. Нетрудно видеть, что X* е Ло, с* = % +
3
+ 2 ^ici s d£(u*, X*). Тогда из (53) и теоремы 4.6.4 получаем неравен-
i=i
ство L (и*, X*) Ь (и, X*) для всех ве Кроме того, из определения
X* следует, что X*g$ (Иф) =0 (i = l, ..., s). Согласно лемме 4.9.1 (n#, X*)—
седловая точка функции Лагранжа задачи (1), (7).
Доказанная теорема 9 дополняет теоремы Куна — Таккера из § 4.9.
В частности, опираясь на лемму 5 при а = у = 1 и теорему 9, можно по-
лучить существование седловой точки для некоторых классов выпуклых
задач (1), (7) с нерегулярным множеством в смысле определения 4.9.2 (см.
упражнение 9).
10. Рассмотренный выше метод штрафных функций дает простую и
универсальную схему решения задач минимизации на множествах, не сов-
падающих со всем пространством, и часто применяется на практике. По-
скольку имеется достаточно богатый выбор штрафных функций, то при
составлении функции Фа(п) можно постараться обеспечить нужную глад-
кость этой функции, выпуклость, подумать об удобствах вычисления значе-
ний функции и требуемых ее производных и т. п. Кроме того, имеется оп-
ределенная свобода в выборе множества Uo для задачи (2): в задании мно-
МЕТОД ШТРАФНЫХ ФУНКЦИЙ
383
§ 14]
жества (7) всегда можно отнести ко множеству Uq наиболее простые ог-
раничения (например, Uq может быть шаром или параллелепипедом в Еп,
совпадать с полупространством или со всем пространством Еп и т. д.), а ос-
тальные ограничения оформить в виде gi(u) ^0 или gj(u) = 0 и учесть
их с помощью штрафной функции. Поэтому можно надеяться на то, что
вспомогательные задачи (2), (3) удастся сформировать более простыми,
более удобными для применения известных и несложных методов миними-
зации, чем исходная задача (1).
Следует заметить, что хотя сама схема метода штрафных функций до-
вольно проста, но при практическом использовании этого метода для реше-
ния конкретных задач минимизации могут встретиться серьезные трудно-
сти. Дело в том, что для получения хорошего приближения решения
задачи (1) номер к в (2), (3) (или штрафной коэффициент Ak в (8)) прихо-
дится брать достаточно большим. А с увеличением номера к свойства функ-
ции ФЦи) = Ци) + РЦи) (u^Uq), оказывается, во многих случаях на-
чинают ухудшаться: эта функция может стать более овражной, некоторые
координаты градиента (и) могут быть слишком большими, могут по-
явиться дополнительные локальные минимумы и т. п. Это все может при-
вести к тому, что при больших к методы минимизации, используемые для
решения задачи (2), будут плохо сходиться и определение точки ик, удов-
летворяющей условиям (6), с возрастанием к может потребовать все боль-
шего и большего объема вычислительной работы.
Поэтому при практическом применении метода штрафных функций
вспомогательные задачи (2) обычно решают лишь для таких номеров к
(возможно больших), для которых удается обеспечить достаточно быстрое
убывание функции J(u) и достаточную близость получаемых точек ко мно-
жеству U при небольшом объеме вычислительной работы. Если полученное
на этом пути приближение к решению задачи (1) недостаточно хорошее, то
привлекают более тонкие и, вообще говоря, более трудоемкие методы мини-
мизации, стараясь при этом получше использовать ту информацию, кото-
рая получена с помощью метода штрафных функций.
Заметим, что если выполнены условия теоремы бив качестве штраф-
ной функции множества (7) берется функция (8) при р = v, то нет необ-
ходимости неограниченно увеличивать штрафной коэффициент Ak, и в этом
случае упомянутый недостаток метода штрафных функций, вообще говоря,
не будет проявляться. Правда, штрафная функция (8) при р = v не всег-
да будет обладать достаточной гладкостью, но появившиеся в последнее
время методы минимизации, не требующие гладкости минимизируемой
функции (см., например, § 3.11, 12, 17), позволяют надеяться, что чис-
ленное решение задачи (2) в рассматриваемом случае не будет слишком
трудным.
Отметим, что при описании и исследовании метода штрафных функ-
ций выше мы предполагали, что функция Ци) и множество (7) известны
точно. Если же указанные исходные данные известны лишь приближенно,
то метод штрафных функций полезно регуляризовать [6, 22, 84, 86, 87, 177»
329, 343].
Различные прикладные и теоретические аспекты метода штрафных
функций исследованы в [6, 8, 11, 12, 19, 21, 109, 111, 122, 129, 144, 148, 159,
173, 174, 177, 240, 306, 307, 314, 330, 338].
Упражнения. 1. Применить метод штрафных функций к задачам
a) Ци) = х2 + i/2->inf; и е U = {и = (ж, у) ^Е2: g(u)=—x — y +
+ 1^0} или и е U = {и = (х, у) е Е2: g(u) =—х — у + 1 == 0};
б) Ци) = ху->- inf; и е U = {и ==t (ж, у) е Е2: х2 + у2 25} или и е
е U = {и = (х, у) <= Е2: х2 + у2 = 25};
в) Ци) = х2 + у2 + г2-> inf; и е U =. {и = (ж, у, z) е Е2: х + у + z +
+ 1^0}.
2. Применить метод штрафных функций к задачам из примеров 2.2.2
и 2.2.4.
384 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
3. Пусть Ци) = е~2и, а множество U = {и^Е}: 0 и 1} задано ли-
бо ограничениями g\(u) == —и 0, gz^u) = и — 1^0, либо g(u) = |^| +
+ |к_1|__1=0, либо g(n)j=e“M(|u| + |u —1| —1) =0. Выяснись, в
каких случаях задача Ци) —>inf, ut-U, имеет согласованную или сильно
согласованную постановку на Е1.
4. Пусть {РЦи)} — штрафная функция некоторого множества U. Пусть
функция <р(£) определена при t 0, <р(0) =0, причем ф(£)->0 при £->0,
<р(£)->оо при £->оо. Показать, что тогда {ф(Рл(м))} является штрафной
функцией множества U.
5. Применить метод (3), (6), (8) к задаче Ци) = и2 — u->inf и ue
= {ueE1: g(u) = и 0}, взяв в качестве штрафной функции Р(и) и
== (шах{0; и})2. Получить точную оценку погрешности, сравнить ее с оцен-
ками из теоремы 5.
6. Пусть множество U задано либо ограничениямп gi(u) =и — 1^0,
g2(u) == — и — 1 0, либо g (и) = е~и (и2 — 1) < 0, либо g(u) = u2 — 1 0.
Выяснить, какие из этих ограничений являются корректными на Ех или
Uq — {w е Е1: —1 и 1}.
7. Пусть U={ut=En: g(u) 0}, где g(u) — непрерывная функция
на Еп. Доказать, что для того, чтобы множество U было ограниченным и
ограничение g(u) ^0 было корректным на Еп, необходимо и достаточно,
чтобы множество U& — {и^Еп: g(u) ^6} было ограниченным хотя бы при
одном 6 > 0.
8. Пусть Uq — выпуклое замкнутое множество из Еп, функция g(u)
выпукла и полунепрерывна снизу на Uq, и пусть множество М(С) =
Uo: g(u) С} непусто и ограничено при некотором С, Доказать, что тог-
да ограничение g(u) ^0 корректно на Uq (см. теорему 4.2.17).
9. Рассмотреть задачу: Ци) = u->inf, = g(u)s=u2 +
+ e|u| 0}, 8 > 0. Доказать, что здесь выполняется неравенство (36) с М =
== 1/б, у = 1. Пользуясь леммой 5 и теоремой 9, установить существование
седловой точки Лагранжа. Выполняются ли здесь условия теорем 4.9.2,4.9.5?
10. Применить метод штрафных функций к задаче (42), получив оцен-
ки скорости сходимости метода и сравнить их с оценками из теорем 5, 6.
И. Применить метод штрафных функций к задаче: Ци)=х2 +
+ (1 — zy)2->inf, u<=U = {и = (х, у)(=Е2: g(u) = х — а — 0}, исследо-
вать его сходимость при различных значениях параметра а.
12. Доказать, что множество U={u^En: gi(u) = <дч, и} — b* = 0,
i = 1, ..., s}, где ai, ..., a, — линейно независимые векторы из En,
является корректным на Еп и неравенство (36) выполняется с у = 1, М =
= $||ЛТ(ЛЛТ)”1||, Л—матрица размера s X п, строками которой являются
векторы ai, ..., а*. Указание: воспользоваться результатами приме-
ра 4.4.3.
13. Пусть задача (44) удовлетворяет условиям теоремы 4.9.2, причем
77^ U*. Доказать, что тогда U* = {w е UQ\ Ф (и) = Ф*}, где
т ( \х
Ф (и) = In —— -------+ V max J 0; ф* =* inf ф («)•
J (м) — J (и) ~ ( g. (и)J UQ
§ 15. Метод барьерных функций
1. Идеи метода штрафных функций могут быть использова-
ны для построения методов решения задачи
J(u)->inf; u^U, (1)
позволяющих получить такую минимизирующую последователь-
ность {uh} е U, каждый член которой будет лежать вне некото-
§ 15] МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ 385
рого заданного «запрещенного» подмножества у <= U. В качестве
«запрещенного» множества у может служить, например, грани-
ца Гр U множества U или какая-либо часть границы. Дело в том%
что при применении того или иного метода решения задачи (1)
при U =/= Еп может случиться, что каждое получаемое приближе-
ние ик будет принадлежать Гр U. Однако если структура грани-
цы множества слишком сложна, то реализация такого метода
может потребовать большого объема вычислительной работы и,
кроме того, сходимость метода может оказаться очень медлен-
ной. В таких случаях можно попробовать как-то построить
«барьер» вблизи всей границы у = ГрС7 или какой-либо ее ча-
сти 7 (или какого-либо другого заданного подмножества у <= U),
который исключал бы возможность попадания очередного при-
ближения uk на у.
Определение 1. Пусть у — некоторое подмножество мно-
жества U. Функцию В (и) назовем барьером или барьерной
функцией подмножества у, если В (и) определена, конечна и
неотрицательна во всех точках причем lim В (уг) = оо
Г-»оо
для всех последовательностей {ит} е которые сходятся к ка-
кой-либо точке v е у.
Заметим, что в определении 1 подразумевается, что U\y
¥=0. Это значит, что если у = Гр U, то int U = U\y 0, Заме-
тим также, что в точках и^ц барьерная функция В (и) не
определена (можно принять В(^) = оо?
Пользуясь теми же конструкциями, которые использовались
при построении штрафных функций, нетрудно выписать барьер-
ные функции для множеств у, задаваемых ограничениями типа
равенств или неравенств. Например, если ц = {и^Еп\ u^U,
g(u) = 0}, где g(u) непрерывна на U, U\y=£0, то в качестве
барьерной функции здесь можно взять В (и) = 1g (и) I"1, или
В(и) = 1g (и) I"2, или В(и) = max {—In \g(u) I; 01. Если же у ==
= {и<=Еп: u^U, g(u)^01, где С7\у¥=0, g(u) непрерывна на Е7,
то можно принять B(u)==(g(u))~p (р>0), или В(и)= llng(u) |,
и е и\ц и т. п.
Перейдем к описанию метода барьерных функций для ре-
шения задачи (1), предполагая, что подмножество и не-
которая его барьерная функция уже заданы. Введем функции
^\(и) = J (и) + akB (и), и^и\ц, k = i, 2, ..., (2)
где {ak} — положительная последовательность, сходящаяся к ну-
лю. Величины {а*} из (2) называются барьерными коэффициен-
тами. Рассмотрим последовательность задач
Fft(u)->inf; и<=и\ц, k = i, 2, ... (3)
Обозначим Fk* = inf Fk (и) (k = 1, 2, ...). Будем предполагать,
и \у
386 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
что в исходной задаче (1) J* = inf J (u)>— оо.Так как Fk(u)^
>J(u) при всех иЕ=и\у, то — оо. Тогда условия
uhf=U\y, Fk(uk)^Fk* +zk, *=1, 2, ... (4)
определяют последовательность {uh}1 где 8А > 0, lim 8ft = 0; если
k -*оо
окажется, что Fk(uk') = Fk^1 то в (4) допускается 8ft = 0.
Поскольку, как обычно, мы подразумеваем, что функция /(и)
конечна во всех точках и е С7, то согласно определению 1 для
любой последовательности {vr} U\*(, {vr} -> у справедливо
равенство lim Fk (vr) = оо при каждом фиксированном к =
Г-»ОО
= 1, 2, ... Таким образом, функция Fh(u) неограниченно возра-
стает вблизи у. Поэтому следует ожидать, что при фиксирован-
ном к функция Fh(u) вблизи у не может принимать значения,
близкие к и точка uk, определяемая условиями (4), не
будет расположена на слишком близком расстоянии от у. В то
же время благодаря тому, что барьерные коэффициенты {«J 0,
не исключается возможность того, что с увеличением номера к
точки uk, постепенно «преодолевая барьер», будут приближать-
ся к 7.
Для приближенного решения задачи (3) при фиксированном
к и определения точки uk, удовлетворяющей условиям (4), мо-
гут быть использованы различные методы минимизации. В част-
ности, если у = Гр U и U\y = int U то для решения зада-
чи (3) может быть применен, например, градиентный метод
(см. § 1):
= (%rFk (ukr)^ ^kQ — ^k—1» Г = 0, 1, ...
Поскольку uhr int CZ, то при достаточно малых ar > 0 и точка
uhr+i также будет принадлежать int CZ, и мы избавлены от не-
удобств, связанных с учетом границы CZ,— нужно лишь на каж-
дой итерации следить за соблюдением включения uk е int CZ,
а при его нарушении уменьшать длину шага аг. Правда, для
этого величину аГ1, быть может, придется брать слишком малой,
и сходимость градиентного метода, возможно, замедлится, но это
уже будет «платой» за выполнение условия uk е int CZ.
Дальнейшее изложение не зависит от того, с помощью ка-
кого конкретного метода минимизации будет найдена точка
удовлетворяющая условиям (4). Поэтому мы здесь можем огра-
ничиться предположением, что имеется достаточно удобный ме-
тод определения точки ик из (4).
Метод барьерных функций описан. Отметим, что в литера-
туре этот метод иногда называют методом внутренних штрафов
(или методом внутренней точки), а метод штрафных функций
из § 14 — методом внешних штрафов (или методом внешней
9 15]
МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ
387
точки) [307]. Для иллюстрации метода барьерных функций при-
ведем пример.
Пример 1. Пусть требуется решить задачу
J(u) = — и -* inf; и<= U = {ие= El: g(u) = u^0}.
Очевидно, здесь /* = 0, U* — {0}. Границей множества U явля-
ется 7 = Гр и = {и^Е\ g(u) = и = 0} = {0), a U\y = {u<=El:
g(u) = и < 0} = int U. В качестве барьерной функции для ц
возьмем В(и)=—1/и (.и<0). Пусть ак = к~1 (к = 1, 2, ...).
Тогда функция (2) будет иметь вид Fk(u) = —и — (ки)~* (и<0).
Нетрудно видеть, что здесь Fh* — inf Fk(u) — 2/ Vк и точка uk =
_ м<0
= — 1/V& удовлетворяет условиям (4) при 8ft = 0 (& = 1, 2, ...).
Ясно также, что lim Fk* = lim J (ик) = 0 = J*, lim uk = 0 = u*.
fe-»OO fe-»OO fe-*oo
В качестве барьерной функции здесь можно также взять и
В(и) = |1п(—и) |. В этом случае Fk{u} = — и + |1п(—гл) |A“l (и<0,
&==!, 2, ...), Fk* = (1 + Infe)Л”1,а точка uk = — к~* удовлетворя-
ет условиям (4) при 8fe = 0. И здесь {J (u^j} -> = 0, {^}->
= 0.
Перейдем к исследованию сходимости метода барьерных
функций.
Теорема 1. Пусть ц— некоторое подмножество из U,
U\y =/= 0? и
J* — J**, где J* — mlJ(u), J**== mi J (u)Z>— оо. (5)
и U\V
Пусть В (и)—какая-либо барьерная функция подмножества у,
а последовательность {uk} определена условиями (4). Тогда
lim Fk* = lim Fk (uk) — lim J (uk) = J*, lim akB (uk) = 0. (6)
A~>OO fe-»OO fe-»oo fe-»oo
Кроме того, если множество U ограничено и замкнуто, a J(uj
полунепрерывна снизу на U, то {uk} сходится к U
Доказательство. Из определения J**, Fk*, неотрица-
тельности барьерной функции и условий (4) следует
— оо < /(uk) Fk (ик) ^Fh* + ek^Fh(u) + 8ft =
= J (и) + акВ (и) + 8ft (7)
при всех u^U\y (Л = 1, 2, ...). Так как В (и) конечна в лю
бой точке и е и\ц, {ah} -> 0, то из (7) при к -+ оо получим
А* < Ит Fh* < lim Fk* < J (и),
и е U\y.
Переходя в этих неравенствах к нижней грани по и е U\^, бу-
дем иметь lim Fk*^ lim Fk+^J*** т. е. lim Fk* =
388 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
Отсюда и из (7) вытекает limFft(uft) = lim J (ик) — Так как
fe-»oo fe-»oo
7*;= 7**, то первые соотношения (6) доказаны. А тогда из 0^
akB(uk) = Fk(uk) — J(uh) -> 0 при получим и второе из
соотношений (6). Последнее утверждение о сходимости миними-
зирующей последовательности {uh} к £7* следует из теоремы 2.1.1.
Полезно заметить, что при доказательстве теоремы 1 были
использованы не все свойства барьерных функций: соотношение
lim В (vr) = оо, где {vr} е 27\у, {vr} -> у у, нам не понадоби-
Г->ОО
лось. Поэтому теорему 1 и ряд доказываемых ниже теорем
можно использовать не только как теоремы о сходимости метода
барьерных функций, но и как утверждения, выражающие собой
достаточные условия устойчивости нижней грани относительно
возмущений (погрешностей) минимизируемой функции и неко-
торых типов возмущений множества, на котором ищется
минимум.
2. Рассмотрим возможности построения барьерных функций
для задачи (1) в случае, когда
U = {u^ Z70, gi(u)^0, f = l, ..., тп}; (8)
здесь Uo — заданное множество из Еп, функции gi(zz), ..., gm(u)
определены и полунепрерывны снизу на UQ. Положим
y = {u^U: gi(u) = 0 хотя бы для одного i, (9)
Будем предполагать, что множество
U (—O) = fae[7o: g<(^)<0, т = 1, тп} (10)
непусто. Тогда U\y = U (—0)¥= 0. Довольно широкий класс
барьерных функций для множества (9) дает следующая кон-
струкция:
m
В (и) = S <рД— 0), (11)
где ф;(£) —неотрицательная функция переменной t>0 такая,
что lim ср. (t) = оо при всех i = 1, ..., тп. В самом деле, возьмем
t^Q
произвольную последовательность {vr} е U\*{, сходящуюся к не-
которой точке v у. Согласно (9) тогда найдется номер / (1^
С/^тп), для которого &(у) = 0. Так как gj(u) полунепрерывна
снизу, a g;(pr)<0 (г = 1, 2, ...), то 0 = g. \у) < lim g. (vr)
^limgj (vr) <0, т. e. lim g. (vr) = 0. Это значит, что B(pr)>
r-»co J r-»oo 3
)“^ 00 при r->oo? Так что функция (И) является
барьерной для множества (9).
При необходимости в (11) функции <рД£) нетрудно выбрать
так, чтобы барьерная функция В(и\ обладала различными по-
лезными свойствами, такими, как непрерывность, гладкость, вы-
§ 15]
МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ
389
пуклость, простота вычисления значения функции и нужных ее
производных и т. п., если, конечно, исходные данные в задаче
(1), (8) обладают такими свойствами. Например, взяв в (11)
<Pi(£)=l/£ или фг(£) = (тах {—In 0})р (р>1), получим соот-
ветственно
т
5(u)=-2^j,
5 (и) = 2 (тах {— In (— g»(u)); 0})₽, и е U (— 0),
1=1
(12)
Если Uq выпукло, функции gi(u) (г = 1, ..., т), выпуклы на С70,
то множество £7(—0) = Z7\y выпукло и функции (12) также
будут выпуклыми на U(—0),— это следует из следствий к тео-
реме 4.2.8. Далее, функции (12) будут обладать той же глад-
костью, какою обладают функции gi(u) (4 = 1, тп) —у второй
функции (12) для этого нужно взять параметр р достаточно
большим.
Может сложиться впечатление, что если функции gi(w), .
..., gm(и) непрерывны на UQ, то множество у, определяемое
условиями (9), будет состоять только лишь из граничных точек
множества (8). Однако это не всегда так — множество у может
содержать и внутренние точки U.
Пример 2. Пусть g(u)=\u\ — 1 при lul^l, g(u) = 0 при
1<Ы<2, g(w)=|»u| — 2 при \и\ >2. Тогда множество U ~
^={u^Ei = U0: g(u)^0} представляет собой отрезок — 2^и^2
на числовой оси, a int U = {и е Е1: —2<и<2). В то же время
множество £7(—0)=» {и^Е1: g(w)<0} = {u: — 1 < и < 1} cz int U,
но CZ(—0) =7^= int CZ, a у = {u^U: g(w) = 0) = {u: l^|zz|^2} на-
ряду с граничными точками и = 2 и и = —2 содержит и внут-
ренние точки множества U.
Таким образом, для множества (8) не всегда выполняется
равенство
Гр U = Гр Uq U 7, (13)
где у определяется условиями (9), а функции (11), (12), явля-
ющиеся барьерными функциями для подмножества у, могут и
не быть таковыми хотя бы для части границы U.
3. Отдельно остановимся на условии (5), которое было су-
щественно использовано в теореме 1 при доказательстве сходи-
мости метода барьерных функций.
Нетрудно привести примеры задач (1), (8), в которых функ-
ции 7 (и), gi(^), ..., gm(u) непрерывны, множество U замкнуто
и ограничено, но условие (5) не имеет места. Например, если
J(u) = u, а множество U взято из примера 2, то J** =—
— 1>J* = —2.
390 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ. 5
Однако даже выполнение условия (13), при котором функ-
ции (11), (12) будут барьерными функциями у — части границы
U, еще не гарантирует справедливость равенства (5).
Пример 3. Пусть J(u)=e~x, U = {и= (х, у) <^Е2 = U0:
о(и) = (х2 + у2 — 1) (у — I)2 sSO). Тогда 7 = Гр U = {и e= U: g(u)=*
= 0'i = {и^ Е2: х2 + у2 — 1 или у = 1), U0 = E2, Гр77о = 0, так
что условие (13) выполнено. Далее, здесь t/Xy — U(—0) = {а
еЕ!: g(u)<01 = {u: х2 + у2 < 1) = int U, поэтомуinf <7 (м)=
и '.V
₽ е""1 > 0. В то же время = lim J (uk) = 0, где uk = (к, 1) е U
fe->oo
(й = 1, 2, ...). _____
Заметим, что в этом примере С7(—0) = {и: х2 + у2 С 1} <= Z7, но
U (—0)¥=С7. (Напоминаем, что через Z мы условились обозначать
замыкание множества Z.)
Приведем две теоремы, дающие достаточные условия для выполнения
равенства (5). Имея в виду дальнейшие применения, утверждения сформу-
лируем для множества
U(0 == {и е Еп: и е Uo, gi (и) С, i = 1, ..т}, (14)
где С — некоторая постоянная. Обозначим
УФ(0 = inf У (u), J*(C — 0) = lim J*(C — в),
ЩС) е"+0 (15)
У*(б? + О) = Пт Л(С + е). К 7
е->+о
Теорема 2. Пусть для некоторых С, 8о > 0 множество U(C — 80) не-
пусто и
*7(С —0) = U(С), (16)
где
U(С — 0) = {и е UQ: gi(и) <С, i — 1, ..., m}.
Пусть, кроме того, функция J(u) полунепрерывна сверху на множестве
U(С). Тогда
У* (С — 0) = У* (С) = inf У (и). (17)
щс-о)
Доказательство. Прежде всего, заметим, что
U(с — 8) s U(C — б) <= U(C — 0) с= U(С)
при всех 0 < б < 8 8о, поэтому
7* [С) < inf J (и) < У* (С - б) < У* (С - 8).
ЩС-0)
Это значит, что функция У* (С) переменной С не возрастает и существу-
ет предел
lim У*(С —8) = У*(С —0)> inf У(и)>У*(С). (18)
е->4-0 ЩС—о)
Возьмем произвольную точку и^ЩС). В силу условия (16) найдется по-
следовательность {uk}^U(C — 0), сходящаяся к точке и. Это значит, что
ик 6= Uq, gi(uk) ^C — eik<zC (eift>0, к = 1, 2, ...), где lim 8i/t = 0
fe->oo
(i = 1, m).Таким образом, Uh e U(C — 8^), где 8, = min eife>0, {еЛ->
->0, и У* (C— 8ft) J (к = 1, 2, ...). Отсюда при к-+<х>, учиты-
б 15]
МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ
391
вая полунепрерывность сверху функции Ци)ч получим lim J# (С — 8) ==»
е-»+о
= limJ#(C— 8 Л J (и). В силу произвольности u^U(C) тогда
fe-»oo
— 0)<Л(С). Сравнивая это неравенство с (18), приходим к равен-
ству (17). Теорема 2 доказана.
Таким образом, если условия теоремы 2 выполнены при С = 0, то ме-
тодом барьерных функций (2), (4), (8) — (11) для задачи (1), (8) можно по-
лучить последовательность {гм}, обладающую свойствами (6).
Аналогичное утверждение справедливо для выпуклых задач (1), (8),
Теорема 3. Пусть Uq—выпуклое множество из Еп, функции J(u),
gi(u), • ••, Sm(u) выпуклы на Uq, Тогда равенства (17) справедливы при
всех С>С*= max infgHn).
Ki^m U0
Доказательство. Как было установлено в теореме 2, функция
J* (С) переменной С не возрастает. Возьмем произвольные С, 8 > О, С >
> С — 8 > С*, Пусть и е U(С), v е U(С — е). В силу выпуклости Uq тогда
иа = ay + (1 — а)и (= Uq при всех a (O^a^l). Кроме того, из выпук-
лости gi(и) имеем gi(ua) agi(v) + (1 — a)gi(u) ^a(£ — 8) + (1 — a)С =
= C— as (0<a^l). Это значит, что ua^U(C — as). Тогда с учетом
выпуклости функции Ци) получим J* (С) inf J (и) J*(C •— ae)
ЩС-о)
J (иа) + (1 — сс) J (и) для всех и е U(£), у е U(C — 8). Следова-
тельно, J* (С) inf J (и) (С — ae) a/* (С — 8) + (1 — a) J* (С)
ЩС-о)
< (Q + a [Л (С — %) — (Q] Для всех a (0 < a < 1, 0 < 8 < 80 <
< С — С*). Отсюда при а->+ 0 с учетом монотонности J* (С) получаем ра-
венства (17), что и требовалось.
4. Пусть множество U задается условиями
U — {и s Еп: и е По, gi (и) 0, i = 1, ..., тп; gi (и) = О, i = тп + 1, ..., «}.
(19)
Если это множество не имеет внутренних точек, то реализация ряда мето-
дов минимизации (например, методов из § 3—5, 11 и др.) на U может
стать затруднительной или даже невозможной. В то же время при приме-
нении методов § 13, 14 к задаче (1), (19) могут получиться такие после-
довательности {ин}, которые не принадлежат множеству U и нарушают ка-
кие-либо из ограничений gi(u) О, gj(u) = 0 на недопустимо большую ве-
личину. В таких случаях может оказаться целесообразным использование
метода барьерных функций.
Заметим, что этот метод выше изложен для задачи (1), (8) в пред-
положении, что множество С7(—0), определяемое условиями (10), непусто.
Однако такое предположение для множества (19) при m < s не имеет смы-
сла. Поэтому описанный выше метод барьерных функций к задаче (1),
(19) непосредственно неприменим и требует модификации, обобщения. Опи-
шем один из возможных здесь подходов [178].
Введем последовательность расширенных множеств
V* = {я «= С70: gi(u) С Ой, i = 1, ..., тп; | gi (и) | < 0ft, i = тп + 1, ..., s},
(20)
где 0А > 0 (к = 1, 2, ...), lim = 0. Так как U cz Vk (к = 1, 2, ...), то
&-*оо
из U ф 0 следует Vk ф 0 (к = 1, 2, ...). Предполагая, что функция Ци)
оо
определена на множестве U Vk, рассмотрим последовательность задач
J (и) -*• inf; а е V*, к = 1, 2, ...
(21)
392 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Для решения задач (21) могут быть использованы различные методы ми-
нимизации. Мы здесь остановимся лишь на методе барьерных функций. Обо-
значим
= {и е Vk и выполняется хотя бы одно из равенств
gi (и) = 0л, i = 1, .«тп; gj (и) = gj (и) = —0л, j = m + 1, ..$}. (22)
Поскольку U cz Pfc, £7 Q = 0, то U cz Vk\4k =£ 0 (к = 1, 2, ...). В ка-
честве барьерной функции Вн(ц) подмножества Чл возьмем
^(“)= S^i(9ft-?i(“))+ X 4>i(0ft + £i (“))- (23)
i=lj
где функция <p«(0 определена, конечна, неотрицательна и не возрастает
при t > 0, lim (р. (t) = оо (i = !,...,«). Например, в качестве ф< (0 мож-
<->+о
но взять <р<(0 в t~\ ф(0 = (шах{—In t\ 0})* (р 1).
Далее, составим функцию
Ffc(u) = J(и) + akBk(u), и е Vk\4k, (24)
где {afc} — барьерные коэффициенты: аь > 0 (к = 1, 2, ...), {ал} ->0. В от-
личие от рассмотренного выше варианта метода барьерных функций, здесь
мы будем требовать, чтобы барьерные коэффициенты {ал} и параметры
{0л} стремились к нулю согласованно в следующем смысле:
Ит а^ф. (0fe) = 0, i = 1, ..., s. (25)
fc-*oo
Предположим, что Jh* = inf J (u) > — оо (А-= 1, 2, ...). Так как Bk(u)
Vh
^0, а* > 0, то Fh(u)^J(u) при всех г/еГД^и поэтому Fk* =
= inf Ръ (и) > — оо (к = 1, 2, ...). С помощью какого-либо
VkWk
метода минимизации определим точку ил, удовлетворяющую условиям
+ к = 1,2,..., (26)
где {ел} — некоторая положительная последовательность, сходящаяся к ну-
лю; если Fk(uk) = Fh*, то в (26) допускается ел = 0. Метод барьерных
функций для задачи (1), (19) описан.
Теорема 4. Пусть функции Fk(u), Bk(u), множества Vk, 4k опреде-
лены соотношениями (20), (22) — (24), выполняются равенства (25) и, кро-
ме того,
lim > — о°, J,$ = infJ(u), J# = infJ(u). (27)
fe-*oo vk и
Тогда для последовательности {ил}, определяемой условиями (26), спра-
ведливы соотношения
-lim Fk* = ,lim Fk (uh) = blim J (uk) = blim 4Bk (Mfe) = °- (28)
Если, кроме того, множество
С7(б) = {и е= EZ0: i = 1, m; |gi(ti) | ^6, i = m + 1, s}
(29)
компактно при некотором 6 > 0, множество UQ замкнуто, а функции
gm(u), | gm+i (и) I, ..., \ga(u) | полунепрерывны снизу на U(6),
T0 {uk}~*U* — множество решений задачи (1), (19).
§ 15]
МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ
393
Доказательство. Из определения неотрицательности Bk(u)
и условий (26) имеем
— ОО < < J (Uk) < Fh, + eft <
< Fh (и) + eft = J (и) + (и) + e&,
* = 1,2,... (30)
Так как функции <р* (t) из (23) не возрастают при t > 0, то <Pi(0* — g«(u)X
СФ«(0*) (* = 1, ..т); <р<(0ь± gi(u)) = <р<(0*) (i = т + 1, ..s) для
всех и е U. Поэтому в силу условия (25)
8
0 < akBk (и) < 2ak 2 Фг Те -> оо, и е U.
г=1
(31)
Тогда при к -> оо из (30) с учетом условия (27) получим
J* < lim Fh* < lim Fk* < J (и) при всех и е U*
fe->oo k-*co
Переходя к нижней грани по и е U, отсюда имеем lim == J*. Тогда
Ь—>оо
из (30) следует lim Fh (ufe) = lim J (ufe) = J#. Наконец, 0 акВк(ик) =
h->OO fc->OO
= Fk(uk) — J (uh) ->0 при к-* co. Равенства (28) доказаны.
Пусть теперь выполнены все условия теоремы. Так как {0л}->0, то
Vk cz U(6) при всех к к0. А тогда и* е £7(6), к kQ, В силу компактно-
сти U(6) последовательность {и&} имеет хотя бы одну предельную точку.
Пусть произвольная предельная точка {и*}, пусть подпоследователь-
ность {-+ и*. В силу замкнутости Uq тогда а* е Далее, из полуне-
прерывности снизу функций gi(u), gm (a), |gm+i(n)|, ..| gt (а) | и ус-
ловия ик s Vk следует, что
lim gi(uk lim = 0, i = l,
или
[ gi (»♦) | < Ит 1?{ («ftr) I < lim 0fe = 0
r-»oo ' h->oo
£i(a*) = 0> i = m + l,
Таким образом, a* e U. Отсюда с учетом полунепрерывности снизу J (и)
на U(б) получим J* < J (w#) < lim J (ик \ = lim J (uft) =/*, т. е. J (а#)-=
г-»оо г' k'+oo
= J* или u* е £7*. Тем самым показано, что любая предельная точка по-
следовательности {иь} принадлежит £7*. Отсюда следует, что
Теорема 4 доказана.
При некоторых более жестких ограничениях на данные задачи (1),
(19) можно получить оценки погрешности метода (20) —(26).
Теорема 5. Пусть для задачи (1), (19) справедливо неравенство
-«</.</(»)+2 С,(g/-(u))* Vuetr0, Ci>0, v>0 (32)
i=l
(см, определение 14.3 и леммы 14.1, 14.5). Тогда последовательность {и&},
394 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ, 5
определяемая условиями (20) —(26), существует и справедливы оценки
- И Л < ' (м - А < (М ~ А < Ч 2 Ф. (0fe) + 8ft, (33)
1=1
S Vi(<M + eft + 1<ИЛ,
i=l
A: = 1,2, ..., (34)
s
1^= 2 | ci |- Если, кроме того, множество (29) компактно при не*
1=1
котором 6 > 0, Uq замкнуто, а функции Ци), g\(u), ..., gm(u), |gm+i(w) |,...
..., |g«(w) | полунепрерывны снизу на U(8), то
Доказательство. Из определения (20) множества Vk и условия
(32) следует
-оо</*</(М) + 2 (и))уса«)ччнЛ<^Л)4ЧИЛ (35>
1=1
при всех и е ГДул. Отсюда имеем Fk (и) > J* — | с 110^>— оо, и е
или Fh* > —-1 с |г 0£ > — оо (к = 1, 2, ...). Таким образом, последова-
тельность {ил}, удовлетворяющая условиям (26), существует. Далее из (31)
следует
8
(^)<2аА У и* е= U* cz U cz Uh\yk, к = 1, 2, ...
i=i
Поэтому с учетом неравенств (26), (35) имеем
<^(и.)+8й + ИЛ<А + Ч2 Ф4(0А) + eft + I с |ге^, к = 1,2,...
1=1
Отсюда получаем оценку (33).
Далее, из соотношений 0 < akPk (Mfe) = (^k (uh) ~~ ^*) — (J (мд) — •/*)
и уже доказанной оценки (33) вытекает оценка (34). Последнее утвержде-
ние доказывается так же, как аналогичное утверждение теоремы 4.
5. Отдельно остановимся на условии (27), которое существенно исполь-
зовалось при доказательстве равенств (28). Нетрудно привести примеры за-
дач (1), (19), когда это условие не выполняется.
Пример 4. Пусть Ци) = е~и, U = {и^Ех = Uo: g(u) = (и2 — 1)X
X (1 + и4)-1 ;=С 0}. Ясно, что U = {и е Е1: | и |< 1}, J* = inf J (и) = а"1.
Возьмем Vk = {и <= Z?1: g(u) 0ft = 1//с2}. Так как ur — г е Vk при г
к, то lim J (и) = 0 = (к = 1, 2, ...). Таким образом, здесь lim Jh*=*
F—>оо ft-»0O
«»0<е~1= J# — условие (27) не выполняется. Заметим, что в рассмот-
ренном примере множество U(8) = {и^Е1: g(u) ^6} не является ком-
пактным ни при каком 6 > 0.
Приведем две теоремы, дающие достаточные условия для выполнения
условия (27).
Теорема 6. Пусть множество Uo замкнуто, функции Ци), gi(u), ...
gmW, |gm+i(w)|» •••, |^«(и)| определены и полунепрерывны снизу на Uq<
§ 151
МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ
395
Кроме того, пусть множество
и (С) = [и е= Еп: и е UQ, gf(u)^C, i = 1, ..s}
непусто, а множество 17(С+е0) ограничено и замкнуто при некотором
е0 > 0. Тогда (см. обозначения (15))
lim (С + 8) = (С + 0) = Л (С). (36)
е-*+о
Доказательство. Так как U(C) U(C + d) U(C + 8) при лю-
бых 0 < 6 < е0, то J* (С + 8)< J* (С + 6)< (С). Таким образом,
функция J* (С) переменной С не возрастает и существует предел
lim /* (£ + в) = (С + 0) J* (С). Возьмем произвольную последова-
8->+0
тельность {8fe}, 0 < 8л 80, сходящуюся к нулю. При сделанных пред-
положениях множества U (С + 8л) U(C + е0) при каждом к — 1, 2, ...
ограничены и замкнуты. Согласно теореме 2.1.1 тогда существует точка
Wk^U(C + &k) такая, что J (w^ — J# (С + 8ft) (к = 1, 2, ...). Посколь-
ку U (С + 80) — компактное множество и Wk е U (С+ 8л) U(C + 8о), то по-
следовательность {г^л} имеет хотя бы одну предельную точку. Пусть w* —
какая-либо предельная точка {юн}. Не умаляя общности, можем считать,
что сама последовательность По построению u>k е U(C + 8л),
т. е. Wh (= Uq, gf (wk) < С + 8ft (i — 1, ..., $). Используя замкнутость мно-
жества Uq, полунепрерывность рассматриваемых функций, отсюда при к-+
оо получаем w* е U (С). А тогда J# (С) J (w*) lim J (wb) =
fc->oo
= lim (С + efe) =/* (С + 0). Сравнивая с ранее установленным нера-
k->oo
венством (С + 0) < (С), получаем равенство (36).
Нетрудно видеть, что при С = 0 из (36) вытекает условие (27).
6. Метод барьерных функций на практике иногда используют в соче-
тании с методом штрафных функций. Предположим, что множество U за-
дается в виде
U = {и <= Uq\ gi(u) С 0, 2 = 1, ..., m; gt(u) = 0, i = m + 1, ..., s;
(u) 0, 7 = 1,..., Ц hj (u) = 0, j = I + 1, . •., rb
где Uq— заданное множество из En, функции gi(u), hj(u), а также мини-
мизирующая функция J (и) определены на UQ. Ограничения, задаваемые
функциями gi (u), будем учитывать с помощью штрафных функций
m s
р(«) = 2 (max fa(“);°})р + 2 1Р’ “е ио' р*•
1=1 г=тп+1
Введем множества
Wk = {и (= Uq'. hj(u) С 0л, 7 = 1, ...» 1\ |МЦ) I С 0fe, / = /+!, ..., г},
ул = {и е Wk п выполняется хотя бы одно из равенств
hj(u) = 0л, 7 = 1,..., г; hj(u) == —6л, 7=2+1,..., г}в
к = 1, 2, .,. В качестве барьерной функции подмножества ул возьмем
2 <pj(0ft-M“))+ 2 фД0й + ^(“)).
7=1 7=/+1
где функция <рj (2) определена, неотрицательна и не возрастает при t > 0,
lim (fo (t) = оо (j = 1, ..., г). Рассмотрим последовательность задач
2->+0
F*(a) = 7(a) 4- Л*Р(а) + аьВъ(а) ->inf; и е Т7» \ 7»,
396 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
считая, что {ak}, {Ок} — положительные последовательности, схо-
дящиеся к нулю. Пусть Fk^= inf Fft(w)> —оо (Л = 1,2,...). Опре-
wfe\Vfe
делим точку Uk из условий
FM<Fk* + 4’ (37)
где е* > 0 (к = 1, 2,...), limeft = 0 (если то в (37)
fe-»oo
допускается 8л = 0). Предлагаем самостоятельно сформулировать и дока-
зать для метода (37) теоремы, объединяющие теоремы 4 и 14.2, 5 и 14.5,
14.6.
Различные аспекты метода барьерных функций исследованы в [8, 111,
159, 178, 307, 330, 338].
Упражнения. 1. Применить метод барьерных функций к задачам:
a) J(u) = х + у -> inf; и е U = {и = (ж, у) е Е2: gi(u) = х2 — у 0,
gi(u) = — х 0};
б) 7(и) = у ->inf; и е U = {и = (х, у) е Е2, g(u) = sin х + х — у 0};
в) ]{и) = (и — 1)3->inf; и е £7 = {а е g(u) = —и — 1 0};
г) к задачам из упражнения 14.1;
д) к задачам из примеров 2.2.2 и 2.2.4, считая, что множество у совпа-
дает с границей множества £7.
2. Сформулировать и доказать аналог теоремы 14.7 для описанных вы-
ше вариантов метода барьерных функций.
§ 16. Метод нагруженных функций
1. Будем рассматривать задачу
J(u)-*inf; U — {и^Еп*. u^UOl
gi(u)^0, i = l, gi(u) = 0, i = m + l, ..si. (1)
В методе нагруженных функций исходная задача (1) сво-
дится к задачам минимизации некоторых вспомогательных функ-
ций на множестве UQ и к поиску минимального решения (кор-
ня) некоторого уравнения. Но, в отличие от метода штрафных
функций, в нем нет неограниченно возрастающих коэффициен-
тов, аналогичных штрафным коэффициентам, и кроме того, ме-
тод нагруженных функций применим к более широкому классу
задач, чем метод модифицированных функций Лагранжа. Вве-
дем семейство функций
Ф(и, t) = L\max{J(u)-t; 0)\Р*+МР(и), u<=Ua, (2)
зависящее от скалярного параметра t, —оо < t < оо, где
тп 3
р {и) = .2 (max [g. (и); 0])₽i + | g, (u) |Pi, (3)
величины j = l, ..., s, L>0, M>0 фиксированы и явля-
ются параметрами метода. Положим
p(t)= inf Ф(и, £). (4)
и^и0
§ 16] МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 397
Поскольку Ф(я, i)>0 при всех t и u<=UQ, то p(i)>0 при лю-
бом t Предположим, что в задаче (1) /*> — С/*=И=0*
Возьмем произвольную точку Тогда -Р(^) = 0 и
Ф(м*, J*) = 0. Следовательно, p(J*) ==; 0г т. е. является кор-
нем уравнения
р(0 —0. (5)
С другой стороны, Ф(и, f)>0 при всех и всех t<ZJ^
и поэтому можно ожидать, что для широкого класса задач будет
выполняться неравенство р(£)>0 при всех t<ZJ*. Если это в
самом деле так, то задача поиска J* сведется к поиску мини-
мального корня уравнения (5). Такое сведение задачи миними-
зации привлекательно тем, что для поиска минимального корня
уравнения (5) с одной неизвестной могут быть использованы
такие широко известные методы решения уравнений, как мето-
ды деления отрезка пополам, простой итерации и т. п. [4, 39, 54].
Основная идея метода нагруженных функций описана.
Заметим, что в этом методе могут быть использованы и дру-
гие конструкции функции Ф(и, 0, отличные от (2). Например,
можно принять
ф (щ t) = L\ J (и} — u^UQ, —oo<i<oo, (6)
где функция P(u) взята из (3), L>0, М > 0, Повторив
предыдущие рассуждения для функции р(£), определяемой из
условий (4), (6), можно показать, что здесь также p(J^.) = O?
и высказать гипотезу о том, что для широкого класса задач (1)
число J*, по-видимому, будет минимальным корнем уравнения
(5)
2. Прежде чем переходить к формулировке условий, при ко-
торых высказанная гипотеза в самом деле будет справедлива,
рассмотрим примеры. Во всех примерах ограничимся рассмотре-
нием функций Ф(н, t) из (2) и (6) при L = M = p0 = ... = pa=*
= 1.
Пример 1. Пусть и; U = {u^El: g(n) = u^0}«
Здесь = 0, и* = 0. Функция (2) здесь имеет вид
Ф(и, £) = max {—к — 0) + max{iz; 0), u^U0=El.
Если i>0, то Ф(0, £) = 0 = ш£Ф(и, = Если же £<0, то
Е1
Ф(и, t) = u при £, Ф(н, t) = ~t при Ф(п, t)=>
~—u — t при (нарисуйте график функции Ф(и, t) при
различных t). Поэтому inf Ф (u, t) = р (t) = — t при t < 0. Таким
El
образом, p(£) = max{—0). Очевидно, минимальный корень урав-
нения (5) здесь совпадает с = 0.
Функция (6) будет иметь вид
Ф(п, t)~ I—и — t\ + max {и; Of, u<=El,
398 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ (ГЛ, 5
Если t>0, то взяв u = —t, получим Ф(—t; f) = O = p(t). Если
же t < О, то Ф(«, t) = 2u + t при — t; Ф(и, f) = — t при 0=5
V, Ф(п, t) = —u — t при «5 0, и следовательно, p(f) = —t
при t < 0. В рассматриваемой задаче функции р (f), построенные
на основе функций (2) и (6), совпали.
Пример 2. Пусть J(u) = u, U = g(u) = u2 — 1 =5 0}.
Ясно, что здесь U ={и^Е1: — 1=5м=5 1}, J* = — 1, и* — — 1.
Если согласно (2) принять
ф(и, f) = max{u —f; 0) + max{u2 —1; 0), uef70 = E‘,
то нетрудно показать, что р (/) = inf Ф (и, t) = max {—t — 1; 0}.
Если же за основу взять функцию (6), то
Ф (и, t) = | и —1\ + max {u2 — 1; 0}, и е Е1,
р (f) = inf Ф (и, t) = max {| 11 — 1; 0}.
£1
В рассматриваемой задаче функции р (i), построенные с помощью
функций (2) и (6), оказались разными, но минимальный корень
уравнения (5) в обоих случаях совпадает с «7* е= — 1.
Пример 3. Пусть — U = {и<= Е': g(u) = и2 = 0).
Тогда 77 = {О}, J# = 0, и* = 0. Для функции (2) Ф(н, f)e
= max {и — t\ 0) + и2, ueUt = Е1 получим
0,
t2,
-1 -1/4,
f>0,
— l/2<f <0,
t < - 1/2.
Если взять функцию (6), то Ф(п, t)= In —f| + и2, и^Е1, и
J f2, | f К1/2,
Здесь также минимальный корень уравнения (5) совпадает с
Д = °-
Однако нетрудно привести примеры задач (1), когда мини-
мальный корень уравнения (5) строго меньше J*.
Пример 4. Пусть /(&) = &, U = {и^ Е1: g(u) = (u2 — 1)Х
X (zz4 + I)”1 0). Здесь C7=={ueJE1: —и, очевидно,
J— 1, и* = — 1. Если согласно (2) примем
Ф(и, t) = maxlu — t-, 0) + max{g(u); 0}, UQ = Е\
то при — 1 получим Ф (— 1, t) = 0 = inf Ф (u, t) = p (t).
£1
При t < — 1, взяв uk = — к C i, также будем иметь lim Ф (— кх t) sa
fe-»oo
= lim g (— к) = 0 = inf Ф (zz, t) = p (t). Таким образом, в pac-
fe->oo
сматриваемом случае p (t) 0 при всех t. Если в качестве мини-
§ 16]
МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ
399
мального решения уравнения (5) здесь взять t* = — оо, то полу-
чим 1.
Рассмотрим функцию (6)
Ф(н, t) = ln — d +max{g(a); 01, us[70=El.
Если Id 1, то при u = t получим Ф(£, £) = 0 = p(£). Пусть
Id > 1. Введем множества At = {и e E1: | и — 11 ^2
= e £2: I и — 11 > -* * j. Так как (J A2 = E1, A1QA2 = 09
to p(t) = inf Ф(и, t) = min f inf Ф(и,£); inf Ф(и,^)l^minfming(u);
( ax a2 J [ ax
(\t I — l)/2j> 0 при всех t, Id > 1. На первый взгляд создается
впечатление, что здесь = — 1 — минимальный корень уравне-
ния (5). Однако 0<р(^)=СФ(^, t) = g(t) при Id >1 и
lim р (t) = lim g (t) = 0. Поэтому есть основания считать, что
t->—00 t->—00
минимальный корень уравнения (5) и в этом случае равен t* =з
= ОО J * .
Любопытно сравнить задачи из примеров 2 и 4. В них функ-
ции J(iz) и множества U совпадают. Но эти задачи отличаются
способом задания множества U. Это различие приводит к тому,
что в примере 2 минимальный корень уравнения (5) совпа-
дает с J*, а в примере 4 Отсюда можно сделать вывод:
для выполнения равенства лежащего в основе метода
нагруженных функций, исходные данные задачи (1) должны
удовлетворять некоторым дополнительным условиям, они должны
быть как-то согласованы. Для формулировки этих условий нам
прежде всего нужно уточнить, что понимать под минимальным
корнем уравнения (5).
Определение 1. Число назовем минимальным корнем
уравнения (5), если р(^) = 0, р(£)>0 при всех t<Zt* и
lim р (£) > 0. Если же lim р (£) = 0, то примем t* = — 00. Если
р(О>0 при всех t>0 и lim р (t) > 0, то по определению
положим £* = оо.
Чтобы показать, что все указанные в определении 1 возмож-
ности в самом деле могут реализоваться, рассмотрим еще не-
сколько примеров.
Пример 5. Пусть
|_1^^
(и2 — 1,
«'“И6/1 „I,
и> — 2,
— (k + — к* к = 2,3,
|«|<2,
1«1>2,
(7)
400 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
U = {и^Е1 = Uo: g(u)<Q}. Тогда J* = — 1, и* = — 1, Рассмот-
рим функцию (6)
Ф(н, t)= |/(u) — + max{g(u); 0), ие£*.
Покажем, что р(—к2 — к)^ к (к = 2, 3, ...). В самом деле, если
и > —2, то Ф(и, — к2 — &)> |н + А2 + & | = к2 + к + к2 к при
всех к = 2, 3, ... Если — (i + l)<u^— i (2<г^А), то Ф(и,
—к2 — к)^ I— i2 + к2 + &| = к2 — г2 + к > к, а если — (i+l)<uC
^-i, i>/c+l, то Ф(», -tf-k)> |-i2 + fc2 + fc| = i2 — (& +1)2 +
+ &+1Ss&+1>&. Таким образом, Ф(ц, — к2 — к)">к для всех
и е Е1, поэтому р(—к2 — к)^ к (к = 2, 3, ...). Следовательно,
lim p(i) = limp(— к2 — к) = оо.С другой стороны, 0=sSp(-/c2)sS
«5 Ф(—к, — k2) = g(—к) = Qk~* (к = 2, 3, ...), так что lim p(i) =
t —оо
= lim р (— к2) = 0. Согласно определению 1 тогда £* = —- °°<Z
fc->oo
Остановимся также на функции (2)
Ф(и, t) = max{J(u)— t; 0) + max{g(u); 01, u^E1.
Нетрудно видеть, что если 1, то Ф(—1, £) = 0 = р(£). Если
же t < —1, то при к > У—t получим Ф (—Л, t) = max {—к2 — t; 01 +
+ g(~k) = g(—k)-+O = p(t). Таким образом, здесь p(£)s0 при
всех t и согласно определению it* — —
Пример 6. Переопределим функцию J(u) из (7) в точках
и = к^ так: J (к~')= —к2 (А = 1, 2, ...). Функцию g(u) и мно-
жество U оставим такими же, как в примере 5. Повторив преж-
ние рассуждения, нетрудно убедиться, что минимальный корень
уравнению (5) здесь будет равным t* = J* как при использо-
вании функции (2), так и функции (6). В отличие от примера
5, здесь J* — — оо, поэтому справедливо £# = J*.
Любопытно посмотреть, что будет, если множество U из (1)
пусто, но Uо непусто. В этом случае задача (1), конечно, пере-
стает быть содержательной, но тем не менее функции Ф(я, 0,
p(t) из (2), (4), (6) будут иметь смысл.
Пример 7. Пусть 7(п)=1, U—lu^E1: g(uj = e~w2^0}.
Здесь Uq = Е\ U = 0. Согласно формуле (2) Ф (и, t) = max {1 —
—t',0} + е~и\ и^Е1, поэтому p(Z) = max{l — t; 0} и £* = 1.
Если же воспользуемся функцией (6) Ф (и, t) = 11 — 11 + е~и* я
то p(t) = li — tl и £* = 1.
Если здесь взять g(u) = e~u2 + 1, то получим р(£) = тах{1 —
— t; 01 + 1 для функции (2) и р(0= И-^1+ 1 Для функции
(6), так что минимальный корень уравнения (5) согласно опре-
делению 1 будет равен t* = оо.
§ 16]
МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ
401
Пример 8. Пусть J(u)=u, U = {и<= Е1: g(u) = e-w2^0}e
Здесь Jo = Е\ U = 0. Согласно (2) Ф(г/, t) = max {и — t; 0}+ е~и •
Так как при u = —k^t Ф(— k,t) = e~h2->0 при То
р(0 = 0 при всех t и £* =— оо. В случае функции (6)
Ф(и, t) = | и — Z| + e-u2 = minf inf Ф(г/, Z); inf Ф(г/,
|u-t|>l f
min j inf e~u ; 11 = c (t) > 0 при всех и e E\ поэтому р (t) >
l|u-t|Cl )
>0 при всех t. Но 0<р(£)<Ф(£, t)-+0 при или t -> — °°t
так что lim р (t) = lim р (t) = 0 и t* = — оо.
t-»oo t—> — оо
Если же здесь взять g (и) = е~и2 + 1, то Ф(и, £)>1, и^Е1 и
р(£)> 1 при всех t, и поэтому t* = оо.
3. Примеры 7, 8 подсказывают, что для того, чтобы едино-
образно охватить возможность, когда в задаче (1) £7 = 0, целе-
сообразно принять
inf J(u), £7=^0,
и
.оо, £7=0, £7О^0.
(8)
Тогда справедлива следующая
Теорема 1. Пусть функция р(£) определена формулой (4)^
где функции Ф(и, t) взяты из (2) или (6). Пусть t*— мини-
мальный корень уравнения (5) в смысле определения 1, а вели-
чина определена согласно (8). Тогда
Доказательство. Если £7 = 0, то «7* = оо и утвержде-
ние теоремы тривиально. Поэтому пусть £7 =И= 0. Так как мы
условились рассматривать функции, принимающие лишь конеч-
ные значения в области своего определения, то J*<oo. По
определению J*, существует последовательность {uh} е £7 такая,
что lim J (uk) = J* —оо. Если «7* > — оо, то lim Ф (zzft, «7*) ==
fc->OO fe->oo
= 0 = р(«7*) и поэтому Если же = — оо, то, взяв
th = J{uh), получим р(^) = Ф(&А, £Л) = 0 (fc==l, 2, ...). Посколь-
ку {tk} — с», то отсюда следует lim р (t) = lim р (tk) = 0, так
k-*oo
что £* = /* = — оо. Теорема доказана.
Рассмотренные выше примеры показывают, что для выпол-
нения равенства = J* важное значение имеет способ зада-
ния множества £7: ограничения, задающие множество £7, должны
быть как-то согласованы с минимизируемой функцией J(u). На-
поминаем, что в § 14 было введено понятие согласованной по-
становки задачи (1) на £70 (см. определение 14.2), означающее,
что для любой последовательности {uh} ^Uo, которая удовлетво-
ряет условиям
lim gt (uft) = 0, i = 1, ..., s,
fe-»oo
(9)
402 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
имеет место соотношение
lim J»
(10)
Распространим это понятие на случай, когда UQ ¥• 0, U = 0
и согласно (8) 7* = оо. Здесь следует различать две возможно-
сти: infP(zz) = O и infP(zz)>0. Если infP(zz) = O, то су-
и0 uQ и0
ществует хотя бы одна последовательность {uk}<=UQ, удовлетво-
ряющая условиям (9),—в этом случае скажем, что задача (1)
имеет согласованную постановку на С70, если для любой после-
довательности {uk} С70, для которой справедливы соотношения
(9), имеет место равенство lim J (uk) = оо = J*. Кстати, это же
fe^oo
равенство получается и из (10) при J* — оо. Наконец, если
Е7О=^0, £7 = 0, inf Р (и) > 0, то по определению будем считать,
и0
что задача (1) имеет согласованную постановку на множе-
стве ио.
Оказывается, введенное понятие согласованной постановки
задачи (1) играет важную роль при выяснении того, будет ли
— JИЛИ J •
Теорема 2. Пусть функция р(£) определена формулой (4),
где функция Ф(и, t) взята из (2) или (6), пусть t* — мини-
мальный корень уравнения (5), а величина J* определена фор-
мулой (7). Тогда для выполнения равенства t* = J* необхо-
димо и достаточно, чтобы задача (1) имела согласованную по-
становку на множестве Uo.
Доказательство. Необходимость. Пусть £* = 7*.
Если J* = — оо, то постановка задачи (1) согласована, так как
lim 7 (Uk) — °° = J* для любой последовательности {%} е Uo.
Поэтому пусть — оо. Возьмем произвольную последова-
тельность {ик} е Uo, удовлетворяющую условиям (9). Согласно
определению (3) функции Р(и) тогда lim Р (uk) = 0. Отсюда
и из неравенств Ф(ик, £)>р(£)>0, справедливых для всех t<Z
<Zt* = и к = 1, 2, ... при к оо получим
lim max {J (uk) — t; 0} p (t) > 0, (11)
h-><x>
в случае использования функции (2) и
lim | J (uk) — 11 p (t) > 0,
E*,; (12)
в случае использования функции (6).
Покажем, что из (11), (12) следует неравенство
= В самом деле, при выполнении (11)
lim J (uk)
fe->oo
для каждого
§ 16]
МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ
403
t<Zt* найдется номер /со = ^о(0 такой, что max{J(uft)~ U, 01 >
>p(f)/2>0 или J(uk) — t > p(£)/2 > 0 для всех к^к0. Тогда
lim J (uk) t при любом t < t*. Устремляя t 0, отсюда
получим неравенство lim J (uk) = J*.
fe-»OO
Рассмотрим случай (12). Пусть lim J (uk) = lim J (ukr} = a*
k^> r^°°
Имеются две возможности: либо a^t*, либо Если
t*, то требуемое неравенство lim J (uk) ^t* = J* установлено.
fe->oo
Остается рассмотреть возможность a<Zt*. В этом случае вели-
чина а не может быть конечной.
Допустим противное: пусть —оо <Za<Zt*- Тогда при t = a
получим
lim | J (zzfe) — а | == I lim J \ — а I = 0,
k^> I r^°° r I
что противоречит условию (12). Таким образом, если a<Zt*>
то а —— оо, т. е. lim J (uk) = lim J (иьг) =— °°. Тогда, взяв
r^°°
tr = J(ukr) (r=l,2, ...), получим 0<p(tr)<O(wftr, J (ukr)) —
= MP (Ukr) ->0 при г—> оо. Это значит, что limp(Z) = limp(Zr) =
t~oo r-*°°
= 0 и согласно определению 1 t* = — оо. Но по условию ==
== J*, поэтому lim J (uk) — J* = t* = — оо, дело свелось к ранее
fe^oo
рассмотренному случаю.
Тем самым установлено, что для любой последовательности
{uk} е Uq, удовлетворяющей условиям (9), справедливо неравен-
ство (10). Наконец, если такой последовательности {uk} не су-
ществует, т. е. inf Р (и) > 0, то задача (1) имеет согласованную
постановку по определению. Необходимость доказана.
Достаточность. Пусть задача (1) имеет согласованную
постановку на Uo. Покажем, что тогда £* = J*. Сначала рас-
смотрим случай, когда = — оо. Это значит, что lim p(t) =*
f-> —ОО
= limp(^) = 0, где {tk} -> — оо. По определению p(th) согласно
fe-»oo
формуле (4) следует существование точки uk е Uo такой, что
р(^)^Ф(&ь, tk)^p(tk)+ 1/к (к = 1, 2, ...). Отсюда при к-+<*>
имеем lim Ф (ик, tk) = 0. Это означает, что lim Р (uk) = 0 и
k-*oo fe->oo
lim max {J (uk) — tk; 0} = 0 в случае использования функции
fe->oo
(2) и lim|J(ufe) — tk | = 0—в случае функции (6). Но по по-
k~>OO
строению {tk} —оо? поэтому последние два равенства возможны
404
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
только при lim J (uh) = — оо = t*. С другой стороны, из
{Р(мА)}->0 и формулы (3) следует выполнение условий (9).
В силу (10) тогда lim Следовательно, = t* = — оо.
fe->oo
Пусть теперь — оо. В силу теоремы 1 тогда
>> — оо. Возьмем произвольное J <«7*. По определению р(t)
существует последовательность {uh} е Uo такая, что lim Ф(ий, t) =s
fe~»oo
= р(£). Может случиться, что lim Р (uk) = d >> 0. Тогда из
k-»oo
Ф(кг1, t)>MP(uk) при к-+°° следует, что р(t)МlimР(uh) =>
h-^oo
= Md > 0. Если же lim Р (г^) = 0 = lim Р (uk )f то lim gt (иьт) =*
r->0° r r^°°
= 0 (г = 1, В силу (10) отсюда имеет lim J (икг)
Г~*оо
А тогда p (£) == lim Ф (Mfer, i) Z(J* — Z)₽o>0 как в случае ис-
пользования функции (2), так и функции (6). Тем самым пока-
зано, что р(£)> 0 при всех t<zJ*. Кроме того, в рассматривае-
мом случае > — оо по определению 1 lim р (t) > 0. Следова-
тельно, что в силу теоремы 1 возможно только при
t* = J*. Теорема доказана.
В § 14 были приведены достаточные условия, гарантирующие
согласованную постановку задачи (1) на С70 (см. теорему 14.2,
леммы 14.1, 14.5).
4. Подробнее остановимся на частном случае функции (2), когда
Ф(щ t) = L max {J(и)—t; Q}-\-MP(u), и е Uo, (13)
где L > 0, М > 0, а функция Р(и) взята из (3) при некоторых pi 1
(i = 1, s). Оказывается, функция (13) и соответствующая ей функция
p(t) обладают рядом полезных свойств, облегчающих поиск минимального
корня уравнения (5).
Теорема 3. Функции Ф(щ t), р(0, определяемые формулами (13),
(14), монотонно убывают (вообще говоря, не строго) при возрастании t и
удовлетворяют неравенствам
|Ф(щ t) — Ф(и, т)| —т|, (14)
|Р(О-Р(т)| (15)
при всех и е UQ и любых t, т. Если J ** = inf J (и) > — оо, то
ио
ф(и, t) = -Lt + LJ(u) +МР(и), p(t) = —Lt + inf (L J (и) +MP(u)) (16)
при всех —линейные функции no t.
Доказательство. Простым перебором возможных значений функ-
ции шах {а; Ь] легко доказываются неравенства
max {J(u)—1\ 0} max {J(и) — т; 0}, и е UQ,
(max {J(u) — t; 0} —max {/(и) —т; 0}| p — т|, не UOi
§ 16]
МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ
405
Отсюда следует невозрастание функции Ф(и, t) по переменной t и неравен-
ство (14). Далее, для любых имеем Ф(в, t) >Ф(м, т) > р (т) или
Ф(н, t) р(т) при каждом ns Uq. Отсюда, переходя к нижней грани по
и е Uo, получим р(£) > р(т) при всех t т.
Докажем неравенство (15). Зафиксируем произвольные t, т. По опре-
делению нижней грани при каждом 8 > 0 существуют точки ut, их е Uq
такие, что
p(t) Ф(нь t) p(t) + 8, р(т) Ф(п<, т) < р(т) + 8.
Тогда, учитывая уже доказанное неравенство (14), имеем p(i) — р(т)
^Ф(ат, Т)—Ф(их, т) + 8 L\t —- т| + 8, р(0 — р(т) > Ф(»ь 0 ““ 8 “
— Ф(ц, т) > — L\t — т] — 8, т. е. | p(i) — р(т) ] L\t — т| + 8 при любом
8 > 0. Отсюда при 8—>+0 получим неравенство (15). Формулы (16) сле-
дуют из того, что J (и) — t — t 0 при всех и е Uo. Теорема 3
доказана.
Если задача (1) имеет согласованную постановку на С70 и > — «ч
то опираясь на теорему 3 можно предположить следующий итерационный
метод определения Сначала выберем to так, чтобы p(i0) > 0 (напри-
мер, если J** = inf J (и) > — оо, то можно взять любую точку tQ < J**).
Следующие приближения определим по формулам
fft+1 = tk + p(M/L, к = 0, 1, ... (17)
Теорема 4. Пусть функция p(i)^0 пРи всех t, —оо < t < +оо,
удовлетворяет условию (15), пусть t*—минимальный корень уравнения (5)
в смысле определения 1, —оо. Тогда при любом выборе начального
приближения to, —оо < t0 <Z t, последовательность {tk}, определяемая уело*
виями (17), сходится к t*.
Доказательство. Так как p(t) О, то из (17) следует, что по-
следовательность {tk} монотонно возрастает, и поэтому существует
lim tk = а оо. Покажем, что а = £*. По условию t < t*. Допустим,
k-*OG 0
что при некотором к 0 оказалось t*. Тогда р (t) >0 прп всех t th.
Возьмем произвольное i, tk t < tk+i. С учетом условий (15), (17) имеем
р(0 = p(tk) + [р(0 — р(М] > р(М ~L(t — tk) >
Р (tk) L(tk+i tk) = 0, tk t <Z.
Это значит, что p(t) >0 при всех t < tk+\, т. е. Может слу-
читься, что p(ffc+1)==O. Тогда ^+1 = — в этом случае итерации (17)
заканчивается. Если p(^+i) >0, то ^+1 < ^* и итерации продолжаются
дальше.
Таким образом, имеются две возможности. Либо процесс (17) закон-
чится тем, что р (tQ) >0, ..., p(^-i) >0, p(tk) = 0 — тогда tk= == а,
утверждение теоремы верно. Либо p(tk) >0, £*, р(f) > 0 при t < th
для всех к = 0, 1, ... — в этом случае lim tk = а t и р (t) > 0 при всех
fe^oo
t < а. Покажем, что a = t*. Если последовательность {th} неограничена
сверху, то а = оо == /*. Если же th < а < оо, к = 0, 1, ..., то, учитывая
непрерывность функции p(t), из (17) при &->оо получим а = а+р(а)/£
или р(а) =ж 0. Это значит, что t* = а и при а < оо. Теорема доказана.
Заметим, что на каждом шаге метода (17) нужно вычислить одно зна-
чение функции p(i), и для этого в свою очередь нужно решить задачу ми-
нимизации
Ф (и, t) -> inf; и е Uq.
(18)
406 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Поскольку функция (13), вообще говоря, не является гладкой, то это об-
стоятельство может вызвать некоторые трудности при решении задачи (18).
Однако имеющиеся методы решения негладких задач минимизации (см.,
например, § 3, 11, 12, 17) позволяют надеяться на то, что вычисление при-
ближенного значения р(0 не окажется слишком трудным.
При изложении метода (17) предполагалось, что величины р(^) извест-
ны точно. Однако задача (18) на практике, как правило, будет решаться
приближенно, и точное значение р(^) удастся вычислить лишь в редких
случаях. Поэтому желательно обобщить итерационный процесс (17) на слу-
чай, когда значения функции известны неточно. Опишем одно из возмож-
ных таких обобщений [82].
Предположим, что вместо точных значений функции р(£) известны
лишь некоторые приближения pv(i) (v = 1, 2, ...), удовлетворяющие усло-
виям
Pv(0>0, lpv(t)-P(O|<Vv’ v=l, 2, lim = 0. (19)
Пусть t0 — начальное приближение, Пусть (v — l)-e приближе-
ние tv-i при некотором v 1 уже известно. Для определения следующего
приближения tv рассмотрим итерационный процесс
tyk+i = lvk + Pv (fvfe)/L» & = 0, 1, ...; tvQ = tQ, (20)
аналогичный процессу (17). Поскольку функция pv(?) может не обращать-
ся в нуль ни в одной точке даже в том случае, когда уравнение (5) имеет
конечный минимальный корень (так будет, например, если pv(t) = р(£) +
+ 7v>7v>0), то процесс (20) следует прекращать не по критерию
Pv(^vfe) = 0, как было выше в (17), а по условию вида pv(tvk) < 0V, где ве-
личина 0v > 0 стремится к нулю при v —> оо и как-то согласована с погреш-
ностью 7у. Предположим, что такая последовательность {0V} уже задана
(условия согласования {0V} и {yv} будут обсуждаться ниже). Тогда имеют-
ся две возможности:
1) либо найдется номер к = kv 0 такой, что
Pv (^vfe) & = 0, ...,A*V 1, Pv (21)
в этом случае процесс (20) заканчивается и полагаем
<22>
2) либо
pv(^vfe) > 0V при всех к = 0, 1, ... (23)
Тогда, как будет показано ниже, при выполнении условий (15), (19) и со-
гласованном изменении величин 0V и 7V будет справедливо равенство
^ = оо. (24)
Метод поиска минимального корня уравнения (5) при условиях (15), (19)
описан
Теорема 5. Пусть функция р(£) неотрицательная при всех t, не
возрастает, удовлетворяет условию (15), а — оо—минимальный ко-
рень уравнения (5) в смысле определения 1. Кроме того, пусть функция
{Pv(0) удовлетворяет условиям (19) и
0v > *Yv, v = 1, 2, ... (25)
Тогда последовательность {£v}, определяемая методом (20) — (24), сходит*
ся к t* при любом выборе начального приближения to,— оо <; t*. При
етом, если £*<оо, то итерации (20) при каждом v 1 будут заканчи-*
§ 16]
МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ
407
ватъся за конечное число шагов выполнением условий (21); случай (23)
возможен лишь при t* = оо.
Доказательство. Сначала рассмотрим случай f*<oo. Тогда
при каждом фиксированном v 1 имеются две возможности:
1) tvk < оо при всех к = 0, 1, ... В силу монотонности {^} тогда
существует lim <**<«>. Переходя в (20) к пределу при &->оо,
fc->oo
получим lim pv (<vA) = 0. Это значит, что за конечное число* итераций
fe-*oo
процесс (20) закончится выполнением условий (21).
2) Найдется номер I 0 такой, что <3# < tyl+v Тогда с учетом
соотношений (15), (19), (20) получим
iv,Z+i = *vl 4” Vvi)lL = tyi 4" [Pv Cvz) P (^vz)]/£ 4~
+ [P (^vz) P (*♦)]/£ Чг 4- 4V/L 4" — ^z “ 4~ Yv/£* (26)
Далее, в силу монотонности p(Z) имеем p(Z) == 0 при поэтому
p(Zv/+1) =0. Отсюда и из условий (19), (25) следует
Pv(^vZ + l) = Pv(^vZ + l) P(^vZ-|-l) Yv 0v. (27)
Это значит, что условия (21) выполнятся при некотором kv I 4- 1.
Объединяя обе рассмотренные возможности, заключаем, что при < оо
процесс (20) при каждом v 1 заканчивается за конечное число шагов к?
выполнением условий (21), причем в силу (26)
= + v = l, 2, ... (28)
Покажем, что lim tv = t*. Из (28) имеем lim Пусть lim tv =
V->oo v~>oo v->oo
= lim tv = а. Тогда с учетом условий (15), (19), (21) получим
r->OO r
0< p (a) < [P (a) - P (tVr)] + [p (tVr)] - pVr (tVr)] + PVr (iVr) <
<L|a-^ + TVr + 0Vr->0
при r->oo, t. e. p(a) = 0. Но ^—минимальный корень уравнения (5), по-
этому Следовательно, lim tv = lim tv > Z* > lim tv. Это значит,
V—> oo Г—»oo r V~>oo
что lim Случай Z* < оо полностью рассмотрен.
V-> oo
Пусть теперь J* = оо и пусть процесс (20) при каждом v 1 закан-
чивается выполнением условий (21). Покажем, что тогда {Zv}->o°. Возь-
мем произвольное число Т > 0. Согласно определению 1, если t ф = оо, то
im р($)>0 и р (0 > 0 при всех t. Отсюда и из непрерывности функ-
Z->—оо
ции р(£) следует, что inf р (£) = рт > 0. Так как {0V} -> 0, {Yv}->0, то
t^T
найдется номер v0 = v0(T) такой, что 0V + Yv < рт при всех v > v0. Тогда
Pv(0 р(0 — Yv Рт — Yv > 0v для всех t Т и v v0. Это значит, что
условия (21) не могут выполняться при tVh ^.Т, если v v0. Тогда согласно
(21), (22) tv > Т для всех v^vo = vo(r), что* означает выполнение равен-
ства lim tv =: оо.
V-> оо
Остается рассмотреть случай, когда при некотором v 1 выполняются
условия (23). Выше было установлено, что при t# < оо процесс (20) при
всех v ;> 1 закончится выполнением условий (21). Следовательно, если
при каком-либо реализуются условия (23), то £* = оо. Теорема 5
доказана.
408 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Заметим, что условие (25) в теореме 5 существенно: его нарушение мо-
жет привести к тому, что метод (20) — (24) не будет сходиться.
Пример 9. Пусть J(u) = и -> inf; и е U = Uq = {и е Ех\ и 0} —
это частный случай задачи (1), когда gi(»)==0 (или $ = 0). Тогда
ф(в, t) — max {ц-f, 0}, u^O и р (t) — inf Ф (u, t) = max {— 0} (cp.
u>o
с примером 1). Здесь £* = /* = 0, и* = 0. Если pv(i) = max {—t; 0} +
и 0v < to pv(f) 7v > 0v при всех t. Поэтому в методе (20) — (24)
реализуется случай (23), и искомый минимальный корень f# = 0 уравне-
ния (5) в рассматриваемом случае не будет найден. Причина этого явле-
ния— нарушение условия (25).
Заметим, также, что на практике вместо полуоси t0 t <Z оо часто
приходится работать на каком-то отрезке t0 t Г, где величина Т огра-
ничена, например, разрядной сеткой ЭВМ. В этом случае метод (20) — (24)
требует модификации. А именно, итерационный процесс (20) при каждом
v 1 здесь будет заканчиваться определением номера kv 0 такого, что
будет выполнено' одно из двух следующих условий:
Ру (*vfe) > ®v» & = 0, 1; Pv(^vfev)^®v? 4^’ ^9)
или
Pv(«vft)>ov, * = o......*v—1; t^_1<r<tvkv. (30)
В качестве v-го приближения tv будем брать
iv = min{<vftv: Т], v = l, 2, ...
(31)
Если выполнены все условия теоремы 5, то, немного видоизменив доказа-
тельство этой теоремы, нетрудно установить, что при tQ < t* <; Т для до-
статочно больших номеров v > Vo процесс (20) будет заканчиваться выпол-
нением условий (29) и оценки (28), а последовательность {fv}, определяе-
мая методом (20), (29) — (31), сходится к числу min{7*; Т}. Таким обра-
зом, метод (20), (29) — (31) позволяет определить, принадлежит ли t*
отрезку [fo, Г], и в случае f# е [iQt Т7] позволяет найти с нужной точ-
ностью.
Для определения при условиях (19) может быть также использован
метод деления отрезка пополам.
5. Кратко остановимся на случае, когда функция p(f) из (4) определя-
ется с помощью функции
ф(к, t) = L|J (и)— t\ + МР(и), и ее Uq, (32)
где L > 0, M > 0, функция Р(и) взята из (3) при некоторых 1
(i = 1, ..., $).
Поскольку IIJ (w) — f| — |J(u) — т|| С |f—-т|, то, рассуждая так же, как
при доказательстве теоремы 3, убеждаемся, что функции Ф(и, f), p(i) из
(4), (32) удовлетворяют условиям (14), (15). Это значит, что для поиска
минимального корня уравнения (5) и в этом случае может быть применен
описанный выше метод (20) —(24) или его модификация (20), (29) —(31).
Только условие (25) здесь нужно заменить условием
0v > 2^, v = 1, 2, ... (33)
Такая замена связана с тем, что функция (32), в отличие от (13), а также
соответствующая ей функция p(f), вообще говоря, не будут монотонными
(см. примеры 1—8). Справедлива
Теорема 6. Пусть функция p(f) неотрицательна при всех t, удо~
влетворяет условию (15), a — оо— минимальный корень уравнения
(5) в смысле определения 1. Кроме того, пусть функции {pv(0} удовлетво^
ряют условиям (19), а последовательности {0V}, {fv} — условию (33). Тогда
МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ
409
§ 16]
последовательность {£v}, определяемая методом (20) — (24), сходится к t*
при любом выборе (— co < tQ < f*). При этом, если t* <z оо, то ите-
рации (20) при каждом v 1 будут заканчиваться за конечное число шагов
выполнением условий (21); случай (23) возможен лишь при ® оо.
Доказательство проводится дословно так же, как доказательство теоре-
мы 5. Нужно лишь неравенство (27), полученное в предположении монотон-
ности p(t) и условия (25), заменить следующим неравенством, вытекающим
из условий (15), (19), (26), (33):
Pv (*v,Z+i) = [Pv (4,z+i) Р (*v, 1+1)] 4“ [Р (*v,Z+i) Р (**)]
(^v,Z+i Оу.
Нетрудно также показать, что при выполнении условий теоремы 6 по-
следовательность {Zv}, полученная методом (20), (29) — (30), сходится к
min {**; Т}.
Приведем пример, показывающий, что условие (33) в общем случае не
может быть ослаблено.
Пример 10. Пусть J(u) == 0, U — произвольное непустое множество
вида (1). Тогда Ф(и, t) = |Z| 4- Л/Р (и), и Uq и p(t) = |z|; = 0 = J*.
Пусть pv(£) = |z| + yv (v = l, 2, ...). Предположим, что условие (33)
нарушено, т. е. 0V < 2yv. Возьмем начальное приближение tQ = tvQ <
< min {^v — 0V; 0}. Тогда pv(Zvo) = IM + Tv = — tv0 + vv > 0V. Далее, tvi =
= tVQ + pv(^vo) == Tv > 0, и снова pv(^vi) = Pv(Yv) = 2^ > 0V. Отсюда с уче-
том монотонности pv(f) при имеем pv(Z) pv(£vi) > 0v для всех
t Zvj. Это значит, что pv(tvk) > 0v для всех к — 0, 1, ... — реализовался
случай (23), и искомый минимальный корень ** = 0 уравнения (5) здесь
не будет найден.
Полезно заметить, что при описании методов (17), (20) — (24) и (20),
(29) —(31), а также при формулировке и доказательстве теорем 4—6 никак
не использовался тот факт, что функция p(t) получена из (4) и как-то свя-
зана с задачей (1),с методом нагруженных функций. Это значит, что описан-
ные методы могут быть использованы для поиска минимального корня
уравнения (5) для любой неотрицательной функции р (£), удовлетворяющей
условию (15) и приближенно заданной посредством условий (19).
По поводу метода нагруженных функций см., например, [8, 21, 82, 85,
257].
Упражнения. 1. Найти минимальное решение уравнения (5), где
функции Ф(щ £), р(£) определяются из (2), (3), (6), (13) или (32), и про-
верить условие =/* для задачи: J(u)->inf; и е U = {и е Ех: и е Uq.
g(u) 0}, где
a) J(u) = arctg и. g(u)=u2 — 4, g(u) = (и2 — 4) (u4 + I)-1, g(u)=u,
g(u) = u(u2 + I)”1, g(u)=u2. и0={и(=Еь. и > 1}, Uq= {ut=Ex-. и > 0},
Uq =
6) J(u) = и sin u. g(a)==u2 —1; g(u) = (u2 — 1) (и4 + I)”1, g (u) =
== (u2 - 1) e~u2; Uq = {и g= E\ и 0};
в) /(») — произвольная функция, a U = Uq — E*;
r) J(u) =1 при и 1, J (и) = u”1 при и > 1; g(u) = и — 1, g(u) =
= (и — 2) (и2 + I)”1, g (u) = e~u , Uq = {и e E1: и 0} или Uq = E1;
д) J(u) == 1, g(u) = u, g(u) = u2 + 1, g (u) = e~u* (u2 + 1), g (u) =
« Л~и2; Uq = E\ Uq={uee E{: u > 0}.
2. Найти функцию p(t) для задачи J (и) ->inf; и e U = {и e El = UQ:
g(u) = |к| —1<0}, беря за основу функции Ф(щ t) из (13) и (32), срав-
нить результаты с примером 2.
3. Показать, что если функция р(?) построена с помощью функций (2)
или (6) при р0 > 1, то условия (14), (15), вообще говоря, не будут иметь
места (ни с какой константой L). Указание: рассмотреть задачу (1) при
J(u) Е 1, £7= Uq.
410 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, 5
4. Указать такой способ задания множества U из примера 5, чтобы за-
дача имела согласованную постановку на U0===E'. Рассмотреть возможно-
сти g(u) = |»| — 1, g(u) = и2 — 1, g (и) = (и2 — 1) (воспользуйтесь тео-
ремой 2).
5. Выяснить геометрический смысл методов (17), (20) —(24) и (20),
(29) — (31), а также геометрический смысл условий (25), (33).
6. Проверить, будут ли функции Ф(в, t) из (2), (6), (13), (32), а также
соответствующая функция p(t) из (4) выпуклы, если исходная задача (1)
выпукла.
7. Пусть в задаче (1) >— оо, ^=/=0, и эта задача имеет согла-
сованную постановку на множестве С70. Пусть последовательность {tk} по-
строена методом (17), а последовательность {в&} определена условиями:
Uk Uo, p(tk) = Ф(»ь, tk) (к = 0,1, ...). Можно ли ожидать, что
U*? Приведите примеры.
8. Пусть функция Лагранжа задачи (1) имеет седловую точку
(zz*, X*) е UQ X Ло. Показать, что та же точка (zz*, %*) является сед-
ловой точкой функции Лагранжа для задачи
max {J(u) — t; 0} ->inf; и е U
при всех Выяснить связь между множествами точек минимума
последней задачи и задачи (1).
9. Для задачи (1) ввести функцию
Ф1 (zz, t) = L max {J (и)*, t} + MP(u), и Uo,
где P(u) взята из (3), L > 0, M > 0, и положить p1 (t) = inf Ф (zz, £)•
Показать, что J* = px (J*). Можно ли утверждать, что У* будет минималь-
ным корнем уравнения pi(f) — t = 0? Пользуясь равенством max {/(zz), t} =я
= max {J(и) —t; 0} + t, установить связь между функциями ФД», i), pi(£)
и функциями Ф(щ t), p(t) из (2), (13).
10. Для задачи J(и) -> inf; и е U — {и е С70, gi (и) 0, ..., gm(u) 0}
ввести функцию G(w, и) = max {J{w)—J{u)\ gi(w), ..., gm(w)} или
G(w, и) = (/(zz?) — J(u))gi (w) ... gm(iv) переменных и, рассмот-
реть итерационный процесс G (zzft+1, uk} = inf G(w, uhy исследовать его
сходимость (метод центров, [159]).
§ 17. О методе случайного поиска
Наряду с описанными выше методами минимизации функ-
ций переменных существует большая группа методов поиска
минимума, объединенных под названием метода случайного
поиска. Метод случайного поиска, в отличие от ранее рассмот-
ренных методов, характеризуется намеренным введением эле-
мента случайности в алгоритм поиска. Многие варианты метода
случайного поиска сводятся к построению последовательности
{uk} по правилу:
Uk+i = Uk + akZ, к = 0, 1, ..., (1)
где —некоторая положительная величина £ = (£*, ^п) —
какая-либо реализация n-мерной случайной величины | с изве-
стным законом распределения. Например, координаты V случай-
ного вектора £ могут представлять независимые случайные ве-
§ 17] О МЕТОДЕ СЛУЧАЙНОГО ПОИСКА 4Ц
личины, распределенные равномерно на отрезке [—1, 1]. Как ви-
дим, метод случайного поиска минимума функции п перемен-
ных предполагает наличие датчика (или генератора) случайных
чисел, обращаясь к которому, в любой нужный момент можно
получить какую-либо реализацию n-мерного случайного вектора
g с заданным законом распределения. Такие датчики, оформлен-
ные в виде стандартных программ, имеются в библиотеках под-
программ на ЭВМ.
1. Приведем несколько вариантов метода случайного поиска
минимума функции J (и) на множестве U^En, предполагая, что
й-е приближение ик^ U (&>0) уже известно.
а) Алгоритм с возвратом при неудачном шаге. Смысл этого
алгоритма заключается в следующем. С помощью датчика слу-
чайного вектора получают некоторую его реализацию | и в про-
странстве Еп определяют точку vk = uh + а£, а = const > 0. Если
vk^U и J(vh)<J(uk), то сделанный шаг считается удачным,
и в этом случае полагается ик+1 = ик. Если vh^U, но J(vk)^
или же vk&U, то сделанный шаг считается неудачным
и полагается ик+1 — ик.
Если окажется, что ик = ик+1 = ... = uk+N для достаточно боль-
ших /V, то точка ик может быть принята в качестве приближе-
ния искомой точки минимума.
б) Алгоритм наилучшей пробы. Берутся какие-либо s реали-
заций £1, ..., случайного вектора § и вычисляются значения
функции J(и) в тех точках u = uk + a^i G = l, ..$), которые
принадлежат множеству U. Затем полагается uk+1 = uk + ,
где индекс г0 определяется условием
J (uk + agi ) = min J (uh + cz^).
v 0/
Величины s > 1 и a = const > 0 являются параметрами алго-
ритма.
в) Алгоритм статистического градиента. Берутся какие-либо
$ реализаций ..., случайного вектора g и вычисляются
разности AAi = + 7§г) —для всех ик + чЪ^и. Затем
полагают рк = ~ ^АД*, где сумма берется по всем тем г,
1 i s, для которых ик + 7^ е U. Если ик + арк е U, то прини-
мается ик+1 = ик + арк. Если же ик + арк & U, то повторяют опи-
санный процесс с новым набором из s реализаций случайного
вектора %. Величины $ > 1, a > 0, у > 0 являются параметрами
алгоритма. Вектор рк называют статистическим градиентом. Ес-
ли U = Еп, s = п, и векторы являются неслучайными и совпа-
дают с соответствующими единичными векторами = (0, ..., 0,
1, ..., 0) G = l, ..п), то описанный алгоритм, как нетрудно
видеть, превращается в разностный аналог градиентного метода.
412 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. &
2. В описанных вариантах а)—в) метода случайного поиска
предполагается, что закон распределения случайного вектора £
не зависит от номера итераций. Такой поиск называют случай-
ным поиском без обучения. Алгоритмы случайного поиска без
обучения не обладают «способностью» анализировать результаты
предыдущих итераций и выделять направления, более перспек-
тивные в смысле убывания минимизируемой функции, и сходят-
ся, вообще говоря, медленно.
Между тем ясно, что от метода случайного поиска можно
ожидать большей эффективности, если на каждой итерации учи-
тывать накопленный опыт поиска минимума на предыдущих
итерациях и перестраивать вероятностные свойства поиска так,
чтобы направления £, более перспективные в смысле убывания
функции, становились более вероятными. Иначе говоря, жела-
тельно иметь алгоритмы случайного поиска, которые обладают
способностью к самообучению и самоусовершенствованию в про-
цессе поиска минимума в зависимости от конкретных особен-
ностей минимизируемой функции. Такой поиск называют слу-
чайным поиском с обучением. Обучение алгоритма осуществляют
посредством целенаправленного изменения закона распределения
случайного вектора g в зависимости от номера итерации и ре-
зультатов предыдущих итераций таким образом, чтобы «хоро-
шие» направления, по которым функция убывает, стали более
вероятными, а другие направления — менее вероятными. Таким
образом, на различных этапах метода случайного поиска с обу-
чением приходится иметь дело с реализациями случайных век-
торов § с различными законами распределения. Имея в виду
это обстоятельство, итерационный процесс (1) удобнее записать
в виде
uh+l = uk + ahlh, * = 0, 1, ..., (2)
подчеркнув зависимость случайного вектора § от к.
В начале поиска закон распределения случайного вектора
5 выбирают с учетом имеющейся априорной информации о
минимизируемой функции. Если такая информация отсутствует,
то поиск обычно начинают со случайного вектора £0 = (£о,- • • , £oh
компоненты Ц (Z = 1, ..п) которого представляют собой
независимые случайные величины, распределенные равномерно
на отрезке [—1, 1].
Для обучения алгоритма в процессе поиска часто берут семей-
ство случайных векторов £ = £(м?), зависящих от параметров
w = ..., м?п), и при переходе от &-Й итерации к (&+ 1)-й
итерации имеющиеся значения параметров wh заменяют
новыми значениями wh+i с учетом результатов предыдущего
поиска.
Приведем два варианта метода случайного поиска с обуче-
нием для минимизации функции J(u) на всем пространстве.
б 17]
О МЕТОДЕ СЛУЧАЙНОГО ПОИСКА
413
а) Алгоритм покоординатного обучения. Пусть имеется се-
мейство случайных векторов £ = £(н>) = (£\ • ••» £п)» каждая ко-
ордината которых принимает два значения: g’ = 1 с вероят-
ностью р* и £1 = — 1 с вероятностью 1 —р1, где вероятности р1
зависят от параметра w* следующим образом:
О, —1,
|(i + 4 M<i,
(3>
1, 1?>1
г = 1, ..
п.
Пусть начальное приближение uQ уже выбрано. Тогда для опре-
деления следующего приближения щ в формуле (2) при к = О
берется какая-либо реализация случайного вектора £о = £(О),
соответствующего значению параметров w = wQ = (0, 0, ..0).
Приближение и2 определяется по формуле (2) при к = 1 с по-
мощью случайного вектора ^ = ^(0). Пусть известны приближе-
ния Uo, Hi, ..., ик и значения параметров =(^-1, ..м ^£-1)
при некотором 1. Тогда полагаем
= PzPfe-i — 6 sign [(J (itfe-j) — J (uft-2)) («1-! — Ufe_2)],
i = l, к = 2, 3, (4'
где величина £ > 0 называется параметром забывания, б 0 —
параметром интенсивности обучения, £ + б > 0. При определении
следующего приближения uft+1 в формуле (2) берем какую-либо
реализацию случайного вектора ^к = g (wk), wk = (wk, •. wk)-
Из (3), (4) видно, что если переход от точки ufe_2 к ик^^
привел к уменьшению значения функции, то вероятность выбора
направления ик-^ — ик-2 на следующем шаге увеличивается.
И наоборот, если при переходе от ик_2 к uk-i значение функции
увеличилось, то вероятность выбора направления ик-{ — ик-2 на
последующем шаге уменьшается. Таким образом, формулы (4)
осуществляют обучение алгоритма. Величина б >0 в (4) регу-
лирует скорость обучения: чем больше б > 0, тем быстрее обу-
чается алгоритм; при 6 = 0, как видно, обучения нет. Величина
Р > 0 в формулах (4) регулирует влияние предыдущих значений
параметров на обучение алгоритма; при £ = 0 алгоритм «забы-
вает» предыдущие значения юк-^ Для устранения возможного
чрезмерного детерминирования алгоритма и сохранения способ-
ности алгоритма к достаточно быстрому обучению на параметры
накладываются ограничения и при нарушении
этих ограничений заменяются ближайшим из чисел сг и — с{
(i = l, ..., п). Величины р, б, с» являются параметрами алго-
ритма.
414 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Вместо формул (4), посредством которых производится обу-
чение алгоритма, часто пользуются другими формулами
wk — 1 — (uk—1) J (uk—2)) (uk—i ^—2)»
i = l, ...,n, к = 2, 3, ...
Описанный алгоритм покоординатного обучения имеет тот
недостаток, что поиск и обучение происходят лишь по одному
из 2т направлений g = (g\ ..., gn), где либо g1 = l, либо g’= —1.
Отсутствие «промежуточных» направлений делает покоординат-
ное обучение немобильным в областях с медленно изменяющи-
мися направлениями спуска. От этого недостатка свободен сле-
дующий алгоритм.
б) Алгоритм непрерывного самообучения. Пусть имеется се-
мейство случайных векторов £ = £ (ш) = jгде w = .
«.., wn)— параметры обучения, ц = (ц1, .цп)— случайный век-
тор, координаты ц* которого представляют собой независимые
случайные величины, распределенные равномерно на отрезке
[—1, 1]. Поиск начинается с рассмотрения случайных векторов
go = g (0), gi = g (0), реализации которых используются при
определении приближений и0, ut по формулам (2). Обучение ал-
горитма при к > 2 производится так же, как в алгоритме по-
координатного обучения, с помощью формул (4) или (5). При
больших значениях 1^1 влияние случайной величины ц умень-
шается, и направление gft = g(^ft) становится более детермини-
рованным и близким к направлению wk. Во избежание излиш-
ней детерминированности метода на параметры^ = ..., w%)
накладываются ограничения IzpJ с = const, и при нарушении
wk
этих ограничений wk заменяется на -j-г с.
I wk\
Приведенные алгоритмы случайного поиска с обучением по-
казывают, что процесс обучения в ходе поиска сопровождается
уменьшением фактора случайности и увеличением степени де-
терминированности алгоритма поиска минимума, направляя по-
иск преимущественно по направлению убывания функции. В то
же время наличие случайного фактора в выборе направления
дает возможность алгоритму «переучитываться», если свойства
функции в районе поиска изменились или предыдущее обучение
было неточным. Случайный поиск с обучением в некотором
смысле занимает промежуточное положение между случайным
поиском без обучения и детерминированными методами поиска
минимума из предыдущих параграфов. Разумеется, и в методах
предыдущих параграфов можно обнаружить в том или ином виде
элементы самообучения алгоритма, однако наличие случайного
фактора в алгоритме делает метод случайного поиска более
гибким.
§ 18]
ОБЩИЕ ЗАМЕЧАНИЯ
415
3. Весьма усложняет решение задачи минимизации функций
многих переменных наличие помех, когда на значения функции
Ци) в каждой точке и накладываются случайные ошибки.
В этих случаях можно использовать метод стохастической ап-
проксимации. Один из вариантов этого метода был описан в
§ 1.13 применительно к задачам минимизации функций одной
переменной. Для функций п переменных эта процедура приво-
дит к построению последовательности {uh} по закону
./ „ z(uk + ckei)~4uk-ckei) -4
ch
& = 0, l,...g
где е» = (0, ..., О, 1, 0, ..., 0), z (и)—наблюдаемые в эксперимен-
те значения функции Ци) в точке и, последовательности {ак}т
{cj удовлетворяют условиям (1.13.2).
Заметим, что задача минимизации функций при наличии
случайных ошибок относится к задачам стохастического про-
граммирования. Более подробно о стохастическом программиро-
вании, о теоретических и вычислительных аспектах методов
случайного поиска, стохастической аппроксимации см., например,
в [И, 49, ИЗ, 123, 127, 147, 148, 151, 154, 157, 158, 173, 180,
214, 235, 259, 279, 306, 339].
§ 18. Общие замечания
Выше были рассмотрены лишь немногие из известных в на-
стоящее время методов минимизации. В гл. 7 мы обсудим еще
один метод решения задач минимизации специального вида —
метод динамического программирования. Заметим, что по сей
день интенсивно продолжается разработка все новых и новых
методов решения экстремальных задач, о чем свидетельствует
неуклонно растущее количество публикаций в научной печати
по этой тематике.
1. Возникают естественные вопросы: чем руководствоваться
при выборе метода для решения той или иной конкретной экс-
тремальной задачи, какой же метод является наилучшим? Иногда
считают, что тот метод лучше, у которого выше скорость сходи-
мости на некотором фиксированном классе задач. Однако при
таком способе оценки методов не принимается во внимание та-
кое важное качество, как трудоемкость каждой отдельно взятой
итерации метода. Нередко бывает, что при решении конкретной
задачи выгоднее применять метод, который сходится не очень
быстро и для получения решения с нужной точностью требует
довольно большого числа итераций, но тем не менее из-за того,
что каждая итерация метода осуществляется просто, суммарный
объем вычислений и, следовательно, общее машинное время для
получения решения оказывается меньшим, чем при применении
416 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
другого быстросходящегося метода, каждая итерация которого
весьма трудоемка. Таким образом, при характеристике метода
минимизации важным является не столько скорость его сходи-
мости, сколько общий объем вычислений, общее машинное вре-
мя, необходимое для получения решения с нужной точностью.
При практическом использовании методов значительная часть
времени, отведенного на расчеты, часто затрачивается на вы-
числение значений минимизируемой функции или ее производ-
ных. Поэтому в тех случаях, когда вычисление значений функ-
ции намного проще вычисления ее производных, естественно,
выгоднее пользоваться теми методами, которые для своей реали-
зации требуют лишь вычисления значений функции. Конечно,
возможны и такие ситуации, когда имеются простые аналитиче-
ские выражения для производных минимизируемой функции,—
в таких случаях, возможно, выгоднее применять методы, исполь-
зующие градиент или производные более высокого порядка.
Важными характеристиками метода минимизации являются
также область сходимости метода, устойчивость метода к по-
грешностям, объем памяти ЭВМ, необходимой для реализации
метода, удобство программирования, широта класса задач, к ко-
торым применим метод, и т. п.
Большое количество разнообразных и отчасти противоречи-
вых характеристик методов, недостаточная разработанность ме-
тодики оценки упомянутых характеристик затрудняют сравне-
ние методов друг с другом. Иногда для сравнения методов
минимизации задают некоторой набор тестовых задач (набор
таких задач см., например, в [314]) и лучшим признают тот ме-
тод, с помощью которого удается решить указанные тестовые
задачи с нужной точностью за меньшее число итераций, мень-
шее число вычислений значений функции или ее производных,
или за меньшее машинное время. Несомненно, такие «соревно-
вания» методов полезны, хотя и на их основе нельзя делать
окончательные выводы о преимуществах того или иного метода.
Здесь следует также заметить, что один и тот же метод, приме-
ненный для минимизации одной и той же функции, может при-
вести к различным результатам в зависимости от того, на каком
алгоритмическом языке составлена программа, каково качество
транслятора (квалификация программиста), на какой ЭВМ ре-
шается задача и т. д.
Конечно, хотелось бы иметь метод, наилучший во всех отно-
шениях. Однако такого универсального метода пока нет, и вряд
ли такой метод существует. Поэтому для эффективного решения
конкретной задачи минимизации, по-видимому, нужно разумно
сочетать различные методы с учетом всевозможной априорной
информации о решаемой задаче (гладкость исходных данных,
выпуклость, физические или какие-либо иные соображения об
области возможного расположения точки минимума и т. д.)1
§ 18]
ОБЩИЕ ЗАМЕЧАНИЯ
417
имеющихся вычислительных средств, ресурсов машинного вре-
мени и т. п. В тех случаях, когда нет никакой априорной ин-
формации о задаче, которую нужно решить, по-видимому, сна-
чала полезно попробовать применить не очень точные, но про-
стые методы минимизации (например, метод перебора значений
функций на сетке с небольшим числом узловых точек, метод
покоординатного спуска, метод случайного поиска), а затем на
основе накопленной информации при необходимости перейти к
более точным методам.
2. Успешное решение различных классов прикладных экстре-
мальных задач невозможно без пакета минимизации, состоящего
из библиотеки подпрограмм, охватывающей достаточно много
методов минимизации, а также управляющих и вспомогатель-
ных программ. Пакеты минимизации могут быть использованы
в автоматизированном или диалоговом режиме.
При работе с пакетом в диалоговом режиме математик — вы-
числитель, получая сведения о текущих результатах, оперативно
вмешивается в процесс минимизации, осуществляет переход о г
одного метода к другому, изменяет параметры методов, пара-
метры программ. Диалоговый режим работы с пакетом миними-
зации позволяет лучшим образом использовать опыт и интуи-
цию математика — вычислителя и предъявляет высокие требова-
ния к его профессиональным знаниям в области методов решения
экстремальных задач.
В тех случаях, когда пользователь, т. е. специалист, проводя-
щий расчеты, не является компетентным в области методов ре-
шения экстремальных задач, желательно иметь пакеты миними-
зации, работающие в автоматическом режиме. Для работы в
этом режиме пакет должен содержать управляющую программу,
обеспечивающую автоматический выбор наиболее подходящей
последовательности используемых методов, их параметров в за-
висимости от конкретной решаемой задачи.
Принцип построения пакетов минимизации, примеры таких
пакетов описаны в [8, 15]. Заметим, что создание эффективно
действующих и достаточно универсальных пакетов минимиза-
ции, которые могут быть использованы в различных режимах,
представляет собой важную и большую научно-техническую
задачу.
3. Следует обратить внимание читателя на то, что первона-
чальная постановка прикладных задач минимизации зачастую
бывает достаточно грубой, упрощенной и предполагает, что в
процессе решения задача будет уточняться. Это значит, что
первоначальный вариант задачи не всегда имеет смысл решать
слишком точно. Иногда гораздо выгоднее с помощью простых
методов, с небольшой затратой машинного времени получить
грубые предварительные результаты и затем проанализировать
их вместе с экспертами, с заказчиком. Уже при таком упрощен-
418 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
ном анализе может выясниться, что некоторые параметры и ог-
раничения, ранее казавшиеся несущественными и поэтому не
учтенные в первоначальной постановке задачи, должны быть
включены в нее, и наоборот, часть прежних параметров и огра-
ничений могут оказаться несущественными и без ущерба для
существа задачи могут быть опущены. Заметим, что процесс
уточнения постановки задачи весьма удобно проводить с по-
мощью пакета минимизации в диалоговом режиме.
Иногда стремятся учесть многие детали задачи и создать
слишком подробную математическую модель исследуемого про-
цесса, а затем пытаются найти наилучшие, оптимальные значе-
ния всех параметров процесса. Однако такой подход может при-
вести к задаче минимизации с очень большим числом перемен-
ных и численное решение такой задачи может встретить не-
преодолимые трудности. Но даже в тех случаях, когда удается
найти оптимальные значения параметров, их практическое ис-
пользование может оказаться невозможным из-за того, что за-
казчик, будучи не в состоянии охватить полученную информа-
цию, может не понять разумность выработанных на ее основе
рекомендаций и может от них вообще отказаться. Поэтому на
первых этапах исследования прикладных задач минимизации
желательно пользоваться простыми моделями, учитывающими
основные, определяющие параметры.
4. К сожалению, последнему совету удается следовать не
всегда. Например, математические модели социально-экономиче-
ских процессов, достаточно адекватно отражающих основные
закономерности, как правило, чрезвычайно сложны, содержат
большое число переменных и приводят к так называемым зада-
чам минимизации большой размерности. Численное решение
таких задач обычными методами становится невозможным даже
при использовании самых мощных современных ЭВМ. Некото-
рые классы задач большой размерности допускают разбиение на
ряд слабо связанных между собой подзадач, имеющих сравни-
тельно небольшие размерности, решая которые, иногда удается
получить приближенное решение исходной задачи. Следует за-
метить, что задачи минимизации большой размерности к настоя-
щему времени изучены слабо. Некоторые методы решения таких
задач см., например, в [111, 117, 194, 203, 242, 302, 320, 330].
5. В ряде методов минимизации, описанных выше, предпола-
галось, что начальная точка и0, принадлежащая множеству U,
известна. Для некоторых множеств, таких, как, например, па-
раллелепипед, шар, гиперплоскость, указать такую точку uQ сов-
сем нетрудно. Однако не следует думать, что определение точки
и0 из любого множества U всегда просто. Например, если
U={u^En: gi(u)—0, г = 1, ..., $}, (1)
то для определения точки uQ е U нужно решать систему урав-
ОБЩИЕ ЗАМЕЧАНИЯ
419
§ 18]
нений (вообще говоря, нелинейных). Чтобы найти какую-либо
точку множества
U ={и еЕп: 0, i = l, т}, (2)
придется решать систему неравенств. Определение решения си-
стем линейных или нелинейных уравнений и неравенств пред-
ставляет собой весьма серьезную задачу, которой посвящена об-
ширная литература; см., например, [4, 8, 13ц 20, 22, 39, 42, 45,
54, 73, 76, 93, 106, 111, 112, 117, 119, 162, 200, 209, 221, 237-
239, 277, 282, 296, 298, 301, 321, 324, 335J.
Полезно заметить, что задачу нахождения какой-либо точки
Но, принадлежащей множеству (1) или (2), можно переформу-
лировать в виде задачи минимизации. А именно, в случае мно-
жества (1) введем функцию
р (и) = 2 d (w), “ <= £П.
i = l
а в случае множества (2)— функцию
т
P(u) = 2 (max (g. (и); 0))р, и<=Еп, р>0,
2=1
и рассмотрим задачу минимизации
P(n)->inf; и^Еп.
Для решения этой задачи могут быть использованы любые под-
ходящие методы минимизации. Если U ¥= 0, то условие и0 е U
равносильно условию P(uo) = O = intP(u) = P*. ЕслиР*>0,
Еп
то U = 0. Если же 7%. = 0, но нижняя грань Р(и) на Еп не
достигается, то также £7 = 0.
Если
U ={и е= Еп: Uo, gi(u)^ 0, i = 1, ..., тп, gi(u)= 0,
i = т + 1, ..., s),
то для определения какой-либо точки и0 е U можно рассмотреть
задачу минимизации
Р(и) = 2 (max{g.(u); 0})р + 2 ki(u)|P~>inf; U^UO, р>0.
2=1 v г—m-|-l
Здесь предполагается, что множество Uo имеет столь простую
структуру, что нахождение точки и0 е Uo не вызывает
трудностей.
Задачу отыскания точки, принадлежащей множеству (2),
можно свести к несколько иной задаче минимизации
с -> inf; z =(u, о)е G ={z = (u, о)е En+l: gi(u)^ a, i = 1,..., тп}.
(3)
420
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Понятно, что если £7 =# 0, то infa^O. Определение начальной
G
точки z0=(uQ, g0)^G не вызывает трудностей: достаточно взять
какую-либо точку и0^Еп и положить п0 = max gi(uQ). Для ре-
шения задачи (3) может быть использован, например, метод
возможных направлений. Итерационный процесс можно прекра-
тить, как только обнаружится точка z = (n, o)eG, для которой
о 0. В том случае, когда множество (2) регулярно, т. е. су-
ществует точка v Еп, для которой gi(v)<0 (i«l, ..., m), то
inf о < 0, и ясно, что любой сходящийся метод минимизации в
G
задаче (3) позволит за конечное число итераций найти точку
множества (2).
6. Интересно проанализировать доказательства теорем сходи-
мости градиентного метода, методов проекции градиента, воз-
можных направлений, условного градиента и т. д. Такой анализ
показывает, что проводимые рассуждения опираются на предпо-
ложения одного и того же типа, содержат много общих момен-
тов, техника получения оценок скорости сходимости имеет об-
щие черты. Возникает вопрос, нельзя ли создать общую методи-
ку исследования сходимости если и не всех, то хотя бы некото-
рых достаточно широких семейств методов минимизации? Ока-
зывается, это возможно. К настоящему времени сделаны весьма
удачные и интересные попытки создания такой методики, по-
зволяющей единообразно исследовать сходимость широких клас-
сов методов минимизации, получать оценку скорости сходимо-
сти. К сожалению, мы здесь не имеем возможности останавли-
ваться на этих увлекательных вопросах и отсылаем читателя
к работам [8, И, 49, 140, 159, 214, 235, 248, 250].
Глава 6
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
В этой главе рассматриваются задачи оптимального управления про-
цессами, описываемыми системами обыкновенных дифференциальных урав-
нений. Этот класс экстремальных задач существенно отличается от рас-
смотренных: если в задачах минимизации функции конечного числа пере-
менных искомая точка минимума являлась точкой n-мерного пространства,
то в задачах оптимального управления искомая точка минимума, вообще
говоря, представляет собой функцию, принадлежащую некоторому беско-
нечномерному функциональному пространству. Такие задачи имеют много-
численные приложения в механике космического полета, в вопросах:
управления электроприводами, химическими или ядерными реакторами,
виброзащиты и т. д.
Эффективным средством исследования задач оптимального управления
является принцип максимума Понтрягина [17], представляющий собой
необходимое условие оптимальности в таких задачах. Принцип максимума,
открытый коллективом советских математиков во главе о академиком
Л. С. Понтрягиным, представляет собой одно из крупных достижений
современной математики и является краеугольным камнем современной
математической теории оптимального управления. Принцип максимума
Понтрягина существенно обобщает и развивает основные результаты клас-
сического вариационного исчисления, созданного Эйлером, Лагранжем и
другими выдающимися математиками прошлого. Появление принципа мак-
симума стимулировало последующее бурное развитие теории экстремальных
задач и методов их решения.
Из обширной литературы, посвященной различным аспектам совре-
менной теории оптимального управления и управляемых систем, их при-
ложений, упомянем [1, 2, 5—9, 14, 17, 22, 28, 31, 32, 34, 36—38, 43, 50, 51,
59—70, 75, 77, 80, 81, 97—101, 104, 117, 118, 120, 121, 124, 125, 136—138, 142,
149, 161, 166, 167, 172, 174, 175, 181—189, 192, 193, 199, 204—206, 210—212,
217, 218-220, 222, 223, 226, 232, 234, 236, 243, 244, 246, 248, 249, 252—254, 260,
263, 268, 271, 273, 275, 280, 281, 285, 286, 289, 290, 293, 294, 300, 303—306*
308—311, 315, 317, 319, 325—328, 339, 341, 342].
§ 1. Постановка задачи оптимального управления
1. Сначала приведем несколько конкретных задач оптималь-
ного управления.
Пример 1. Движение плоского маятника, подвешенного к
точке опоры при помощи жесткого невесомого стержня
(рис. 6.1), как известно, описывается уравнением
IQ + 60 + mgl sin 0 = М(т),
422
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
где I __ длина жесткого стержня маятника, т — масса, сосредо-
точенная в конце стержня, I = ml2 — момент инерции, g — гра-
витационная постоянная (ускорение силы тяжести), —
коэффициент демпфирования, т — время, М(х)—внешний уп-
равляющий момент, 0 = 0(т)— угол отклонения стержня от точ-
ки устойчивого равновесия. Если сделать
замену переменной t — тУ mgl/1, то это
1 \\ уравнение можно привести к виду
। Ф + + sin ф = u(£), (1)
' \\ где _______ __________________
। \\ ф = ф(^) = 0(^VZ/(mgZ)), р = bJUmgl,
I u(t) = М (t^I/(mgl))/(mgl).
1 т
Рис. 6.1 Обозначим я1(£) = ф(£) (угол отклоне-
ния маятника), я2(£)=ф(£) (скорость ма-
ятника). Тогда уравнение (1) запишется в виде системы двух
уравненйй первого порядка:
х1 (t) — х2 (t), х2 (i) = —фх2 (£) — sin xi (t) + u(t). (2)
Пусть в начальный момент t = 0 маятник отклонился на угол
х1 (0) = х% и имеет начальную скорость х2 (0) = х*. Будем также
считать, что функция u(t)—управляющий момент (выбор кото-
рого может влиять на движение маятника) — удовлетворяет
ограничению
lu(0l^Y, у = const > 0, t > 0. (3)
Здесь возможны следующие постановки задач оптимального
управления: выбрать управление u(Z), удовлетворяющее усло-
виям (3) так, чтобы:
1) за минимальное время Т остановить маятник в однЬй из
точек устойчивого равновесия, т. е. добиться выполнения
условий
x1(T) = 2n/c, х2(Т)=0 (4)
при некотором к (к = 0, ±1, ...) (задача быстродействия);
2) за минимальное время Т добиться выполнения условия
(х1(Т))2+(х2(Т))2<8,
где 8 > 0 — заданное число;
3) к заданному моменту Т величина (%\Т))2 + (х2 (Т))\ или
j (х1 (О)2 dt, или J ((х1 (t))2 + (х2 (Z))2) dt, или max | х1 (Z) |, или
О 0
max max {| х1 (t) |, | x2(t) |} принимала минимально возможное значе-
ние, или
§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 423
4) в заданный момент Т выполнялось равенство
а величина х^Т) была максимально возможной (задача о на-
коплении возмущений), или
5) к заданному моменту Т добиться выполнения условий
т
(4) и минимизировать величину j и2 (t) dt (выполнение условия
6
(3) здесь необязательно).
Если колебание маятника ограничено какими-либо упорами,
то в перечисленных задачах нужно еще требовать выполнения
условия вида
la:1 (t) 1 С ц, ц = const > 0.
На управление u(t) вместо условия (3) (или наряду с условия-
ми (3)) могут накладываться ограничения вида
т
( u2(t) dt^.R,
о
где 7? = const > 0.
При изучении малых колебаний маятника часто полагают
sin ф « ф, и тогда уравнение (1) и эквивалентная ему система
становятся линейными и будут иметь вид
ф + ^ф + ф = u(t)
и соответственно
х* (t)*= х2 (t), x2(t) = -—fix2(t) — xl(t)+ u(t).
Пример 2. Как известно [121, с. 129], движение центра
масс космического аппарата и расход массы описывается систе-
мой дифференциальных уравнений
r = p, v = gp/G + F, G = —gq, (5)
где t — время, r = = r2(t), r3(t))— радиус-вектор
центра масс аппарата, v = v(t) = (<vi(t), p2(^), уз(0)—скорость
центра масс, G = G(t)—текущий вес аппарата, g — коэффициент
пропорциональности между массой и весом, р = =
p2(t), Рз (0)—вектор тяги двигателя, q = q(t)—расход рабоче-
го вещества, F = F(r, £) = (F1? F2l F3)—вектор ускорения от
гравитационных сил.
В каждый момент времени t движение космического аппара-
та характеризуется величинами r(Z), v(t), G(t), называемыми
фазовыми координатами. Пусть в начальный момент t = 0 фазо-
вые координаты аппарата известны:
г(О)=го, v(O)=po, G(O)=Go. (6)
Величины q = q(t)1 p = p(t) являются управлением — задавая
их по-разному, можно получить различные фазовые траектории
VA
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
(решения) задачи (5), (6). Конструктивные возможности аппа-
рата, ограниченность ресурсов рабочего вещества накладывают
на управление q(t), p(t) ограничения, например, вида
Pmin ।Р । Ртах? Qmin 7 (^) ^ (/max, 0 t Т
Т
или J q2, (t) dt^R, R — const > 0. Кроме того, на фазовые тра-
о
ектории задачи (5), (6) могут накладываться некоторые огра-
ничения, вытекающие, например, из условий того, чтобы вес
аппарата был не меньше определенной величины или траекто-
рия полета проходила вне определенных областей космического
пространства (областей повышенной радиации) и др.
Здесь возникают задачи выбора управлений q(t), p(t) так,
чтобы управления и соответствующие им траектории задачи
(5), (6) удовлетворяли всем наложенным ограничениям, и кро-
ме того, достигалась та или иная цель. Например, здесь возмож-
ны следующие задачи:
1) попасть в заданную точку или область космического про-
странства за минимальное время;
2) к заданному моменту времени попасть в заданную об-
ласть пространства с заданной скоростью (совершить мягкую
посадку, например) и с максимальным весом аппарата или с
минимальной затратой энергии;
3) достичь определенной скорости за минимальное вре-
мя и т. п.
Большое число прикладных задач оптимального управления,
связанных с механикой полета летательных аппаратов в космо-
се и атмосфере, с работой электроприводов, химических и ядер-
ных реакторов, с вопросами виброзащиты и амортизации, с ма-
тематической экономикой и т. д., читатель найдет в [9, 14, 28,
35, 40, 43, 68, 69, 75, 118, 121, 124, 125, 188, 189, 192, 199, 202,
207, 208, 217, 218, 243, 257, 260, 261, 263, 290, 300, 303-305,
309, 310, 322, 323, 325-328].
2. Приведенные в примерах 1, 2 задачи являются частным
случаем более общей задачи оптимального управления, к фор-
мулировке которой мы переходим. Пусть движение некоторого
управляемого объекта (течение управляемого процесса, изме-
нение управляемой системы) описывается обыкновенными диф-
ференциальными уравнениями
х* = f х2, ..., хп, и2, ..., ur), i = 1, ..., п,
которые в векторной форме можно записать в виде
х = /(я, и, t),
(7)
где t — время, ж==(гг1, х\ ..., хп)—величины, характеризующие
движение объекта в зависимости от времени и называемые фа-
§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 425
зовыми координатами объекта, и~(и1, и2, ..., иг)—параметры
управления («положение рулей» объекта), выбором которых
можно влиять на движение объекта, / = (/, /2, ../п); функции
f(x, и, t) (£ = 1, п), описывающие внутреннее устройство
объекта и учитывающие различные внешние факторы, предпо-
лагаются известными.
Для того, чтобы фазовые координаты объекта (процесса,
системы) (7) были определены в виде функций времени
x = x(t) на некотором отрезке tQ t Т, необходимо в началь-
ный момент времени t0 задать начальное условие x(t6) = xQ и
параметры управления u=(ui, и2, ..., иг) как функции време-
ни u = u(t) при t^[tQ, Т]. Тогда фазовые координаты x = x(t),
будут определяться как решение следующей задачи Коши:
x(Z) = f(x(t), u(t), t), tQ^t^T, (8)
x(tQ) = xQ. (9)
Нетрудно видеть, что функции u = u(t), называемые управле-
ниями, должны удовлетворять определенным требованиям не-
прерывности, гладкости, так как, с одной стороны, при слишком
«плохих» (слишком «разрывных») u(t) задача (8), (9) не бу-
дет иметь смысла, с другой стороны, слишком «плохая» функ-
ция u(t) не будет иметь физического смысла управления.
В большинстве прикладных задач в качестве управлений
u = u(i) могут быть взяты кусочно-непрерывные функции. На-
поминаем, что функция u(t) называется кусочно-непрерывной
на отрезке |70, Т], если непрерывна во всех точках
е [/о, Т], за исключением, быть может, лишь конечного числа
точек Ti, ..., тР е [t0, Т], в которых функция u(t) может тер-
петь разрывы типа скачка, т. е. существуют конечные пределы
lim и(^) = п(Т| — 0), lim и (f) и (Т| + 0),
но, вообще говоря, — 0)¥= + 0) (z = 1, .. ., р). В тех
прикладных задачах, в которых разрывные управления техни-
чески нереализуемы, рассматриваются лишь непрерывные уп-
равления u(t). Встречаются также задачи, в которых, кроме не-
прерывности, от u(t) требуется существование кусочно-непре-
рывной производной u(t)—такие управления называют кусоч-
но-гладкими.
В теоретических исследованиях упомянутые классы кусочпо-
непрерывных, кусочно-гладких управлений часто бывают слиш-
ком узкими, и вместо них приходится рассматривать более ши-
рокие классы управлений, такие, как, например, пространство
Lp [*о, Л при некотором р (1 р оо) [179]. Через Lp [f0, Т]
при 1 р < оо будем обозначать пространство измеримых век-
тор-функций u(t} = (ux (t), ur{t)) для которых
функция lu(£)lp суммируема на |70, Т| в смысле Лебега, и,
426
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
ОО.
следовательно, имеет смысл норма
(т \1/р
Если р = °о, то под ЬГоо [£0, Т] понимается пространство ограни-
ченных измеримых вектор-функций и (t) = (и1 (£), ..ur (Z))
с нормой
IIиtoo = ess su₽ Iм (01 = inf sup IV (i) |,
t0<i<r ®(t)
где v(t) пробегает множество всех измеримых функций, совпа-
дающих с u(t) почти всюду на отрезке [£0, Т]. Если читатель
недостаточно знаком с интегралом Лебега и пространствами
Л [179], то всюду в этой главе он может считать, что
все рассматриваемые управления u(t) суть кусочно-непрерыв-
ные функции.
Далее, как видно из примеров 1, 2, значения управлений не
могут быть совершенно произвольными и подчиняются некото-
рым ограничениям. Такие ограничения можно описать условием
u(t)e=V(t), (10)
где V(t)—заданное множество из Ег при каждом Т].
Например, в случае ограничений (3) V(t)={u: и$=Е\
при всех t. Для кусочно-непрерывных управлений выполнение
условий (10) требуется для всех [£0, Т], а для измеримых
управлений — почти всюду на [t0, Т].
Кроме ограничений (10), возможны также и ограниче-
ния вида
т
|| и||£р — J \u(t)\p dt^Rp, R ~ const > 0, (И)
*0
при некотором р (1 р < 00).
Таким образом, постановка задачи оптимального управления
прежде всего предполагает, что выбран некоторый класс функ-
ций — управлений (например, кусочно-непрерывные, кусочно-
гладкие или функции из Lplt01 Т] (l^p^oo)) и указаны
налагаемые на них ограничения (например, ограничения вида
(10) или (11)).
Заметим, что в учебной литературе символом
— (z1^), ..., часто обозначают как значение функции в
точке t, так и саму функцию, которая представляет собой отобра-
жение области определения функции в пространстве Ет, ставя-
щее в соответствие каждой точке t из области определения не-
которую точку из £т. Отдавая дань традициям, мы будем про-
должать пользоваться этим не вполне определенным символом
ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ
427
§ И
в тех случаях, когда из контекста нетрудно понять, идет ли
речь о функции в целом или о ее значении в конкретной точке.
В тех случаях, когда обозначение z(t) может привести к недо-
разумениям, за значением функции в точке t будем сохранять
обозначение z(£), а саму функцию будем обозначать через з(-)
или просто z. В свете этих обозначений подчеркнем, что ограни-
чения (10) являются ограничениями на значения функции,
и поэтому было бы бессмысленно вместо (10) писать и(-)е Г(/).
Ограничение (И), наоборот, накладывается на всю функцию
и(-) в целом и не является ограничением на значения функ-
ции— функция и(-), удовлетворяющая этому ограничению, в
отдельных точках или промежутках малой длины может прини-
мать произвольные значения. Поэтому (11) можно записать
в виде || и (-)|| Lp R, а обозначение || и (t) \\Lp /?, иногда встре-
чающееся в литературе, не вполне удачное.
3. Итак, пусть заданы точка х0 е Еп и некоторое кусочно-не-
прерывное управление u = u(-) = u(t) или уп-
равление и(-) е Lrp [£0, Т] при некотором р > 1. Рассмотрим
задачу Коши (8), (9), Сразу же возникает вопрос: что пони-
мать под решением этой задачи? Если функции u(t), f(x, и, t)
непрерывны, то, как обычно принято в учебниках по диффе-
ренциальным уравнениям [172, 251, 295], под решением задачи
(8), (9) можно понимать функцию х — х(-) = x(t), t0^t^T,
которая непрерывно дифференцируема на отрезке [£0, Z] и
удовлетворяет условиям (8), (9). Однако для случая кусочпо-
пепрерывных или измеримых управлений, как видно из (8),
требовать существование непрерывно дифференцируемого реше-
ния задачи (8), (9), вообще говоря, не имеет смысла. Поэтому
мы будем пользоваться следующим более общим определением
решения задачи (8), (9).
Определение 1. Непрерывную функцию x = x(-)—x(t),
t0 С t С Т, удовлетворяющую равенству
t
X (t) = j / (х (т), и (т), т) dx + 0*0, tQ (12)
будем называть решением или траекторией задачи (8), (9), со-
ответствующей начальному условию xQ и управлению u = u(-),
и будем обозначать через х — х{-, и, xQ)=x(-, &(•), х0) пли
x = x(t, и, х0) (t0^t^T). Начальную точку x(t0, и, xQ) будем
называть левым концом траектории хс(-, u, <r0), tQ — начальным
моментом, х(Т, и, х0)—правым концом траектории, Т — конеч-
ным моментом.
В тех случаях, когда ясно, какому именно управлению п(-)
или начальному условию xQ соответствует траектория, в обозна-
чении х(-, и, Xq) букву и или Xq будем опускать и просто писать
х{-, и) или х(-, х0) или х = х(’) = x(t) (£0 t С Т).
428
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
Классические теоремы существования и единственности ре-
шения задачи Коши
# = g(^, £), ^(^о) = ^о,
в учебниках по дифференциальным уравнениям обычно доказы-
ваются при требовании непрерывности g(x, t) и g«(^, t) по со-
вокупности переменных в некоторой области, содержащей точ-
ку (xQ, t0) (условие непрерывности gx(x, t) часто заменяется
условием Липшица g(x, t) по переменной х) [172, 251, 295].
Однако если и (t) е Lp [£0, Т] (р 1), то непрерывности
g(x, t) = f(x, u(t), t) по переменной t ожидать не приходится
и классические теоремы существования и единственности реше-
ния здесь становятся недостаточными. Тем не менее, используя
ту же технику доказательства упомянутых классических тео-
рем, можно получить существование и единственность решения
задачи (8), (9) и для кусочно-непрерывных управлений u(t)
или u(t) Lp[tQ, Г] (р^1). Мы здесь ограничимся доказа-
тельством следующей теоремы.
Теорема 1. Пусть функция f(x, и, t) определена и не-
прерывна по совокупности переменных при всех (х, и, t)^EnX
XEr X [t0, Т] и пусть
\f(x, и, t) — f(y, и, t) \ L(t)\x — у\ (13)
при всех (х, и, t), (у, и, t)^EnXEr Х[К, Г], где L(t) — неот-
рицательная функция, принадлежащая L^to, Т]. Тогда для лю-
бого ограниченного измеримого управления u(t) (г. е. u(t)^
е [£0, Т]) и начального условия Хо задача (8), (9) имеет,
и притом единственное, решение x = x(t), определенное на
всем отрезке [£0, Т]. Это решение имеет производную x(t) почти
всюду на ро, Г], x(t) L^ltQ, Т] и удовлетворяет уравнению
(8) при почти всех t е [£0, Т].
Доказательство. Пространство непрерывных вектор-
функций х (i) = (xl (t), ..., хп (t)) (t0 t Т) с нормой
||ж|1с= max |«(01
обозначим через Сп [i0, Т]. Как известно [179], Сп [£0, Т] — пол-
ное нормированное пространство. Зафиксируем какие-либо точ-
ки Хо и ограниченное измеримое управление и = u(t) ,tQ С t Т,
Можно показать [2], что тогда для любой функции x(t)^
^Cn[tQ, Г] функция f(x(t), u(t), t) будет ограниченной изме-
римой функцией переменной t на отрезке [tQ, Т]. Определим
отображение А:
I
z (t) = Ах = j / (х (т), и (т), т) dx + xQ, tQ t Т, (14)
К
§ 1]
ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ
429
действующее из Cn[t0, Т] в Cn[tQ, Т]. Значение функции z (•)-=
= Ля(-) в точке t будем обозначать через Ax(-)(t). Покажем,
что отображение Ат — т-я. степень отображения А — при до-
статочно большом т будет сжимающим [179]. Для этого с по-
мощью индукции докажем, что для любых #(•), y()^Cn[tQl Т]
(t \ т
f L(x)dx |
+ /
о /
(15)
при всех t, tQ С t Т (m = 1, 2, ...). Из (14) с учетом усло-
вия (13) имеем
|4г(.)(0-4Н-)(0| =
t
j [/(я(т), w(r), т) — /(у(т), и(т), т)] dr
t0
t t
f L (т) I x (t) — у (т) I dx max | x (t) — у (т) | \ L (r) dx. (16)
*0 0 lo
Оценка (15) при т = 1 доказана. Пусть оценка (15) верна для
некоторого т > 1. Тогда с помощью неравенства (16) получим
\Am+lx — Ат+1у (•)(<)! = \А(Атх -4(Лтг/(.))(0|<
t
*0
t / т \ т
< f L (т) 4- max IX (I) — у (|) | [ f L (£) dx <
J m' i0^«T I j /
t
max |z(£) — fL(x)
' т \ m
) dx =
?0 /
t / т \ m+1
= 7^П)Г maxJa;(T)-y(T)|j4l dx =
° fo Vo /
1
(^ + 1)!
max | x (т) — у (т) |
для любых Г]. Оценка (15) доказана. Из этой оценки
430
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
?ГЛ. 6
следует, что г
||Л^(.)-Л’пг/(.)||С<^Г( Jb(T)dT) |H-)-H-)llc.
Vo /
1. Таким образом, отображение
из (12) следует, что получившаяся
абсолютно непрерывна, ее производ-
уравнение (8) удовлетворяется почти
доказана.
(Т \ш
I L (т) dx J = 0, то при достаточно большом пг
J I
(Т \ m
f L (т) dx
*0
Am является сжимающим. Из принципа сжимающих отображе-
ний ([179, с. 82]) следует существование единственной функции
x(-)g= Сп [tQ, Г], для которой х(-) = Ах(-), что равносильно вы-
полнению равенства (12).
Из свойств интеграла Лебега с переменным верхним преде-
лом (см. [179, с. 344]) и
функция х (£), tQ С t Т,
пая x(f) & [£0, Т], и
всюду на [£о, Т]. Теорема 1 .
Замечание 1. Вместо условия (13) можно потребовать
0/ I (#, и, f) ] . ч
непрерывность } (i, j = 1, ..., п) при
ох I dxJ
(х, и, Еп ХЕГ Х[*о, Г], однако в этом случае существование
решения задачи (8), (9) можно гарантировать, вообще говоря,
лишь на отрезке [£0, to + а], где а — достаточно малое число.
Замечание 2. Если управление и = u(t) Lp[tQ, Т]
то теорема 1 и ее доказательство останутся в силе,
если, например, дополнительно потребовать
\f(x, и, t)\^C0(\x\ + \u\^+Cl(t) (17)
для всех («г, u, t)^ Еп X Er X [£0, Т], где Со = const 0,
0, L{ [t0, Т). Условие (17) нужно для обеспечения
вклвочения f(x, u(t), t) Z/± [f0, 71] для любых x(-)^Cn[L, Г],
и Lrp [t0, 7], чтобы отображение (14) имело смысл.
Более тонкие теоремы существования и единственности ре-
шения задачи (8), (9) для управлений и (t) Lp [tQ, 71] (l ^p^
оо) можно найти в [2, 77, 104, 166, 199].
Остановимся еще на случае линейной системы, когда вместо
(8) имеет место
л(0 = ^1(0^(0+5(0^(0+/(0, tт, (18)
где A(t)—{aij(t)}, В (t)={bij(t)}—матрицы порядков п X п и
п X г соответственно, = ..., /n(Q) (to^t^T).
§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 431
Теорема 2. Пусть элементы {^(^)}, {6гД£)} матриц
B(t) принадлежат [£0, Т], a f(t)^Li[tQ, Т]. Тогда для
каждого управления и ~ u(t) е Lp[tQ, Т], где р — какое-либо
фиксированное число, 1 < р < оо, и любой точки xQ Еп задача
Коши для системы (18) с начальным условием x(t0) = xQ имеет,
и притом единственное, решение x = x(t) в смысле определе-
ния 1, определенное на всем отрезке [tQ, Т]. Это решение имеет
производную x{t) почти всюду на [70, Т], x(t)^L^[t0, Т] и
удовлетворяет уравнению (18) почти всюду на [tQ, Т]. Если
кроме перечисленных условий, еща имеет место включение
ftf)<=Lnp[tQ, Т], mo x(t)^Lnp[t„ Т\.
Доказательство. Нетрудно видеть, что правая часть
уравнения (18) удовлетворяет условию (13) с L(t) = ПЛ (t) II е
Loo [tQ, Т]. Кроме того, g (t)=A (t) х (t)-]-B (t) u(t) + f (t) e L™ T]
для любых x(t) e Cn [£0, T], и (t) e LTp[t., Т]. Дальнейшее дока-
зательство проводится так же, как доказательство теоремы 1.
4. Вернемся к постановке задачи оптимального управления.
Как видно из примеров 1, 2, не только на управляющие пара-
метры объекта, но и на его фазовые координаты могут накла-
дываться некоторые дополнительные ограничения, которые не
вытекают из свойств системы (8) и ограничений на управления.
Такие ограничения можно описать условием
#(£) = #(£, u(-), ^)eG(^), t0 Т, (19)
где G(t)—некоторое заданное множество из Еп при каждом
t^[t0, Z]. Ограничения (19) часто называют фазовыми огра-
ничениями.
Далее, начальный и конечный моменты времени tQ и Т,
tQ Т, характеризующие продолжительность движения объекта,
могут зависеть от управления (например, в задачах быстродей-
ствия) и не всегда могут быть заданы заранее. В таких случаях
обычно указывают ограничения
ioG0o, (20)
где Оо, 01 — заданные множества на числовой оси R ={t: —<*> <
<£<+<*>} (не исключается возможность, что 0O = R
или 0i — R).
Наконец, остановимся на условиях, которым должны удов-
летворять левый и правый концы траектории. Собственно гово-
ря, из включений (19) при t = t0 и t — Т уже следуют условия
^(^)^G(^o), х(Т)^ G(T), и в некоторых случаях нет необходи-
мости как-то еще иначе выделять ограничения на концы траек-
тории. Однако могут возникнуть ситуации (например, при
G(t) — En (tQ<t<T)), когда такие ограничения удобнее выде-
лить и рассматривать самостоятельно. В таких случаях будем
Считать, что в Еп при каждом tQ е 0О задано множество So(to)
432
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
и при каждом Т е 0t — множество *51(77), и условия на концах
траекторий будем записывать в виде
x(t0)^S0(t0), *o^0o; x(T)<=Si(T), T^&i. (21)
В задачах оптимального управления принята следующая
классификация условий (20), (21). Если множество 0О состоит
из единственной точки tOl то начальный момент называют за-
крепленным; если 0! состоит из одной точки Г, то конечный
момент называют закрепленным. Если множество 50(М [или
(Т7)] состоит из одной точки и не зависит от £0, т. е. 50(М^
—{xq}, t0 е 0О [или соответственно Si (Т) ={^i), Т 0J, то гово-
рят, что левый [правый] конец траектории закреплен. Если
So(to) — Еп, to^&o [или Si(T) = Еп, Т е 0J, то левый [правый]
конец траектории называют свободным. В остальных случаях
левый [соответственно правый] конец траектории называют под-
вижным. Примером того, как могут задаваться множества
So^to), является
So(to) = {y. y^G(to), h^y, f0)^O, z = l, ..., mo,
hi(y, М = 0, z = zn0 + l, ..., s0}, (22)
где функции hi(y, t) (z = l, ..., $0), определены при z/eG(i),
0О. Аналогично, примером множества Si(T) служит
(Т) ={х: х G (Т) , gi (х, Т) С 0, i = 1, ..., mv
gi(x, Т)= 0, i =* mi + 1, ..., (23)
где функции gi(x, t) (z = 1, ..., $i), определены при x^G(t),
t e= 0i.
В приложениях нередко возникают также задачи, в которых
левый и правый концы траектории должны выбираться согласо-
ванно, в зависимости друг от друга. Это требование можно за-
писать в виде
(x(t0), x(T))^S(t0, Т), £o^0o, (24)
где S(t0, Т) при каждом (£0, 77)^0oX0i представляет собой
заданное множество из Еп X Еп. Примером такого множества
является
S(tOl Т)={(х, у)^ Еп X Еп: g^x, у, tOl Т)^0, i = 1, ..., пг,
gi У, t0, Т)= 0, i = тп + 1, ..., $}, (25)
где gi(x, у, t, Т)—заданные функции переменных (я, у, t, Т)^
е Еп X Еп X 0о X 01. Понятно, что множества (21) являются
частным случаем множества (24), когда S(t0, Т) = 50 (^)Х 5Х (Г);
множества (22), (23)—частный случай (25).
5. Теперь перейдем к непосредственной формулировке зада-
чи оптимального управления. Пусть заданы множества 0О, 01 на
числовой оси R, inf0o<sup0i; V(t)^Er, G(t)<^En при всех t,
§ i] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 433
inf ©о t sup 04; S(t0, Т), t0 е ©о, Т е ©1. Пусть движение
фазовой точки х=(х\ ..., хп) описывается системой обыкновен-
ных дифференциальных уравнений (7), где функция f(x, и, t)
определена при х^ G(t), u^V(t), t^[tQ, Т7].
Набор (to, Т, хо^ и(-), х(-)) назовем допустимым, если
to е ©о, Ге01} to Т, управление и = и(-) = (и*(Г), ..., ur(t))
определено и кусочно-непрерывно на отрезке р0, 7] и удовлет-
воряет ограничению (10) на этом отрезке, а х = х(-) =
— х(-, и(-), xQ) — траектория задачи (8), (9) (см. определение
1), которая определена на отрезке ро, Т7] и удовлетворяет фазо-
вому ограничению (19), (x(to)~Xo, х(Т))^ S(tQ, Т). Будем
предполагать, что множество допустимых наборов непусто.
Пусть на множестве допустимых наборов задана функция
(или, как часто говорят, целевая функция или функционал)
J (х^, и(-), х(-), t0, Т) =
т
= f/°(«(0, u(t), t)dt + g0(x0, x(T), t0, Г), (26)
*0
где f(x, и, t), go(x, у, t, T)— заданные функции при x^G(t),
и^ V Р) > inf ©о С С sup ©t, Т ©ь
Задача оптимального управления заключается в том, чтобы
минимизировать или максимизировать функцию (26) на мно-
жестве допустимых наборов. Мы ограничимся рассмотрением
лишь задач минимизации, так как задача минимизации J всегда
может быть сведена к эквивалентной задаче минимизации (—7).
Обозначим
== inf/(я0), u(-), х(*), tQ, Т),
где нижняя грань берется по всем допустимым наборам. Допу-
стимый набор (xQ*, u^(-), х*(-), tQ*, Т*) назовем решением за-
дачи оптимального управления, и*(*)— оптимальным управле-
нием, х*(*)— оптимальной траекторией, если J (а^*, и*(-), х*(*),
Сформулированную задачу оптимального управления можно
записать в следующем кратком виде:
/(^0, ^(в), х(-), t0, Т) =
т
= f f(x(t), U(t), t)dt + g0(xQ, x(T), t0, T)^-inf, (27)
(0
x(f) = /(a;(i), “(0» (28)
x(t)e=.G(t), (29)
хеа) = х0, x(T)^S(t0, T), foe©o, reelf (30)
B(f)eV(f), (31)
434
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
подразумевая (если не оговорено другое), что управление
и = &(•)--кусочно-непрерывно на отрезке [£0, Т].
Если /° s 1, go — 0, то J(t0, Т, xQ, и(-), = Т — tQ —
в этом случае задачу (27) — (31) называют задачей быстродей-
ствия. Если f(x, и, £)^/г(я, и) (Z = 0, 1, ..., n), g0(x, у, t, Т)^
sg0(rr, у), множества S(tQl Т), F(f), G(t) не зависят от време-
ни, то задачу (27) — (31) называют автономной или стацио-
нарной.
Если начальный момент закреплен, т. е. 0О ={U, то в фор-
мулировке задачи (27) —(31) включение t0^&0 опускают, вме-
сто Цх0, и(-), я(-), tQl Т) пишут короче: J(я0, п(-), #(•), Т)
или J(xQ, и(-), Т), вместо S(tQ, Т) пишут S(T). Аналогично
поступают, если закреплены конечный момент Т или один из
концов траектории. В том случае, когда G(t) = En при всех t
или 5(£0, Т) = S0(t0)X S^T), где S0(t) = En, или Si(t)^En,
или V(t)=Er, то соответствующие из условий (29), (30), (31)
в постановке задачи (27) — (31) также явно не указывают. Ес-
ли 5(£0, Z)=^o(^o)X51(T), где S0(t0)^G(t0) или 51(71)^G(7T),
то включение x(t0)^S0(t0) или соответственно х(Т)^ S{(T)
будут учтены в условии (29), поэтому в (30) эти включения
можно опустить.
В приложениях встречаются задачи оптимального управле-
ния более общего вида, чем задача (27) — (31). Возможны си-
туации, когда наряду с ограничениями на управления и фазо-
вые координаты, записанными, так сказать, в разделенном ви-
де (29), (31), имеются более сложные ограничения вида
(u(0, t0 t Т, (32)
где W(t)—заданные множества из ЕгХЕп. Ограничения (29),
(31), (32) накладываются на значения функций u(£), x(t) в
каждой точке t, поэтому их можно назвать точечными ограниче-
ниями. Наряду с точечными ограничениями возможны также
ограничения вида
Л(#о, и(-), я(-), £0, Т)^ 0, i = 1, ..., тп2,
Jt(z0, м(’), #(’), ^о, Т)== 0, i = m + 1, ..., $2,
где
т
t0, Т) = J fi(x(t), u(t), t)dt + g°i(x0,x(T), t0, T),
*0
/?(я, u, f), g? (x, y, t, T) (f = 1, ..., $2) — заданные функции. Ог-
раничения (33) накладываются на функции и(-), х(-) —
==#(•, и(х), х0) в целом, поэтому их, в отличие от точечных,
можно назвать интегральными ограничениями. Кстати, заметим,
что ограничения вида (11) относятся к интегральным.
В теории оптимального управления рассматриваются также
задачи, учитывающие запаздывание информации, задачи с пара-
§ 2]
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
435
метрами, с дискретным временем, с более общим видом целевой
функции, задачи для интегро-дифференциальных уравнений,
для уравнений с частными производными, для стохастических
уравнений и др. С некоторыми из этих задач мы познакомим-
ся ниже,
Важнейшим обобщением задач оптимального управления яв-
ляются дифференциальные игры, описывающие конфликтно-уп-
равляемые системы, управляемые системы в условиях неопреде-
ленности. При исследовании управляемых систем наряду с за-
дачами оптимизации описанного выше типа рассматриваются
также и другие важные проблемы, такие, как управляемость,
наблюдаемость, инвариантность, чувствительность, устойчивость,
стабилизация, идентификация, фильтрация и т. д. У нас здесь
нет возможности хотя бы бегло остановиться на перечисленных
аспектах теории управляемых систем, и по этим вопросам мы
отсылаем читателя к литературе, упомянутой во введении к на-
стоящей главе.
§ 2. Формулировка принципа максимума. Примеры
1. Начнем с рассмотрения задачи оптимального управления
с закрепленным временем. А именно, пусть требуется миними-
зировать функцию
т
J(x0,u(-),x(-)) = $f(x(t),u(t),t)dt + g°(x0,x(T)) (1)
*0
при условиях
x(t) = f(x(t), и (V), t), tQ^t^T; x(t0) = x0, (2)
g^x», x(T))^0, f = l, ..., тп,
№, я(Т)) = 0, т = тп+1, .., s, W
u = u(t)^V, tQ^t^T, (4)
где моменты t0, Т предполагаются заданными, п = (п\ ..., иг),
х = (х\ ..., хп), f = ..., /п); управление и = и(-) является
кусочно-непрерывной функцией на отрезке [£0, Т]; f(x, и, t),
У)~~ заданные функции. Подчеркнем, что в задаче (1) —(4)
множество V <= Ег не зависит от времени и фазовые ограничения
при tQ<t<T отсутствуют. Очевидно, задача (1)—(4) является
частным случаем задачи (1.27) —(1.31). В (3) не исключаются
возможности, когда отсутствуют ограничения типа неравенств
(тп = 0), типа равенств ($ = тп>1) или все ограничения (3)
($ = тп — 0). Предполагается, что функции f(x, и, £), g*(x, у)
имеют частные производные df/dx'-f^ dgj/дхг= g^ dg,/dyz—g
(г = Обозначим fx = (/Д ../Д), g{ = 4n),
4 =(4^ •••’44
436
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
Для формулировки принципа максимума введем функцию
Н(х, и. t, гр, а0) =
= —a0/°(z, и, t) + ipi/1 (ж, и, 0+... + грп/п(я, Щ t) =
= —a0/°(rr, u, t) + <гр, f(x, и, 0>, (5)
называемую функцией Гамильтона — Понтрягина; здесь гр =
= (грь ..грп), а0 — вспомогательные переменные, определяемые
ниже.
Пусть u = u(t)— кусочно-непрерывное управление на отрез-
ке [£0, Л» %(t) = x(t, и, Яо)—решение задачи (2), соответствую-
щее этому управлению и = и(-) и начальному условию xQ и
определенное на всем отрезке [£0, Л- Паре (uft), x(t)) (t0^
^t^T) поставим в соответствие следующую систему линейных
дифференциальных уравнений относительно переменных гр =
='1’(0 = ('1’1(0, •••> 'l’n(O):
4’i (0 —
дН (х, и, t, гр (£), ао)
дх*
u=u(t), x=x(t)
п
j=l
называемую сопряженной системой. Систему (6) можно запи-
сать в векторной форме
гр(0 = —Яж(я(0, u(t), t, гр(£), а0), tQ Г, (7)
где Нх = (Ях1, ..., НхПу Подчеркнем, что в (6), (7) и всю-
ду ниже запись вида Hxi(x(t), u(t),t, гр(0, а0), gxi (z0, х(Т)),
g}yi (#о, #(Л)> как это обычно принято, означает, что сначала
вычисляется соответствующая частная производная функций
Н(х, и, t, гр, а0), gJ(^, у) и затем вместо аргументов подставля-
ются их конкретные значения.
Если система (2) линейна относительно гг, iz, т. е.
x(t) = A (t)x(t) + B(t)u(t) + f(t), tQ^t^T
(см. обозначения в (1.18)), то Н(х, и, t, гр, а0) = —а0/°(я, u, t) +
4-<гр, A (t)x + B(t)u + f(t)> и сопряженная система (7) может
быть записана в виде
Я’ (0 = & (0. и (0» 0 - И (0)т Я’ (0. *0 < t < Т,
где (Л (0 )т — матрица, полученная транспонированием матри-
цы А (0.
Из теоремы 1.2 следует, что если зафиксировать постоянную
<а0, момент времени h, t0 Г, и точку гр0 е Еп, то линейная
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
437
§ 2]
система (7) будет иметь и притом единственное решение гр(£) =
= и, х0, th гр0), удовлетворяющее условию гр(^) = гр0 и опре-
деленное на всем отрезке [£0, Г].
Теперь можем перейти к формулировке теоремы, выражаю-
щей необходимое условие оптимальности — принцип максимума
для задачи (1) — (4).
Теорема 1. Пусть функции f(x, и, t) (/ = 0, 1, ..п),
g3(x, У) (7 = 0, 1» •••» имеют частные производные fxi, g3^
g}yi (f = 1, . ..,тг) и непрерывны вместе с этими производными
по совокупности своих аргументов при х^Еп, у^Еп, u^V, te
е [£о, Т]. Пусть (xQ, u(t), x(t)) (t0^t^T)— решение задачи (1),
(4). Тогда необходимо существуют числа а0, а^ ..., as и вектор-
функция гр (t) = (гр! (0, ..грп (t)), такие, что
1) a = (a0, ah ..as)¥=0, a0 > 0, a^ > 0, aw>0; (8)
2) гр(£) является решением сопряженной системы (6), со-
ответствующей рассматриваемому решению (xQ, и(-), х(-));
3) для всех t^[t0, Т], являющихся точками непрерывности
оптимального управления и(-), функция H(x(t), и, t, гр(^), а0)
переменной и = (и\ ..иг) достигает своей верхней грани на
множестве V при u = u(t), т. е.
sup Н (х (t), и, t, гр (t), aQ) =
u=V
= И (х (t), и (i), t, гр (t), а0), tQ f Т; (9)
4) выполнены условия
грг (*0) ~ aj^xi (XQf х (^))>
s . (10)
грг (Г) = — 2 Х (Л), J = 1, . . ., Д,
;=0
а$(хь, х(Т)) = 0, / = 1, ..., пг. (И)
Условия (10) принято называть условием трансверсальности,
условие (11) —условием дополняющей нежесткости. В том слу-
чае, когда управление &(•) является ограниченной измеримой
функцией, т. е. и(>)^ Т7], то формулировка теоремы 1
полностью сохраняется, но равенство (9) (как и включение (4))
будет выполняться, вообще говоря, лишь почти всюду на отрез-
ке [t0, Г]-
Центральное место в теореме 1 занимает условие максимума
(9): оказывается, если и(-)—оптимальное управление, а х(-)—
оптимальная траектория, то непременно найдутся такие числа
а0, ai, .as и такое решение грЦ) системы (6), (10), что функ-
ция H{x(t), и, t, гр(£), ао) переменной и будет достигать своего
438
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
максимума на V именно при u = u(t) во всех точках t^[tQ, Z]
непрерывности управления и(-). Поэтому теорему 1 и нижесле-
дующую теорему 2, дающие необходимое условие оптимально-
сти, принято называть принципом максимума.
2. Однако как практически пользоваться теоремой 1 для по-
иска решения задачи (1) — (4)? Здесь обычно поступают сле-
дующим образом. Рассматривают функцию Я (я, и, t, гр, а0) как
функцию г переменных и = (и1, ..., ur)^V, считая остальные
переменные (х, t, гр, а0) параметрами, и при каждом фиксиро-
ванном наборе (х, t, гр, aQ) решают задачу максимизации:
Н(х, и, t, гр, a0)->sup, и V. (12)
Отсюда находят функцию
и = и(х, t, гр, а0)^У, (13)
на которой достигается верхняя грань в задаче (12), т. е.
Я (х, и(х, t, гр, <70), t, гр, а0) = sup Я (х, и, t, гр, а0). (14)
Если исходная задача (1) — (4) имеет решение, то, как следует
из (9), функция (13) определена на непустом множестве.
В ряде случаев функция (13) может быть выписана в явном
виде. Например, если
f (х, и, t) = f0 (х, t) + 2 fli (х, j = 0, 1, ..., n,
г=1
V = {u = (u1, ..., ur} e Er: щ u* i = 1, ..., r},
где ah — заданные числа, то
Н (х, а0) = — aofo (х, /) + 2 tyjfo (х, 0 + 2 4>i t, ф, «0)ui:
г=1
здесь для краткости обозначено
Фг (х, t, ф, а0) = — а0/?{ (х, 0+2 Ф/н (х, 0, г = 1, .... г.
j=l
Ясно, что решением задачи (12) тогда будет вектор-функция
и(х, t, Ф, ао) с координатами
Рг, t, гр, а0)>0,
Дг, Фг (%, t, гр, а0) < 0, i = 1, ..., г.
В частности, если czf = — 1, pf = +1, то и* = sign (я, i, гр, а0)
(Z = l, ..., г). Полученная формула дает довольно много инфор-
мации о структуре оптимального управления: Z-я координата
оптимального управления является ступенчатой функцией со
и1 ~ и1 (х, t, гр, а0) =
§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 439
значениями щ или ЭД, причем точки переключения определяются
условием <рг(я, t, гр, ао) = О. Обратим внимание читателя на воз-
можный особый случай, когда фг(я:(£), t, гр(^), ао) = О на каком-
либо промежутке [а, £] <= [£0, Т]. В этом случае функция Н не
будет зависеть от if и из условия (9) не удастся извлечь ника-
кой полезной информации об i-й координате управления п(-)
при [ос, ЭД; некоторым источником информации об if(-) на
этом особом участке [а, ЭД здесь может служить само равенство
ф/(^(0, W), ао) = О.
Если множество V имеет вид
{/г \ 1/2 Ч
и^Ег: \и\ = 2 (z?)2 ,
\ i=i / J
то, пользуясь известным неравенством Коши — Буняковского,
также нетрудно выписать функцию (13) в явном виде:
ф (х, t, гр, а )
u(x, t, йо) = i-7-----^7?, Ф = (ф1, • • •, Фг)-
\ , т, о/ | ф (z, t, гр, aQ) ’ Y ’ Tr/
Ряд задач, в которых удается получить явное выражение для
функции (13), приводятся ниже в примерах.
Допустим, что функция (13) нам уже известна. Тогда можем
рассмотреть следующую систему из 2п дифференциальных урав-
нений
Л = /(ж, и(х, t, гр, Но), О,
(15)
гр == — Нх(х, и(х, t, гр, aQ), t, гр, н0), £0 С £ С Г,
относительно неизвестных #(•), гр(-). Как известно [172, 251, 295]
общее решение системы (15) зависит от 2п произвольных чис-
ловых параметров (например, такими параметрами могли бы
служить начальные условия x(t0), гр(£0)) и для определения этих
параметров нам нужно иметь 2п условий. Кроме того, парамет-
ры а0, нь ..., as, встречающиеся в теореме 1, также неизвестны
и для их определения нужно еще $ + 1 условие. Таким образом,
для определения 2п + $ + 1 неизвестных числовых параметров
нам нужно 2п + $ + 1 условие. Где их взять? Оказывается, эти
условия также могут быть извлечены из теоремы 1. А именно,
условия трансверсальности (10) и дополняющей нежесткости
(11) нам дают 2п + тп уравнений; еще s — m уравнений
gj(xQ, x(T)) = 0, j — m+l, s, (16)
вытекают из условий (3). Для получения еще одного уравнения
заметим, что функция Н(х, и, t, гр, и0), определенная соотноше-
нием (5), линейна и однородна относительно переменных гр±, ...
грл, «о, т. е. Я(:г, и, t, агр, аа0) = аН(х, и, t, гр, а0) при любых
440
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
а. Отсюда и из условия (14) тогда имеем
и (х, £, аЧ, аа0)s 4, ао) Va > 0. (17)
Из (8), (10), (И), (17) следует, что если некоторый набор
а0, • • а*, 4ь • • •, Чп удовлетворяет условиям теоремы 1, то этим
условиям удовлетворяет также набор aa0, ..., aas, a4i, ..a4rt
при любых а>0. Это означает, что теорема 1 определяет вели-
чины а0, • •as, 41, . • Чп лишь с точностью до положительного
множителя, и этим множителем мы можем распорядиться по
своему усмотрению. Например, опираясь на первое из условий
(8), можно положить
s
| а р = S al = 1. (18)
1=0
В тех задачах, в которых удается показать, что а0 > 0, вместо
условия нормировки (18) часто берут aQ = 1.
Таким образом, для определения 2п + s + 1 параметров — 2п
параметров общего решения системы (5) и параметров a0, ...
..., а8 — у нас имеется система 2п + $+1 уравнений (10), (И),
(16), (18). Разумеется, эти уравнения надо решать совместно с
неравенствами
а0^0, ..., aw^0, gt(^o, ^(Т))^0, г = 1, ..., тп. (19)
Если исходная задача (1) — (4) имеет решение, то согласно
теореме 1 система (10), (11), (16), (18), (19) также имеет
решение. Попутно заметим, что для тех i для кото-
рых gi(x0, х(Т))<0 (неактивные ограничения), из (11) выте-
кает, что = 0, и неопределенными остаются лишь а{ с номера-
ми i, для которых gi(xQ, х(Т)) = 0 (активные ограничения). Это
означает, что из уравнений (11) существенное значение имеют
лишь подсистемы gi(x0, x(T)) = 0 состоящие из активных
ограничений.
Итак, основываясь на теореме 1, от исходной задачи (1) —(4)
мы пришли к специальной краевой задаче, состоящей из условия
максимума (14), системы дифференциальных уравнений (15) и
условий (10), (И), (16), (18), (19). Такую краевую задачу
естественно назвать краевой задачей принципа максимума для
задачи оптимального управления (1) — (4).
Можно ожидать, что имеются лишь отдельные, изолирован-
ные функции (#(£), 4(0) (^о^^Т), и значения параметров
«о, as, удовлетворяющие условиям (10), (И), (15), (16),
(18), (19). Возьмем один из таких наборов x(t), 4(0» ao,
..., as, и подставим их в (13); получим функцию
u(t) = u(x(t), t, 4(0, a0), t0^t^T. (20)
Пусть эта функция оказалась кусочно-непрерывной на [£0, Л-
Из (13), (14), (20) тогда следует, что полученное таким обра-
зом управление u(t) удовлетворяет условию (9)
§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 441
и, следовательно, согласно теореме 1 может претендовать на
роль оптимального управления задачи (1) — (4), а функция
x(t) = x(t, u(-), x(tQ)) (tQ^t Т) — на роль оптимальной тра-
ектории этой задачи. Будет ли найденная пара (u(t), x(t))
(t0 t С Т) в самом деле решением задачи (1) — (4), теорема
1 не гарантирует, так как эта теорема, вообще говоря., дает лишь
необходимое условие оптимальности. Более того, ниже на при-
мерах мы увидим, что бывают случаи, когда пара (u(t), x(t))
удовлетворяет условиям теоремы 1, но не является решением
задачи (1) —(4). Однако, если из каких-либо соображений из-
вестно, что задача (1) — (4) имеет решение, а краевая задача
принципа максимума однозначно определяет функции (z(t),
и параметры а0, ..., as, то управление (20) будет оп-
тимальным. Если информации о существовании решения задачи
(1) — (4) нет или краевая задача принципа максимума имеет
несколько решений, то для выяснения вопроса об оптимальности
получаемых здесь управлений требуется дополнительное и порою
весьма сложное исследование.
Заметим также, что в задаче (12) верхняя грань может до-
стигаться в нескольких точках, и тогда функция (13) будет опре-
деляться неоднозначно. В этом случае для получения всех подо-
зрительных на оптимальность управлений нужно найти все
наборы (x(t), чр(£), а0, а{, ..., as) и управления u(t) (t0^t^
^Т), удовлетворяющие условиям (10), (И), (15), (16), (18) —
(20), для всех функций и — и(х, t, ip, а0) из (13).
Таким образом, схема использования принципа максимума —
теоремы 1 — для получения решения задачи (1) —(4) описана.
Как видно, принцип максимума дает просто и изящно выписы-
ваемые необходимые условия оптимальности для задачи (1) — (4)
и сводит ее к специального вида краевой задаче.
3. Посмотрим, как выглядит краевая задача принципа мак-
симума для задач оптимального управления (1) —(4) для не-
которых конкретных классов функций £*(х, у), соответствующих
различным режимам на левом и правом концах траектории.
Начнем с рассмотрения случая, когда концы траектории за-
креплены:
x(to) = Xo, x(T) = Xi. (21)
Если положить gl (х, у) = х1 — xi (i = 1, .. ., тг), gl (х, у) = уг —
— x\ (I = п + 1, ..., 2п),то условия (21) запишутся в виде (3):
g*(Xo, х(Т)) = 0 (г=1, 2п = $, тп = 0). Поэтому условия (И)
здесь отсутствуют, а условия трансверсальности (10) дадут
"Ф (^о) = (xqi х (Т)) — aQgx (*0, % (Л) "f" (аь • • •» ( 22)
ф (7) = 2 (#0* % (Л) ~ аъ&у (pQ, % (Л) (яп+ь • • •» ^2п)«
;=о
442
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 5
Оказывается, условие из (8) здесь может быть заменено
условием
1«о1 + Ж*)И° v/e[/o, 7]. (23>
В самом деле, если (23) не выполняется, то а0 = 0, ф(£) = О
(t0^t^T). А тогда в силу (22) = 0 = ..., ап), ф(Г) =
= 0 = (an+i, йгп) и, следовательно, а = (а0, а1? ..., а2п) = 0, что
противоречит (8). Это значит, что для задачи (1), (2), (4)г
(21) выполняется условие (23). Тогда условие нормировки (18)
можно заменить условием
Ы + 1ф(*1)1=1, (24)
где ti — какая-либо подходящая точка из отрезка [£0, Т] (часто
здесь берут tt = t0 или ti = T). Таким образом, краевая задача
принципа максимума для задачи (1), (2), (4), (21) состоит из
системы (15), граничных условий (21), (22), неравенства
и условия нормировки (24). Так как неизвестные параметры
«1, ..., «2п входят лишь в условие трансверсальности (22) и не
входят в (15), (21), (24), то оти параметры и условия (22)
можно исключить из дальнейшего рассмотрения. В итоге, для
определения функций (х (£), ф (t)) (t0 С £ < Т) и параметра
а0 > 0 будем иметь краевую задачу принципа максимума, со-
стоящую из системы 2п дифференциальных уравнений (15), 2п
граничных условий (21) и условия нормировки (24). Конечно,
при необходимости исключенные параметры ah ..., а2п могут
быть определены из условий (22) после того, как уже будут
найдены x(t), ф(£), а0 из (15), (21), (24).
Теперь рассмотрим задачу (1), (2), (4) при условиях, когда
левый конец траектории закреплен: x(tQ) = xQ, а правый конец
свободный. Этот случай граничных режимов соответствует задаче
(1) — (4), в которой gl (х, у) = xl — х'о (i = 1, ..., п = s, m = 0).
Поэтому условия (11) здесь отсутствуют, а условия трансвер-
сальности (10) запишутся в виде:
Ф (to) = ао£ (х0, X (Г)) + (й1; ..., ап),
= — aogy(xo, х(Т)). (25)
Покажем, что в рассматриваемом случае также выполняется ус-
ловие (23) и, более того, можно гарантировать, что а0 > 0. В са-
мом деле, если ао = О, то, как видно из (25), ф(Т) = 0 и система
однородных уравнений (6) будет иметь лишь тривиальное реше-
ние ф(0~ 0, а тогда ф(£0)== 0 — ..., ап). Пришли к противо-
речию с первым условием (8): а = (а0, fli, •••, ап)^0. Следова-
тельно, а0 > 0, и можем принять условие нормировки а0 = 1.
Таким образом, краевая задача принципа максимума для задачи
(1), (2), (4) с закрепленным левым концом и свободным пра-
вым концом состоит из системы (15), граничных условий (25),
§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 443
#(£o) = zo и условия нормировки aQ — 1. Так как параметры
ал, ..., ап входят лишь в первое из условий (25), то это условие
и параметры #ь ..ап можно исключить из дальнейшего рас-
смотрения, и в результате краевая задача принципа максимума
сведется к системе 2п дифференциальных уравнений (15), ко-
торая решается при условиях
'Ф(^7±==—ёу (^о» х (^))» #о = 1. (26)
Аналогичные рассуждения показывают, что если в задаче
(1), (2), (4) левый конец траектории свободный, правый конец
закреплен, то соответствующая краевая задача принципа макси-
мума представляет собой систему (15), которая должна решаться
при условиях
= 4>(i0) = g°x (х0,х(Т)), «0 = 1. (27)
Если в задаче (1), (2), (4) оба конца траектории свободны,
то краевая задача принципа максимума состоит из системы (15)
и условий
^Go) = ^(xo,x(T)), 'ф(71) = -4(^,^(7’)), «о = 1. (28)
Далее, рассмотрим задачу (1), (2), (4) в случае, когда ле-
вый конец траектории закреплен: x(t0) = x0l а правый конец под-
вижный и удовлетворяет условиям
g<(^(7’))<0, i = l, me,
g\x{T)) = Q, i = mi + l, Sl.
Здесь мы имеем дело с задачей (1) — (4), в которой функции
gf(rr, у) определены так: £г(я, у) = ё*(у) (г = 1, ..$1);
£*(#, у) = — Xq(1 = + 1, ..Si + n = s, m = mJ. Условия (10),
(11) на правом конце траектории с учетом (8) запишутся в виде
si
яр (Т) — а^ёу (#о> х (ТУ) .2^ а1ёу (х СО)> (3Q)
а$(х(Т))== 0, / = 1, ..., т/, #о^0,
на левом конце — в виде:
(Q = %ёх (^ х (ТУ) + (<4+1, • “, ^1+п). (31)
Условие а = (#0, #х, ..., #S1+n) =И= 0 здесь может быть заменено
условием (#0, #S1) =И= 0. В самом деле, если бы (#0, #х, ...
..., #S1) — 0, то в силу (30) (Т) = 0, и однородная система (6)
будет иметь тривиальное решение 4>(J = 0; тогда 4)(^o) = O и из
(31) будет следовать (#S1+i, ...» а^+п) = 0, что противоречит ус-
ловию а =/= 0. Поэтому условие нормировки (18) можно заменить на
#о + ai + • • • + ast ~ 1» (32)
444
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
а условие (31) и параметры aSi+1, ..., aSi+n исключить из рас-
смотрения. В результате, краевая задача принципа максимума
будет состоять из системы (15), начального условия x(t0) = xQf
условий (29), (30), (32).
Аналогично показывается, что в задаче (1), (2), (4), когда
левый конец траектории свободный, а на правом конце заданы
условия (29), краевая задача принципа максимума будет со-
стоять из системы (15), условий (29), (30) на правом конце,
условия нормировки (32) и условия на левом конце
Ф (U “ Х (ТУ)* (33)
Рассмотрим задачу (1), (2), (4), когда оба конца траектории
подвижны, причем условия на правом конце задаются в виде
(29), на левом конце пусть
)^ 0, г = 1, ..., тп0;
У (x(tQ)) = 0, 1 = 7П0+1, . . ., So.
Здесь мы имеем дело с задачей (1) — (4), в которой функции
gi(x, у) определены так: gT(x, y) = g*(y) (i = l, ..., ти/);
g' О, У) = (x) (i = + 1, ..m1 + m0 = m), gl(x, y) =
= g^m° (y) (f = + m0 + 1, ..m0 + ^); g* (x, y) = hz~si (i ==
= mQ + + 1, ..., s0 + = 5). Условия (10), (11) на правом
конце траектории с учетом (8) запишутся в виде (30), а на ле-
вом конце получим
%
Ф (to) = ао8х (х0, X (Т)) + 5 bjh3x (хй), (35)
MJ(^o)=O, /=1, ..., 7П0.
Таким образом, краевая задача принципа максимума, соответ-
ствующая задаче (1), (2), (4), (29), (34), состоит из системы
(15), условий (29), (30), (34), (35), условия нормировки
0% + ai + • • • + + • • • + = 1 •
Если в (1), (2), (4) левый конец удовлетворяет условиям
(34), а правый конец закрепленный, то систему (15) нужно
решать при условиях (34), (35), х(Т) = хъ условии нормировки
+ ... + Ыо=1. (36)
Если в задаче (1), (2), (4) левый конец удовлетворяет ус-
ловиям (34), а правый конец свободный, то система (15) ре-
шается при условиях (34) —(36), ip(T) = — а$у(х^ х(Т)).
4. Сформулируем принцип максимума для задачи оптималь-
ного управления, когда начальный или конечный моменты вре-
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
445
§ 2]
мени не закреплены. А именно, пусть требуется минимизировать
функцию
т
J (х0, u(-), х(-), t0, Т) = ( f°(x(t), и (Z), t)dt + g°(x0, х(Т), t0, Т)
Ч (37)
при условиях
х(0 = /(я(0, *Ф), 0» t0^t^T; x(t0) = xQ, (38)
g4xo, х(Т), /о, Т)^0, i = l, тп;
£г(я0, х(Т), /о, Г)=0, Т = Тп+1, ..., S, (ЗУ)
u = u(t)<^V, t0^t^T, (40)
где один из моментов t0 или Т или оба эти момента заранее
неизвестны и подлежат определению вместе с управлением u(t)
и траекторией x(t) из условия минимума функции (37);
g'(rr, у, t, Т) (j = 0, 1, ..п)—заданные функции переменных
х^Еп, у^Еп, ieR, T^R, t^T\ остальные обозначения те
же, что и в задаче (1) — (4). В (39) не исключаются возмож-
ности, когда отсутствуют ограничения типа неравенств (т = 0),
типа равенств ($ = тп>1) или все ограничения (39) ($ = тп = 0).
Теорема 2. Пусть функции f(x, и, t) (/ = 0, 1, ..., п);
^’(я, Уч Ъ 71) (7 = 0» 1» ..., $) имеют частные производные
fxi, Sxi4 gyi G = 1, .. • , gt, gr и непрерывны вместе с этими
производными по совокупности своих аргументов при х е Еп,
у^Еп, u^V, £e=R, ZeR, t < Т. Пусть (я0, п(-), я(-), £0, Т) —
решение задачи (37) — (40). Тогда необходимо существуют числа
а0, а^, ..., as и вектор-функция ^(t) = (^i(t), ..., грп(£)) (t0 <
^t^T), удовлетворяющие условиям 1)—3) теоремы 1, усло-
виям трансверсальности
Ф(^о) “ S ajgx(XQ4 х (7*), ^о» ^)»
з=о
8 . (41)
(7*) = - 2 ajgy(XO> hi ^)»
3 = 0
max Н (х (Q, и, t0, (<0), а0) = — 2 a^t (^о, х (Л, т) (42)
u=V з—О
(если t0 закреплено, то условие (42) отсутствует);
max Н {х (Т), и, Т, ip (71), а0) = 2 ajgT (х0, х (Т), t0, Т) (43)
u=V j=O
(если Т закреплено, то условие (43) отсутствует) и условию
дополняющей нежесткости
а^(х0, х(Т), t0, Т) = 0, / = 1, т. (44)
446
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
С помощью теоремы 2 задачу (37) —(40) можно свести к
краевой задаче принципа максимума, действуя по той же схеме,
что и в задаче (1) — (4). Это снова приведет нас к конечномер-
ной задаче максимизации (12), функции (13) и к системе 2п
дифференциальных уравнений (15) относительно функций я(£),
ф(£). Для определения 2п параметров, от которых зависит об-
щее решение системы (15), и параметров а0, «1» •••, а» имеем 2п
условий (41), т условий (44), s — m условий типа равенств из
(39), условие нормировки (18), а наличие неизвестных момен-
тов t0, Т здесь компенсируется появлением дополнительных ус-
ловий (42), (43); разумеется, поиск упомянутых параметров
нужно вести с учетом неравенств из (8), (39). Расшифровка
условий трансверсальности (41), (42) для различных режимов
на концах траекторий, когда каждый из концов может быть за*
крепленным, свободным или подвижным, проводится точно так
же, как и выше; в частности, условия (41) здесь приведут к тем
же условиям (21) —(36). Естественно, в задаче оптимального
управления с незакрепленным временем функции Л1* из усло-
вий (29), (34) наряду с х, у могут зависеть еще от переменных
f0, Т, как например, в (1.22), (1.23).
5. Для иллюстрации теорем 1, 2 рассмотрим конкретные при-
меры задач оптимального управления.
Пример 1. Пусть требуется минимизировать функцию
т
J (и) = j* (zz2 (/) + х2 (t)) dt при условиях х (t) = и (t), 0 f < Т,
о
^(0) = ^(Т) = 0.
Здесь момент 7>0 задан; V = El. Задача, конечно, неслож-
ная: пара = x(t) = 0) очевидно, является
единственным ее решением. Продемонстрируем на этой простой
задаче изложенную выше схему использования принципа мак-
симума— теоремы 1. Выпишем функцию Гамильтона — Понтря-
гина Н(х, щ гр, а0) = — a0(iz2 + ^2)+Apiz и сопряженную систему
ф = —Нх = 2а0я. Если а0 = 0, то функция Н = фп может дости-
гать своей верхней грани на множестве V = Е1 лишь при ф = 0.
Однако соотношения ао = ф = О противоречат условию (23). Сле-
довательно, а0>0. Тогда можем считать, что a0~i. В этом
случае функция Н — —и2 — х2 + фп достигает верхней грани на
Е1 при и = ф/2— вот какой вид имеет функция (13) в рассмат-
риваемой задаче. Тогда краевая задача принципа максимума за-
пишется в виде
х = ф/2, ф = 2х, O^t^T* х(0) = х(Т) = 0.
Отсюда однозначно определяем x(t)^ ф(£)^0
Тогда п(£) = ф(£)/2^0 —получили уже известное
нам оптимальное управление.
§ 2]
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
447
Перейдем к рассмотрению более интересной задачи оптималь-
ного управления, которая в зависимости от величины конечного
момента Т имеет единственное решение или бесконечно много
решений, или не имеет решения. Эта задача любопытна также и
тем, что даже в том случае, когда она не имеет решения, краевая
задача принципа максимума будет иметь одно или даже беско-
нечно много решений.
Пример 2. Пусть требуется минимизировать функцию
т
J (и) = j (и2 (t) — х2 (i)) dt при условиях х (t) = и (t),
о
^(0) = ^(7)=0, 7>0.
Функция Гамильтона — Понтрягина здесь имеет вид Н =
= — а0(и2--х2) +, сопряженная система такая: -ф = — Нх =
= — 2а^х. Если aQ = 0, то Н = грп достигает своей верхней грани
на V = Е1 лишь при гр = О, что противоречит условию (23). Сле-
довательно, а0 > 0. Можно считать, что а0 = 1. Тогда Н = х2 —
— н2 + грп и snp Н достигается при и = гр/2. Краевая задача
Е
принципа максимума имеет вид х = *ф/2, \р = —2гг, 0 С £ С Т7,
я(0) = х(Т) = 0. Общее решение этой системы дается формулой
rr(^) = Csin^ + Z)cos£, xp (£) = 2С cos £ — 2Z> sin £, где C, D — произ-
вольные постоянные. С учетом условия гг(0) = 0 отсюда имеем
D = 0, и тогда #(£) = С sin £, ^(t)== 2С cos t. Условие rr(77) = 0 при-
водит к равенству С sin Т = 0. Возможно, что Т Ф пк (к = 1, 2,...);
тогда С = 0 и краевая задача принципа максимума будет иметь
единственное решение #(£) = (), 0 (0 С t Т), а управле-
ние, подозрительное на оптимальность, равно и (t) = гр (0/2 = 0
(О^С^СТ7). Если же Т = пк, к — целое положительное число, то
краевая задача принципа максимума имеет бесчисленное мно-
жество решений х (t) = С sin t, гр(0 = 2Ccos t, зависящих от од-
ного параметра С, и управлений, подозрительных на оптималь-
ность, будет бесконечно много: u(t) = Ccost (0 t С Т).
Спрашивается, будут ли найденные управления оптималь-
ными? Оказывается, ответ на этот вопрос зависит от величины Т.
Рассмотрим случаи Т > л и 0 < Т7 л.
1) Т>л. Покажем, что тогда inf/(&) = —<». Для этого возь-
мем последовательность управлений um ~ um(t) = ^cos и
• JT t
соответствующих им траекторий xm = хт (t) = т sin — (0 t Т.
то = 1,2, ...). Тогда J(Um) = (0-4. (0)^=4 Гт2х
/л2 . \
X I 1 I — 00 при т
о
Следовательно, при Т > л рас-
сматриваемая задача оптимального управления не имеет реше-
448
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
ния. В то же время краевая задача принципа максимума разре-
шима, причем для Т=^пк (fc = l, 2, ...) она имеет единственное
решение, при Т = пк (&=1, 2, ...) — бесконечно много ре-
шений.
2) 0 < Т л. Тогда для любых кусочно-непрерывных v(t),
для которых существует решение x(t) задача x(t) = v(t) (0^
< £ Т), х (0) = х (Т7) = 0, имеем
т т
J (у) = (у2 — х2) dt = (у2 + х2 ctg21 — х2 sin-21) dt =
о о
т т
= J (y2 + x2 ctg21 — 2xx ctg t) dt — j (y (t) — x (t) ctg t)2 dt 0.
о 0
Заметим, что проделанные преобразования законны, так как все
подынтегральные функции, встретившиеся при этих преобразо-
ваниях, ограничены и lim х2 (i) ctg t = 0, а в случае Т = л
<->+о
еще и lim x2(t)ctgt = O. Итак, /(z?)^0, а на управлениях
t^T-Q
u(t)^O при Т < л и и (i) = с cos t при Т = л будем иметь J(и) =
= 0. Таким образом, при Т < л рассматриваемая задача опти-
мального управления имеет единственное решение, при Т = л —
бесчисленное множество решений, причем все решения найдены
с помощью принципа максимума.
т
1 с
Пример 3. Минимизировать функцию J (и) = I (х2 (t) +
4 и
о
+ и2 (£)) dt при условиях x(t) = —ax(t) + u(t), #(0) = х0.
Здесь х0, а>0, 7>0— заданные постоянные, V = El, правый
конец траектории свободный. Составим функцию Гамильтона —
Понтрягина Н = — а0(х2 + и2)/2 + гр(—ах + и) и выпишем сопря-
женную систему
ф = —Нх = aQx + сц|), 0 t Т,
Из условия (26) трансверсальности для свободного правого кон-
ца траектории имеем ,ф(77) = 0, aQ = 1. Тогда функция Н =
=— (х2 +и2)/2 +^(—ах +и) достигает своей верхней грани по
и на V = Ei при и = гр, и краевая задача принципа максимума
запишется в виде
х~—ах + ^, гр = агр + х, гс(О) = хо, гр(Т) = О>
Отсюда следует, что подозрительным на оптимальность является
управление
u(t) = ^(t) = xQ
ем __ е2ХТе-ХТ
(X - а) + (X + а) е2ХГ ’
0< т,
К = /а2 + 1.
Пример 4. Пусть точка движется по оси Ох по закону
х(t) = и (t) > 0). Требуется найти кусочно-непрерывное уп-
§ 2]
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
449
равление u(t), |u(£)l^l (OCZCZ), такое, чтобы точка, вый-
дя из начального положения я(0)=1 с нулевой скоростью, при-
шла в начало координат с пулевой скоростью за минимальное
время Т.
Положим, что = х, х2 = х — фазовые координаты точки.
Тогда задачу можно переформулировать так: быстрейшим обра-
зом перевести фазовую точку (ж1, х2) из состояния (1, 0) в со-
стояние (0, 0), считая, что движение подчиняется уравнениям
= x2(t)^u(t) (t>0). Здесь 7 = {ue£1: \u\ 1},
f 1, g° 0.
Составим функцию И == —a0 + tyiX2 + и выпишем сопря-
женную систему
4»! = “ НХ1 -= о, ф2 ~ Ях2 = — t^O.
Отсюда имеем (£) = £, ^2^)= —Ct + D, где С, D — постоянные.
Отметим, что ф2(0^0, так как в противном случае С' = й = 0,
а тогда ф1(t) = 0 и равенство Н\t==T = — а0 = 0, вытекающее
из (43), приводит к противоречию с условием (23). Из условия
max Я следует и(^)=й sign ф2(^) = sign(—Ct + D) (^>0). Та-
|u|^l
ким образом, оптимальное управление (если оно существует)
является кусочно-постоянной функцией, принимающей значения
+ 1, —1 и имеющей не более одной точки переключения tir при
переходе через которую u(t) меняет знак. Нетрудно убедиться,
что траектория, выходящая из точки (1, 0) и соответствующая
управлению u(t)=+i при t > 0, или u(t)^ — 1 при или
и(£)^=+1 (0^£ < £±), п(£)=—1 (t^ti), никогда не будет
проходить через точку (0, 0). Остается рассмотреть управление
н (£) = —! (0^£< £i), u(t)=+l (t^ti). Этому управлению
соответствует траектория (#i(£), %z(t)):
jl —Z3/2,
X '^ = U2/2 — ZtJ + t'i + l, t^tr,
f— t,
W = [t - 2tlf t^tA,
Из условия x'(T)^ x2(T) = 0
находим £i = l, Т == 2. Тогда
(1 —£3/2, о j— t, 0<£<1,
х' = _ 2)2/2, —2,
В качестве величин а0, г|?о Ф2, участвующих в формулировке
принципа максимума, могут служить ао = О, ф4 (£)=—!, ^2(t) =
= t — 1 (0 < i < 2). Можно показать, что полученные управле-
ние и траектория в самом деле являются решением поставлен-
ной задачи быстродействия об этом см. пример 7.4.4.
Пр им ер 5. Требуется перевести точку х = (х\ х2) из со-
стояния £о = (2, —2) на множество {х Е2: g1 (х) х1 = 0}
450
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
быстрейшим образом, предполагая, что движение точки подчи-
няется уравнениям х'(1)=х2(1), х2(£)= н(£), причем u(t)^V^=
Ы 1).
Как и в предыдущем примере, здесь Н = ~а0 + + *ф2?г,
сопряженная система имеет вид: = 0, ф2 = —ipn откуда сле-
дует ^2(t)== —Ct + D, С, D — const. Условия трансвер-
сальности (30), (43) здесь дают
^(Г)=-аь ip2(T) = 0, -ао + ^(Г)^2(Т)+^2(Г)и(Г) = ЯЬ=г = О.
Следовательно, г|э2 (£) = С(Т — t) (0 t Т). Заметим, что здесь
С¥=0, так как при С = 0 получим t|h(£)s 4г(^) = 0 (O^t^T),
а тогда а± = 0, из условия Я|/=т = 0 вытекает а0 = 0 — противо-
речие с условием (32). Итак, С¥=0, ty(t)== С(Т — t)=£Q при
< t < Т. Из условия sup Я тогда имеем
\и\< 1
и (t) = sign *ф2 (t) = sign С, 0^t ^Т.
Значит, подозрительными на оптимальность здесь могут быть
лишь управления u(t)^ 1 или u(t)^ — 1 Если
u(t)= 1, то из краевой задачи
х' = х\ х2 = 1, ^(0) = 2, я2(0)=-2, х'(Т) = 0
получим Т = 2, хЩ) — (t —• 2)2/2, x2(t)=t — 2 (0С£=С2). Если
u(t) = —1, то из
х1 =я2, х2 = ~1, ж1(0) = 2, я2(0) = -2; rc1(Z)=O
будем иметь Т = Т8 —2, xl (t) = 4 — (t + 2)2/2, x2(t} = — t — 2,
0 С Г8 - 2.
Таким образом, краевая задача принципа максимума здесь
дает два решения. Однако лишь управление u(t) = — 1 (O^iC
Т = V8_2" 2) может претендовать на оптимальность, так как
Т = 2>У8 —2, а управление u(t)=i заведомо не-
оптимально.
Пример 6. Рассмотрим задачу минимизации функции
J (w) == J ((U1 (0)2 + (и2 (О)2) dt + х1 (1) + ж2(1) (45)
О
при условиях
xl(t) = ul(t), x?(t)=u2(t), O=Ct^l, (4
х‘(0) = 0, я2(0)=0, ^(1)^0, (x2(l))2-^*(f)<0,
где u = u(0 = (^1(0, и2 (0) s-t'M [0, !]• Эта задача является
частным случаем задачи (1), (2), (4), (29) при Л> = 0, T — i,
n = r^2, f ^(u1)2 +(и2)2, /(ж, и, t)=u, V = E\ х = (х\ х2),
У2)' ga(x, y) = yl + y2, gl(x, y) = yl, g2(x, у)= -у* + (у2)2,
§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 451
= 51 = 2; левый конец траектории закреплен. Из (46) видно,
что правый конец любой допустимой траектории этой задачи
удовлетворяет равенствам: гс1(1) = О, ^2(1)=0. Тогда J (и) =
1
= J|u(O \2dt >0 для всех допустимых управлений. Поскольку
о
u = u(t)^0 допустимое управление и 7(0) = 0, то = 0,
~ 0 — единственное оптимальное управление задачи (45), (46).
Функция Гамильтона — Понтрягина Н = — а0( (w1)2 + (н2)2) +
++ ^2и2 не зависит от х, поэтому сопряженная система
имеет вид ф1 = 0, ф2 = 0 (0^£^1). Следовательно, ф1(£)^С1,
^(0эс2, ch с2 “ постоянные. Условие (30), (32) здесь дают
—i|h (1) = aQ • 1 + at • 1 + а2(—1) = л0 + — а2,
—ф2(1) = «о • 1 + «1 • 0 + а2 • 2я2(1) = а0, (47)
^0 + Л? + Яд == 1, CLq^O, «1^0, я2^0.
Покажем, что в этой задаче а0 = 0. В самом деле, если а0 > 0,
то можем воспользоваться условием нормировки а0 = 1. Тогда
функция Н = — W2 + <ф, иУ достигает своего максимума на V —
= Е2 в точке и = ф/2 = с/2, с = (с1, с2). Соответствующая траек-
тория x(t) = tc/2 условию х(1) = 0 может удовлетворять лишь
при Ci = с2 = 0. Таким образом, i|i(f)^0 (0<f^l). Из второ-
го условия (47) тогда следует, что а0 = 0, что противоречит
равенству а0 = 1. Следовательно, а0 — 0. Но тогда линейная функ-
ция Н = <ф, иУ на Е2 может иметь конечный максимум (кото-
рый, кстати, должен достигаться на оптимальном управлении
лишь при ф = ф(£)^е = О. Из условий (47), учиты-
вая, что а0 = 0, получаем — а2 > 0. Таким образом, краевая
задача принципа максимума здесь дает а = (а0 = 0, сц = а, а2 —
= а), а>0, ф(£) = 0, Как виним, условие (23) в этой
задаче не выполняется, функция ЯэО, и условие максимума
(9) не позволяет определить оптимальное управление и =
= u(t)^ 0.
Говорят, что оптимальное управление zz(-) является особым
на отрезке [а, р] <= [f0, Т\, если H(x(t), и, t, ф(£), яп) при
[а, р] не зависит от и. В этом случае для набора (x^x(t), t,
ф = ф(7), а0) при р] условие (14) пе дает никакой по-
лезной информации об оптимальном управлении, функция (13)
становится пеопре де лепной и пользоваться формулой (20) не-
возможно. В частности, когда нарушается условие (23), т. е.
«о = О, tf(i)^O (fo^f^T), то имеем дело с одним из типич-
ных случаев появления особого управления. Так случилось в
только что рассмотренном примере 6. Разумеется, условие (23)
само по себе пе исключает возможность появления особого уп-
равления, но тем пе мепее полезно подчеркивать случаи, когда
оно выполняется.
452
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
К сожалению, условие а = (а0, ..., as)=H=0 из (8) само по се-
бе не всегда приводит к условию (23). Например, в задаче (1),
(2), (4), (29), как показывает пример 6, в общем случае (23)
пе выполняется и приходится довольствоваться условием а =
— (а0, ...,«5)=# О и вытекающим из него условием нормиров-
ки (32). Для того чтобы в задаче (1), (2), (4), (29) из а=Н=0
следовало условие (23), можно дополнительно потребовать, на-
пример, чтобы градиенты (х (7)), ,.. ? g^ (х (Г)) были ли-
нейно независимы. Тогда либо aQ 0, либо а0 = 0, но соглас-
но (30) if(Т)=/= 0 и однородная система (6) будет иметь не-
тривиальное решение if(0 Аналогичные требова-
ния, гарантирующие условие (23), можно сформулировать и для
задачи (1), (2), (4), (29), (34) и других задач оптимального
управления, рассмотренных выше. Об особых управлениях чи-
татель может прочесть, например, в [68, 98, 205].
В следующих примерах покажем, как выписывается краевая
задача принципа максимума для некоторых задач оптимального
управления движением математического маятника (см. при-
мер 1.1).
Пример 7. Пусть требуется минимизировать функцию
У(п)==(**(П)2+(*2(П)2 (48)
при условиях
xl (t) = х2 (t), я2 (0 = —sin xl (t) — $x2 (t) + u(t),
rc(O)—rc0, (49)
V = {u^ El: \u\ 1), (50)
где x = (ж1, x2)— фазовые координаты, .r0 = (х}, х%) — заданная
точка, Т > 0 — заданный момент времени. В этой задаче правый
конец траектории свободен, /° = 0, ^0(г/)==(г/1)2+(l/2)2. Выпишем
функцию Гамильтона — Понтрягина
Н (х, и, ip) = ifрТ2 + if2 (—sin х* — $х2 + и)
и сопряженную систему
ifi = — Hxi = if2 cos xl, if2 = — Hxi = — ifi + |3if2, 0 t T. (51)
Из условий (26) имеем
^(O = -^U'(O) = -2^(O- (52)
Из условия max Я следует и = sign if2. Тогда краевая задача
|u| < 1
§ 2]
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
453
принципа максимума запишется в виде
х1 = х\ х2 = —sin х1 — $х2 + sign фг,
(53)
ф1 = ф2 cos х1, = —ф1 + Рф2, 0 < £ Г,
я(О) = яо, ф2(Г) = -2я2(Г). (54)
Если краевая задача (53), (54) имеет решение (#(£), 'Ф(О)
(О^^Т7), причем -ф2(£) обращается в нуль в конечном числе
точек, то функция u(t)= signф2(f) будет управлением, подозри-
тельным на оптимальность в задаче (48) —(50).
Заметим, что если для некоторого управления р = р(-) из
(50) решение х{^ v) задачи Коши (49) таково, что х(Т, р) = 0,
то 7(у) = 0. Это значит, что v(*)—оптимальное управление в
задаче (48) —(50). Любопытно, что это управление является
особым — его нельзя получить из принципа максимума. В самом
деле, при ж (Г, и) = 0 из (51), (52) следует ф(£, и)^0 (0=^
^£<Г), а тогда H(x(t, р), и, ф(£, р))=0 (O^f^Z7), при
всех и V и условие sup Н не суживает исходное множество
|и|<о
управлений, подозрительных на оптимальность.
Пример 8. Пусть требуется минимизировать функцию
т
J (и) = J и2 (t) dt при условиях (49) и закрепленном правом
о
конце х (Г) = 0; Т > 0 — задано.
Здесь V = Е\ Н — —а0и2 + ф^2 + ф2 (—sin ж1 + $х2 + и), сопря-
женная система имеет вид (51). В случае а0 = 0 функция Н
может достигать своей верхней грани на Е* лишь при ф2 = 0.
Но если ф2(£)^0 (0<^^Г), то из второго уравнения (51)
получим ф1(^)^0, что противоречит условию (23). Таким об-
разом, можем считать аов1. Тогда из условия max Н получим
и = ф2/2. Краевая задача принципа максимума будет иметь вид
х1 = х2, х2 ==* —sin х1 — fix2 + ф/2,
ф1 = ф2 cos х1, ф2 = —ф1 + Рф2, 0 < £ Г,
я(О) = £о, ж(77) = 0.
Пример 9. Рассмотрим задачу быстрейшего перевода точ-
ки х = (х*, х2) из состояния Хо^О в начало координат (0, 0),
предполагая, что движение точки подчиняется условиям (49),
(50). Эта задача является частным случаем задачи (37) —(40).
Если /°^1, gQ s 0; функция Гамильтона — Понтрягина имеет
вид
Н = —cLq + ф^2 + ф2 (—sin х1 — $х2 + и). (55)
Отсюда ясно, что сопряженная система будет иметь вид (51),
454
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ, 6
а условие max Н выделит функцию и = sign -ф2. Краевая задача
|и|<С1
принципа максимума в этом случае будет состоять из системы
(53), граничных условий я(0) = ;го, я(Г) = 0, условия трансвер-
сальности H\t=T « —а0 + ty2(T)u(T)== О, вытекающего из (43),
и условия (23). Отметим, что в этой задаче 'фг(г)^ 0. В самом
деле, если бы ip2(0^0, то из (51) будем иметь М0“0, а из
H\t=T = 0 получим а0 = 0, что противоречит (23).
Пр им ер 10. Пусть требуется быстрейшим образом пере-
вести точку х = (х\ х2) из состояния х0 в начальный момент
t0 = 0 в состояние, удаленное от точки (0, 0) на расстояние,
равное 8 > 0, предполагая, что движение точки подчиняется ус-
ловиям (49), (50). Это значит, что правый конец траектории
является подвижным и удовлетворяет условиям |#(jT)I2=
= (ж1(Г))2+(ж2(Г))2 = 82. Здесь функция Н имеет тот же вид
(55), сопряженная система —вид (51), условие max Я дает и =
|иК1
= sign *ф2. Из условия трансверсальности (30), (43) имеем
г|)(Г)=-2а^(Г), Н(х(Т), и(Т), Т, ф(Г), «0) = 0. (56)
Оказывается, здесь «1=/=0. В самом деле, если «1 = 0, то из (56)
будем иметь \p(r) = O, а из (51) будет следовать ip(£) = 0; тогда
из (55), (56) получим «0 = 0, что противоречит условию (32).
Итак, а± =/= 0; тогда условие нормировки (32) можем заменить
на равенство |ajsl. Таким образом, краевая задача принципа
максимума в рассматриваемой задаче состоит из системы (53),
граничных условий х(О) = хо, i|)(T) = ±2гс(Г), |гс(Т)|2 = е2,
ЯЬ=Т = О, из которых нужно определить функции x(t), ip(£),
параметры «0, Т. Отметим, что здесь г|?2(£)^0. И самом деле,
если ^(f)s0, то в силу (51) ^i(^) = 0, а тогда я(Т) = 0, что
противоречит равенству |х(Т) I2 = е2 > 0.
Пример 11. В задаче из примера 10 условие к(77)|=е2
па правом конце траектории заменим неравенством lx (Т) 12 е2,
считая, что к(£о)1 > е2. Тогда функция Я, сопряженная систе-
ма (51), условия (56) останутся без изменений; здесь также
выполняется условие дополняющей нежесткости «1(!^(77)|2 —
— е2) = 0. Оказывается, и в этой задаче можно показать, что
Л1=/=0. В самом деле, если «1 = 0, то в силу (56) if)(T) = O,
из (51) будет следовать т|?(£)^0, а из ЯЬ=Т = О получаем а0 =
= 0, что противоречит условию (32). Итак, «1=/=0. С учетом
«г > 0 можем принять «1 = 1. Таким образом, краевая задача
принципа максимума будет состоять из системы (53), условий
x(0) = x0, г|?(Т) = —2я(Т), к(Г)|2 = 82, ЯЬ=Т = О. Как и в пре-
дыдущем примере можно показать, что i|)2(J)^ 0.
Предлагаем читателю самостоятельно выписать краевую за-
дачу принципа максимума для задач из примеров 10, 11 с за-
меной условий на правом конце одним из условий я/(Г)=0.
k’*(T) I2 е2, |/(Т) I2 = 82, где i = 1 или 2.
§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 455
6. При формулировке принципа максимума было оговорено,
что условие максимума (9) имеет место для всех точек непре-
рывности кусочно-непрерывного оптимального управления u(t).
Возникает вопрос: как истолковать условие (9) в точках раз-
рыва и(£)? Нельзя ли определить оптимальное управление u(t)
в точках разрыва так, чтобы равенство (9) выполнялось во всех
точках отрезка [£0, Т]? Представляется естественным доопреде-
лить u(t) в точках разрыва предельным значением слева или
справа, приняв и (t) = и (t + 0) = lim и (т) или и (t) = и (t — 0) ==
T-»t+o
= lim и (т) при t0 < t < Г, а на концах отрезка [t0, Т] взяв
r->t—о
и(Т) = и(Т — 0), u(tQ) = u(tQ + 0). Сразу же отметим, что зна-
чения кусочно-непрерывного управления и(-) в точках разрыва
не влияют на решение уравнения (2) (см. определение 1.1),
на значение интеграла в (1) и, следовательно, на задачу (1)—’
(4). Покажем, что способ доопределения управления u(t) в точ-
ках разрыва не оказывает существенного влияния и на усло-
вие (9).
Теорема 3. Пусть в задаче (1) —(4) выполнены все усло-
вия теоремы 1, множество V замкнуто, пусть и(-) — оптималь-
ное кусочно-непрерывное управление, х(-)— оптимальная траек-
тория, функция тр(-) и параметры aQ, ..., а8 определены соглас-
но теореме 1. Тогда функция
Н (0 = sup Н (х (0, w, t, i|) (0, а0), < t < Т, (57)
wEV
непрерывна во всех точках отрезка [£0, Т], причем верхняя грань
в (57) достигается как при u = u(t + 0)^V, так и при и —
= u(t — 0) для всех t^[t0, Г]. Если в дополнение к условиям
теоремы 1 функции f(x, и, t) (ie0, 1, ..., п), имеют частные
производные ft(x,u,t), непрерывные по совокупности аргумен-
тов (х, и, t)s= EnXEnX[t0, Т], то функция (57) имеет левую
и правую производные во всех точках t е [£0, Т], причем
Й (t i 0) Ht (Д/, U, t, а0) Iсс==эс(t), u—u(t±0)t
где Hi (х, и, t, а0) = — aoft (х, и, t) + <ф, Д (х, и, 0> — частная
производная функции Н по переменной t; производная Й(1) су-
ществует и непрерывна во всех точках непрерывности оптималь-
ного управления.
Доказательство. Пусть т1э ..., Тм — точки разрыва оп-
тимального управления u(t)-, тогда 4 = [Д, TJMti, ..., тм)—
множество точек непрерывности u(t). Для краткости положим
H(t, w) = H(x(t), w, t, -ф(£), ао). Согласно (57) H(t)~
= sup H (t, w). Точку из V, в которой достигается верхняя грань
weV
456
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
в (57), обозначим через v(t). Заметим, что верхняя грань мо-
жет достигаться в нескольких точках, поэтому точка v(t) оп-
ределяется неоднозначно. В частности, согласно (9) можно взять
при всех t^A; существование v(t) при t&A для
простоты изложения будем предполагать. Зафиксируем произ-
вольную точку t [£0, Г]. Пусть I Д£| > 0 столь мало, что полу-
интервалы [t — 1Д£|, t), (t, t + |А£]]^Л (если t = tQ или t = T,
то, конечно, принадлежность А требуется лишь для одного из
этих полуинтервалов). Тогда H(t + At) = H(t + Д£, u(t + Д£))>
+ = u(t+M)). Поэтому
+ + u(t + M)). (59)
Так как функции x(t), яр(£), H(x, w, t, яр, a0) непрерывны по сово-
купности своих аргументов, то функция H(t, w)=H(x(t), w, t,
яр(£), a0) непрерывна no (t, w)<=[t0, T]XV. Поэтому переходя
к пределу при Д£->+0 или Д£~*—0, из (59) получаем H(t) =
*= H(t + 0) — H(t — 0), где = u(t±O)). Тем самым,
непрерывность функции H(t) на отрезке [£0, Г] установлена.
Кроме того, показано, что в (57) верхняя грань достигается как
при v (t) = и (t + 0), так и при v (£) = и (t — 0).
Пусть теперь функции f(x, и, t) имеют непрерывно частные
производные по (ж, t). Тогда, как следует из (5), функция
Н(х, u, t, яр, а0) непрерывно дифференцируема по (ж, t, яр).
Далее, как видно из (2), (6), функции x(t), яр(£) непрерывно
дифференцируемы при всех t^A. Тогда сложная функция
H(t, w) = H(x(t), w, t, яр(£), aQ) также непрерывно дифферен-
цируема при всех t е А и ее производная равна
— = <#к(ж(0> t, яо), /(^(0, м(0> <> +
+ </(ж(0, 0, — Hx(x(t), u(t), t, я|) (£), а0)> +
+ Ht (х (£), w, t, ip (£), a0), t e A (60)
Из этой формулы видно, что при сделанных предположениях
относительно функций f(x, и, t) производная dH(t, w)/dt не-
прерывна по совокупности (£, гр)^ЛХУ, причем существуют
v + dH(t + 04^)
односторонние пределы lim -----------------2—- =----—=т -—-,
д*->±о dl
ъ. йЯ(« + дг, и(г + до) __ dH(t ± о, u(i±0)) г,
lim j. — при всех t
д^±о аъ at
Т], w V. Из (60) также следует, что
t<=A, (61)
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
457
§ 2]
откуда
dH(t,u^ + Q)) = щ (z), u(t± 0)) (i)j Т]' (б2)
Возьмем в (59) Д£>0, v(t)= u(t + O); получим
+ u(t+0)) — H(t, u(t + O))^H(t + Ai)-^(t)^
По теореме Лагранжа о конечных приращениях отсюда имеем
dH (t + Q_At,u(t + O)\
—-------~dT~ Ai < Я (f +
dH(t+e2M, u(t+&t))
dt
где 0<91} 02 <1. Разделив эти неравенства на Af>0 и устре-
мив Д£->+0, получим Я (^ + 0) == dH + °)) . Далее, взяв
в (59) Д£ < 0, v (t) u(t — O) рассуждая аналогично, имеем
H(t — 0) = dH . Отсюда и из (61), (62) следует
формула (58) и непрерывность B(t) при t^A. Теорема 3 до-
казана.
Нетрудно видеть, что теорема 3 остается верной и для задачи
(37) — (40).
7. В следующем параграфе будет приведено доказательство
теорем 1, 2. Здесь мы хотим привести эвристические соображе-
ния, которые помогают понять, откуда появляется сопряженная
система, условия максимума, условия трансверсальности, фигу-
рирующие в теоремах 1, 2, и установить связь между принци-
пом максимума Понтрягина и правилом множителей Лагранжа.
Для простоты рассмотрим задачу (1), (2), (4) при дополни-
тельном предположении, что V = Z?r, g° (ж, у) = g° (у), условия
на правом конце траектории имеют вид
g4rr(n) = 0,...,gei(rr(Z)) = 0, (63)
на левом конце
^(rr(fo)) = O, ...,feso(rcO = 0. (64)
Воспользуемся процедурой исследования задач на условный эк-
стремум (см. § 2.2, 4.8) и введем множители Лагранжа: непре-
рывную вектор-функцию ^(*) = 0M0, • • •> 'Фп(О) для учета ог-
раничений (2), постоянные (ах, .aS1)~a для учета ограниче-
458
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ, 6
ний (63), постоянные (bi, Ц) = Ь —для учета (64), посто-
янную а0 — для функции (1), и составим функцию Лагранжа
S’(*(•)» «(•)> Я’(-), «о> ь) =
j>(x(O,u(O, t) dtg° (х (Т))
-*о
т
+ J <ф (0, / (* (0> и (О, t)-i (0> dt -
*0
*1 ‘о
- ^а^(х(Т))- %b}h’(x(tj).
3=1 3=1
С помощью функции Гамильтона — Понтрягина (5) можно за-
писать функцию Лагранжа в следующем виде:
S’(«(•), U(-), -ф(’>» «о» «> Ъ) =
т
= J [Я (х (0, и (0, t, ф (0, а0) - <ф (0, *(i)>] dt -
*0
*1 *0
-2^(x(T))-2^(®»
1=0 1=1
Все аргументы функции Лагранжа считаются независимыми пе-
ременными. Дадим приращения (вариации) переменным х (£),
u(£), т. е. рассмотрим
здесь u(t), 6м (£)—кусочно-непрерывны, а х(J), 6x(t)—непре-
рывно дифференцируемы на [£0, Г]. Тогда вариация функции
Лагранжа, представляющая собой главную линейную часть при-
ращения этой функции, имеет вид
т
&£ = J [<ЯЖ, 6ж> + <//„, 6и> - <ф, 6i>] dt —
®1 *0
- 2 а} (X (Т)), 8х (Т)> - 2 bi (h’x (х (t0)), 6х (i0)>;
j=o i=i
для краткости аргументы у функций под интегралом опущены.
Интегрируя по частям, находим
т т
J <ф(0, Ьх (0> dt = <ф (0, бх (0> |Ц - .[ <Ф (о, Ьх (0> dt.
^0 *0
§ 2]
ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА
459
Тогда
т
63 = J [<нх + ф, 6х> + <ЯИ) 6u>] dt -
- \ S (х (Л) +(Л, (Т) > +
/ s0 \
+ \— 2 Ш (*Go)) + 'Ф Go), 8хGo)/•
X j=i /
Пользуясь независимостью вариаций 6х(), би(-), из условия
стационарности 63? = 0 имеем
ф + ЯДж, и, t, ф, ао) = О, Ни(х, и, t, ф, ао) = О,
si so
ф (Т) = - 2 а}& (х (Г)), ф (*0) = 2 (х (*„)).
5=0 5=1
Таким образом, получены почти все основные соотношения тео-
ремы 1, кроме условий (8), (9). Вместо условия (9) мы по-
лучили равенство Ни = 0, являющееся следствием (9) при V «=*
= ЕГ. Подчеркнем, что приведенные здесь рассуждения, конеч-
но, не могут считаться строгими и являются лишь полезными
наводящими соображениями при получении необходимых усло-
вий оптимальности.
В заключении заметим, что принцип максимума выше был
сформулирован для задач оптимального управления, не содер-
жащих фазовые ограничения при t0 < t < Г, и в предположении,
что область управлений — множество V — не зависит от време-
ни. Принцип максимума может быть сформулирован и для за-
дач с фазовыми ограничениями и с переменной областью уп-
равления [31, 77, 137, 166, 206, 306], однако, надо отметить, полу-
чающаяся отсюда краевая задача принципа максимума будет
иметь более сложный вид. Другой подход к исследованию задач
с фазовыми ограничениями и с переменной областью интегри-
рования будет изложен в главе 7.
Упражнения. 1. С помощью принципа максимума решить задачу
быстродействия при условиях f1 = я2, x2 = u(t), x(fi) е50, x(T)^Si;
u(t) е V = {и е Е1: |u| 1}, где So = {х е Е2'. h(x) == |я|2 = 1} или So =
= {х е Е2: h(x) == ] х21 гС 1}, или So = {(0, 0)}, или So = {(1, 0)}, a Si =
= {х е Е2, g(x) == х1 = 0}, или Si = {х е Е2: g(x) = |ж|2 = 4} или Si =
= {х е Е2-. g(x) а | х|2 < 4}.
2. Применить принцип максимума к задаче: J (и) — J | и (t) |2 dt -> inf;
о
х» = х2, х2 = i?(0, х3 = ж4, я4 = u2(t) — g (0 С i < 1); я(0) = (-1, 0, 0, 0).
х(Т) = (0, 0, 0, 0). Здесь х = (ж1, х2, ж3, ж4), и = (и1, и2); g = const 0.
3. Применить принцип максимума к задаче о мягкой посадке космиче-
ского корабля на Луну с минимальной затратой горючего ([308], с. 36, 44,
54): J(u) == тп(Т) ->sup; Я(0 = = —g + ^(£)/тп(£), m(t) =
u(t) eV = {ue^1: 0 и a} й(О)=Ло>О,
460
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
р(0) = р0, тп(О) = т0 > 0; h(T) = 0, и(Т) — 0; момент Т заранее не задан.
Здесь m(t)—масса корабля, h(t)—высота, v(t)—вертикальная скорость
корабля над Луной, и (t) — тяга двигателя, g — гравитационное ускорение
Луны, а > 0, к > 0 — постоянные (ср. пример 1.2).
4. Рассмотреть задачи из примеров 7—11 для малых колебаний маят-
ника, считая sin хх « л1, cos ж1 « 1. Найти решения краевых задач принципа
максимума.
5. Рассмотреть задачи из примеров 1, 2 при дополнительном ограниче-
нии u(f) е V = {и е Е1: |и| 1}.
6. Применить принцип максимума к задаче: Ци) = хЦТ) inf; х =
= u(0, u(t) е V = {и сеЕ1: |и| 1} (0 < t Г); х(0) = я0; момент Т >
> 0 задан. Сколько решений имеет эта задача при х0 = 0? х0 =
7. Показать, что в задаче J (и) = J (ж2 (t) — и2 (/)) dt -> inf; £ = u(t),
о
u(t) е V = {и е Ех: |и|^1} (O^i^l); я(0) = 0, оптимальное управ-
ление не существует, inf Ци) = —1 (см. пример 7.4.2). Что дает здесь при-
менение принципа максимума?
1
8. Найти минимум функции J (и) = J sin и (/) dt при условии £ =
о
= cos u(i), u(t) = {we E1: |u| л/2} (0 t 1); x(0) = 0, x(i) = 1.
Показать, что u(t) == 0 (0 t 1), — оптимальное управление, и убедить-
ся в том, что в принципе максимума здесь надо принять а0 = 0.
т
9. Применить принцип максимума к задаче: J (и) = J | х (t) |2 dt -> inf;
о
x = u(t), u(t) е V = {и е Е1; |u|^l} (O^f^T); #(0)=1, х(Т) = 0;
момент Т > 0 задан. Показать, что при Т > 1 оптимальное управление:
u(t) ss —1 (0 t < 1); u(t) е 0 (1 t Т) на участке 1 t Т являет-
ся особым, т. е. его нельзя определить из принципа максимума.
1
С JT X (t)
10. Применить принцип максимума для J (и) = I и (t) cos—dt->
о
->inf; x = u(i), u(t) e V = {u e El: |u| 1} (0 t 1); a;(0) = 0.
T
11. Показать, что задача: J (и) = J и2 (t) (и (t) — I)2 dt -> inf; £ = u(t),
о
u(t) e V = {u e El; O^u^l} (O^/^T); #(0) = 0, x(T) = 1 при
T = 1 имеет единственное решение, а при T > 1 — бесконечно много реше-
ний. Изменится ли этот вывод, если 7 = Е1? Если х(Т) = — 1?
12. С помощью принципа максимума исследовать задачу: Ци) =
= |я2(1) |2-> inf; х1 = х2, £2 = u(t), u(t) е V = {и е Е1: | u| 1}, л (0) =
= (х0’ хо)-
13. Пусть задача оптимального управления автономна (см. § 1), (и(*),
^(•)) —ее решение, а (•), а0, ai, ..., а8, определены из принципа макси-
мума (теоремы 1, 1). Показать, что тогда H(x(t), u(t), *ф(£), *ф0) = const
(tQ^2t^.T). Указание: воспользоваться теоремой 3.
14. Сформулировать принцип максимума для задачи оптимального уп-
равления с параметрами:
т
J (и (•), w) = J /° {х (<), и («), t, w) dt + g0 (х0, X (Г), i0, Т, w) -> inf,
*0
§ 3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
461
*(0 = f(x (t), u(t), t, w), to^t^T, x(tQ) = Xq,
ё1(х0, x(T), to, T,w)^0, i = 1, ..., m,
g{ (xq, x(T), to, T, w) = 0, i = m + 1, ..., s,
и (i) e V, tQ t T, w ^W,
где w = (wx, ..., ws) — параметры (они не зависят от времени), Ж —за-
данное множество из Е3\ остальные обозначения см. выше. Рассмотреть слу-
чаи W = Е3 и W = {w: qi(w)=0, i = 1, ..., к}, где qi(w) — заданные
гладкие функции на Е3, i = 1, ..., к. Указание: ввести новые перемен-
ные xn+i посредством условий xn+i(t)=Q (tQ^t^T), хп+*^0) = м*
(i = 1, ...» к) в пространстве (хх, ..хп+к) воспользоваться теоремой 1
или 2, а затем исключить переменные xn+i, -фп+< (i = 1, ..., к).
15. Сформулировать принцип максимума для задачи получающейся из
задачи (1) —(4) или (37) —(40) добавлением условий (1.33).
Указание: ввести новые переменные xn+i посредством уело-
ВИЙ = u(t), t) *"+i(y = 0 (i = l, ...,S2);
xn+i (Г) + g0 ж (Г), to, T) < 0 (i = 1...m2); xn+i (Г) 4- g°i (x0, x (T),
tQ, T) = 0 (i = m2 + 1, ..®2) в пространстве (ж1, ..хп+‘г), воспользо-
ваться теоремой 1 или 2, а затем исключить переменные xn+i, фп+<
(i = l,..., $2).
§ 3. Доказательство принципа максимума
1. Доказательство теорем 2.1, 2.2 проведем при дополнительном пред-
положении, что вектор-функция f(x, и, t) = и, t), ..., fn(z, и, t))
удовлетворяет условию Липшица по переменным (я, и), т. е.
|/(я, 0 — f(y, », i) | £(|s — у| + |u— i>|), L > 0, (1)
при всех (х, и, t), (у, v, t) (=Еп%ЕпХ [f0, Г]. Покажем, что тогда решение
задачи Коши
Я = f(x, u(t), t), to^t^T, x(t0) = Xq, (2)
непрерывно зависит от начальной точки xq и управления и = u(t). Сначала
докажем одно утверждение, которое часто приводится в учебных пособиях
по дифференциальным уравнениям и в литературе известно как неравенст-
во Гронуолла.
Лемма 1. Пусть функции <р(£), b(t) неотрицательны и непрерывны
на отрезке tQ ^t ^.Т, а = const. Пусть
t
<p(t)<a J <р (x)dx + b{t), (3)
*0
Тогда
t
о < <p (<)< a J b (t) ea(i-T)dT + b (<), tQ < t < T. (4)
В частности, если b(t) = Ь = const 0, то
0 < <p (t) < ЬеаУ~^, t0 t < Т. (5)
Если же
т
[ф(0<« [ф(т)Л + Ь(<), (6)
t
462
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
0<ф(«)<а J & (т) вв<т-*><гт+Ь (0, (7)
t
а при b(t) === b = const 0 будем иметь
О ф(0 < Ьеа(т-*\ (8)
t
Доказательство. Положим 7? (0 = a J ф (т) dx. Заметим, что
• *о
Л (До) = 0, R(t) > О, R (0 = аф(Д) (До t Т). С учетом (3) имеем
R(t) aR(t) + ab(t) или R(t) — aR(t) ab(t), tQ t T.
Умножая обе части последнего неравенства на получим
(r (4) е“а((-‘о)) < аъ (<) е~а^~{о\ t0 < t < Т.
Интегрирование этого неравенства от До до Д с учетом 2?(Д0) =0 приводит
к оценке
R (Д) е a J Ъ (т) е а^Х ^dx,
*о
или
t
R (t) < a j b (т) ea(i-T)dT, tQ < t < T.
*0
Подставив эту оценку в правую часть (3), сразу получим требуемое не-
равенство (4). Если b(t) = b = const, то непосредственно вычисляя инте-
грал в правой части (4), придем к оценке (5).
Неравенства (7), (8), вытекающие из (6), доказываются аналогично с
т
помощью вспомогательной функции R (Д) = a J ф (т) dx (t0^t^.T). Лем-
t
ма 1 доказана.
Теорема 1. Пусть вектор-функция f(x, и, t) непрерывна по совокуп-
ности переменных (я, и, t) ^Еп XV X [До, Т], удовлетворяет условию (1).
Тогда
Т
I Х V' Уо) ~ Х и' Жо) I < С1 ко - Хо 1 + С2 J I V W -“(01
(9)
где x(t, и, х0)—решение задачи Коши (2), соответствующее управлению
м = и(4)е^[(0,Т]: и (0 е V (tQ t Т) и начальному условию х^ С± =
= еЬ(Т-‘о), С2 = СХЛ.
Доказательство. Существование траекторий х(;, и, х^), x(t, v, у0),
io t Т, следует из теоремы 1.1. Обозначим для краткости Ди(0 = у(0 —
— и(0, Дя(Д) = я(Д, р, Уо)—я(£, и, xq), Дя0 = у0 — xQ. Тогда ИЗ (1.12)
§3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
463
следует
t
t^x («) = J [/ (х (т, v, yoj, v (т), т) — / (а: (т, и, х0), и (т), т)] dx + Да:0.
*0
Отсюда с учетом условия (1) имеем
t т
| Ьх (t) |< L J I Ьх (т) I dx + L J I Дм (т) I dx + | Дх0|.
*0 *0
Это неравенство запишется в виде (3), если принять ср (f) =в |Ax(f) |, а = Д
$ (f) = Ь = L J | Ди (t) | dt + | Д#о |. Отсюда и из леммы 1 следует оценка (9).
*о
При доказательстве принципа максимума для задачи с незакрепленным
временем наряду с задачей (2) нам ниже понадобится также задача Коши,
записанная в виде
я = f(x(t), u(t), f), f0 t Л х(Т) = ху (10)
При выполнении условий теоремы 1 для решения x(t, и, х\) задачи (10)
справедлива оценка
т
шах | х (t, v, yj — х (f, щх^ J < Cr J у± — х± | + С2 f | v (t) — и (f) | dt,
го
(Н)
которая доказывается так же, как (9), но с использованием неравенств (6) —
(8); постоянные Су С2 в (И) те же, что ив (9).
Более тонкие теоремы о непрерывной зависимости решения задач (2),
(10) от исходных данных, справедливые без дополнительного требования (1)
и удобные для использования при доказательстве принципа максимума, чи-
татель найдет, например, в [2, 77, 104].
2. Приступим к доказательству теорем 2.1, 2.2. Приводимое ниже про-
стое и изящное доказательство этих теорем принадлежит А. В. Арутюнову
и М. Д. Марданову [206].
Доказательство теоремы 2.1 будет состоять из трех этапов. Вначале ис-
ходная задача (2.1) —(2.4) аппроксимируется семейством конечномерных
задач. Затем к конечномерной задаче будет применен метод штрафных
функций для учета ограничений на концах траекторий и выведено необ-
ходимое условие оптимальности для получившейся штрафной задачи. Нако-
нец, будет совершен предельный переход в полученных необходимых ус-
ловиях и установлена справедливость принципа максимума.
Сначала доказательство проведем в предположении, что решение
(хо*> х* заДачи (2.1) —(2.4) единственно. Через ty t2,... обозначим
каким-либо образом занумерованные рациональные точки интервала (f0, Т),
являющиеся точками непрерывности оптимального управления u* (f). Вы-
берем во множестве V всюду плотную последовательность точек иу и2, .
Зафиксируем произвольный номер N 1 и для любого натурального числа
2 < N выберем такие точки tip = tip(N) <= (fo, Т) (р = 1, ..., N + 1), что
ti = tn <•••<. tip < ... < tlN+y tlN+i — ti 1/2V,
[ff, f/N+i] Л [£&» fov+i] — 0 V Z, к, I =t^= k, 1 Z, к N,
причем оптимальное управление u(f) непрерывно на отрезках [ty fiN+i]
(1= 1, ..., N). Обозначим через § квадратную матрицу f размер-
464
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
ности N, элементы которой удовлетворяют ограничению
о < w (tZp+1 - tlp).
Для каждой такой матрицы § определим управление и(«, £) следующим об-
разом:
и (t, £) = < м3)
(и* (г) в остальных точках отрезка р0, Г].
Нетрудно видеть, что управление (13) кусочно-непрерывно, u(t, £) eV
при всех t е [£о, Г]. Рассмотрим задачу: минимизировать функцию
т
t)dt + g°^0,x(T)) (14)
*0
при условиях:
я(0 = 7(^(0, ?), 0» *о Л x(tQ) = xQ, (15)
ёЦхо, х(Т)) ^0, i = 1, ..., тп,
g*(xQ, х(Т)) =0, i = m + 1, ..., s,
В = {^p}: U = l, 2, IV, (17)
где управление и = u(t, g) определяется согласно (13). Подчеркнем, что
при каждом фиксированном N 1 задача (14) —(17) является конечномер-
ной задачей минимизации в пространстве переменных (#0, £): xQ =
= (*$, £ = {U, Z,P = 1,
Нетрудно видеть, что любой набор (xQ, u(«, £)), допустимый в задаче
(14) — (17), является допустимым и в задаче (2.1) — (2.4), причем значения
целевых функций в обеих задачах на таком наборе совпадают. Отсюда сле-
дует, что нижняя грань /^целевой функции задачи (14) —(17) не меньше
нижней грани в задаче (2.1) —(2.4): В то же время оптималь-
ный набор м* (•)) задачи (2.1) —(2.4) является допустимым в зада-
че (14) —(17), так как согласно (13) и (i, 0) = u* (t) (tQ < t < Т). Тогда
= / (*о*’ “*(’)) = / (хо*' ^) = jn(xq^ Следовательно,
/*= Jn* ~ (жо*’ 0)’ По предположению задача (2.1) —(2.4) имеет един-
ственное решение. Тогда и задача (14) — (17) также будет иметь единст-
венное решение ё* = 0) при каждом фиксированном 2V > 1.
Применим к задаче (14) —(17) метод штрафных функций. Обозначим
giN&o, I) = gi(xQl х(Т)) = gi(x0, х(Т, u(«, g), a:0), i =1, ..., s,
! = 1.................«8)
i = rn + 1, ..., s.
Рассмотрим задачу: минимизировать функцию
фА (v 5) - JN § + 4 2 (4n 5))2 =
i=l
Т S
- J /° (0. «(«. 1)> 0 dt + g° (т0, X (Г)) + Ак 2 (gf («0, ® (D))® (19)
‘о i=1
при условиях
x(t)=f(x(t),u(t,l),t),t0^t^T, x(t0)=x0, (20)
I = {£/₽}. 0^hp^dN, l,p = i,...,N, (21)
1 xo ~ xo* I < (22)
§ 3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
465
где Ak > 0 (к = 0, 1, ...); {Я*} -> оо. Если ввести множество
£Z0 = {(%’^ 1*0-Z,p = l, ...,2V),
то задача (19) —(22) может быть кратко записана в виде
Фа(*о, В) (я0, g) G= Uq,
(23)
Покажем, что задача (23) имеет хотя бы одно решение. Сначала убедимся,
что функции g), gi2v(£o, £) непрерывны по совокупности (я0, £) на
множестве Uq, Пусть (я0, В), (^о + А^о, В+Д£)еС7о. Согласно оценке (9)
с учетом (13) имеем
max |аф, М(., g + Ag), -f- Д^о) — х (i, u(«, g), х | <
т
<С1|Джо1 + С21 •“(«, £ + A5)-u(t, g)Hi =
*0
= С1|ДЖо| + <72 2 j |pp-u*
l’p=1 tip+hp
(24)
где
N
C2N = , 8?P« . SiT । VP ~ “* (<) I’ 1 Д? 1 = ,2 I ^IP Г
1^P^2V l,P=l
Из непрерывности функций f(x, щ t), gi(x, у) по совокупности своих аргу-
ментов и оценки (24) следует непрерывность функций Jn(x0, g), giN(x0, g),
£^(я0»Л), Фь(#о, В) на компактном множестве Uq, Согласно теорёме 1.1.1
= inf ФА(#0, £) > — оо и существует хотя бы одна точка(зд, £ь) е С7о,
в которой нижняя грань достигается. Покажем, что последовательность
решений (xQk, = {1^,}) (к = 0, 1, ...) решений задач (23) сходится к
решению (#OsJi, 5* = 0) задачи (14) —(17). Воспользуемся теоремами 5.14.1,
5.14.2. Проверим выполнение условий этих теорем. Непрерывность функ-
ций Jn(xq, £), giN^XQ, £) мы уже установили. Из непрерывности Jn(xq, g)
и компактности Uq следует, что = inf JN (^0, 5) > — °°. Множество
^б = {(я0, е UQ: g^N^o1 6) < 1 = 1, ограничено в силу ограни-
ченности Uq при любом 6 > 0. Все условия теорем 5.14.1, 5.14.2 выполнены.
Поэтому решение задачи (23) или (19) — (22) сходится к решению задачи
(14) —(17) как по функции, так и по аргументу. Поскольку задача (14) —
(17) имеет единственное решение (xQ*, |ф = 0), то
lim = U = 0, lim = x lim ФА (xok, lk) = JN = J*. (25)
ft-»oo ft->oo A-»oo
Из оценки (24) при £ = £♦ = 0, xQ == xQ*, Ag = ^xQ =xQk— xQ* получаем
lim max | xk (t) — x* (t) ] = 0, (26)
fe-»oot0<f<r 1
466
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. в
где х* (t) = х (t, u* (•), = x (t, w (•, 0), — оптимальная траекто-
рия в задачах (14) —(17), (2.1)—(2.4), xk(t) = x(t, u(«, £ft), зд)—опти-
мальная траектория в задаче (19) —(22). Кроме того, из теорем 5.14.1, 5.14.2
следует
lim g+ (zoft, xk (Т)) = g+ (xQ*, x* (Г)) = 0, i = 1.S. (27)
k~*OO
Задача (19) —(22) представляет собой задачу оптимального управления
с подвижным левым концом и свободным правым концом траектории и
поэтому для приращения функции (19) нетрудно получить формулу, ко-
торая понадобится нам при получении необходимых условий оптимально-
сти для задачи (19) —(22). Будем рассматривать задачи (19) —(22) со столь
большими номерами к, чтобы
I, р = 1, 2, (28)
это возможно в силу равенств (25), из которых вытекает, что неравенства
(28) будут выполняться для всех к к0, где к0 — достаточно большое чи-
сло. Оптимальному решению (зд, £ь) задачи (19) —(22) в силу (28) можно
дать такие малые ненулевые приращения (Даг0, АВ), что
Д?1р>0, l,p = i, k^kQ. (29)
Тогда оптимальные управления Uk(t) = u(t, ^k) и траектория xk(t) =
= x(t, ил(’), xok) задачи (19) —(22) получат приращение Ди(£) =
= u(t, + Agfc) — Uk(t), &x(t) = x(t, Uk +xOk +&XQ)--Xk(t) (fo^f=C
T). Приращение &x(t) удовлетворяет условиям
&x(t) = Д/ = f(xk(t) + Дя(0, Uk(t), t) — f(xk(t), Uk(t), £), tQ t T,
Дя(£о)=Дяо, (30)
вытекающим из (20). Из (24) для &x(t) следует оценка
max I Д* (01 + с22у'д£1- (31)
tg Т
С учетом оптимальности (xQk, Вь) для приращения функции (19) получим
0 < Дфй = Фк (xok + Az0, + Д£) - фк (хок, 1к) =
т
= J [/0 (хк w + д* (0, uk (о + д“ (0. 9 - /° (*ь(0. ик (t), t)] dt +
t0
+ (X0k + A*0’ Xk W + Д* (Л) - g° (*0fe. Xk (Л) +
+ Ак Д [(tf (*ok + Дх0, xk (Г) + Ax (T)))2 - (g+ (Xo, xk (П))2] =
= [ Afdt +/g’ (xQk, xk (T)) + j] 2Akg+(x0k, xk(T)) g^k, xk (T)), Ax\+
*o 4 i=1 /
+ <4 (ЖОЙ’ xk (П) + 2 24g+ (xok, xk (T)) g{v (xok, xk (T)), Дх (T)\ + Rik,
\ *=i z
(32)
§ 3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
467
где
А/0 = f (xh(t) + Ьх(0, uk(t) + Ли (xk(0, uk(0, 0,
(,6.)- 4 (...)) + 2 2Aft (g+ (,e.) 4 (,0.) -
+ 2 2A(^(.?.)4(.?.) -tf(---)^ (•••)), Д*(П^>; ОЗ)
для краткости здесь обозначено
< 0 < 1), (...) = (xoft, хк(Т)).
Введем обозначения
(.°.) = (xok + 0Джо’ xk (Г) + 9Лг (У)) (° <
«ок = 1+2 (24?+(^,^(7))}
2=1
i = 1, s.
Отсюда и из (18) следует, что
агК "" 2Ak^t (*ofe»
2 ак = i-
2=0
Xk (Г)) °0fe,
(34)
(35)
Для преобразования правой части равенства (32) к более удобному виду,
введем функцию Гамильтона — Понтрягина
Я (я, u, t, i|), а0) = — aQf°(x, щ 0 + <“ф, и, 0> (36)
и сопряженную задачу
(О = “ (*> Ф> %) |x=xft(O,u=ufe(t),\|j=i|)fe,a0=a0ft» (37)
(38)
2=0
где aik взяты из (34). Напоминаем, что в соответствии с определением 1.1
решением задачи (37), (38) называется непрерывная вектор-функция фл(0,
являющаяся непрерывным решением интегрального уравнения
Т
4 (4) = J Нх (хк (т), uh (т), т, % (т), aoft) dx + 4 (Г). (39)
t
Система (37) линейна относительно ярь; существование и единственность
решения задачи (37), (38) следует из теоремы 1.2. При вделанных предпо-
ложениях относительно функций р’(я, и, 0 (£ = 0, 1, ..«, и), как видно
из (39), функция *Фа(0 во всех точках непрерывности управления Uk(t)
непрерывно дифференцируема и удовлетворяет уравнению (37).
Умножим равенство (32) на яоа > 0 и с учетом обозначений (34), (38)
перепишем его в виде
о < в0йДфл = J a0k^f°dt + <f .2 aikSx (xok’ xk (Л), ~
-<4(T), te(T)> + aokR1K. (40)
468
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
Преобразуем третье слагаемое из правой части (40). С учетом соотно-
шений (30), (37), (38) имеем
т
<tft (Т), Ьх (П> = J (0, («)> dt + (t0), Дж0> =
*0
т
= J «^й (0, А® (П> + <к (0. А® (<)» dt + (t0), Дя0> =
f0
Т Т
= f <4>ft (Z), Д/> dt - J <ЯЖ (xk (Z), ик (Z), t, 4>ft (Z), aoh), ДХ (t)> dt +
*0 *0
+ <$k (*o)> A*o>-
Подставим полученное выражение в (40); с учетом обозначения (36) бу-
дем иметь т
0 < аодДФд = - j [Я (Xh (Z) + Дж (Z), ик (Z) + Ди (Z), t, фд (Z), aQk) -
*о
- H (Xk (Z), uk (Z), Z, 1>ft (Z), %ft)] dt + /3 а^х{хйк, ®/г(Т))-^(*0), Д*о\+
\i=0 /
T
+ J <Ях (®ft (0, «ft (0, t. !>ft (0, «Ой). A® (t)> dt + aokRlk. (41)
*0
В силу формулы конечных приращений
Н(хи + Дя, ик + Ди, £, i|)fe, aOk) = H(xk, ик + Дщ t, *фл, aQk) +
+ {Hx(xk + 01Д#, Uk + Ди, t, -фл, aQk), Дя>, 0 < Oi < 1.
Отсюда и из (41) получим
Т
О < аоДАФд= - J [Я (Хк (Z), ик (Z) + Ди (Z), Z, (Z), aoft) -
*о
— Я (хк (Z), ик (t), t, (Z), aoft)] dt +y 2 «ift^x xk
\i=0
“ ’I’ft (fo). A*o^> + Rk, Rk = «0ЙД1Й + R2h' (42)
где
т
R2k = - J <^x (xk (0 + (Z), Uk (Z) + Ди (Z), t, (0, «oft) -
*0
- Hx (Xk (Z), Uk (Z), Z, 4>ft (Z), aoft), Дж (Z)> dt. (43)
Покажем, что
Rk = ok (| Дж01 + 1 Д£ I), limoft(Z)/Z = 0. (44)
§ 3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
469
Из непрерывности функций g*(#, у), st(x> У), У)> 8у(х’ У)» оценки (31)
и выражения (33) для следует, что aQkRik = оъ(|Дгг0| + |Д£|). Далее,
перепишем выражение (43) для R2k в виде R2k == Rsk + R^ где
т
*з* = - J <н* (хь & + М* и (г> h + ДЮ- *. % (О, *oft) -
t0
- Нх (xk (t), и (*, + Д£), i, % (0, aok), Lx (0> dt,
T (45)
^4fe = ~~ J (Xk W» u (*> lk + Д^)’ W’ a0k)
*0
-#х(хл(0» M(^’ £&)» aofe)» &x (0> dt.
Напомним, что управления u(t, g&), u(t, Вь + A£) определены согласно (13).
Отсюда и из неравенств (21), (22), (28), (29), (31) следует, что аргументы
х, и, t, хр функции Нх в формулах (45) принадлежат ограниченному замкну-
тому множеству QkN = f(x, и, t, гр): | х |< max | (t) | + ^ (| | + 1)+
I
+ c NN2dN, | u|< sup | «*(<)!+ max Ь I t 1^|<
t0<t<T 1 v 1 °
max I ipfe (0 |« Непрерывная функция Hx(x, и, t, гр, aQk) переменных
(x, u, t, ip) на компактном множестве QkN будет равномерно непрерывна
на этом множестве. Отсюда и из оценки (31) следует, что R^k =
= Ok( | Дя0| + | A£ |). Далее, с учетом определения (13) управлений u(t, £ь),
к(^ lk + Д£) имеем
1*4*1 =
i,p=i k
*ip+iip
— и* (^)» aok)’ ^Х dt |
< 2 ] Д? 1 sup] Нх (х, и, t, 1р, aofe) 11 Lx (t) | = ok (| Д^о | + | Д£ |).
QkN
Суммируя полученные оценки для Rik, Rzk. R^ придем к оценке (44).
Итак, нужная формула (42) для приращения функции (19) с оценкой
(3
2 aik^x (X°h'
г=0
a:ft(T)) — (*0)), где число е > 0 столь мало, что выполняется первое
из неравенств (29); тогда Lu(t) == 0 и из (42), (44) получим0^ *0*ДФ* =
4 . I2
2 W» (жо*’ хк (г)) - % (У + °* или
i=0 I
8
2 а^х (Ж0*’ ХЬ ~ (го)
i=0
°*(е)
8
Отсюда при 8 -> 0 имеем
tft(«o)= S аг*4(Ж0*’ xk^)> к>к0- <46>
1=0
470
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
Далее, положим bJ42) Аяо ==0, матрицу Д| = {£/?} возьмем так, чтобы
элемент, находящийся на пересечении произвольным образом фиксирован-
ных Z-й строки и р-го столбца, 1 I, р равнялся 8! > 0, а остальные
элементы равны нулю, причем е возьмем столь малым, чтобы выполнялось
второе неравенство (29). Тогда согласно (13)
Au(f) = u(i, ^ + Ag)-u(Z, gfe) =
и из (42), (44) получим
“ft («)=₽₽-и* (0
при tlp + llp<t^tlp + ^T) + e,
0 в остальных точках из [ZQ, Г],
0<а0йДФЬ = - j [ЯЫ*)> V V*)’ aofe)~
— Н (Xk (Z), u* (Z), Z, (0, %fe)] dt + Ok (8). (47)
Заметим, что подынтегральная функция gk(t) = H(xk(t), vp, t, ^(Z), яоь) —
— и* (Z), Z, (Z), aQfe) непрерывна на отрезке [tlp + g*p, tlp + g*p-|-
+ е]. Применяя теорему о среднем, из (47) имеем 0<—-gfe(zZp + & +
+ 02е^ 8 + °k (8) (0 < Э2 < 1). Разделим это неравенство на 8 > 0 и совер-
шим предельный переход при 8 -> 0. Получим 0 < — gk (*1р+$р) или
[# («* (0> гр, I’fe (f)i aOk) ~ Н (xh 0), “* (0, г> ’’I’fe (f)> aofe)], ,Л ^0
{=‘гр+б!р
(48)
при всех к А:о, I = 1, ..., N, р = 1, ..., N.
Заметим, что соотношения (35), (37), (38), (46), (48), представляющие
собой необходимое условие оптимальности в задаче (19) — (22), вполне
аналогичны соотношениям (2.7) — (2.10) из теоремы 2.1. Соотношения (35),
(37), (38), (46), (48) получены при фиксированном N 1 и справедливы
при каждом к kQ. Для завершения доказательства теоремы 2.1 остается
сначала перейти в этих соотношениях к пределу при к -> оо, считая N
фиксированным, затем совершить предельный переход при 2V->oo. По-
скольку построенные выше последовательности {ak}, {^(Z)} зависят от N,
то их предельные точки, вообще говоря, также будут зависеть от N. В даль-
нейшем нам будет полезно явно подчеркнуть эту зависимость и поэтому
упомянутые последовательности и их предельные точки ниже будем снаб-
жать индексом N,
Согласно (35) последовательность = (аоь, ..., a»h) — ak(N)
(к = 0, 1, ...), ограничена и, пользуясь теоремой Больцано — Вейерштрасса,
из нее можно выбрать подпоследовательность, сходящуюся к некоторой
точке a — a(N) = (a0(7V), ai(N), ..., ak(N)). Без умаления общности даль-
нейших рассуждений можем считать, что сама последовательность {ak(N}}
сходится к a (N). Из (35) следует
0<а„(ЛГ)<1, ах(ЛГ)>0, | a (N) I2 = 2 a} (N) = 1. (49)
г=0
Далее, пользуясь непрерывностью gy (я, у) и равенствами (25), (26), из (38)
при к оо получим
lim i|>ft (Г; N) = ф (Г; N) = - 2 ai W 4 (жо*’ ж* (50)
fe->oo
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
471
§ 3]
Покажем, что последовательность {“ФИО) ~ N)} равномерно на [f0, Т]
сходится к решению ф (f; TV) системы уравнений
ij> (f; N) == - Нх (0, и* (f), f, (f; N), aQ (TV)), tQ < t < Т, (51)
с начальным условием (50). Как и в задаче (37), (38) решение задачи (51),
(50) существует, единственно, является непрерывным решением инте-
грального уравнения
т
if (t; N) = j Hx (x* (т), u, (т), т, t (т; N), aQ (АГ)) dx +1 (Г; N), (52)
t
во всех точках непрерывности оптимального управления u* (t) непрерывно
дифференцируемо и удовлетворяет уравнению (51).
Обозначим Дфь(£) = ф&(£; 7V) — ф(^; N) (fo^f^T). Из (39), (52) с
учетом определения (36) функции Н и ее производной Нх имеем
р п
(0 = J 2 Д^Л « /х Ь (т)> мл х) dx + ък (*; ЛГ) + А% V), (53)
где
т
bk (f; N) = - j (aoh (N) - ag (N)) f>x (xft (r), uft (t), t) dx -
t
T
- "0 W J [/“ (Xk (t), Uh (г), т) - (ж» (t), Uk (r), r)] dx —
t
T
— % W j [/£ (*« (T), uk (T), T) - f°x (x* (t), u* (t), t)] dx +
t
+ J S 1Мт; ЛГ) [4(xft (t), Uh (т), т) - (X* (T), Uk (t), t)] dx +
f i=l
у n
+ f 2 ’h <т! ЛГ) [/* (X* (t), Uh (T), t) — 4 («• (T), w* (T), t)] dx. (54)
t «=1
Покажем, что {bk(t; при к-* co (N фиксировано!) равномерно на
отрезке [fo, Т]. С этой целью заметим, что в силу (21), (22), (28), оценки
(24) при |=0, Ag = и определения (13) управления Uh(t) =и(-, |л)
аргументы (ж, и, t) функций /£ (#, w, f), входящих в (53), (54), принад-
лежат компактному множеству QN = /(я, u, f): | х |< max | х* (f) | 4-
I
+ с1(Го*| +1) + WT4v. sup Ju.GJU- sup |^|,
при всех к > к0. Непрерывные функции fx (rr, u, f) на QN будут ограни-
чены и равномерно непрерывны по совокупности аргументов (ж, u, f) е Qn.
Следовательно, max max I Л (xt и, t) I = LN < оо. Отсюда и из
(x,u,f)eQjy
{ooaW} -^a0(N) получаем, что 1-е слагаемое из правой части (54) стремит-
ся к нулю равномерно на [f0, Г]. Равномерная сходимость к нулю 2-го
472
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
слагаемого из (54) следует из равномерной непрерывности и, t) на
Qn и равномерной сходимости {#&(£)} к я* (t), вытекающей из оценки (24)
при g = О, Д£ = gfe. Для 3-го слагаемого из (54) с учетом определения (13)
управлений Uk(t) = u(t, £&), u* (t) = и (i; 0) имеем
т
ао W f рх (х* (т)> ик (Т)> Т) — fx Iх* <т)> “» (Т)> Т] dX -
I
N tlp+tlp
= a0W 2 I I/£(**(*). v, T)— fx TpT<
J.p=i 4
<a0(JV)|5ft|-2 max | /’ (x, u, t) I ->0
(x.u.OeQjy
N
при &-> оо равномерно на [f0, T], так как | %k | = 2 | ^р 1 ® в СИЛУ
i,p=i
(25) . Аналогично доказывается равномерная на [<ь, Т] сходимость при
оо 4-го и 5-го слагаемых из (54). Таким образом,
lim sup I Ьъ (f; АГ) I = 0. (55)
k^ootQ<t<T[ * 1
Далее, из (53) имеем
I(о|< | ln 2 |w |л+1\(*; *)| +1(г) I<
t i=1
г
< Ln ya J I ДЧ> (т) I dx + ] bk (t; N) I + | Д% (Г) |,
t
Как видно, функция <р(£) == [Дгрь(О | удовлетворяет неравенству (6) с
а = b(t) = |ta(f; N) | + |А*фл(Т) ]. Тогда в силу (7) получаем
|Д^(0| = |^№ А0|<
т
< Ln 1/й j (Рй (т; N) | +1 Д^й (Г) [) exp [iwVn (т - «)} +
t
+ аг)| + |Д%(Л[,
Отсюда и из (50), (55) следует
lim max I гр. (f; АГ) — гр (f; ДГ) 1 = 0. (56)
fe->oo/0^^T‘ А
Из (46) с учетом (26), {ak(N)}~*~a(N) при /с->оо тогда имеем
lim («0; N) = t (t0; N) = 2 «i W d (П). (57)
R~*°° i=0
Перейдем к пределу при &->оо в неравенстве (48); с учетом (25), (26),
(56), {оол (А)} а0 (А) и непрерывности функции Я по совокупности своих
§ 3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
473
аргументов получим
[Я (0, t, г|? (i; Я), «0(Я))-Я (** (t), и* (0, %(Я))]|е=^<0
(58)
для всех Z, р =s 1,..., N.
Наконец, совершим предельный переход при 2V->oo в соотношениях
(49) —(51), (57), (58). Выбирая при необходимости подпоследовательность
из {a(N)}, можем считать, что сама последовательность {а(Я)}->а =
= (ао, ai, ..., а«). Тогда из (49) сразу получим
0<а0<1, в1>0, ...» |а|2 = 2«? = 1. <59)
1=0
Из (50) при оо имеем
lim 1? (Г; N) = Ч» (П = - 2 ai4 (жо*’ ** (г))> <6°)
iV-*oo i==0
Покажем, что последовательность {гр(£; N)} равномерно на [£0, Т] сходит-
ся к решению гр (t) системы уравнений
*Ф (О = (•£♦ (0> (0, h (0> flo)» ’С (51)
с начальным условием (60). Существование и единственность решения за-
дачи (61), (60) следует из теоремы 1.1. Выпишем интегральное уравнение,
которому удовлетворяет решение задачи (61), (60):
т
t (0 = J нх (х* (х), и* (т), Tip (т), а0) dx + t (Г).
t
Отсюда и из (52) для разности Д гр (t) = гр (f; N) — гр (t) имеем
т
ДЧ’ (0 = J [(- % № + %) (*). “* т) +
t
+ 2 Ati (Т) /х (ж* W. т)] dx + At (Г), t0 < t < Т.
i=l
Тогда
т
| A t (t) I < f L 1/n I At (т) I dT + L (T - t0) | a0 (N) - a, | + | At (T) |,
где L = max sup I /1(^(т), w#(t),t|. Отсюда и из неравенств
(6)— (8) следует
|AW)I -
< exp {Lfn (T - h) }(L(T-10) ] aQ (N) - a01 + | Дф (T) |), to^t^T.
Тогда в силу (60), {a0(N)} ->a0 будем иметь
lim max 1 гр (f; N) - -ф (t) | = 0. (62)
N-^oo
Из (57) с учетом (62), {a(N)} получаем
lim t (%; N) = t («о) = 2 aiglx (xOt, x, (T)). (63)
474
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ* 6
Перейдем к пределу при А->оо в неравенстве (58). Поскольку в силу
(12) при 2V->oo, {ao(2V)}->ao, то из (58) с учетом (62) имеем
я (х* (Гг), Г„ (Г,), а0) - Н (х. (Ц, и. (Г,), Гр 1|> (Г,), ай) < О, I =1, 2,...
В силу плотности последовательности точек {г>Р} во множестве V отсюда
получаем
Я (я* (^), р, (iz), «о) < Н (х* (М’ ”♦ (М» fl> С0» %) Vp F’
1 = 1, 2, ...
Последовательность {ij рациональных точек интервала (t0, Т), являющих*
ся точками непрерывности оптимального управления u*(t), всюду плотна
на отрезке [io, Г]. Поэтому предыдущее неравенство справедливо для всех
fs [io, Т], в которых u# (i) непрерывно:
Я (^ (i), v, t, г|? (i), а0) < Н (i), и* (t), I, ip (i), aQ) Vp e= V.
Поскольку при v = и* (t) e V здесь получаем равенство, та
sup Н (я. (t), V, t, ip (t), aQ) = H (ж. (t), u. (t), r, ip («), %) (64)
во всех точках непрерывности w* (i).
Далее, докажем, что
а/ (*о*’ <Г)) = °’ * = • • •» т- <65)
Для тех номеров i (1 i т), для которых g* (#0#> х* (Т)) = 0, равенства
(65), конечно, выполняются. Пусть g* (^Оз|е, ж* (Т))<0. Из (25), (26) тогда
следует: g'txok, Xk(T)) < 0 при всех к ко, где ко достаточно большое
число. Поэтому из формул (18), (34) получаем = аа(А) =0 для всех
к к0. Тогда lim aik (N) = ai (2V) = 0 для каждого N > 1. Следовательно,
fc-»oo
lim ai(N)=ai=0 для тех номеров i (l^i^m), для которых
N-»oo
g* x* (T)J < 0. Равенства (65) доказаны.
Соотношения (59) —(61), (63) —(65), составляющие основное содержа*
ние теоремы 2.1, установлены. Тем самым теорема 2Л полностью доказана
для случая, когда задача (2.1) — (2.4) имеет единственное решение (*Os|s,
(0» (0)* Общий случай, когда задача (2.1) —(2.4) имеет более чем
одно решение, легко сводится к рассмотренному случаю. А именно, пусть
(a;0Jjj, w# (i), х* (i)J одно из решений задачи (2.1) —(2.4). Введем новую
фазовую координату xn+l и к системе (2.2) добавим еще одно уравнение
;n+i(t) = iu(«)-u.(oi=/n+1(«w. о. ®п+1(го) = ^+1.
(66)
Введем функцию
Т
J1 (*о- <+1> “(•)) = J /° (^ (0, «(0. 0 dt + g° (х0, X (Л) + (*n+1 (Г))2 +
*0
т
+ I жо - жо* I2 = J f° (0> и (0> 0 dt + (х0, (Г), sn+1 W), (67)
*0
где gj (х, у, уп+1) = g° (х, у) 4- (уп+1)2 + | х ~ (^Рассмотрим задачу ми-
нимизации функции (67) при условиях (2.2) —(2.4), (66). Нетрудно видеть,
§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 475
ЧТО ^(«о. ®о + 1> »(-))>^(®0, «(•))>/» для всех допустимых набо-
ров (я0, и (•), я (•), яп+1 (•)} задачи (67), (2.2) —(2.4), (66), для
которых 0, и (•)=/: и* (•). В то же время /х(^Оф, О,
и* (•)) = J (^Ош, (•)) = J*. Это значит, что функция (67) при условиях
(2.2)-—(2.4), (66) достигает своей нижней грани на единственном допусти-
мом наборе хц*г = 0, и* (•), £*(•), x^+1 (’) 33 О)* Следовательно, для
задачи (67), (2.2)—-(2.4), (66) справедлив принцип максимума. Конечно,
для потной строгости надо оговорить, что функция /п+1 (и, t) =|u — u* (i) I,
находящаяся в правой части уравнения (66), необязательно непрерывна по
t е [io? Т], и строго говоря, не удовлетворяет условиям теоремы 2.1. Но, тем
не менее, благодаря тому, что /n+1(u, t) кусочно-непрерывна по i, не зави-
сит от я, удовлетворяет условию (1), нетрудно последить, что все выше-
приведенные рассуждения, приведшие к соотношениям (59) —(61),
(63) —(65), сохраняют силу и для задачи (67), (2.2) —(2.4), (66). В этой зада-
че функция Гамильтона — Понтрягина имеет вид
ях (г, zn+1, и, t, ip, ipn+v а0) = — а0/° (х, и, 0 + <ф, / (х, и, 0> +
+ ’Ч’п+Х I “ — и* (0 I = Н (х> и> l’ «о) + %+! I U — U* W I-
Согласно уже доказанному случаю принципа максимума найдутся числа
а0, ai, ..., а» и вектор-функция (*ф(£), ^n+iG)) Go t Т) такие, что
а = (а0, ai, ..., а») s/= 0, а0 > 0, ах 0, ..., ат > 0,
(0 = - н1я (0, ^+I (<), И» (0, t, 1|> (0, t„+1 (0, %) =
= — Нх (ж. (0, и. (0, t, -ф (0, %), % < t < т,
Арп+1(0=-Я1яП+^О,
условие максимума
max Нг (х* (0, (0, v, t, ip (0, ipn+1 (0, afl) =
= (x* (0> u« (0i 0 Ф (0i ^+1(0» %)
выполняется во всех точках непрерывности w* (f); справедливы условия
трансверсальности
ф (‘о) = Vix (Л. 4+1 (Г) = 0) “X (ж0*> R =
=2 «X (*0#, ^(П),
3=0
^n+1 (^о) = ао^1хп+1 + 2 аз&хп~1-1 = О’
5=1
Я|) (Т) = - а04 (я0#, X* (Г), (Т) = 0) - 2 ^4 (Л) =
7=1
= -2 аЛ(хо^х*^
3=0
476
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
tn+1 (Г) = - «о4п+1 (*<>* ж* (П, 4+1 (Л = о) -
s aj^in+i (^о*’х* (л)=о
3=1
и условия дополняющей нежесткости
л:*(Л) = 0> i =
Из этих условий следует, что ipn+i(f) == 0. Учитывая это равенство в полу-
ченных условиях, снова придем к соотношениям (59) —(61), (63) —(65)
и в том случае, когда в задаче (2.1) —(2.4) оптимальное решение не един-
ственно. Теорема 2.1 доказана.
Доказательство теоремы 2.2 также приведем при дополнительном пред-
положении выполнения условия (1), считая, что в (1) t е R. Пусть
(^о*’ (*)’^* (*)’ *о*, ^*) “ оптимальное решение задачи (2.37) —(2.40).
Если задачу (2.37) —(2.40) рассматривать как задачу с закрепленным вре-
менем, взяв в ней Т = 7’*, то она превратится в задачу (2.1) —(2.4)
с оптимальным решением (^0*, и* (0, *♦(*))> и к ней применима уже
доказанная теорема 2.1, из которой следуют соотношения (59), (61), (64)
с tQ = £0#, Т = а также условия трансверсальности
ф(‘о*)= 1 аХ(жо*’ ‘о*- Л), t (Л)=- 2 Ж*(Л), Л)
;=0 ;=0
и дополняющей нежесткости
aj85 **<г*)> #о*’ Т*)== °’ Z==1’ m'
Поэтому в отдельном доказательстве нуждаются лишь условия трансвер-
сальности (2.42), (2.43):
т^ахЯ(х* (i0J, v, t^, а0) = - 2 аД (х^, х* (Г*), Г*), (68)
j=Q
шах Н (ж* (Т*), Т*, ^(Т1*), ®q) = j (^о* ’ х* (^**)» ^о*’ ^*)* (^9)
V^v j=o
Начнем с доказательства равенства (69). Сначала рассуждения проведем в
предположении, что решение (#Ojj{, u# (£), х* (t), iQjj{, Т*) задачи (2.37) —
(2.40) с закрепленным tQ = единственно. Как и выше, на интервале
(£0*, 7\), введем точки {tip} согласно (12), матрицу g, перейдем к задаче
(14) —(17), зафиксировав в ней ^0 = ^0#; управление u(t, g) на отрезке
р 7\.] будем определять согласно (13). Поскольку теперь время Т
окончания процесса заранее неизвестно и нам придется рассматривать зна-
чения то нужно как-то определить u(t, |) и при t^T*. Для
наших целей будет достаточно принять
и (*, g) = и* (Г* — ОД) = и* (Т* - 0) Vf > Т*. (70)
Кроме того, говоря о задаче (14) — (17) и других возникающих ниже
задачах, мы всюду дальше будем иметь в виду, что здесь функции g*
являются функциями аргументов (х, у, t, Т).
Пусть число &TN > 0 столь мало, что отрезок [Г* — &ТN, Т*] не
содержит точек {tip} (I = 1, ..., N, р = 1, ..N + 1), и управление (t)
§ 3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
477
непрерывно при Т* — ATN < t < Г*. Тогда, как видно из (13), (70),
управление u(t, g) будет непрерывно при Т* — а тогда соответ-
ствующая траектория x(t. u(., g), xq) при £>T* — hTN будет непрерыв-
но дифференцируема. Задачу (14) —(17) будем рассматривать при допол-
нительном условии
T#-ATJV<T<T# + ATjV.
(71)
Получившаяся задача (14) — (17), (71) представляет собой конечномерную за-
дачу минимизации в пространстве переменных (rrQ, g, Т): — (zj, ..., х™),
5 = {%ip, k P — 1, .N}. Любой набор (x0, u(«, g), T), допустимый в
задаче (14) —(17), (71), является допустимым и в задаче (2.37) —(2.40),
причем значения целевых функций в обеих задачах на таком наборе совпа-
дают (напомним, что момент tQ = tQ* у нас пока фиксирован). В то же вре-
мя оптимальный набор (я0#, и* (•) = и (•, 0), Т*), задачи (2.37) —(2.40)
является допустимым в задаче (14) — (17), (71). Отсюда ясно, что тройка
(^о*’ = 0’ ^*) является единственным решением задачи (14) —(17), (71).
Применяя к задаче (14) — (17), (71) метод штрафных функций, придем
к задаче (19) —(22), (71) с фиксированным tQ — tQ*, Как и выше, поль-
зуясь оценкой (24), нетрудно показать, что функция ФД^о, Т) непрерыв-
на на компактном множестве
^ = {(^0-5. У): Но-*о* |<1; l,p = i, .... JV;
Отсюда будет следовать, что задача (19) —(22), (71) имеет хотя бы одно
решение (rrofe, lk = 7\). Пользуясь теоремами 5.14.1, 5.14.2, убеж-
даемся в справедливости предельных соотношений (25) — (27) с tQ =
Т — Т* и, кроме того,
lim Tk = Т*, lim х^ = х* (Т*), (72)
fe->oo fe->oo
где Xk(t)=x(t, u(«, gfe), XQk) Поэтому можем счи-
тать, что наряду с неравенствами (28) выполняется неравенство
| Tk — Т* | < \TN при всех к > kQ. Оптимальному решению (зд, Вь, Тк)
дадим приращение (Д#о = 0, Д£ = 0, АТ), где ДТ > 0 столь мало, что
\Tk + ^T-T^\<^TN. (73)
Тогда на отрезке tQ = tQ* < t < min {Tk, Tk + ДТ} траектория не получит
приращения, а функция Фь(#о, Т) получит приращение только за счет
того, что одна и та же траектория яъ(0 = x(t, u(-, £ь), xOk) будет рассмат-
риваться на различных отрезках [^, 7\], pOsj!, Tk + ДТ]. С учетом опти-
мальности набора (xQh, gfe, Tft), определения (13), (70) управления uh(t) =
= u(t, gfc) имеем
0 < ДФЙ = Фк (*oft. h’ Tk + ДТ) - фк (жой’ Tk) =
Тд+ДТ тк
— J (^ (0> uk W» dt J / (0» uk 0 “b
^0* t0
+ SQ *k (Tk + ДТ), Tk + AT) - (xQk, Xk (Tft), tTk) +
478
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
+ 42 [(4(*оМ MW t0#, 7’ft+A2’))2-(gt(^, zh(Th), гОш, Tft)/]=
i=l
Tfe+ДГ
= f /°(^(0, u.(t), I) <?« + <?« (*omM4)> V 4) +
+ 2 2Ak4 (*oft. xk(4)- 4) 4(*»m *k{Th\ «0*- 4). xk(4 + дг) -
1=1
~ xk (4)> + St (*om xk (4), ^o#’ Tk) +
где
+ 2 2Akst(x^ W
i=l
Tk) St (*om 4(4)» *o,- 4) V+ 4м
(74)
4^<^4(.e.)-4(-)+ 224(4(.?.)4(.?.)-
- st (•••) 4 (•••)), xk(Tk+^T)-xk(Tk')\+ g°r(.?.)-g°r (•••) +
+ 224 (4 (,e.) 4 (,e.) - st (• ••) g{T (• • •))
ДТ, o<e<l; (75)
здесь по аналогии c (33) для краткости обозначено (.?.) = (^ofc’ xk
+ e(^(Tft + AT)~^(Tft)), fo#,rft+0AT), (•••)==(i^(^)>fo^^)-
Заметим, что функции /*(аъ(0, вл(0> 0 G = О, 1, ..., п) непрерывны на
отрезке [Т^ Тъ + ДГ] (при ДГ < 0 здесь надо рассматривать отрезок
[7\ + Д7\ Tk]) — это следует из выбора &TNf условий (13), (70), (71), (73),
непрерывности uk (t) = и (t, (t) на этом отрезке, непрерывности
функций /f(z, w, t), Xk(t). Поэтому
Tfc+АГ
xk (Tk 4" xkTk)= J f (xk w* W, 0 =
Tk
= /(^(T^ *\)AT + 7?6ft,
Tk+±T (76)
J f (?k (0. И» (0. 9 dt = /° (Tk), u* (Th), Th) M + RJk,
Tk
где
Tft+AT
4ft= J [/(^(0. ”*W, t)-f(xk(Th),u^Tk),Th)]dt = 0
Tk
тк+&т
Rn = J [/° (4 “* 9 - f° (xk (.Tkb u* (4). 4)] = °k
Th
$ 3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
479
lim оА(ДТ)/ДТ = 0. Отсюда и из непрерывности функций g1', gf, g* gt
ДТ-*0
для Z?5fe из (75) также имеем #5* == оь(ДТ). Далее, воспользуемся величи-
нами aik из (34) (разумеется аргументы функций gl’,gj" здесь должны быть
дополнены величинами = Т = Tk). Умножим (74) на а0А > 0; с уче-
том равенств (76) получим
° < = w° (xk (2\). “* (rft), rft) дг +
+ ХМ> t0., Tk), u*(Tk), T^^T+
3
+ 2 aikgT xk (Tk), Tk) ДТ + T?8ft,
i=0
где
R8k = aok (Rbk + R1k) + \ 2 aik%y (*0A» xk (^a)’ *0*’ Га)» ^6A / = °k
\i=0 /
Отсюда, пользуясь условием (38) с Г == 7\ и определением (36) функции Я,
имеем
0 < %АДФА = ДГ - Я (*А (ТА), и, (ГА), ГА, *фА (ГА), aQk) +
’vi i °ь (ДЛ
+2 а^т Xk +~~кт—
i=0
при всех достаточно малых |ДГ|, причем ДТ могут быть как положитель-
ными, так и отрицательными. Это возможно лишь при
Н (Xk (Tfe)’ М* (Га)’ ГА» ^А (Га)’ %а) = 2 aik^T (^ОА* Xk (Га)» f0*’ Га)’ к > к0'
1=0
Отсюда, пользуясь (72), рассуждая также, как при доказательстве теоре-
мы 2.1, совершим последовательно предельные переходы сначала при
А->оо? затем при Я->оо и получим условие (69). Напоминаем, что наши
рассуждения проводились в предположении, что задача (2.37) — (2.40) с
закрепленным tQ = имеет единственное решение. Если эта задача
имеет неединственное решение, то можно перейти к задаче минимизации
функции
Л(*о> = +
+ (*n+1 (Г))2 - (Г - Г»)2 + ро - ®о* Г
при условиях (2.38) —(2.40), (66), которая имеет единственное решение
(^о*» и* ^*)’ применить к ней уже доказанное и, учитывая, что
оптимальные я™’1’1 (£)= 0, (^) = 0> получить условие (69) и в этом
случае.
Для доказательства условия (68) нужно провести те же рассуждения,
поменяв ролями левый и правый концы траектории, зафиксировав в
(2.37) —(2.40) T = T^t пользуясь вместо задачи (2) задачей Коши (10)
и варьируя to в достаточно малой окрестности t * Теорема 2.2 доказана.
480 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. в
§ 4. О методах решения краевой задачи
принципа максимума
1. Выше в § 2 было показано, что задача оптимального уп-
равления (см. задачи (2.1) —(2.4), (2.37) —(2.40)) с помощью
принципа максимума может быть сведена к краевой задаче, со-
стоящей из условия максимума (2.14)
sup Н(х, и, t, гр, aQ)=H (х, и (х, t, гр, n0), tr гр, а0), (1)
определяющего функцию и = и(х, t, гр, а0), системы 2п диффе-
ренциальных уравнений
x = f(x, и(х, t, гр, а0), t), гр= — Нх(х, и(х, t, гр, а0), t, гр, а0),
(2)
to t < Т,
граничных условий (см. условие (2.18), ограничения типа ра-
венств из (2.39), условия (2.41) — (2.44)), которые могут быть
записаны в следующем виде
Qi(t0, x(t0), гр(£0), «о, as, Т, х(Т), гр(Т)) = О,
г = 1, ..., 2n + s+3, (3)
и неравенств (см. (2.19), (2.39))
по^О, (71^0, ..., ат^0, £г(я(М> я (Г), 71)^0,
г = 1, ..., пг. (4)
Для численного решения такой краевой задачи могут быть
приспособлены известные методы, такие, как метод стрельбы,
метод прогонки, различные итерационные методы [4, 13, 20, 39,
54, 209]. Здесь мы кратко остановимся на методе стрельбы, с по-
мощью которого краевая задача (1) —(4) сводится к решению
задачи Коши и некоторой задаче минимизации функции конеч-
ного числа переменных. Для применения этого метода сначала из
набора t0, x(t0) = x0, гр(£о) = гро, а = (п0, ..., as), Т, x(T) = xir
гр(Т) = гр1 выделяют величины, называемые параметрами стрель-
бы, задав которые можно сформулировать и однозначно решить
какую-либо задачу Коши для системы (2). В качестве парамет-
ров стрельбы часто берут t0, х0, г[>0, а. Затем задают какие-либо
конкретные числовые значения этих параметров и решают за-
дачу Коши для системы (2) с начальными условиями
x(t0) = x0, гр(£0) = гр0. (5)
При численном решении задачи (2), (5) можно пользоваться
известными методами Эйлера, Адамса, Рунге — Кутта и др. [4, 13,
39, 54, 258].
§4] О МЕТОДАХ РЕШЕНИЯ КРАЕВОЙ ЗАДАЧИ 481
Допустим, что решение этой задачи x(t\ t0, xQ, ф0, а0),
to, #о, фо, л0), соответствующее взятым значениям парамет-
ров стрельбы, уже найдено. Тогда можно вычислить значения
функций Qi из (3), взяв в качестве аргументов этих функций
выбранные значения параметров стрельбы и соответствующие
им х(Т) = х(Т; tQ, Хо, фо, Ло), ф(77) = ф(77; tQ, х0, ф0, а0) при не-
котором Т > to, и значение функции
2n-f-s-J-3
Ф (^о’ З'О’ Фо> 71) = S Q\ (tg, xQ, фо, а, Т, х (Т), ф (Т7)), (6)
1=1
называемой функцией невязки системы (3). В случае удачного
«выстрела», когда выбор параметров tQ, х0, ф0, а, Т обеспечивает
выполнение неравенств (4) и функция невязки (6) обратится
в нуль, что равносильно условиям (3), краевая задача принципа
максимума (1) —(4) будет решена. Однако вряд ли с первого
«выстрела» удастся добиться выполнения с нужной точностью
неравенств (4) и обратить невязку (6) в нуль — скорее всего
придется продолжать «стрельбу» с другими значениями пара-
метров to, Хо, фо, л, Т, которые дают меньшее значение функции
(6) при соблюдении условий (4). Таким образом, для выбора
наилучших параметров стрельбы нужно решить задачу миними-
зации функции невязки (6) при ограничениях (4); здесь воз-
можно использование известных методов минимизации, напри-
мер, методов из главы 5. Конечно, вместо этой задачи миними-
зации можно непосредственно решать систему уравнений
Qi(to, Хо, фо, л, Т, х(Т\ to, Хо, Фо, Ло), ф(Т; to, Хо, Фо, Ло)) = О,
(7)
i = 1, ..., 2п + $+ 3,
относительно 2n + s + 3 неизвестных tQ, xQ, ф0, а, Т с учетом огра-
ничений (4); здесь могут быть использованы подходящие моди-
фикации известных методов решения нелинейных систем урав-
нений [4, 8, 13, 20, 22, 39, 42, 45, 54, 73, 76, 106, 209, 221, 238,
239, 296, 301]. Подчеркнем, что вычисление значений функции
(6) и левых частей системы (7) в каждой отдельно взятой точ-
ке (to, Хо, фо, л, Т), вообще говоря, весьма трудоемко — для этого
всякий раз нужно решать задачу Коши (2), (5).
Аналогично может быть описан метод стрельбы для случая,
когда в качестве параметров стрельбы берутся Т, хх, фь а и за-
дача Коши для системы (2) решается с начальными условиями
x(T) = Xt, ф(Т) = ф1. Разумеется, описанная схема метода стрель-
бы при применении к конкретным задачам оптимального уравне-
ния каждый раз должна модифицироваться с учетом граничных
режимов на концах траекторий (см., например, (2.21) — (2.36))
482 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
и других особенностей решаемой задачи; количество параметров
стрельбы по возможности нужно стараться уменьшить.
Следует заметить, что краевая задача (1) —(4) принципа
максимума имеет ряд специфических особенностей, затрудняю-
щих применение метода стрельбы и других стандартных методов
решения краевых задач. Такие методы обычно разрабатываются
для краевых задач вида (2), (3) при отсутствии каких-либо
дополнительных ограничений на переменные; здесь же задачу
(2), (3) приходится решать совместно с дополнительными нера-
венствами (4). Наличие числовых параметров а0, ..., а,
также осложняет краевую задачу (1) —(4). Далее, функция и =
= и(х, t, ф, а0), определяемая из условия (1), вообще говоря,
нелинейно зависит от своих аргументов, и поэтому система диф-
ференциальных уравнений (2), как правило, нелинейна отно-
сительно (х, хр) даже в том случае, когда исходная система =
= /(#, и, t) была линейна относительно (х, и). Кроме того, функ-
ция и = и(х, £, х|), а0), вообще говоря, не обладает хорошими диф-
ференциальными свойствами и даже может быть разрывной (об
этом говорят функции вида u = signxp из примеров 2.7 — 2.11),
что влечет за собой плохие аналитические свойства правых ча-
стей системы (2). Краевая задача (1) —(4) существенно ослож-
няется в тех случаях, когда из условия (1) функция и =
= и(х, t, х|?, aQ) определяется неоднозначно. Указанные обстоя-
тельства весьма затрудняют исследование вопросов существова-
ния, единственности, устойчивости решения краевой задачи прин-
ципа максимума, сходимости методов ее решения. При числен-
ном решении прикладных задач оптимального управления труд-
ности, связанные с плохой сходимостью методов, с их неустой-
чивостью, обычно преодолеваются на основе учета специфики
конкретно решаемой задачи, ее физического смысла и т. п. [14,
38, 68, 80, 217, 326]. Некоторые приемы преодоления возможной
неустойчивости в краевых задачах принципа максимума описаны,
например, в [14, 81, 204, 217, 326].
2. Для некоторых классов задач оптимального управления
разработаны специальные методы решения краевой задачи прин-
ципа максимума. Здесь мы кратко остановимся на следующей
задаче с закрепленным левым и свободным правым концами тра-
ектории:
т
J(u) = U(t),t)dt +(8)
*0
x(t)==f(x(t), u(t), i), tQ^t^T, x(t0) = x0, (9)
u = u(t)<=V, (10)
где w = u(£) кусочно-непрерывное управление; обозначения взя-
ты из § 2. Как показано в § 2, краевая задача принципа макси-
§4] О МЕТОДАХ РЕШЕНИЯ КРАЕВОЙ ЗАДАЧИ 483
мума для задачи (8) —(10) имеет вид (см. (2.15), (2.26)):
х = /(я, щ t), x(t0) = x0, (И)
ф = _ нх (х, и, t, ф), ^(T) = — gy(x(T)), (12)
где Н(х, и, t, ф) = — f(x, и, t)+ <ф, f(x, и, f)>, функция и —
= и(х, t, ф) в (11), (12) определяется из условия
sup Н (ж, и, t, ф) = Н (х, и (х, t, ф), t, ф). (13)
Попутно сделаем замечание, касающееся возможностей при-
менения метода стрельбы к краевой задаче (И) —(13). В этой
задаче начальное условие х0, моменты tQ, Т известны, поэтому
в качестве параметра стрельбы здесь достаточно взять г|)0; си-
стему (2) нужно решать с начальными условиями x(tQ) = xQ,
ф(4о) = фо при а0 = 1; функция невязки (6) будет иметь вид
Ф (Фо) = | Ф(Л Фо) + Фо)) |2» ограничения (4) здесь отсут-
ствуют. Если же за параметр стрельбы взять x(T) = Xt, то си-
стему (2) нужно решать с начальными условиями х(Т) = хь
<ф(77) = —go(#i) при а0 = 1; функция (6) будет иметь вид
ф(#1)= \x(tQ; Xi) — я012.
Перейдем к описанию итерационного метода, специально пред-
назначенного для решения краевой задачи (11) —(13) [326].
Пусть и0 = u0 (t) V (t0 < £ < T) — начальное приближение. До-
пустим, что уже найдено к-е приближение uk = uk(t)^V (t0 С
<^Т). Тогда, решая задачу Коши (И) при u = uk(t), нахо-
дим ее решение xk(t) = x(t, ик) (tQ^t^T). Затем, приняв в
(12) u = uk(t), x = xk(t), из (12) определяем фДО = Ф(^ иь)-
Наконец, из условия
sup Н (хк (0, u, t, (t)) = Н (xh (t), uk+1 (t), t, (i)), t0 < t < T,
ueV
(14)
получаем следующее приближение uA+1 = uA+1(Z)<= V (tQ^t^
T) и т. д. Метод описан. Таким образом, на каждом шаге ме-
тода нужно решить две задачи Коши —задачи (11) и (12) —и
конечномерную задачу максимизации (14) при каждом t^[tQ,T].
Предполагаем, что все получаемые этим методом функции uk(t)
кусочно-непрерывны на отрезке [£0, Л-
Может случиться, что при некотором к имеет место равенство
uA(Z) = ик+1 (t) (to^t^T). Согласно (14) это будет означать,
что управление uk(t) удовлетворяет принципу максимума (тео-
рема 2.1) и, следовательно, является подозрительным на опти-
мальность. В этом случае итерационный процесс прекращается,
а управление uk(t) при необходимости подвергается дальней-
шему исследованию для выяснения того, будет ли оно на самом
деле оптимальным.
Рассмотрим случай, когда иА+1 (?)=/= ик(х) в некоторой точке
те[£0) Л» являющейся точкой непрерывности этих управлений,
484
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ, 6
и, кроме того,
Я(а(т), ик+1(х), т, грл(т))-Я(яА(т), ик(х), т, грд(т) )> 2а > 0.
(15)
Можно ли ожидать, что тогда J(uh+l)< J{uh)l Для ответа на этот
вопрос полезно обратиться к формуле приращения функции (8):
т
J (и + Au) — J (и) = — f [Н (х (t; и), и (t) + Аи (£), t, гр (t- и)) —
*0
— и), u(t), t, гр(£; и))] dt + R, (16)
где R' = Rt + Т?2,
Ri = (g°y (Л и) + 0хДх (Л) - g°v № и)), \х (Л>,
т
R2 = — j (Нх (х (£; и) + 02Ая (t), и (t) + Аи (£), i, гр (t; и)) —
tQ
— Нх (х (t; и), и (£), t, гр (t; и)), \х (t)y dt, (17)
&x(t) = x(t; u + &u) — x(t\ и), tQ^t^T, O<0i, 02< 1,
x(t; и), x(t; u + Au) — решения системы (11) при u = u(t) или
u = u(£)+Au(f) соответственно, гр(£; u) — решение задачи (12)
при u = u(£). Формула (16), (17) выводится совершенно так же,
как аналогичная формула (3.42), (3.33), (3.43) при gQ(x, у)~
g1 = ... = gs = O, Дгго = О, uOk=l, а1А = ... = ask = 0,
Ак=1. Из формулы (16), (17) при u = uh(t), Au = uk+l — uk(t)
имеем
J (uk+i) — J (^л) =
т
= — J [Н (хк (t), ик+1 (t), t, i]?ft (0) — H (xk (i), Uk (t), t, (£))] dt + R.
t0
(18)
Так как функции xk(t), грА(£), H(x, u, t, ip) непрерывны по сово-
купности своих аргументов, a uk(t), uk+l(t) кусочно-непрерывны
на [^o, Г], то из (15) следует существование отрезка [т, т + е]^
~ [^о, 21, е>0 (или отрезка [£— е, т] при т = Т), такого, что
g(t) = H(xk(t), uk+l(t), t, ^k{t))-H{xk(t), uk(t), t, грА(О)^а>о
(19)
при всех t (t^J^t + s). Из (14) и (19) заключаем, что пер-
вое слагаемое из формулы (18) для J(ик+1)— J(ик) отрицатель-
но. Это значит, что если остаточный член R в (18) достаточно
мал, то /(uA+1)< J(uft), т. е. управление uk+i «лучше» управления
uft. Однако может случиться, что J(uA+1)> J(uk). Что тогда де-
лать? В этом случае вместо управления uk+l(t) можно указать
§ 5]
ПРИНЦИП МАКСИМУМА И ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ
485
другое «лучшее» управление vk+l(t), для которого J(vk+l)< J(uk).
А именно, возьмем игольчатую вариацию
л /-д\ f Uk+^ (0—^(0, т < t < т + 8,
Ащ, (О = { л
7 10, *еф0, Л\[т, т + 8],
и положим Vh+l(t) = uh(t)+ \uh(t) Из формул (16),
(17) при и = uh, \u = \uh и оценки (3.9) при u = uk(t), v =
= uk(t) + Auh(t), y0 = xQ с учетом непрерывности производных
/х, gy имеем
т+е
J (vh+1) — J (uk) — — f g (t) dt + 7?, R = о (e), lim 2-^ = 0.
T e^° 8
Отсюда и из (19) следует J(pa+1) — J(uk)^ 8 [—a + о (&)/&] < 0,
если 8 > 0 взять достаточно малым. Таким образом, при выпол-
нении условия (15) всегда можно подобрать управление vk+i =
= vk+l(t) такое, что J(vk+i)< J(uh).
Описанный итерационный метод может быть применен для
решения более сложных задач оптимального управления, когда
имеющиеся ограничения на управление и фазовые координаты
удается учесть с помощью штрафных функций и свести задачу
к задаче вида (8) — (10). Например, если функцию (8) нужно
минимизировать при условиях (9), (10) и закрепленном пра-
вом конце x(T) = xi или фазовом ограничении вида
(tQ^t^ Т) и т. п., то можно ввести штрафную функцию Рк(и)=*
т
= Ак\х(Т)~ или Ph(u) = A J (max{^x(^) — 1; G})2 dt и пе-
*0
рейти к рассмотрению последовательности задач минимизации
функции Ф/г(^) = J(u) + AkPk(u) при условиях (9), (10),
]im Ak = оо. Более подробно об описанном итерационном методе,
о приемах ускорения его сходимости, о его возможностях см. в
[204, 326].
§ 5. Связь между принципом максимума
и классическим вариационным исчислением
Основной задачей классического вариационного исчисления,
как известно [64, 74, 108, 172, 181], является следующая задача:
среди всех непрерывных кривых х = x(t0) (t0 t Т), имею-
щих кусочно-непрерывные производные x(t) и удовлетворяющих
условиям xfJoj^So, x(T)^Si, найти такую, которая доставляет
функции (функционалу)
т
J f(x(t), x(t)) dt
*0
486 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ4 6
минимальное значение. Здесь = • • •> #п(0), So и —
заданные множества в Еп, Будем предполагать, что функция
/х (ад 0 непрерывна и имеет непрерывные производные /£, /и,
/?, /иь fux, fuu при (х, и, t)е Еп X Еп X [£0, °0). Далее, в этом па-
раграфе для простоты мы ограничимся рассмотрением случая за-
крепного левого конца: x(tQ) = x0, £0 — задано, а правый конец
х(Т) либо закреплен: x(T) = Xi, Т — задано, либо свободный:
Т—-задано, либо является подвижным и лежит на за-
данной гладкой кривой
8^3^Т)={у^Е\ g(y,
Т е R = {—оо < t < +оо}.
Обозначим x(t) = u(t) и запишем рассматриваемую задачу в
эквивалентном виде как задачу оптимального управления:
т
J (u) = f /° (х (t), и (t), t) dt -> infr
*0
x(t)=u(t),
x(t0) = x0, x(T)^Si(T).
Для исследования этой задачи воспользуемся принципом макси-
мума Понтрягина. Выпишем функцию Гамильтона — Понтрягина
Н(х, и, t, ф, а0) = — aof(x, и, и> (1)
и сопряженную систему
ф = — Нк = aQfx (х, и, t), aQ^0, (2)
Для решения x(t)) (t0^t^T) рассматриваемой задачи
должно выполняться необходимое условие
t, ip(0, а0) == sup H(x(f), и, t, ip (0, ««), (3)
ue En
где ф(0-—решение системы (2) при u = u(t), x — x(t, и) (f0^
Т). Так как в данном случае множество V совпадает со
всем пространством Еп, то условие (3) может соблюдаться лишь
в стационарной точке, т. е.
Ни = - aofu (х (0, и (0, t) + ф (0 = 0, t0 < t < Т. (4)
Отсюда ясно, что Но=^О, так как при н0 == 0 из (4) получим
ф(0^О, что противоречит теоремам 2.1, 2.2. Следовательно,
можно считать, что aQ = 1. Тогда соотношения (1) —(4) пере-
§ 5]
ПРИНЦИП МАКСИМУМА И ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ 487
пишутся соответственно в виде
Я(гг, u, if) = — /°(я, щ t)+ <if, и>, (5)
W) = Л МО, ^(0, 0» (fi)
Я (х (/), и (Z), t, ф (t)) = sup Н (х (t), и, t, if (/)), tQ С t < Т£ (7)
и^Еп
= t0^t^T. (8)
t
Из уравнения (6) имеем: 'ф (0 — J /2 (х (0» и (0, 0 dt + ф (£0).
*0
С учетом (8) отсюда получаем
t
f4{x(t)iu{t)1t)=<\fx(x(x),u(x'),x)dx + ^(t0), (9)
*0
Уравнение (9) называется уравнением Эйлера в интегральной
форме; здесь u(t) = x(t) Если (9) продифферен-
цировать по t, то получим уравнение Эйлера классического ва-
риационного исчисления в дифференциальной форме
4(/2(*W, “(0Л))-/2(*(0, u(t),t) = Q, u(t)=i(t), t0^t^T.
di
Далее, необходимым условием достижения функцией H(x(t),
u(£), t, xf(O) максимума при u = u(t) является неположитель-
ность следующей квадратичной формы:
i,j=l
при любых
|=(|<, |2, |n),
Отсюда, учитывая выражение (5) для Я, имеем
п
2 i^En, (Ю)
ij—l
Условие (10) называется необходимым условием Лежандра.
В частности, при п = 1 отсюда имеем
Ли (# (0». и (0> 0 0, tQ t Т«
Теперь выведем необходимое условие Вейерштрасса. Для этого
перепишем условие (7) с учетом (5), (8) в следующем виде:
0 < Н (х (0, и (t\ t, if (О) - Н (х (0, V, t, if (0) =
= v, t) — f°(x(t), u(t), — u(t), t)). (11)
Это неравенство справедливо при любых v Еп, t [£0, Г], если
488
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
z(t)) (tQ Т) — решение исходной задачи. Введем в
рассмотрение функцию
Е (t, х, и, v) = f (х, v, V) — f (х, и, t) — (у — u, fu (я, и, ОХ (12)
называемую функцией Вейерштрасса. Известно в классическом
вариационном исчислении необходимое условие Вейерштрасса
E(t, x(t)^ u(t), v) > 0, v^En,
является следствием неравенства (И). Далее, из теорем 2.1 —
2.3 следует непрерывность функций и Н (t) — sup H(x(t),
w^En
и, 'Ф(^)) па отрезке [/0, 7]. Поэтому с учетом соотношений (5),
(7), (8) имеем
[<W(O, u(t), i)L = 0,
здесь принято обозначение: [z(£)b = z(£ + 0) —— 0). Поскольку
равенства (13) выполнены при всех t t Т), то они сохра-
няют силу, в частности, и в те моменты t, когда функция x(t)
может иметь излом, т. е. производная x(t) терпит разрыв. Таким
образом, если учесть связь н(/) = х(£), условия (13) превращают-
ся в известные из классического вариационного исчисления усло-
вия Эрдмана — Вейерштрасса в точках излома кривой x(t)
Перейдем к рассмотрению условий на правом конце оптималь-
ной кривой x(t) Если конец х(Т) свободен, то в
силу условия (2.26) ip(7) = 0. Отсюда с учетом выражения (8)
имеем
Л(я(7), и(7), 7)^0. (14)
Если правый конец ^(7) подвижен, точнее, .t(T)gS1(7) =
= {у^Еп\ g3(y, Т)^ у3 — фД7)^ 0, 7 = 1, ..., п), то согласно
условиям (2.30), (2.41) существуют постоянные ап такие,
что
7=1
Н(х(Т), и (Г), ТЛ (Т)) = 2 а^(х(Т), Т) =
7=1
= - 2 (л 2 (Т) Ф. (п = л(Т), ф(П>.
7=1 7=1
Так как Я(гг, u, /, ^)=<ip, zz> —/°(^, и, t) и выражается
формулой (8), то последнее неравенство можно переписать так:
г (х (7'), и (7), Т) + </2 (X (7), и (Z), Т), ч(Т)-и (7)> = 0. (15)
§ 5] ПРИНЦИП МАКСИМУМА И ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ 489
Условия (14), (15) при учете связи выражают собой
известные в классическом вариационном исчислении условия
трансверсальности для свободного и соответственно подвижного
правого конца.
Таким образом, в случае V » Еп из принципа максимума
следуют все основные необходимые условия, известные в класси-
ческом вариационном исчислении [64, 74, 108, 161, 172, 181, 182,
234, 342]. Однако, если V — замкнутое множество и V Ф Еп, то
соотношение (4), вообще говоря, не выполняется. Более того,
имеются примеры, когда и условие Вейерштрасса в этом случае
не имеет места ([17, с. 284]). Условие максимума (2.9), являясь
естественным обобщением условия Вейерштрасса из классического
вариационного исчисления, имеет то существенное преимущество
перед условием Вейерштрасса, что оно применимо для любого
(в частности, и замкнутого) множества V^Er и для более общих
задач. Заметим, что именно случай замкнутого множества наи-
более интересен в прикладных вопросах, поскольку значения
оптимальных управлений чаще всего лежат на границе V,
Глава 7
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
В этой главе мы остановимся на методе динамического программиро-
вания, часто используемом для численного решения задач оптимального
управления при наличии фазовых ограничений, конечномерных задач ми-
нимизации специального вида. С помощью динамического программирова-
ния можно также наметить пути решения проблемы синтеза, сформулиро-
вать достаточные условия оптимальности для задач оптимального управ-
ления и т. д. Изложение метода динамического программирования начнем
с простейшей схемы Веллмана для задачи оптимального управления, затем
опишем более совершенную и удобную для практики схему Моисеева,
а также обсудим некоторые другие аспекты этого метода [12, 14, 15, 25, 26,
50, 57—60, 65, 68, 81, 101, 124, 161, 169, 188—190, 213, 215, 217, 225, 234, 262,
263, 265, 285, 305, 308, 317, 319, 326, 327].
§ 1. Схема Веллмана. Проблема синтеза
для дискретных систем
1. Рассмотрим следующую задачу оптимального управления:
J (t0, х0, и (•)) = J Р (х (т), и (т), т) dx + Ф (х (Т)) -> inf, (1)
*0
х(т) = /(я(т), и(т), т), x(tQ) = Xo, (2)
я(т)еС(т), (3)
u = u(t)^ V(t), zz(t) —кусочно-непрерывна; (4)
моменты времени tQ, Т буцем. считать заданными (описание обоз-
начений см. в § 6.1).
Для приближенного решения этой задачи разобьем отрезок
t0 С £ < Т на N частей точками tQ < h < ... < tN-i <tN~T, и, при-
няв эти точки в качестве узловых, интеграл в (1) заменим квад-
ратурной формулой прямоугольников, уравнения (2) —разност-
ными уравнениями с помощью явной схемы Эйлера [4, 13, 20,
39, 54]. В результате придем к следующей дискретной задаче
СХЕМА ВЕЛЛМАНА
491
§ И
оптимального управления
N—1
/0 I^ilo) = 2 Fi (хь Ui) + Ф (xn) inf, (5)
i=0
#<+i= Fi (#<> Щ), i==0, 1, •.N 1, Xq^x^Gq, (6)
Xi^Gh i = 0, 1, ..., N, (7)
k]oe(»o, Ui, ..., uN^i): Ui^Vi, i = 0, 1, N—1, (8)
где Fi (x, u) = p (x, u, Q (ti+1 — Fi(x, u) = x + f(x, u, ti)X
X(ti+i — ti), Gi = G(ti), Vi^V(ti). Заметим, что задача (5) —(8)
имеет также и самостоятельный интерес и возникает при опи-
сании управляемых дискретных (импульсных) систем, в которые
сигналы управления поступают в дискретные моменты времени,
фазовые координаты также меняются дискретно [44, 66, 101, 213,
254, 322, 323].
Если задать какое-либо дискретное управление [ujo = (и0,
Щ, ..., uN-i) и начальное условие xQ = x^GQ, то система (6) од-
нозначно определяет соответствующую дискретную траекторию
Мо = [^»(^; [ujo)]o = (^о, Xi, ..., х^. Зафиксируем некоторое
х е Go и через До (х) обозначим множество управлений [ujo та-
ких, что 1) выполнены условия (8); 2) дискретная траектория
[^г]о, соответствующая управлению [гг<]0 и выбранному начальному
условию х0 — х, удовлетворяют ограничениям (7). Пару ([ujo,
(#Jo), состоящую из управления и траектории, будем называть
допустимой для задачи (5) — (8) или, короче, допустимой парой,
если эта пара удовлетворяет всем условиям (6) — (8) или, иначе
говоря, [ujo До (xQ).
Множество До (х) может быть пустым или непустым. Если
До(<г) = 0 при всех x^Gq, то условия (6) — (8) несовместны и
функция (5) будет определена на пустом множестве. Поэтому,
чтобы задача (5) —(8) имела смысл, естественно требовать су-
ществование хотя бы одной точки x^G0, для которой До(я)=/=0.
Обозначим Х0 = {х: x^G0, До(я)=/=0}. Тогда задача (5) — (8)
может быть сформулирована совсем кратко: минимизировать
функцию 10(х, [ujo) при [ujo^ До (я) (х^Х0). Положим
Iq = inf inf ШМо).
x-xq lwi]osAo<x)
Допустимую пару ([w*]o, [^По) назовем решением задачи (5)—*
(8), если /о(^о Д^По) = [и*]0 назовем оптимальным управ-
лением, VxT]o — оптимальной траекторией задачи (5) —(8).
Как видим, задача (5) — (8) является уже известной нам
задачей минимизации функции n + Nr переменных х, и0, щ, ...
..uN-i и для ее решения в принципе могут быть использованы
методы, описанные в главах 1—3, 5. Однако в практических за-
492
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
дачах число n + Nr обычно бывает столь большим, что непосред-
ственное использование методов глав 1—3, 5, вообще говоря,
сильно осложняется: вызывает трудности также и то обстоятель-
ство, что множества До (х), Хо, на которых минимизируется функ-
ция Zo (х, [ujo), заданы неявно. Для преодоления этих трудностей
здесь часто пользуются методом динамического программирова-
ния, с помощью которого задачу (5) — (8) большого числа пере-
менных удается свести к последовательности конечного числа
задач минимизации функций меньшего числа переменных.
2. Для изложения метода динамического программирования
нам понадобятся следующие вспомогательные задачи:
N-1
h (x, = 2 Fl (xit щ) + Ф (xN) ->inf, (9)
i==ft
xi+l = Fi(Xi, Ui), i = k, ..., TV—1, xk = x, (10)
Xi^Gh i = k,...,N, (H)
[uJA = (uft, uk+l, ..., ик-i): i = k, N-1, (12)
где точка x и целое число к фиксированы, х Gk (0 < к
^TV—1). При /ь' = 0 отсюда получим исходную задачу (5) —(8).
Через ДА(я) обозначим множество всех управлений [и<]А, удов-
летворяющих условиям (12) и таких, что соответствующая ему
траектория [rct]A = (хк == х, xk+i, ..., xN) из (10) удовлетворяет
фазовым ограничениям (11). Пару (Жк, [х<]А) назовем допусти-
мой парой для задачи (9) —(12), если Ж|АеДА(я). Допустимую
пару ([щ]А, |Х]А) будем называть решением задачи (9) —(12),
если Л (я, = l\(x) = inf назовем опти-
Aft(x)
мальным управлением, [#*]&— оптимальной траекторией задачи
(9) —(12).
Нетрудно видеть, что если Хо¥=2>, то ДА(я)=/=0 хотя бы для
одного х е Gk. Введем функцию
Bk(x)= int 1к(х,[щ]к), к = 0, 1, ..., TV— 1,
ДА(х)
называемую функцией Беллмана задачи (5) — (8). Область опре-
деления функции Вк(х) представляет собой множество ХА =
= {x^Gk\ &k(x)^ &}. Покажем, что функция Веллмана задачи
(5) —(8) удовлетворяет некоторым рекуррентным соотношениям,
называемым уравнением Веллмана,
Теорема 1. Функция Веллмана задачи (5) —(8) необходи-
мо является решением уравнения
Bk (х) = inf [F2 (х, и) + Bk+1 (Fk (х, и))],
xe=Xh, k = — (13)
§ 1]
СХЕМА ВЕЛЛМАНА
493
где
Вк(*) = Ф(я), x^Gn. (14)
•Dfc(^) — множество всех тех u^Vh, для которых существует хотя
бы одно управление [zzJA е ДА (#) с компонентой ик = и. Верно и
обратное: функция Bk(x), x^Xh (fc = О, 1, ..., N — 1), опреде-
ляемая условиями (13), (14), является функцией Веллмана за-*
дачи (5) —(8).
Доказательство проведем в предположении, что все упоминае-
мые в теореме 1 нижние грани конечны.
Необходимость. Пусть Bk(x)= inf Ik{x, [zz^) (xe=Xk,
Afe(x)
fc = 0, 1, ..., TV—1); BN(x) = &(x), x^Gn. Покажем, что эти
функции удовлетворяют уравнению (13). Из определения мно-
жеств Аа(я), Dh(x) видно, что множества Dh(x) и АА(а?) оба
пусты или непусты одновременно, и поскольку xh+i=Fh(x, и),
то для непустоты этих множеств необходимо и достаточно, что-
бы Aft+1(FA(z, Справедливость соотношения (13) при
А* = А'-1 очевидным образом вытекает из условия BN(x)^&(x)
и представления In-i (я, fai]n-i) = P°n-i (л, и) + Ф (Fn-i (z, u)),
верного для любого и An-^x)^ {и: u^VN_i, xN —
= Fn-i(x, u)^Gn, x^Gn-J. Докажем (13) при к (0^к<
< TV — 1). Для этого сначала убедимся в том, что
Bk (х) < inf |>ь (х, и) + Вй+1 (Fft (х, u))], X <= Xk. (15)
u=Dft(x)
Возьмем произвольное u^Dk(x) и с этим управлением «выйдем»
из точки х в момент к. В момент к +1 придем в точку rrft+I =
— FK(x, и), для которой &.k+l(xK+i)¥s 0. По определению
Bk+1 (xk+1) = inf Ih+l (xk+1, [ui]ft+1) для любого 8 > 0 най-
ДЛ+1(хЛ+1)
дется управление е Aft+1 (хй+1) такое, что Bk+1 (хй+1) <
<4+1 (а*+1, [wih+i)<#ft+i(*fc+i) + 8. Поскольку [щ]й =
= (и, и®+1) ..., uw-J е= Aft (х), то Вк (х) < 7ft (х, [и{]й) = F& (х, и) +
+ 4+1(жй+1> (ui]ft+i) <7й (х, и) + 5й+1(я:й+1) + e, = Fk(x, и) +
+ Bft+1 (Fft (х, и)) + 8. В силу произвольности u^Dk(x) и вели-
чины е>0 отсюда следует неравенство (15).
Теперь покажем, что в (15) на самом деле знак неравенства
можно заменить знаком равенства. По определению inf Л(яя
Д&(х)
Мь) = Bk (х) для каждого 8 > 0 найдется такое управление
[ni]ft<= Aft(x), что Вй(г)<Л(г, < Вк (х) + 8. Но
= (р®+1, ..г>л-1) Aft+i (7ft (х, vek)), поэтому
F^x, neft) + Bk+1 (Fk (x, vl)) < П (x, vl) + 4+1 (Fk (x, veh), [vt]k+1)^
= (x, [р®]й) <ВЙ (x) + 8.
494
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ4 I
Так как v\ <= Dk (х), то отсюда имеем: inf g (х, и) + X
х (Fk (х, u))] <Bft (х) + 8, или в силу произвольности е>0:
inf [F2 (ж, и) + Bh+1 (Fk(x, u))] < Bk (x), x <= Xk.
usDj(x)
Отсюда и из (15) немедленно следует равенство (13).
Достаточность. Пусть функции Вк(ж) (жеХ*, к =
e0, 1, N— 1), определены из условий (13), (14). Спраши-
вается: какое отношение имеют эти функции к задаче (5) —(8)?
Покажем, что при каждом х^Хк величина Вк(х) равна нижней
грани функции (9) при условиях (10) —(12). Отметим, что ус-
ловия (13), (14) однозначно определяют функции Вк(х) (же
еХА, к = 0, 1, ..., N). Это легко доказывается с помощью ин-
дукции последовательным перебором в (13), (14) номеров k = N,
N — 1, ..., 0 с учетом того, что функции Ф(ж), F°k(x, и), Fk(x, и)
однозначны и нижняя грань функций определяется также одно-
значно. С другой стороны, как было установлено выше, функции
inf Ik (ж, [«jib) (жеХл), также являются решением уравнения
М»
(13) при условии (14). Из единственности решения системы
(13), (14) тогда следует, что Bk(x)= inf Ik(x, [щ]*) (жеХ*,
Aft(x)
к — Q, 1, ..., N— 1). Теорема 1 доказана.
3. Пользуясь условиями (13), (14), можно последовательно
определить функции Вк (ж) и их области определения X* (к =
N— 1, ..., 1; 0). А именно Вх(ж)вф(ж), же<?№ ХК —
известны. Если известны ВА+1(ж) и Х*+1 (k^N — 1), то для
определения Вк (ж) нужно решить задачу минимизации функции
<р (ж, и) ==s Fk (ж, и) 4- Bk+i (Fk (ж, и)) переменных и = (и1, ..., ит)
на известном множестве В*(ж) = {и: u^Vk, Fk(x, u)<=Xft+J}.
Здесь могут быть использованы методы глав 1—3, 5. Очевидно,
функция В* (ж) определена в точке ж тогда и только тогда, когда
В*(ж)¥=0. Таким образом, при определении значений функции
Вк (ж) одновременно находится и область ее определения ХА =
“{ж: же Gk, Dk(x)^= 0} и {ж: же Gk, ^к(х)¥= 0}. Так как Д»(ж)=?&
¥“0 хотя бы при одном жеб», то Х*¥=0 (k = N, N—i, ...
..., 1, 0).
Предположим, что нам удалось найти функции В* (ж) из усло-
вий (13), (14) и, кроме того, пусть также известны функции
ик(ж)еDk(х) (жеХ*, Л = 0, 1, ..., N—i), на которых дости-
гается нижняя грань в правой части (13). Тогда, оказывается,
решения задач (5) — (8) и (9) — (12) выписываются совсем
просто. А именно, оптимальное управление [«По и соответст-
§ 1]
СХЕМА ВЕЛЛМАНА
495
вующая траектория [#*]о для задачи (5) — (8) определяются
следующим образом: сначала из условия
inf В0(х) = Во(хо) (16)
Х^хо
находят xQ е Хо, затем последовательно полагают
щ = и0 (4), X* = Fo (4, и*), и* = ux (^)(
* г, / • *\ * _ f * » \ I1'/
= F!(хп игxN = Fjf-i[xn-1,. Un-1)-
Оптимальное управление [u*]ft и траектория [x*]ft для задачи
(9) — (12) определяются аналогично:
Xk = х, и* = ик (хл),
Xk+1 = Fk (х*, Uk), ..., X*N = FN_t (Xtf-x, Ux-i).
Для доказательства этих утверждений введем вспомогательные
функции:
Ri (х, и) == Z?j+1 (Fi (х, и)) — Bi(x) + Fi(x, и), i = 0, 1, ..., N — 1.
(19)
Очевидно, уравнения Веллмана (13) тогда можно переписать в
эквивалентном виде:
inf Rk(x, u)t==Rk(x, ик (x)) — 0, k = 0,l,....N—1. (20)
Кроме того, с помощью функций /?<(х, и) значение функции
(9) на любом управлении и x^Xk можно выра-
зить формулой
N-1
A (X, [и{]й) = 2 Ri щ) + Bk (x) (21)
i=fe
при всех fc = 0, 1, ..ДГ — 1. В самом деле, учитывая равенство
N-l N—1
BN(x) = <b(x), из (10), (19) имеем 2 7?{(яь5 L®{+i(*i+i)—
i=k i=h
N—1
— Bi (Xi) + Fi (xlt Ui)] = BN (xN) — Bh(x) + 2 F°i (Xi, Ui) = Ih (xt
i=k
— Bk (x), что равносильно (21).
Теорема 2. Пусть найдены функции Bk(x) из (13), (14)
и их области определения ХА, а также функции и=^ик(х)
(x^Xk, fc = 0, 1, ..., TV—1), на которых достигается нижняя
грань в уравнении (13) или (20), и пусть xQ определена усло-
вием (16). Тогда оптимальное управление [и*]0 и траектория
[х*]о ^ЛЯ задачи (5) — (8) определяются соотношениями
(16), (17).
496
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
Доказательство. Из определения и(х), [и*]0, [х*]о и
эквивалентности записей уравнения Веллмана (13) и (20) имеем
Ri (х*, u*) га Ri (х*, щ (х*)) = inf Ri (х*, и) = 0t
ueDi(K*)
i = 0, 1,,..., N - 1. (22)
Возьмем произвольные x^XQ-, управление [ujo е A0(a?) с соот-
ветствующей траекторией [я<]0 из (В). Так как Ui^Di(xi), то
из уравнения (20) и определения и{(х) следует
/?i fa, щ) inf Ri fa, и) = Ri (xif щ (&)) = 0,
f = 0, (23)
С помощью формулы (21) при к = 0 с учетом соотношений (16),
N—1
(22), (23) получаем 10(х, [и{]0) — I0(x*, [и|]0) = 2 [2?t (х„ щ) —
1=0
— Ri(x*, и*)] 4-В0(я)—-Во(#*):>0 для любых х<=Х0 и [ut]0€=
еД0(я), что и требовалось.
Теорема 3. Пусть известны Вк(х) (x^Xh) из (13), (14),
а также функции uk(x), на которых достигается нижняя грань
в уравнении (13) (или (20)). Тогда оптимальное управление
и траектория [#*]& для задачи (9) — (12) определяются
формулами (18).
Доказательство. Возьмем произвольное управление
Aft(z) и соответствующую траекторию [я,]* из (10). Оче-
видно, соотношения (22), (23) остаются справедливыми и здесь
при всех i = fc, ..., 7V—1. Отсюда с помощью (21) получим
2V-1
h (х, [ui]ft) — ik (х, [4К) = 2 (*«» ui) — Ri (4»«*)] >
i=ft
что и требовалось.
4. В теории оптимального управления и ее приложениях
важное место занимает так называемая проблема синтеза, за-
ключающаяся в построении функции u = uk(x), выражающей
собой оптимальное управление при условии, что в момент к объ-
ект находится в точке х фазового пространства. Такая функция
uft(x) называется синтезирующей.
Теорема 3 показывает, что решение уравнения Веллмана
(13) равносильно решению проблемы синтеза для задачи (5) —
(8). А именно, функция ик(х), на которой достигается нижняя
грань в (13), является синтезирующей: если в момент к объект
находится в точке х^Хк, то дальнейшее оптимальное движение
объекта определяется условиями: a?i+1 = Fi(x<, и<(х<)) (i = /c, ...
..., А-l), хк~х (если х&Хк, то ДА (я) = 0,—движение с со-
СХЕМА ВЕЛЛМАНА
497
S 1]
блюдением условий (10) — (12) невозможно). Достаточные ус-
ловия существования функции Веллмана и синтезирующей
функции для задачи (5) —(8) даются в следующей теореме.
Теорема 4. Пусть множества Gk (& = 0, 1, ..., N) замк-
нуты, множества Vk (fc = 0, 1, ..., N— 1) замкнуты и огра-
ничены, функция Fk (х, и) полунепрерывна снизу, а функция
Fk(x, и) непрерывна по совокупности аргументов (х, и) при
x^Gk, u^Vk (k = 0, 1, ..., N—i), Ф(х) полунепрерывна сни-
зу на множестве GK. Тогда-. 1) множества Xk (А = 0, 1, ..., N)
замкнуты, множества Dk(x) (& = 0, 1, ..., N— 1) замкнуты
и ограничены равномерно по х^ХЛ; 2) нижняя грань в правой
части (13) достигается хотя бы при одном u = uk(x)& Dk(x);
3) функция Вк(х) полунепрерывна снизу на Хк (k = 0,i,...,N).
Доказательство. По условию GN Хя замкнуто, Ф (ж) в
™ BN (х) полунепрерывна снизу на Хы. Сделаем индуктивное
предположение: пусть Xfc+1 замкнуто, Bk+t(x) полунепрерывна
снизу на Xk+i при некотором к (O^k^N— 1). Докажем, что
тогда Хк замкнуто и на Хк справедливы все утверждения тео-
ремы. Так как Dk(x)={u: u^Vk, Fk(x, zz)eX*+1}sVft и У» ог-
раничено, то Dk(x) ограничено равномерно по х^Хк. Докажем
замкнутость Dk{x) при любом фиксированном х<^Хк. Пусть
vm = Dk(x) (m=l, 2, ..., vm v) при тп->-«>. Это значит, что
vn^Vk, Fk{x, pm)eXM+1 (m — 1, 2, ...). Из замкнутости Vk,
Xk+l и непрерывности Fk(x, v) сразу имеем: v^Vk, lim Fh(x,
vm) = Fk(x,v)^Xh+lt t. e. ve=Dk(x). Замкнутость Dk(x) до-
казана.
Покажем замкнутость Xk — {x: x^Gk, Dk(x)¥*0}. Пусть ym&
(zn=l, 2, ...), ym-^y при тп -*<». Из замкнутости Gk
следует y<=Gk. Если мы еще покажем, что Dk(y)^0, то это
будет означать, что у^Хк, и замкнутость Хк будет доказана.
Так как D^ym)’*0, то существует такое vme=Vk, что Fk{ym,
vm)eXk+i (тп=1, 2, ...). В силу компактности Vm из после-
довательности {нт} можно выбрать подпоследовательность
{ут₽}е при р-*°°. Поскольку Xk+l замкнуто, Fk(x, и)
непрерывна, то lim Fh (ут vmD)=Fk (у, v)(=Xk+1, т. е. v^Dk(y).
р-»ОО V •'/
Таким образом, Dk(y)¥a0.
Далее, функция Ф (х, и) = Fk (х, и) + Bft+1 (Fk (х, и)) полу-
непрерывна снизу по (ж, и) при х^Хк, u^Dk(x)—это следует
из непрерывности Fk(x, и) и полунепрерывности снизу Рк(х, и),
**+i(*). Поскольку Dk(x)—замкнутое ограниченное множество,
то в силу теоремы 2.1.1 ф(я, и) при каждом фиксированном х&
Хк достигает своей нижней грани на Dk(x) хотя бы в одной
точке u = uk(x)^Dk(x). Таким образом, Bk(x)= inf q>(x,
w=Dk(x)
= (x,uk(x)), в силу уравнения Веллмана (13).
498
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
1ГЛ. 7
Остается еще доказать полунепрерывность снизу Вк (х) на
Хк. Пусть X, ут^Хк, уп-+х при т-* оо,Вк(ут) = <р(ут, ик(ут)).
Так как uk(ym)^Dk(ym)<= Vk, то в силу компактности Vk после-
довательность Ык(ут), т=1, 2, ...} имеет хотя бы одну пре-
дельную точку v е V*. Можем считать, что сама последователь-
ность {ик(ут}} -* v при т-*<». Поскольку Рк(х, и) непрерывна,
Xk+i замкнуто, кроме того, F*(ym, vk{ym))^Xk+l, то lim Fk(ym,
vk (Ут)) = Fk (у, v) e Xk+1. Это значит, что v e= Dk (x). Тогда
lim Bk (ym) =s lim <p (ym, uk (ym)) <p (x, v) > inf q> (x, u) == Bk (x).
m-»oo m->oo uGD^(x)
Полунепрерывность Bk(x) на Xk доказана, что и требовалось.
5. Нетрудно привести примеры задач типа (5) —(8), когда
нижняя грань в (13) или (16) не достигается (см. ниже уп-
ражнение 2). В таких задачах, конечно, приходится пользо-
ваться величинами, лишь приближенно реализующими нижнюю
грань в (13), (16). Но даже в том случае, когда нижняя грань
в (13), (16) достигается, получить точные выражения для функ-
ций Вк(х), ик(х) и точки из (13), (16) часто бывает за-
труднительно. Поэтому на практике часто пользуются соотно-
шениями (16), (17) для приближенных Вк(х), ик(х) и вместо
точных управлений [и*]0 и траектории [я* ]0 получают какие-то
их приближения. Возникает вопрос, насколько отличается по-
лученное таким образом приближенное решение задачи (5) —(8)
от ее точного решения? Приводимая ниже оценка погрешности
дает некоторый ответ на этот вопрос.
Пусть Kt{x)—приближенное значение функции Веллмана
Bi(x) G = 0, 1, •••» N). По аналогии с (19) введем функцию
Si (х, и) = (Fi (х, и)) —Ki (х) + F°(x, и), i = 0,1, ..., N — 1,
(24)
и, кроме того, положим
sN(x)= Ф(х) — KN(x), x^Gn. (25)
Возьмем произвольную допустимую пару [^<]о=(ио, щ, ...» wn-i),
[я<]е=(я0, «1, ...» Ля-i) задачи (5) —(8). Тогда ^Хо, [п<]ое
^До(яо), Ui^Dt(Xi) (f==0, 1, ..., 2V—1). Учитывая условие
(6), из (24) имеем
Si (Xi, щ) = Ki+1 (xi+1) — Ki (Xi) + л (Xi, Ui), i = 0,1, .... N — 1.
Суммируя эти равенства по i от 0 до N — 1, с помощью (25)
получим формулу
N-1
Jo (жо. [“do) = S si (*i> Ui) + (xn) + Ko (*<))• (26)
i=0
II]
СХЕМА ВЕЛЛМАНА
499
Если Ki(x) = то sN(x)=0, и формула (26) превратится
в знакомую нам формулу (21) при & = 0.
Предположим, что каким-либо образом (например, из соот^
ношений (16), (17) с приближенными функциями В*(я), ик(х))>
нам удалось найти некоторое управление [и<]0 и соответствую-
щую ему траекторию [х<]0, удовлетворяющую условиям (6) —(8),
т. е. Xq €= Хо, [wi]o До (*^о), tii(х<) (i== 0, 1, • • •, N 1) .
Согласно (26) тогда
А) (*0> [^i]o) = 2 ^i) + $N &n) + *0 (*^o)e
i=0
Отсюда и из (26) имеем
/о (*^0> А) =
N-1 _ _ __ _
— ^i) (Xf, Ui)] + Sn(%n) 4" ^o(’^o) ^o(^o) (27)
i=0
для любых xq^Xq, [ujoe До(^о). Учитывая, что So, x0^XQ,
[udo До (So), [ujo s= До (x0) , (xi, Ui)^XiX Di (xt), перейдем к
нижней грани по (х0, (ujo) сначала в правой части (27), а за-
тем в левой части (27). Получим неравенства
_ _ N-1 _ _
о < /0 (х0, [и{]0) — /о < S [Si (Xi, Ui) —
i=0 L
inf inf
xeXj ueDj(x)
Si (x, u)l +
+ sN (xN) — inf sN (x) + Ko (x0) — inf Ko (x)t (28)
XN xo
представляющие собой оценку погрешности, которая будет до-
пущена, если [w<]o, [х(] будут взяты в качестве приближенного
решения задачи (5) —(8).
Если К{(х) = В{(х) (i = 0, 1, ..., N), то S{(x, u) = R{(x, и),
sK(x) = 0. Кроме того, из (20) следует, что inf|>[7?{(ж, и) = 0
иеП|(х)
для всех х <= Х{, так что inf inf Ri (х, и) = 0. Поэтому при
x^Xi ueD|(x)
К{(х) = В{(х) из (28) получим
__ _ _ _
о < /0 (ж01 Мо) — 7О < 2 Ri (*i, щ) + Во («о) —inf во (X). (29)
<-о хв
Из оценки (29) следует, что если определить п<(ж)^Д<(ж),
Se Хо так, чтобы 2?<(х, щ(х)) было поближе к inf Ri(x, и) =
UGDj(x)
«=0, x^Xt, a Bq (Se)— поближе к infB0(z), и затем строить
*о
500
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
управление [и<] и траекторию [xj следующим образом:
Uo Uo (х0) । Xf == F % (Xq, Uo)> Uj === Uj (Xj) , •.Хц e
= Ftf-i (Xn-1, U^j)^
то и величина Zo (^o, No) — будет небольшой.
Заметим, что поскольку на практике конструктивное описа-
ние множеств Xh Di(x) часто отсутствует, то в правой части
оценки (28) вместо Xt, Di(x) часто берут (?< и V{ соответствен-
но — такая замена, очевидно, может привести лишь к увеличе-
нию правой части (28). В результате получим достаточно удоб-
ную апостериорную оценку погрешности
_ __ - -
о < 70 (х0, [Ui]o) — Zj < 2 r«Si (*i, Wi) — inf S (x, w)] +
i=0 L USF| J
+ SN (xN) — inf sN (x) + Ko (ж0) — inf Ko (x). (30)
Gjy Go
Конечно, при пользовании оценкой (30) надо помнить, что если
правые части оценок (28), (30) отличаются намного, то оценка
(30) может оказаться слишком грубой.
6. Оценка (28) полезна также и тем, что она указывает пу-
ти получения достаточных условий оптимальности для задачи
(5) ~(8).
Теорема 5. Для того чтобы управление [и<]0 и траектория
[х<]0, удовлетворяющие условиям (6) — (8), были решением за-
дачи (5) —(8), достаточно, чтобы существовала функция К<(х)
(i = 0, 1, ..., N) такая, что
Si(xi,ui)=^ inf inf Si(xs и) = Simint f = 0,1, ...,2V —(31)
иеР|(х)
(зд) = inf sN (x) = sNmlB, Ko (x0) = inf Ko (ж) = ZTomlni (32)
Xq
где функции Si(x, u), sN(x) определяются формулами (24), (25).
Доказательство следует из того, что при выполнении условий
(31J, (32) правая часть оценки (28) обращается в нуль, и
/о (*^0’ l^do) = •
С помощью оценки (28) нетрудно также получить условия,
достаточные для того, чтобы та или иная последовательность
допустимых пар управлений и траекторий была минимизирую-
щей для задачи (5)—(8).
Теорема 6. Пусть последовательность управлений (и<т]0
и траекторий [х<т]0 (тп = 1, 2, ...) удовлетворяет условиям
(6) — (8). Для того чтобы
lim Zo (xom, [Uimlo) = z*, (33)
т->оо
достаточно существования функции Ki(x) (i = 0, 1, ...» N)
§ 1]
СХЕМА ВЕЛЛМАНА
501
такой, что
11П1 Si (Xim, == Sjrnin, t == 0, 1, • • •, X 1, (34)
тп-»оо
lim £дг (%Nm) = S/Vmin> Hm ^-o (•%») = ^omin> (35)
wi->oo m-»oo
где Simin, sNmin, Дт1п определены в (31), (32).
Доказательство. В оценку (28) вместо [и<]0, [£<]о поста-
вим соответственно [uim]0, [azirn]0 и перейдем к пределу при тп -> оо,
С учетом условйй (34), (35) получим равенство (33).
Утверждения, аналогичные теоремам 5, 6, доказаны в [124,
188, 189] для более общих задач, чем задача (5) — (8).
Всякую функцию Ki(x) (i = 0, 1, ..., N), удовлетворяющую
условиям теоремы 5 (теоремы 6), назовем функцией Кротова
задачи (5) —(8), соответствующей допустимой паре [ut]0, Ио [или
последовательности допустимых пар Hn]o, [^imjo, тп = 1, 2, ...].
Заметим, что если существует хотя бы одна функция Кро-
това Ki(x) (I = 0, 1, ..., N), то функция Ki(x) + ai (1 = 0, 1, ...
..., N) при любых а< также является функцией Кротова. По-
этому без ограничения общности в теоремах 5, 6 можно принять
S<min = 0 (i~0, 1, ..., IV—1), min = 0, ибо в противном слу-
чае функцию Ki(x) заменим новой функцией К{(х) + а^ где
= Si mm 4“ Si+it min + . . . + Sjv-i, mln? i = 1, . . ., N 1, CLn = Sjf mln»
Таким образом, функция Кротова для допустимой пары ([м<]0,
Но) или последовательности ([и im]о» [#im]„) (m = l, 2, ...)
согласно теоремам 5, 6 удовлетворяет условиям
Si (х, и) = Ki+1 (Fi (х, и)) — Ki (х) +
+ Fl(x, u)^0, u(=Di(x), x^Xi, i = 0,1, .. • , TV — 1, (36)
sN (x) = KN (x) + Ф (x) > 0, x e XN = Gn,
Kq(x)^ Kq mlm X Xq, (37)
причем неравенства (36), (37) должны обратиться в равенства
при и = Ui, X = Xi ИЛИ при и = Uim, X = Xim В ПрвДвЛв При ТП -> оо
(М 1, ..., TV).
Сравнение соотношений (36), (37) с (13), (14), (16), (20)
показывает, что функция Веллмана всегда является функцией
Кротова, и обратное, вообще говоря, неверно. Заметим также,
что с помощью функции Кротова удается установить оптималь-
ность допустимых пар, не решая проблемы синтеза, так как
согласно условиям (36), (37) функция Ki(x) выбирается с уче-
том индивидуальных свойств конкретной допустимой пары уп-
равления и траектории (или последовательности пар), подозри-
тельных на оптимальность.
7. Остановимся на одном специальном классе задач миними-
зации функций большого числа переменных, которые с помощью
502
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
метода динамического программирования могут быть сведены к
последовательности задач минимизации функций меньшего чис-
ла переменных. А именно, пусть требуется минимизировать
функцию
N-1
Iq ([^i]o) = А) (Цо* • • • > 1) /? (^г) (38)
i=0
при условиях
i = 0, 1, ..., А-1, (39)
лг-1 . . ^-1 .
i=o i==o
(40)
где Vi—заданные множества из Er; fl (и), gi(u), —задан-
ные функции, bj — заданные числа.
Задачу (38) —(40), оказывается, нетрудно записать в виде
задачи (5) —(8). В самом деле, введем переменные xt (i —
= 0, 1, ..., N) как решение системы
xk+l = xk +gk(uh), Л = 0, 1, ..., N — 1, яо = 0, (41)
где gh (и) = (gl (u), ..., gk (и)), xk = (xl, ..., x^) (к = 0,1, ..., N).
N-l
Так как из (41) следует, чтозд= У £А(иА),то ясно, что огра-
к=0
ничения (40) равносильны условию
xn^Gn = {х: х^Еп, х?^ b5, j = i, ..., р;
д? = / = р + 1, ..., п}. (42)
Таким образом, задача (38) —(40) эквивалентна задаче мини-
мизации функции (38) при условиях (39), (41), (42) и явля-
ется частным случаем задачи (5) —(8) при Fi(x,u) =
Fi(x, u} = x + gi(u}, <D(z)^0, Gi^En (f=l, ..., W-l); Go =
= {01, Gn определено соотношением (42). Это значит, что для
исследования задачи (38) — (40) может быть применен метод
динамического программирования, изложенный выше. Пользу-
ясь введенными ранее обозначениями, можем переписать урав-
нение Веллмана (13), (14) применительно к задаче (38) — (40):
Bk(x) = inf [fk(u) + Вк+1(х + g/u))], (43)
x^Xh, * = 0, 1, ..., N—l, BN(x) = 0.
В том случае, когда ограничения (40) и, следовательно, (42)
отсутствуют, то Gn = Еп и в (43) можно положить Dk(x)—VK
(к = 0, 1, ..., N — 1). Уравнениями (43) можно пользоваться
для решения задачи (38) — (40), как это показано выше в п. 3.
СХЕМА ВЕЛЛМАНА
503
§ 1]
Предлагаем читателю в качестве упражнения переформулиро-
вать теоремы 1—6 применительно к задаче (38) — (40).
Подчеркнем, что в задаче (38) — (40) функция и ограниче-
ния имеют весьма специальный вид — это обстоятельство было
весьма существенно для применения метода динамического про-
граммирования. Этот метод применим и к несколько более об-
щим, чем (38) —(40), задачам — об этом см. подробнее, на-
пример, в [101].
8. Изложенный выше метод динамического программирова-
ния является достаточно эффективным средством решения за-
дач вида (5) — (8) или (38) — (40)—с его помощью исходная
задача сводится к последовательности вспомогательных и, во-
обще говоря, более простых задач минимизации функций мень-
шего числа переменных для определения Вк(х), ик(х) (см. ус-
ловия (13), (14) или (43)). Если эти вспомогательные задачи
решены с достаточно хорошей точностью, то тем самым и в
исходной задаче глобальный минимум функции будет найден
с высокой точностью. Далее, метод динамического программи-
рования позволяет решить важную в приложениях проблему
синтеза. Как показано в п. 6, с помощью этого метода и его
обобщений могут быть получены достаточные условия опти-
мальности для дискретных управляемых систем. Кроме того, этот
метод дает значительный выигрыш в объеме вычислений по
сравнению с простым перебором всевозможных допустимых уп-
равлений и траекторий, поскольку при определении Вк(х), ик(х)
рассматриваются лишь такие управления, которые переводят
точку x^Gk в точку xk+l = F(x, u)^Gk+l, а дальнейшее дви-
жение из точки хк+1 осуществляется по оптимальной траектории,
при этом неоптимальные траектории вовсе не рассматриваются.
Указанные достоинства метода динамического программирова-
ния, простота схемы, применимость к задачам оптимального уп-
равления с фазовыми ограничениями делают этот метод весьма
привлекательным, и его широко используют при решении задач
типа (5) —(8) или (38) —(40). Что касается задачи (1) —(4),
с которой мы начали изложение, то можно показать, что при
некоторых ограничениях решение дискретной задачи (5) —(8)
при lim max (£i+1 —^) = 0 будет приближаться в некотором
N-+oo0<i<N-l
смысле к решению задачи (1) —(4).
Заметим, что поскольку аналитическое выражение для Вк(х),
uk(x) при всех х^Хк в общем случае найти не удается, то на
практике приходится ограничиваться приближенным вычисле-
нием Вк(х), ик(х) в некоторых заранее выбранных узловых точ-
ках множества Хк. Однако согласно (13) при вычислении Вк(х)
нужно знать значение Bk+i{Fk(x, и)) при некоторых и, и здесь
вполне возможны случаи, когда точка xk+i~ Fh(x, и) не будет
принадлежать заранее выбранному множеству узловых точек из
504
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
ХА+1 и нужное значение Bh+l(xh+i) еще не будет вычислено.
Если же мы захотим вычислить недостающее значение Bk+l(xh+i)9
то здесь могут понадобиться значения ранее вычисленных функ-
ций Вк+2(х), ..., BN(x) в новых дополнительных точках, а для
этого в свою очередь придется еще более расширить множества
узловых точек в Хк+2, ХА+3, ... и т. д. На практике в таких
случаях недостающее значение Bh+l(x) получают с помощью
интерполяции по значениям Вк+1(х) в близлежащих узловых
точках, что, вообще говоря, снижает точность. Заметим также,
что принятый выше способ аппроксимации задачи (1) — (4) с
помощью разностной задачи (5) — (8) довольно груб, поскольку
опирается на простейший метод ломаных Эйлера для интегри-
рования дифференциальных уравнений и квадратурную формулу
прямоугольников. В следующем параграфе будет описана схема
Моисеева, которая не требует интерполяции и оставляет доста-
точную свободу при выборе способа аппроксимации задачи
(1) —(4).
В заключение отметим, что метод динамического програм-
мирования относится к классу методов декомпозиции — так на-
зываются методы минимизации, позволяющие задачи большой
размерности свести к задачам меньшей размерности; о методах
декомпозиции см., например, в [111, 117, 194, 203, 242, 302,
320, 330].
Упражнения. 1. Найти функцию Веллмана для задачи
N-1
/o([“ilo)= S [<“!’ xi> + ъг (“<)] + <С’ *N> - inf,
i=0
Xi+\ = AiXi + Bi (ui), Ui g i = 0, 1, ..N — 1, xq = a,
где Ai ~ матрица порядка n X Щ (u) —(^1 (M)> • • •, (M)), (M)> (M)“*
функции переменной и e s Er, сц, с, a — n-мерные векторы, i = 0, 1 ...
..., N—1. Указание: функцию Веллмана искать в виде Вк(х) = <фь, х>
(Л = 0, 1, ..., N).
2. Найти функцию Веллмана для задачи: IQ(u) = Ф(#1) ->inf:
xi = хо + u, Xi е Gi (i = 0, 1); и е Го, где Ф(«) = (1 + при х 0,
Ф(0)=1/2; |ж| ^1/2}, Gi = E\ Г0={иЕ£': |и| С 1}. По-
казать, что Хо = Go, Xi = Е1, и убедиться, что для этой задачи нижняя грань
в (13), (16) не достигается.
3. Пусть функция Bk (х) (х е Xk, к = 0, 1, ..., N) удовлетворяет усло-
виям (13), (14), а функция Ukm(x) е Dk(x) и точки xQm е Хо (тп = 1, 2, ...)
таковы, что lim (х, uim (х)\ = 0, lim BQ (xQm) = inf BQ(x). Пусть управ-
m->oo ' m->oo Xq
ление [Uim]o и траектория [Zim]o построены ПО правилу: Uom = »0m(#0m),
Xfm = Fo (Xom, Uom), U\m'== l^\m(xim), • • •, З'Л’т = тп> 1,тп)« ТОГДЭ
последовательность пар (хот, [u/m] о) — минимизирующая для задачи
(5) - (8), т. е. lim IQ (xQm, [u{m]0) = Z*. Доказать.
ТП ->ОО
4. Доказать, что последовательность функций Uim(x) (i = 0, 1, ..., N — 1,
т 1, 2, ...) из упражнения 3 дает приближенное решение проблемы син-
теза для задачи (5) — (8), т. е. если в момент к система находится в точке
хк = х^Хк, то движение по закону xt+i, т — Fi(xim, Uim(xim)) (i = k, ...
СХЕМА МОИСЕЕВА
505
§ 2]
-.N— 1); Xkm — х (тп = 1, 2, ...), при больших т доставляет функции
7л(я, [wijfe) значения, близкие к 7*.
5. Для задачи (9) — (12) получить оценку погрешности, аналогичную
оценке (28).
6. Вывести уравнения Веллмана и доказать теоремы, аналогичные тео-
ремам 1—4 для задачи:
N
(*> [“do) = 2 f i (*i> Ui) + ф0 (жо) + Ф1 (х n) inf>
1=0
xi+i = Fi(xi, щ), i = 0, 1, 2V—1, Xi e Gi, Ui<=V{, i = 0, 1, ..., N,
где хг = (я|, x™), F{ = (pl, F|), иг = (u|, множества
Gi En, Vi ^Er (i = 0, 1, ..., N) заданы; функции F\ (x, и) определены при
x e Gi, и e Vi (i = 0, 1, ..., N, j = 0, 1, ..., n); функции Ф0(я), Ф1(я) опре-
делены при x e Go, x (=GN соответственно; i — дискретное время; момент У
считается заданным.
7. Обобщить оценку (28) и теоремы 5, 6 для задачи из упражнения 6.
8. Пусть в задаче (5) — (8) (х, и) s0 (i = 0, 1, ..., N — 1). Пока-
зать, что тогда Bk (х) = Ф (х) для всех к = 0, 1, ..., N, причем функции
Bk(х) при различных к отличаются друг от друга областями своего опре-
деления Xk.
9. Применить метод динамического программирования к задаче мини-
мизации функции
N-1
/0 (“0, uv...,uN)= 2 Л (ui> Mi+1) + fN (un)
i^Q
при условиях ui e Vi (i = 0, 1, ..>, N). Указание: ввести функцию
/N-l \
(u) = inf 2 fi {ui> “i+l) + fN (un) »
\ i=fc /
где нижняя грань берется по всем наборам (uk = и, Uk+i, •••, »я),
(i = к, ..., N) и показать, что Bk (и) = inf [fK (и, v) + ^ft+1 (i>)J (& ==«
= 0,1....JV— 1); BN(u)=/N(u).
§ 2. Схема Моисеева
1. По-прежнему будем рассматривать задачу (1.1) —(1.4),
Для приближенного решения этой задачи, как и раньше, ра-
зобьем отрезок tQ Т на N частей точками t0 < h < ...
... < tN-i <tN = T. На множестве Gi = G (ti) возьмем некоторую
дискретную сетку точек хц Ge, следуя [14, 217] множество всех
точек выбранной сетки будем называть шкалой состояний и
обозначать через Hi (i = 0, 1, ..., N). Шкалы состояний Hi и
Hi+l будем называть соседними. На двух соседних шкалах Я<
и Hi+i возьмем точки x^Ht и y ^Hi+i и рассмотрим следующую
506
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
вспомогательную задачу:
u(-)) = J /°(ar(O1u(O.O^“*-inf» (!)
ч
x(0 = f(*W, u(t)r t), x(ti)=*x, x(ti+l) = y, (2)
x(t)^G(t), ti^t^ti+h (3)
u = u(*) кусочно-непрерывна и u(t)^V(t) при (4)
Следуя [12, 217], задачу (1) — (4) будем называть элементар-
ной операцией, соединяющей точки хну. Через Д<(я, у) обозна-
чим множество всех управлений и = п(«) из (4), для которых
соответствующая траектория х(-) удовлетворяет всем условиям
(2), (3). Положим Mi(x, у) = inf Ji (х, у, и)\ если Д<(я, у) = 0,
и=Д|(х,у)
то Mi(x, у)= о© по определению.
Пусть все точки всех соседних шкал попарно соединены эле-
ментарными операциями. Если inf Ji (х, у, и) достигается на
Дг(х,1/)
некотором управлении щ(-)^Д<(я, у) и соответствующей тра-
ектории #<(•), то величина
N-1
jZ] Mi + Ф (5)
выражает собой значение исходной функции (1.1) на управле-
нии u = u(t)=Ui(t) i = 0, 1, ..., N—1) и соот-
ветствующей траектории х (t, и) = Xi (t) t ti+i, i =
== 0, 1, ..., TV— 1); x(to) = xojo при соблюдении всех ограниче-
ний (1.2)— (1.4). Поэтому исходную задачу (1.1) —(1.4) есте-
ственно аппроксимировать задачей отыскания минимума суммы
(5) по всевозможным наборам точек (^oio, X1ii* • • •’ XNfa)’ хщ^
<=Hi (i = 0y 1, ...,N).
Такая аппроксимация задачи (1.1) —(1.4) имеет смысл, ко-
нечно, и в том случае, когда inf Ji (х, у, и) не достигается при
каких-либо х, у, i. Очевидно, приведенная аппроксимация за-
дачи (1.1) — (1.4) более гибкая и лучше приспособлена для
приближенного решения этой задачи, чем схема из § 1, ибо
здесь представляется свобода в выборе способа разрешения эле-
ментарной операции (1) —(4), и кроме того, рассмотрение лишь
таких траекторий, концы которых лежат в известных точках
соседних шкал, избавляет нас от необходимости интерполиро-
вания. На способах разрешения элементарной операции мы оста-
новимся ниже.
Описанная аппроксимация задачи (1.1) — (1.4) имеет про-
стой геометрический смысл. А именно, траекторию Xi(t) из (2),
СХЕМА МОИСЕЕВА
507
Ch (#) = inf {Мк (х
y-Hk+i
§ 2]
на которой достигается inf /$(#,£/, и), назовем дугой, соеди-
Дг(х,Ю
няющей точки х, у, а числа Mt(x, у)—длиной этой дуги, 1 =
= 0, 1, ..., N—1. Дуги, последовательно соединяющие пары
точек хщ, Xi+i,ji+1 соседних шкал Нь Hi+l (j = 0, 1, ..., N — 1)
назовем путем, соединяющим шкалы Но и HN и проходящим
через точки Xoio, xtjv и в качестве его длины примем
величину (5). Тогда наша задача сведется к отысканию крат-
чайшего пути, соединяющего шкалы Яо и HN.
2. Обозначим
[N-1
@k (#) ~ i^f ] 2 Mi (X^n)
I г=к
где нижняя грань берется по всем наборам точек (%kjk —
• • •, хт G = Иначе говоря, Ск(х)
выражает собой кратчайшее расстояние между фиксированной
точкой х^Нк и шкалой HN. Покажем, что функции Ск(х) удов-
летворяют следующим рекуррентным соотношениям:
,у) + Cfc+i(у)}, к = 0,1, ...,7V 1;
С^(х) = Ф(х). (6)
аналогичным условиям (1.13), (1.14). Справедливость (6) при
k = N — 1 следует из определения CN-i(x), CN(x). Докажем (6)
при других к (O^k^N— 1). Для этого сначала убедимся в
том, что
Cfe(x)< inf {Mk (х, у) + Ск+1 (у)}, х<=Нк. (7)
У<=НЛ+1
Возьмем произвольное у^Нклл. По определению СЛ+1(у) для
любого е > 0 найдется путь, соединяющий точку у со шкалой
Яя, длина которого не превышает СА+1(у) + 8. Если этот путь
«удлинить», добавив к нему дугу, соединяющую точки х и у,
то получим путь, соединяющий точку х^Нк со шкалой Яя, дли-
на которого не превышает Мк(х, у) + Ck±i(y)+ 8. Поэтому заве-
домо Ск(х)^Мк(х, у)+ Ск+1(у)+ 8. В силу произвольности точки
уеЯж и величины 8 отсюда имеем неравенство (7).
Теперь покажем, что в (7) на самом деле знак неравенства
можно заменить знаком равенства. По определению Ск(х) для
любого 8 > 0 найдется путь, соединяющий точку х^Нк со шка-
лой Яя, длина которого не превосходит Ск(х)+ъ. Пусть этот
путь проходит через точку у8 е Нк+1. Ясно, что отрезок этого
пути от у8 до Яя не меньше СЛ+1(у8), и поэтому весь путь от
х до HN не меньше Мк(х, у8)+ Cft+1(y8). Следовательно,
Мк(х, у8) + Ck+i(yt)^Ck(x)+ 8. Так как у« Яь+4, то отсюда име-
508
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
CM inf {Мк (х, у) + Ск+1 (у)} < Ск (х) + 8л или в силу произ-
2/SHfe+1
вольности в: inf {Мк (х, у) + Ск+1 (у)} < Ск (х). Сравнивая
У^нк+1
это неравенство с (7), немедленно получаем требуемые соотно-
шения (6).
3. Соотношения (6) могут быть использованы так же, как и
уравнение Веллмана (1.13), (1.14). Опишем порядок работы
е этими соотношениями в предположении, что каждая из шкал
состояний состоит из конечного числа точек pt (i = 0, 1, ...
..., N). Заметим, что в этом случае в (6) вместо inf можно пи-
сать min. Функция CN (я)s Ф (х), x^HN нам известна. Для
вычисления CN~i(x) с помощью элементарных операций соеди-
ним попарно все точки шкал и Нк. Сравнивая pN-ipN ве-
личин Jfw-i (х, у)+Ф (у) при всевозможных х е у е HN,
найдем min у) + Ф(^)] = Gv-i(£), а также точку
y^HN
у = yN-i(x)^ HN, x^HN-^ на которой этот минимум достигает-
ся. Если Ck+i(x) и у = yA+i(x)e ЯА+2, x^Hh+i уже известны,
то для вычисления Ск(х), соединим элементарными опе-
рациями всевозможные пары точек шкал Нк и ЯА+1. Перебором
PhPk+i величин Мк(х, у) + Ск+1(у) при всех х^Нк, у^Нклл най-
дем min [Мк(х,у) + G+i(Z/)L а также точку у = ук(х)^
2/SHfe+i
^ЯА+1, х^Нк, на которой этот минимум достигается, и т. д.
для всех k = N, N— 1, ..., 1, 0. На вычисление всех Ск(х) в
у~ук(х), х^Нк (& = 0, 1, ..., N— 1), понадобится перебор
2V-1
S Р-Р-'-, величин. Наконец, находим xQ^HQ из условия
1=0 г
Со (xq) = inf Со (х) — для этого нужно перебрать еще р0 вели-
х-н0
чин, и определяем последовательно точки хг = у0 \х0), х2 ==
s= У1 (я*)> •.х*я = у n—i Wv-i). Путь, проходящий через найден-
ные точки Xq, х19 ...,х^, будет кратчайшим среди всех путей,
соединяющих крайние шкалы Яо, HN. В самом деле, по опре-
делению ук(х) (к = 0, 1, ..., N — 1) и хк^ Нк (к = 0,1, ..., N)
имеем
Ск(хк) = Мк(хк, x*+i) + Ск+1(х*+1), к = 0,1, ..N — 1. (8)
Возьмем произвольный путь, соединяющий шкалы Яо и Ня и
проходящий через точки а:0, xN, xi^Ht (г = 0, 1, N).
Так как хк+1^Нк+1, то согласно (6) будем иметь Ск(хк)^
^Мк(хк, xk+l)+ Ck+l(xk+i). Отсюда и из (8) тогда сле-
дует Мк (#*, x*+i) + (^*+1) — Ch (xk) = 0 Мк (хь, ^fe+i) +
+ Ck+i (xk+1) — Ck (xh) (к = 0, 1, ..N — 1). Просуммируем это
§ 2]
СХЕМА МОИСЕЕВА
509
неравенство по к от нуля до N — 1. Получим
N-1
2 (xkr xk+1) + CN (zb) — Co (x*)
fc=0
N-l
~h Cjv (%n) Co (*^o)r
k—0
Ho C0(x0)= inf C0(x)^.C0(x0), поэтому 2 Mk(x*, xk+1) +
XSHg fe=0
N-l
+ Ф (x*n) 2 Mk (xk, xk+1) + Ф (xjy) для любых путей, сое-
диняющих шкалы Но и Ня. Таким образом, путь, проходящий
через точки х0, хг, ..., хн в самом деле кратчайший. Если
Ui (t) И Xi (i) (£;<£< ti+l) представляют собой то управле-
ние и соответствующую траекторию, на которых приближенно
реализуется элементарная операция (1) —(4) при х = х*, у =*
= ^i+i, то в качестве приближенного решения исходной задачи
(1.1)—(1.4) можно взять управление u*(^) = u*(^) и траекторию
х* (t) = X*(£) i = 0,l, ...,2V —1).
Аналогично доказывается, что путь, проходящий через точки
ж* = а: е Нк, хк+1 = ук (хк) <= Нк+1, ..., x*N = yN_t (ж^_х) е HN,
является кратчайшим между точкой х^Нк и шкалой HN. Это
означает, что функция уь(х) р&ът нам приближенное решение
проблемы синтеза для задачи (1.1) —(1.4).
Заметим, что определение кратчайшего пути между шкала-
N-1
ми HQ и HN по описанной схеме потребовало перебора 2 +
1=0
+ Ро величин, в то время как полный перебор всех путей, как
нетрудно видеть, потребовал бы сравнения р0Р1»»»Ря величин.
Таким образом, уже при не слишком больших рг перебор с по-
мощью соотношений (6) по сравнению с полным перебором
дает существенную экономию памяти ЭВМ и машинного време-
ни. Такая экономия достигается за счет того, что при вычис-
лении Ck(x) из (6) рассматриваются лишь пути, проходящие
через всевозможные точки х^ Нк и у е ЯА+1 и соединяющие точ-
ки у^Нк+1 со шкалой HN кратчайшим образом, и тем самым
все некратчайшие пути, соединяющие у Нк+1 со шкалой HN,
из рассмотрения полностью исключаются.
4. Для получения более точного решения задачи (1.1) —(1.4)
необходимо взять более густую сетку точек на шкалах и уве-
личить число шкал. Однако при этом число перебираемых ве-
личин даже при использовании описанной выше схемы перебора
катастрофически быстро растет, и уже при небольших размер-
510
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 1
ностях векторов х, и становится невозможным решить задачу
о кратчайшем пути за разумное время с помощью самых луч-
ших современных ЭВМ. В этом случае часто используют при-
ем, известный под названием метода блуждающих трубок [326].
Суть этого приема заключается в следующем.
Сначала берут небольшое число шкал с небольшим количе-
ством точек на них, и по описанной выше схеме поиска находят
кратчайший путь Ц, соединяющий крайние шкалы Но и HN.
Затем уменьшают шаг сетки на каждой шкале, путь Ц окружа-
ют некоторой «трубкой» из путей, проходящих вблизи Ц по
точкам новой сетки. Для построения трубки вокруг Ц на каж-
дой шкале обычно берут небольшие окрестности точки, через
которую проходит Zi, и рассматривают пути, проходящие через
выбранные точки. С помощью описанной выше схемы перебора
находят кратчайший путь в полученной трубке; все пути вне
этой трубки в переборе пока не участвуют. Таким образом, по-
лучают новый улучшенный путь Z2, длина которого не превы-
шает длину Ц. Далее, сохраняя прежние шкалы и точки на
них, окружают путь 12 новой трубкой и находят следующее
приближение 13 и т.д., продолжая процесс до тех пор, пока
трубка не перестает «блуждать» и впервые не получится ра-
венство 1Я = Ze+i. После этого измельчают сетку на каждой шка-
ле, окружают путь 18 новой трубкой и продолжают поиск крат-
чайшего пути описанным приемом блуждающих трубок. Про-
цесс измельчения сетки на шкалах и поиска кратчайшего пути
указанным способом повторяют, пока два кратчайших пути, по-
лученные после двух последовательных измельчений сетки,
не совпадают с удовлетворительной точностью. Затем увеличи-
вают число шкал, т. е. сгущают сетку по времени, и повторяют
процесс поиска методом блуждающих трубок с постепенным из-
мельчением сетки на шкалах состояний до удовлетворительного
совпадения двух последовательных приближений. Попеременно
измельчая сетку на шкалах состояния и сетку по времени, по-
иск с помощью блуждающих трубок продолжают до получения
приближенного решения исходной задачи с достаточной точ-
ностью. Изменение шагов сеток на шкалах состояния и по вре-
мени должно быть согласованным; например, в случае равно-
мерных сеток эти шаги должны удовлетворять соотношению
1Ая| =o(AZ) [217].
Оказывается, метод блуждающих трубок во многих случаях
существенно сокращает перебор. В то же время следует заме-
тить, что метод блуждающих трубок позволяет определить, во-
обще говоря, лишь локально кратчайший путь между крайними
шкалами при фиксированной сетке, поскольку на каждом шаге
в переборе участвуют лишь пути, попавшие в трубку.
5. Другой подход к поиску кратчайшего пути между шка-
лами дает метод локальных вариаций [14, 217, 326]. Этот метод
§ 2]
СХЕМА МОИСЕЕВА
511
предполагает, что какой-то путь 4, соединяющий шкалы Яв и
уже известен. Для определения следующего более корот-
кого пути последовательно просматриваются шкалы Яо, Яь ...
.Я„. Допустим, что шкалы Яо, ..., Я<~1 уже просмотрены и
получен путь hti-h соединяющий шкалу Яо и Я^ Пусть —
точка пути Zi, лежащая на шкале Я«. Выберем на шкале Я<
некоторое количество точек, расположенных близко к точке
я<(4), и переберем пути, проходящие через эти выбранные точ-
ки шкалы Я{, а в остальном совпадающие с путем 4, Если
среди перебираемых путей найдется путь, имеющий меньшую
длину, чем путь llt то его обозначаем через 1ц и просмотр
шкалы Hi на этом заканчиваем. Если же длины всех переби-
раемых путей оказались не меньше длины llt <—4, то полагаем 1ц ==
= 4, <-!. После определения пути 1ц переходим к просмотру сле-
дующей шкалы Hi+l и т. д. Такой перебор всех шкал Яо, ...
..., HN закончится получением пути llN = 12. Если длина пути
4 меньше длины 4, то для пути 12 повторяют описанный выше
просмотр шкал Яо, .., HN и находят следующий путь I*
и т. д. Если же окажется, что 4 = Ц, т. е. путь Ц улучшить
не удалось, то на шкалах берут густую сетку точек, а также
при необходимости измельчают сетку по времени, и снова про-
сматривают шкалы и т. д.
Метод локальных вариаций описан. Нетрудно видеть, что
этот метод является аналогом метода покоординатного спуска.
Поскольку здесь в переборе участвуют гораздо меньше путей,
чем в методе, основанном на
блуждающих трубок, то ясно,
что метод локальных вариаций
гораздо экономичнее и позво-
ляет увеличить размерность
решаемых задач. С другой сто-
роны, нетрудно привести при-
меры задач, когда этим мето-
дом не удается найти даже ло-
кально кратчайший путь меж-
ду шкалами. На рис. 7.1 при-
веден такой пример — здесь
N = 3, шкалы Яо, Яь Я2, Я3
чек L4), {В, СУ, {D, ЕУ, {РУ; на дугах, соединяющих точки
соседних шкал, указаны их длины. Кратчайшим путем, соеди-
няющим шкалы Яо и Я3, является путь ACDF. Если в качестве
начального приближения Ц взять путь ABEF, то улучшить его
методом локальных вариаций не удается. Любопытно также
заметить, что если за Ц взять путь ABDF, то в зависимо-
сти от того, начнем ли просмотр со шкалы 1Ц или Я2, придем
к кратчайшему пути ACDF или уже рассмотренному пути
ABEF.
512
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
Различные модификации метода локальных вариаций, при-
меры задач, к которым применялся этот метод, см. в [14,
217, 326].
6. Успех в применении описанных в этом параграфе методов
приближенного решения задачи (1.1) —(1.4) во многом зависит
от умения строить элементарные операции (1) —(4). По су-
ществу элементарная операция представляет собой экстремальную
задачу той же трудности, что и исходная задача. Однако ма-
лость отрезка tt t С ti+i позволяет здесь сделать ряд упроща-
ющих предположений. Прежде всего, если шаг сетки по вре-
мени достаточно мал, то элементарную операцию строят, исходя
из условий (1), (2), (4), полагая, что дуги траекторий или не
нарушают ограничений (3), или этим нарушением можно пре-
небречь. Далее, вместо минимизации функции (1) при условиях
(2), (4) часто ограничиваются построением какого-либо допу-
стимого управления и соответствующей траектории, удовлетво-
ряющих условиям (2), (4), и в качестве длины дуги М{(х, у)
тогда берут значение функции (1) на полученных управлении
и траектории.
Во многих задачах полезно задаться каким-либо семейством
управлений u(t)=u(t, ch ..., cm), зависящих от параметров
Ci, ..., ст (т>п). Например, это могут быть алгебраические
или тригонометрические многочлены с коэффициентами ..., ст
или кусочно-постоянные функции со значениями с19 ..., ст и
т. п. Значения этих параметров затем можно определить из сле-
дующей системы п уравнений с т неизвестными (тп > п):
fi+l 4+1
J x(t)dt = J u(t, си cm))dt = у — xt (9)
U С К) • • •» Ст) V (ti) , t
используя для этого различные методы [4, 20, 39, 54, 209]. Если
тп > п, то параметры ..., ст отсюда будут определяться,
вообще говоря, неоднозначно, и свободные параметры можно ис-
пользовать для минимизации функции (1). Для упрощения си-
стемы (9) дифференциальное уравнение (2) часто заменяют бо-
лее простыми уравнениями:
x(t) = /(х, u(t), t) или х (t) = / и (fy t
или другими более точными разностными уравнениями; здесь
возможно использование линеаризованной системы:
#(£)=/(#, u(t), t)+<fx(x, u(t), t), #(£) — #>.
При решении задачи (1), (2), (4) часто применяется также
§ 3]
ПРОБЛЕМА СИНТЕЗА
513
принцип максимума в сочетании с различными упрощающими
приемами, описанными выше. Другие способы построения эле-
ментарных операций, примеры решенных конкретных задач см.
в [14, 217].
§ 3. Проблема синтеза для систем с непрерывным временем
Продолжим исследование задачи (1.1) — (1.4) с непрерывно меняющим-
ся временем. Проблема синтеза для задачи (1.1) — (1.4) заключается в по-
строении функции и = и(х, £), называемой синтезирующей функцией этой
задачи и представляющей собой значение оптимального управления при
условии, что в момент t система (1.2) находится в точке х, т. е. x(t) = х.
Умение решать проблему синтеза крайне важно в различных прикладных
задачах оптимального управления. В самом деле, если известна синтези-
рующая функция и(х, £), то техническое осуществление оптимального хо-
да процесса может быть произведено по следующей схеме, называемой схе-
мой с обратной связью: с измерительного прибора, замеряющего в каж-
дый момент t фазовое состояние x(t), на ЭВМ или какое-либо другое вы-
числительное средство подается величина x(t), вычисляется значение уп-
равления u(t) == u(x(t), t), после чего найденное значение u(t) оптималь-
ного управления передается на исполнительный механизм, непосредствен-
но реализующий требуемое течение управляемого процесса.
1. Проблема синтеза для задачи (1.1) — (1.4) сводится к решению сле-
дующей задачи: определить управление и#(т) = и#(т, ж, £), доставляющее
функции
т
J (t, х, и (•)) = J /° (х (т), и (т), т) dx + Ф (х (Г)) (1)
t
минимальное значение при условиях
я(т) = /(я(т), и(х), т),
х(х) е бг(т),
и = и(т) gF(t), t < т Т\
t^x^T; x(t) = х,
t х Т,
и (•) — кусочно-непрерывно,
(2)
(3)
(4)
где х — произвольная точка множества G(t), a t — произвольный фиксиро-
ванный момент времени, tQ t Т. Заметим, что при t = tQ задача (1) — (4)
превращается в исходную задачу (1.1) — (1.4).
Обозначим через Д(я, t) множество всех управлений и(х) (f^x^T),
удовлетворяющих условиям (4) и и (х) = и (х + 0) = lim и (s) (t х < Г),
s-»t+o
п таких, что соответствующая траектория х(х) = х(х, и) (t ^х^ Г), системы
(2) определена на всем отрезке [£, Т] и удовлетворяет фазовому ограничению
(3). Положим X(t) = {х: x^G(t), Д(я, t) 0} Х(Г) =
= G(T).
Пару (и(х), х(х)) (t ^х Т) назовем допустимой парой задачи (1) —
(4), если x(t) = х (= X(t), и(-)еД(я, t) и х(-) является решением си-
стемы (2), соответствующим рассматриваемому управлению и(«). Анало-
гично, пару (и(х), х(х)) (tQ ^.х Г) будем называть допустимой парой
исходной задачи (1.1) — (1.4), если x(t0) = xQ^ X(t0), и(*) еД(#о, tQ) и вы-
полнены все соотношения (1.2) —(1.4). Допустимую пару (w> (х), х* (х))
(^<х^Т), задачи (1) —(4) будем называть решением этой задачи, если
J (£, х, иф(*))= inf J (£, ж, u(«)); при этом и# (•) назовем оптимальным
АСМ)
управлением, a *♦(•)— оптимальной траекторией задачи (1) — (4).
Зная оптимальное управление и*(х) = и*{х, х, t) задачи (1) —(4) при
всех тех (х, t), xt=G(t) при которых эта задача имеет ре-
514
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
шение, нетрудно получить синтезирующую функцию задачи (1.1) —(1.4):
достаточно положить и (х, t) s u# (г, x, t). Однако получить явное анали-
тическое выражение для оптимального управления и* (т, х, t) задачи (1) —
(4) удается лишь в редких случаях. Поэтому желательно иметь другие
подходы к решению проблемы синтеза.
Вспомним, что при решении проблемы синтеза для дискретных систем
важную роль играло уравнение Веллмана (1.13), (1.14). Оказывается, ана-
логичное уравнение может быть получено и для задачи (1) —(4). Введем
функцию
B(x,t) = inf J (t, х, u(-)),
AGM)
называемую функцией Веллмана для задачи (1.1) —(1.4). Если задача
(1.1) — (1.4) удовлетворяет некоторым ограничениям и функция В (х, t) не-
прерывно дифференцируема, то можно показать, что функция Веллмана
удовлетворяет следующим условиям, называемым уравнением Веллмана
задачи (1.1) —(1.4):
inf Г <ВХ (х, t), / (х, и, t)> + Bt (ж, i) + /° (х, и, t)l = О,
ueDfx.f)L' * J
x<=X(t), t0^t<T,
B(x, T) = Ф(ж), x<=X(T) = G(T),
(6)
где BX=(B ,, В n\, В , Bt — частные производные функции B(x, t),
\ ЗС ЭС / ЭС у
a D(x, t) —множество всех тех ue Г(г), для которых существует хотя бы
одно управление u(-)gA(z, t) со значением u(t) = и(t + 0) = и.
Приведем эвристические соображения, из которых следуют соотноше-
ния (5), (6) в следующей форме:
inf
ueDft(x)
i^+i (Fk «))]- К w+(*. “)]=°.
x e Xh,
к=О, 1, N — 1, (7>
Bn(x) = Ф(я), x e Xn = Gn. (8)
Вспомним также обозначения, связывающие задачи (1.1) — (1.4) и
(1.5) —(1.8) и принятые в (7), (8):
Fk w) = Сл+1 (х> и> w) = х + (*л+1 f и' W-
Исключим из этих обозначений и соотношений (7), (8) индекс к, приняв
th = г, Дг = £ь+1 — th, tN = T, Bk(x) = B(x, t), Bk+\(y) = B(y, г + Дг),
Dh(x) =D(x, t), Xh — X(t). Тогда соотношения (7), (8) могут быть пере-
писаны в следующей безындексной форме:
inf [В (х + дг/ (х, и, t), t + дг) — в (я, г) + дг/° (я, и, г)] = о,
иеГ(х,г)
ж=Х(г), г0^г^т,
В(х, Т) = Ф(я), жеХ(Т) = G(T).
Если теперь поделим первое из этих равенств на Дг > 0 и совершим фор-
мальный предельный переход при Дг-> + 0, то придем к соотношениям (5)г
(6). Подчеркнем, что приведенные рассуждения никоим образом не претен-
дуют на какую-либо строгость и могут служить лишь наводящими сообра-
жениями при получении соотношений (5), (6). Аналогичным образом мож-
но было бы «вывести» эти соотношения, опираясь на уравнения (2.6).
Заметим, что уравнение (5) является дифференциальным уравнением
в частных производных первого порядка, левая часть которого осложнена
ПРОБЛЕМА СИНТЕЗА
515
§ 3]
взятием нижней грани, и вопросы существования и единственности реше-
ния задачи (5), (6), свойства ее решения в настоящее время исследованы
слабо [327]. Задача (5), (6) здесь нас будет интересовать лишь с точки
зрения решения проблемы синтеза.
Под решением задачи (5), (6) мы будем понимать функцию В(х, t),
которая определена и непрерывна при всех (ж, f), x^X(t)
обладает кусочно-непрерывными частными производными Вх, Bt и удов-
летворяет уравнению (5) всюду, где существуют эти производные, удовлет-
воряет условию (6) и, кроме того, для любой допустимой пары (и(*), х(*))
задачи (1) —(4) при всех x^X(t) (t0 t < Т) функция В(х(х), т) пере-
менной т имеет кусочно-непрерывную производную (или В(ж(т), т) абсо-
лютно непрерывна) на отрезке [t, Г].
Теорема 1. Пусть В(х, t)—решение задачи (5), (6) и, кроме того,
пусть нижняя грань в левой части (5) достигается на кусочно непрерыв-
ной функции и(х, t)^D(x, t), x^X(t) Тогда u(x, t)—син-
тезирующая функция задачи (1.1) — (1.4).
Доказательство. Возьмем произвольные t (tQ^t < Т) и х е
е x(t). Пусть х* (т) (t т Г) является решением задачи Коши
х(х) = /(я(т), и(я(т), т), т), t т < Т\ x(t) = х,
и пусть х* (т) е X (т) при всех т е р, Т]. Положим и* (т) = и (х* (т), т)
(г<т<Т). Ясно, что и#(‘)еД(я, t) и (и* (•), х* (•)) — допустимая пара
задачи (1) — (4). Для доказательства теоремы достаточно показать, что па-
ра (а*(-), х* (•)) является решением задачи (1) —(4).
Сначала покажем, что для любой допустимой пары (и(*), х(-)) зада-
чи (1) — (4) справедлива формула
т
J (t, х, и (•)) = J R (х (т), и(т), т) dx 4- В (х, t), (9)
t
R(x, и, t) = <Bx(x, t), f(x, и, t)y + Bt(x, t) +/°(z, u, t). (10J
В самом деле, по условию функция В(х(х), т) переменной т непрерывна
и имеет кусочно-непрерывную производную. Тогда в силу уравнения (2)
имеем
dB (х (т), т) л
----------= R (х (т), и(т), т) — /° (х (т), и (т), т)
всюду на [£, Т], за исключением, быть может, конечного числа точек. Ин-
тегрируя это тождество по т на [£, Г], с учетом условия (6) получим
т т
Ф (х (Г)) — В (х, t) = J R(x (т), и (т), х) dx — J /° (х (т), и (т), т) dx,
t t
что равносильно (9). Заметим, что формула (9) является аналогом форму-
лы (1.21).
Уравнение (5) с помощью функции (10) можно переписать в виде
inf R (х, и, х) = 0. Отсюда и из определения функции имеем
иеГ(х.г)
R (х, и (х, т), т) = 0 = inf R (х, и, т)< Я (х, и, х) (И)
ueD(x,T)
для всех u^D(x, т), жеХ(т) (t^x^T). Если (и(-), х(-}) — допусти-
мая пара задачи (1) —(4), то х(х) е Х(т), и(х) = и(х + 0) = и е П(ж(т), т)
т Г). Поэтому из (И) получаем
Я (ж# (т), и (т)), т)= R (х^ (т), и* (X), х) = 0 < R (х (т), и (т), х), (12)
516
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
для любой допустимой пары задачи (1) — (4). Отсюда и из фор-
мулы (9) с учетом условия х* (t) = х (t) = х имеем
т
J (t, х, и (•)) — J (t, х, (•)) = J R (x (т), u (t), t)dr> 0 (13)
t
для всех допустимых пар (u(-), х(-)) задачи (1) —(4).
Из (9), (12), (13) следует, что
J (t, х, и (•)) = inf J (£, х, и (•)) = В (я, t).
АСМ)
Тем самым показано, что функция В(х, t), определяемая соотношениями
(5), (6), в самом деле является функцией Веллмана задачи (1.1)—(1.4),
и функция и(х, £), на которой достигается нижняя грань в левой части (5),
является синтезирующей для этой задачи.
С помощью функций В (х, г), 0 нетрудно получить решение и для
исходной задачи (1.1) — (1.4). А именно, верна
Теорема 2. Пусть В(х, t)—решение задачи (5), (6) и пусть ниж-
няя грань в левой части (5) достигается на кусочно-непрерывной функции
и(х, t). Кроме того, пусть точка х* е X определена из условия
(14)
а пара (и# (•), х* где х* (•) — решение задачи Коши
х(т)=/(я(т), м(я(т), т),т) *(%) = **.
w и* (т) —и (##(т), т), является допустимой парой задачи (1.1) — (1.4). Тог-
да пара (и* (•), х* (•)) является решением задачи (1.1) — (1.4), т. е.
J (*0, “»(•)) = inf inf J (t x, u(-)\ = Jt.
400 7 rel(«o) «(.)ei(x,t0) v 0 '
Доказательство. Возьмем произвольную допустимую пару
(и(т), х(т)) (fo^r^T), x(t0) = xoeX(fo) задачи (1.1) —(1.4). Из форму-
лы (9) и неравенств (12) при t = tQ с учетом условия (14) имеем
J Go’ *0’ и G)) J (%’ *0’ G)) =
г
= f R (х (т), и (т), т) dx + В (х t \ — inf В (х, t ) > О,
J \ о и/ xt=X(tQ) 4
*0
что и требовалось доказать.
2. Таким образом, согласно теореме 1 для решения рассматриваемой
проблемы синтеза достаточно найти решение задачи (5), (6). Возникает
вопрос, как же решить задачу (5), (6)? Прежде всего заметим, что удоб-
ное для работы конструктивное описание множеств X(t), D(x, t), входящих
в формулировку задачи (5), (6), часто отсутствует, и поэтому на практике
вместо задачи (5), (6) обычно пользуются следующей более конструктив-
ной задачей:
inf Г (В (х, t), / (х, и, t)\ + Bt (х, t) + /° (х, и, О] =
ueV(0 L J
з? g= G(t), 15
В(х,Т)=Ф(х), x^G(T), 1 >
ПРОБЛЕМА СИНТЕЗА
517
§ 3]
получающейся из (5), (6) заменой D(x, t), X(t) на V(t), G(t) соответст*
венно. Конечно, здесь надо помнить, что задача (15) может и не иметь ре*
шения, в то время как задача (5), (6) может оказаться разрешимой.
Наиболее удобными и эффективными при решении задачи (5), (6) или
задачи (15), по-видимому, являются методы, изложенные выше в § 1, 2,—
рекуррентные соотношения (1.13), (1.14) и (2.6) по существу пред*
ставляют собой некоторую дискретную аппроксимацию задач (5), (6) и
(15), а функции Bk(x), Ck(x) являются приближенным значением для
В(х, tk). Существуют и другие методы решения таких задач. Во многих
прикладных задачах часто удается получить явное выражение и = и (хг
t, Вх) для точки и, в которой достигается нижняя грань
inf [<вк, f(x, и, <)>+/°(*, щ о]
ue V(t) L 4 z
при фиксированных значениях параметров (х, t, Вх). Подставив такое и =
= и(х, t, Вх) в (15), приходим к следующей задаче Коши:
Bt + [<5Ж. f (*> и< 0> + /° (*> и. о] |u=u(x,t,Bx) = О,
х <= G(t), io i < 7,
В(х, Т) = Ф(я), x<=G(T),
для нелинейного уравнения с частными производными первого порядка.
Для численного решения задачи Коши можно воспользоваться известным
арсеналом методов — разностными методами, методом характеристик, ме*
тодом прямых, методом коллокации и т. п. [4, 13, 20, 39, 54].
Иногда удается найти решение В(х, t) задачи (15) в виде многочлена
по переменным х\ ..., хп с неопределенными коэффициентами, зависящи*
ми от времени:
тг m2 тп
В(х,1)=% 3 ... 2
il=0 i2=0 1
Если подставим это выражение для В(х, t) в (15), то для определения ко-
эффициентов лл(0 получим дифференциальное уравнение следую-
щего вида
т1 mn
ви*,0 = 2 ... 2 =
ii=0 in=0 1
= 4V(W)’ xl •••• Ж"> *)’ <16)
rreG(i), t0 t 7,
с начальным условием
m1 mn
2 ••• 2 (*п)г" = Ф(*). x<=G(T). (17>
гх=0 i“=0 1
Если Ф(я), inf F, в свою очередь, являются многочленами относительна
V(i)
х\ ..., хп, то, приравняв коэффициенты при одинаковых степенях в (16),
(17), получим задачу Коши для системы обыкновенных дифференциальных
уравнений относительно % лЛ (0, записанной в нормальной форме Коши.
Далее, здесь можно использовать различные численные методы решения
задачи Коши, такие, как методы Эйлера, Адамса, Рунге — Кутта и т. д.
[4, 13, 39, 54, 258, 295].
518
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
Если же Ф(ж) или inf F не являются многочленами относительно
W)
л1, хп, то условия (16), (17) не могут быть, вообще говоря, удовлет-
ворены во всей области G(t) (t0 t Т) ни при каком выборе N = (тти +
+ 1) ... (тпп+1) коэффициентов В этом случае в [188] пред-
лагается задать в области G(t) N кривых Bi(£), ..5И0 и рекомендуется
определять Ф<..лп(О из условия удовлетворения равенств (16), (17) не
всюду в G(t), а лишь на этих кривых. Этот подход перекликается с извест-
ными методами коллокаций и интегральных соотношений и приводит к за-
даче Коши для системы обыкновенных дифференциальных уравнений, не
разрешенных относительно производной (f) (отметим, что эти про-
изводные в уравнение будут входить линейно). Кривые Bi(£), ...» 5я(0
обычно выбирают так, чтобы они имели достаточно простое аналитическое
выражение (например, семейство прямых, параллельных осям координат,
семейство парабол и т. п.) и задавали достаточно густую сетку в области
Для иллюстрации вышесказанного приведем пример.
Пример 1. Пусть требуется минимизировать функцию
т
J (и) = J и2 (£) dt + lx2 (Г), X = const > О
о
при условиях х = u(t), ж(0) = х0, и = u(t) —кусочно-непрерывная функ-
ция; числа Т, хо заданы. Здесь G(t) == Е\ V(t) == Е1 (0 t Т).
Задача (15) в рассматриваемом случае имеет вид
inf (х, t) и Bt (х, t) 4- и2] = 0, х е Е1, O^f^T, (18)
иеЕ1
В(х, Т)=Кх2, хеЕ1. (19)
Нижняя грань в (18) достигается при и = —BJ2, поэтому уравнение (18)
перепишется так:
Bt (х, t) — В* (х, t)/4 = 0, х е= Е1, 0 < t < Т. (20)
Функцию В(х, t) будем искать в виде многочлена
В(х, t) == ф0(О 4- ^i(t)x 4- ^2(t)x2
переменной х. Подставим это выражение в (19), (20); получим
-фо 4- + фг^2 — СФ1 4- 2ф2я)2/4 = 0, х е Е\
фо(Т) 4“ Ф1(^)я 4" ^2(Т)х2 = Кх2, хеЕ1.
Приравнивая коэффициенты при одинаковых степенях х, придем к следую-
щей задаче Коши:
% ~ ^i/4 = 0> V’l’iV0’ % — ’I’l = °>
фо(П=О, Ф1(Г)=0, ф2(П = %.
Отсюда находим
X
% (0 » ,Ф1 (0 = °> % (0 = i — —г)-
Таким образом, функция Веллмана здесь имеет вид
В (ж, t) =----;
§ 3]
ПРОБЛЕМА СИНТЕЗА
51»
синтезирующей является функция
и (х, t) = — — =-----—------, х е Е1, 0 < t < Т.
7 2 l-X(^-T)
3. Предположим, что с помощью того или иного метода нам удалось
получить некоторое приближенное решение В(х, t) задачи (5), (6) или
(15). Если это решение получено разностным методом (например, мето-
дами § 1, 2) на какой-то дискретной сетке точек, то доопределим ее (на-
пример, интерполяцией или с помощью сплайнов) во всех точках области
б? (О (*о<*<Г) до некоторой непрерывной кусочно-гладкой функции
В(х, t), Тогда функцию и = и(х, t), на которой реализуется точная или
приближенная нижняя грань функции R(x, и, t) из (10) на множества
D(x, t) или V(t), можем принять в качестве приближенного решения проб-
лемы синтеза для задачи (1.1) —(1.4). Это значит, что приближенное реше-
ние (й(-), £(•)) задачи (1) —(4) будем определять из условий
я(т) = /(я(т), и(х(т), т), т), t т х(Т) = х,
x(x)^G(x)t й(т) = и(х(т), т),
Приближенное решение исходной задачи (1.1) —(1.4) находится анало-
гично: сначала определяем точку xQ, на которой точно или приближенна
реализуется нижняя грань функции В (х, to) на множестве X(t0) или G(to),
а затем решая задачу (21) при t = tOl х — xQ, находим траекторию х(х) и
управление й(х)=и(х(х)) (t0^x^T). Найденную пару (и(-), £(•)>
примем за приближенное решение задачи (1.1) —(1.4). Спрашивается, ка-
кая при этом будет допущена погрешность? Приводимая ниже оценка по-
грешности дает некоторый ответ на этот вопрос.
Пусть К(х, t) — какая-либо функция, которая определена и непрерывна»
при всех х е X(t) (t0^t Т), обладает кусочно-непрерывными производ-
ными Кх, Kt и такова, что для любой допустимой пары (и(*), х(-)) зада-
чи (1) — (4) при всех xe=X(t) (t0 t < Т), функция К(х(х), х) перемен-
ной х — кусочно-гладкая (или абсолютно непрерывная) на [f, Т]. На прак-
тике в качестве функции К(х, t) обычно берут какое-либо приближенное
решение В(х, t) задачи (5), (6) или (15).
По аналогии с (10) введем функцию
5(т, и, t) = <К*(х, t), f(x, и, «)> + Kt(x, t) +f(x, и, t),
xeX(t), (2Z)
и, кроме того, положим
s(x, T) = Ф(я) — К(х, Т), xt=G(T). (23)
Возьмем произвольную допустимую пару (и(*), х(*)) задачи (1) —(4>»
В силу уравнения (2) тогда имеем
dK (х (х), т) п
-----------= 5(а:(т), и(т), x) — f(x(x), и(т),т), /0<т<Т.
Учитывая непрерывность и кусочно-гладкую функцию К(х(х), т), проинте-
грируем это тождество по т от t до Т. Получим формулу
т
J (f, xt и (•)) = J S (х (т), и (т), т) dx + s (х (Т), Т) + К (х, i). (24)
t
Если К(х, t) = В(х, £), то S (х, и, х) = R(x, и, х) з(х, Г) = 0, и эта форму-
ла превратится в выведенную выше формулу (9).
Предположим, что каким-то образом мы получили пару (и(т), х(х))
(t ^.х г^Т), удовлетворяющую условиям (3), (4) и уравнению (2) с не*
520
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
чальным условием x(t) = х е X(t). Согласно (24) тогда
т
J (t, х, и (•)) — J (£, х, и (•)) = J [5 (х (т), и (т), т) — S (х (т), и (т), т)1 dx 4“
t
+ p(S(T), T)—s(x(T), Т)1 + [X (5, t) — X (x, 0] (25)
для любой допустимой пары (и(*), х(*)) задачи (1) —(4). Из (25) уже не-
трудно получить требуемые оценки погрешности для задач (1) — (4) и
(1.1) —(1.4). Обозначим
5min (т) = inf inf S (*’ T)’ smin = inf s r)>
mm xei(T) ueP(x.T) xel(T)
W ..W (26)
Я<=Л(10)
Пусть («(•), #(•)) —некоторая допустимая пара задачи (1) —(4), которую
мы хотим взять в качестве приближенного решения этой задачи. Учиты-
вая, что для любой допустимой пары (и(-), х(*)) задачи (1) —(4) имеют
место включения x(t)=x^X(t), и(*)еД(х, <)♦ я(т)еХ(т), и(т) е
gD(x(x), x)(t^.x^.T) из 25, 26 получим требуемую оценку погреш-
ности:
О J (f, ж, и (•)) — inf J (t, х, u(.))<
Д(*.О
т
< f [5 (5 (т), й (т), т] - 5mln (Т)1 Л + [s (х (Г), Т) - smin]. (27)
i
Если же_ (й(т), х(х)) (t0 т Т) — допустимая пара задачи (1.1) —(1.4),
x(t0) = xQl которая берется за приближенное решение этой задачи, то из
(25), (26) имеем такую оценку погрешности:
О J ЛЛ» и (•)) ~ inf J(L, я, u(-))^
U 0 xeX(t0)«(.)eA(x.<0) U ’
т
< J [S (7 (т), и (т), т) - Smin (т)] dx + [s (7 (Г), Т) - smin] +
* о
+ X (я0, KQ min. (28)
Если К(х, t) = В (х, t), то S(x, и, t) = R(x, и, f), s(x, Т) = 0 и, кроме того,
из (И) следует, что inf R (ж, u, t) = 0 при всех x^X(t), так что
usD(x,f)
inf inf R (x, и, t) =0. Поэтому при K(x, t) = B(xt t) из (27), (28)
ueD(x,t)
соответственно получим
т
0 < J (f, ж, и (•)) — inf J («, х, и (•)) С R (х (т), и (т), т) dxt (29)
и(«)=д(х,0
О<7(#о’Ч’ ^ (*))" inf inf
vo 0 »eX(t0)u(.)sA(x,/0) 40 7
Г
< J R & (т), U (т), t) dx + В (x0, t0)B (ж’ го)- (3°)
§ 3]
ПРОБЛЕМА СИНТЕЗА
521
Из оценок (29), (30) следует, что если определить и (х, t)eA(«, t) [х0 е
eX(t0)—для задачи (1.1) —(1.4)] так, чтобы R(x, й(х, t),t) было побли-
же к inf R («, u, I) ГВ (х I \ — поближе к inf В (х, t )] и затем
Д(*Л) [ ы xsZ(t0) V ° J
найти пару (й(т), х(т)) из условий
х(т) = /(*(т), м(х(т), т), т), х(т)е£(т), t т Г,
x(t) = «, й(т) » н(х(т), т)
[для задачи (1.1) —(1.4) здесь надо взять t = t0, x(t0) = х0], то величина
J(t, х, «(•)) [в случае задачи (1.1) —(1.4) — величина 7(t, х0, и(е))]_будет
мало отличаться от искомого оптимального значения, а функция и («, t)
будет хорошим приближением для синтезирующей функции. Заметим, что
оценки (28), (30) являются аналогами оценок (1.28) и (1.29).
Заметим также, что в приложениях могут оказаться удобнее более
грубые оценки, получающиеся из (26) — (30) при замене неконструктивно
определенных множеств A (х, t), X(t) на множества V(t), G(t) соответст-
венно.
Упражнения. 1. Решить проблему синтеза для задачи минимиза-
т
ции функции J («0, и (•)) = J (ж2 (I) + и2 (t)) dt при условиях x(t) =
о
= — x(r)+»(t), я(0) = я0; здесь G(t)==Ex, V(t)==Ex при всех
е [0, Т].
2. Решить проблему синтеза для задачи минимизации функции
J(«o, и(-)) = х2(1) при условиях x(t) = u(t) (0 t 1), «(0) = «о, u(t) е
е V = {и е Е1: 0 и 1}, x(t) е G(t) @ Е1 при 0 t < 1. Показать, что
в этой задаче синтезирующих функций бесконечно много. Убедиться, на-
пример, что синтезирующими являются функции
(0, «>0, t (0, s>t —1,
и (х. t) = < или и(х, t) = <
J U, *<0, 11, x^t — 1.
3. Решить проблему синтеза для задачи минимизации функций
т
J (х^и(У)= х* или 7 (V м(’)) = f dt
о
при условиях x(t) = u(t) (0 t Г); «(0) = х0, u(t) е V(t) = {ue Е1:
—1 и 1}, x(t) &G(t) = Е1 (0 t Г). Будет ли в этих задачах син-
тезирующая функция единственной?
4. Написать уравнения Веллмана (5), (6) для задачи быстродействия:
J(яо, t0, и(•)) = Т — t0inf, x(t) = f(x(t), u(t), t), tQ^.t^.T,
x(tQ) = xo, x(T) = xi, u(-) - кусочно-непрерывна и принадлежит множесь
ву V s Er, t > to.
5. Показать, что функция Веллмана для задачи из примера 6.2.4 не яв-
ляется непрерывно дифференцируемой.
6. Найти функцию Веллмана для задачи
т
7(fo- хо< “(•)) = ®(t)> + 6(u(t), t)H« + <c, ®(T)>-»inf,
*0
x(t) =A(t)x(t) +C(t)u(t) +/(t), to t T, X(to) =«0, (31)
и = u(t) e P(t)j »(•) —кусочно-непрерывна, (32)
522
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
считая известными моменты времени t0, Т, матрицы A(t), C(t) порядка
п X п и п X г соответственно, n-мерные вектор-функции a(t), /(О, скаляр-
ную функцию Ъ (и, t), n-мерные векторы с, х0 и множества V(t)eEr
Указание: пользуясь уравнениями (5), (6) искать функ-
цию В(х, t) в виде В (х, t) = <ф(£), х> — многочлена первой степени отно-
сительно переменных х = (ж1, ..хп).
7. Исследовать уравнения (5), (6) для задачи минимизации функции
т
/(«0, х0, и (•)) = <%, [ X2 (t) dt + а2а:2 (Т), ар a2 = const>0,
*0
при условиях (31), (32). Рассмотреть случаи V(t)=Er, V(t) = {u(=Er:
| и| 1}, V(t) = {и = (a1, ..., ur): —1 и* 1, i = 1, ..r).
§ 4. Достаточные условия оптимальности
При решении задач оптимального управления часто возникает следую-
щий вопрос: будут ли на самом деле оптимальными те управления и соот-
ветствующие им траектории, которые найдены с помощью каких-либо точ-
ных или приближенных методов? Такой вопрос, например,* естественно
возникает, когда управление и траектория найдены из краевой задачи прин-
ципа максимуму, поскольку принцип максимума выражает собой необходи-
мое условие оптимальности, не являясь, в общем случае, достаточным для
оптимальности. Один из подходов, с помощью которого можно получить до-
статочные условия оптимальности, связан с методом динамического програм-
мирования [65, 81, 101, 124, 125, 188, 189, 199, 263]. Этот подход уже был
использован в § 1 для получения достаточных условий в дискретных си-
стемах. Покажем возможности этого подхода для задач оптимального управ-
ления с непрерывно меняющимся временем.
1. Начнем с рассмотрения задачи (1.1) — (1.4) с закрепленным време-
нем. Будем пользоваться обозначениями и некоторыми формулами из § 3.
Согласно (3.24) и (3.28) для каждой допустимой пары (й(0, x(t)) (t0
t Г), x(tQ) = х0, задачи (1.1) —(1.4) справедливы формула
т
J (t0, 50, й (.)) = J S (X (t), и (t), t) dt + s (X (T), T) + К (й0, г0) (1)
*0
и оценка
т
O<j(to, й0, й (.))-/*<]“ [S (й(0, й(«), t)-smin(t)] dt +
где
+ р {х (Г), Т) - Smin] + [ЛГ (х0, t0) - к0 min;
(2)
S(x, u, t) = (.Kx(x, t), f(x, u, t)> + Kt{x, t) +/°(®, a, t),
S(x, T) =Ф(г) — K(x, T),
5min (0 = inf inf s (*> 0,
sceX(i) ueD(x.t)
7Cnmin= inf К (x, t ), J*= inf
omin ®GX(t0) V °' xeX(t0) u(-)6A(x,t0)
«min = inf «(ж, Т),
igl(T)
int J (t0, x, и (•));
(3)
(4)
(5)
остальные обозначения см. в § 3. Напомним, что для справедливости соот-
ношений (1), (2) достаточно было, чтобы функция К(х, t) была определе-
на и непрерывна при всех хе G(t), t е [to, Т], обладала кусочно-непре-
8 4]
ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ
523
рывными производными Кх, Kt, а функция К(х(т;), т) переменной т для
любой допустимой пары («(•), х(-)) задачи (1.1)—(1.4) была непрерыв-
ной и кусочно-гладкой на отрезке [f0, Т].
Теорема 1. Для того чтобы допустимая пара (й(0, x(t)) ($0 Т),
х(£о)=хо, задачи (1.1) — (1.4) была решением этой задачи, достаточно
существования функции К(х, t), для которой формула (1) верна для любой
допустимой пары задачи (1.1) — (1.4) и
S(x(t), u(t), t) = Smin(*), (6)
$(а?(Т), T) = $min» K(x§, £q) = Kq min» (7)
еде S(x, u, 0, s(x, 0, 5min(0, Smin, #omin определяются (3) — (5).
Доказательство этой теоремы следует из того, что при выполнении
условий (6), (7) правая часть оценки (2) обращается в нуль и J (^0, #0,
«(•)) = л.
С помощью оценки (2) нетрудно также получить условия, достаточные
для того, чтобы та или иная последовательность допустимых управлений
и траекторий была минимизирующей для задачи (1.1) — (1.4).
Теорема 2. Для того чтобы некоторая последовательность (um(t),
xm(t)) xm(t0) = XQm (тп = 1, 2, ...) допустимых пар задачи
(1.1) — (1.4) была минимизирующей, достаточно существования функции
К(х, 0, для которой формула (1) верна для любой допустимой пары задачи
(1.1) —(1.4) и
т т
lim ( S (xm (t), ит (г), t) dt = f 5mln (t) dt, (8)
m->OO d ’’
*0
lim s (xm (T), — smjn> Ит К ^0) = К mjn. (9)
m^»oo v ' m-»co
Доказательство. В оценке (2) вместо u(t), x(t) подставим um(t),
xm(t) и перейдем к пределу при тп->оо. С учетом условий (8)г (9) по-
лучим lim J (t х , ит(-)) = что и требовалось.
m-усо и и '
Чтобы пользоваться приведенными в теоремах 1, 2 достаточными усло-
виями оптимальности, нужно знать функцию К(х, 0, с помощью которой
строятся функции (3) — (5). Как найти такую функцию К(х, 0, каким
условиям она удовлетворяет?
Всякую функцию К (х, 0, удовлетворяющую условиям теоремы 1 [тео-
ремы 2], назовем функцией Кротова задачи (1.1) — (1.4), соответствующей
допустимой паре (й(0, x(t)) (t0 t Т) [или последовательности
(ит(0, xm(t)) допустимых пар].
Заметим, что если существует какая-либо функция Кротова К(х, 0, то
функцией Кротова является также функция К (х, t) — К (х, 0 +а(0, где
а(0 — произвольная непрерывная, кусочно-гладкая (или абсолютно не-
прерывная) на [f0, Т] функция. В частности, если а (0 = — J 5min С0 dx ~
_ т
— т0 функции S(х, и, 0, s(x, Т), построенные по формулам (3), (4) с
заменой К на К = К+а, таковы, что S(х, и, t)=S(x, и, 0— Smin(0,
s(x, Т)= s(x, Т)—smin и, следовательно, inf inf S(x, и, 0=эО
_X~X(t ; U£D(X,Z)
(t0<t <Т), inf » (x, T) = 0, a int К (X, t0) = ко mln + а (*0) отли-
524
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ, 7
чается от K’omin на постоянную а(£0). Поэтому в теоремах 1, 2 без ограни-
чения общности можем принять 5min(0 е о, Smin = 0.
С учетом этого замечания заключаем, что функция Кротова, соответ-
ствующая допустимой паре (u(t), x(t)) или последовательности (ит(0,
#m(0) допустимых пар задачи (1.1)— (1.4), согласно теоремам 1, 2 удовлет-
воряет условиям
S(х, и, t) = <Кх(х, 0, /(ж, в, t) >+ Kt (х, t) + /°(ж, в, t) 0, (10)
u^D(x, 0,
s(x, Т) = Ф(а0 — К(х, Т) >0, жеХ(Г), (И)
К(х, to) Ко min, #G=X(£o),
причем неравенства (10), (И) должны обратиться в равенства при в = и(0,
x = x(t) или при в = вт(0, х = xm(t) в пределе при тп->оо.
Задача (10), (И) для определения функции Кротова несколько необыч-
на тем, что, во-первых, здесь мы имеем дело не с дифференциальным урав-
нением, а с дифференциальным неравенством (10) в частных производных,
во-вторых, начальное условие при t = Т также задано в виде неравенства
и, наконец, задача (10), (И) тесно связана с конкретной допустимой парой
(»(•), *(•)) или последовательностью (um(-), М*)) допустимых пар, по-
дозреваемых на оптимальность.
Сравнение соотношений (10), (И) с (3.5), (3.6), (3.14) показавает, что
функция Веллмана всегда является функцией Кротова. С другой стороны,
функция Кротова определяется из более широких условий (10), (И), и она
может существовать даже тогда, когда функция Веллмана не существует,
В тех случаях, когда отсутствует удобное для работы конструктивное
описание множеств D(x, 0, Х(0, функцию Кротова можно попытаться
определить из условий, получающихся из (10), (11) при замене D(x, 0,
Х(0 на V(0, G(t) соответственно.
Проиллюстрируем вышесказанное на примерах.
Пример 1. Пусть требуется минимизировать функцию J (и (•)) =
1
= J (х2 (0 — и (0) dt при условиях я(0 = н(0, я(0) = х(1) = 0, в(0 е
о
eF(0 = Е1: ]и| 1} (0 t 1).
Здесь фазовые ограничения (7(0 такие: (7(0) =(7(1) = {0}, (7(0 ssЕ1
(0 < t < 1). Очевидно, пара (й(0 s 0, х(0 » 0) является допустимой для
этой задачи. Покажем, что она является решением задачи. Для этого возь-
мем функцию К(х, 0 е= х. Тогда
S(x, и, 0 = я2 > 0 = 5(х(0, й(0, 0 = Smln(0,
s (х, 1) = — х = 0 = s (х (1), 1) = inf s(x, 1),
xeG(i)
£(х, 0) = z = 0 = £(z(0), 0)== inf К (х, 0).
xeG(o)
Кроме того, ясно, что формула (1) здесь будет верна для любой допусти-
мой пары. Согласно теореме 1 тогда пара (й(0 == 0, х(0 == 0) оптимальна.
Предлагаем читателю найти функцию Веллмана и синтезирующую функцию
этой задачи.
Пример 2. Пусть требуется минимизировать функцию J (и (•)) =
= j (х2 (0 — и2 (0) dt при условиях х(0 = ю(0, я(0) = 0, u(0 е V(0 «
о
= {и е Е1: |»| 1} (0 t 1).
§ 4]
ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ
525
Здесь фазовые ограничения G(t) такие: бг(О) = {0}, G(t)==Ex (0 <
t 1). Возьмем последовательность пар функций (um(-), где
ит (0 = ' р р 1 1 <Г Z <2 —4- ’ тп тп ' 2m1 р 1 р 1 | -4_ I — t<Z 4- — k ’ тп ' 2тп m 1 тп 1 Г. р р . Р , 1
хт (0 = ' m ' пг пг 1 2тп J _t>p+l _2_ 1 JL t < _£_ + j- u 'тп ’ m ' 2m m * m ’
р = 0,1,...,тп— 1, т = 1, 2,
Нетрудно проверить, что пара (ит(-), *т(-)) допустима для рассматривае-
мой задачи при всех т = 1, 2, ... Покажем, что последовательность этих
пар является минимизирующей. Для этого возьмем функцию К (ж, t) =
= t — 1. Тогда S (х, и, t) = х2 + 1 — и2 > 0 = min min S (ж, u, i) =s
= lim S (xm (t), t), s(x, 1) = -K(x. l)==0 = inf К (x, 1) =>
m-^oo xeEX
= lim s(zm(l), 1), К (x, 0)^ — 1= inf К (xf 0) = lim К (x(0), 0).
m-»oo xeG(o) m->oo ' '
Согласно теореме 2 последовательность (ит(-), ^m(*)) будет минимизи-
рующей: lim J = — 1 = 7*.
m-»oo
Заметим, что в этом примере inf J(u) = —1 не достигается ни на какой
допустимой паре. В самом деле, если x2(t) ==(), то в силу уравнения
1
х = u(t) == 0 и 7(0) = 0 > —1. Если же x2(t) ==£ 0, то J (и) > — и2 (£) di
о
—1. Таким образом, /(«(•)) > —1 для всех допустимых управлений и
траекторий. В этой задаче мы имеем дело с так называемым скользящим
режимом [37, 77, 104, 124, 125, 188, 189, 304]. Предлагаем читателю найти
функцию Веллмана и приближенную синтезирующую функцию этой задачи,
2. Перейдем к рассмотрению следующей задачи оптимального управ-
ления с незакрепленным временем: минимизировать функцию
т
J (t0, Т, х0, (х (t), и (t), 0 dt + Ф (х (Т), Т) (12)
*0
при условиях
x(t) == f(x(t), u(t), £), t0 t Т; x(to)=xo, (13)
x(t)t=G(t), x(T) e=Si(T) <=G(T), (14)
и = u(t) e V(0, u(t) — кусочно непрерывна, tQ t T,
u (t) = и (t0) — lim u(t), (15)
т-t+o 0
где моменты to, T, в отличие от задачи (1.1) —(1.4), неизвестные и тако-
вы, что
*ое0о, Т <= 0i; (16)
0о, 01 — некоторые множества на числовой оси —оо < t < сю; остальные
обозначения см. в § 6.1. В частности, если /° == 1, Ф == 0, то задача
(12) — (16) превратится в задачу быстродействия. Всюду ниже будем
предполагать, что tQ Т.
526
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ, 7
Через Д(я, t, Т) обозначим множество всех управлений и(-), опреде-
ленных на отрезке [£, Г], удовлетворяющих условиям (15) и таких, что
траектория системы £(т) = /(я(т), и(т), т), x(t) = х е G(t) также опреде-
лена на отрезке [£, Г], причем я(т)ебг(т) (г^т^Т), х(Т) е Si(T),
Положим Х(£, Т) = {ж: x^G(t), Д(я, £, Т) =£ 0} при t < Г; Х(Т, Т) ==э
= Si(T). Введем также множество D(x, t, Т) всех тех ие 7(0, для кото-
рых существует хотя бы одно управление ю(т) еД(я, i, Т) со значением
u(t) = u(t + 0) = и. Пару (и(0, я(0) назовем допустимой парой задачи
(12) —(16), если функции u(0, x(t) определены на каком-либо отрезке
[£0, Г], где t0 е 0о, Т е 01, и такие, что x(tQ) = х0 е G(t0), и(-) е Д(ж0, t0, Г),
я(-)—траектория системы (13). Если (и(т), я(т)) (to ^2 т Т) является
допустимой парой задачи (12) —(16), то и(-) еД(я(0, t, Г), x(t) eX(i, Г),
u(0 е D(x(t), t, Т) для всех t (t0 ^t < Т).
Моменты времени е 0О, Т* е 01 и допустимую пару (u*(t), х* (0),
определенную на отрезке р*, Т*], назовем решением задачи (12) —(16),
если
•'(С7”’ х*(‘о)’“*(•)) =
= inf inf inf inf J (t, T, x и (•)) =
toeeo Teo^eX^.T) u(.)eA(x0,t0,T) 0 °
Скажем, что последовательности моментов {£От} е 0о, {Tm} е 01 и допусти-
мых пар (um(t), xm(t)), определенных на отрезке [/от, Тт], являются ми-
нимизирующими для задачи (12) —(16), если lim J (tQrn, Тт, хт (tom),
Для формулировки достаточных условий оптимальности снова восполь-
зуемся функциями S(x, и, 0, s(x, Т), определяемыми равенствами (3), (4),
причем для случая рассматриваемой задачи (12) —(16) в (4) вместо Ф(я)
будем брать Ф(х, Г). Будем считать, что функция К(х, 0 такова, что фор-
мула (1) остается верной для любых допустимых пар задачи (12) — (16) —
для этого достаточно, чтобы функция К(х, 0 была определена и непрерыв-
на при всех x^G(t), t& [inf 0о, sup 0i], обладала кусочно-непрерывными
A'», Kt, а функция K(x(t), 0 переменной t для любой допустимой пары
(u(0, х(0) (to t Т) задачи (12) —(16) была кусочно-гладкой на отрез-
ке [£0, Т].
Пусть (и* (0, я* (0) и (и(0, я (0)—какие-либо допустимые пары за-
дачи (12) —(16), определенные на отрезках [«*, т*] и р0, Т] соответ-
ственно. Тогда из формулы (1) получим
т*
J («*, т*. *• (<), и» (•)) - J («о- х и <•)) = f s (0, 0 dt-
*
*0
т
- J 5 (ж (t), и (t), t) dt + [s (7”), T*) - s (x (Г), T)] +
*0
Обозначим
т
^min= in* inf 1 in^ inf £ (x, u, 0 dt,
toeeo J xeX(t,T) u^D(x,t,T)
To
(18)
5min
=* inf int s (x, T),
reOj xeS^T)
^0 min
inf inf inf К (x, t '
«os0o Te0i
§ 4]
ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ
527
Учитывая, что для любой допустимой пары (u(t), x(t)) t Т) за-
дачи (12) —(16) имеют место включения u(t) ^D(x(t), t, Г), x(t) ^X(t, T)
при всех t и ю(-) е Д(афо), *о, Т), x(tQ) еХ(?о, Г), х(Т) е
еЦГ, Т) =Si(T), гО€=0о, Т е 01, из (17), (18) получим следующие нера-
венства:
У*
Т», ге(£), и, (•))-/*< J SM), и* (t), t)^-5min +
♦
*0
+ Р (X* (Г*), Г*) - Smin] + [/Г (х, (t*), t* - Хо ю1п]. (19)
Неравенства (19) обобщают формулу (2) на случай задач оптимального
управления с незакрепленным временем и представляют собой оценку
погрешности, которая будет допущена, если допустимую пару (и* (0»
х* (0) (** задачи (12) —(16) возьмем за приближенное решение
этой задачи. Оценка (19) станет более конструктивной, если в формулах (18),
определяющих величины Smin, $min, Kq min, множества D(x, t, Т), X(t, Т)
заменим на V(0, G(t) соответственно.
Опираясь на оценку (19), нетрудно сформулировать достаточные усло-
вия оптимальности для задачи (12) — (16).
Теорема 3. Для того чтобы допустимая пара (и# (0, х* (0) (f*
задачи (12) — (16) была решением этой задачи, достаточно
существования функции К(х, t), для которой формула (1) верна для любой
допустимой пары задачи (12) — (16) и
т*
f 5(^(t), u»(0, t)dt = Smln, (20)
%*
r*)=Snlin, K(x.(t*), to*)=«o min- (2D
Доказательство. При выполнении условий (20), (21) правая
часть оценки (19) обращается в нуль, откуда и следует утверждение
теоремы.
Теорема 4. Для того чтобы некоторая последовательность (um(t),
Xm(t)) (tom^t^.Tm, тп = 1, 2, ...) допустимых пар задачи (12) — (16)
была минимизирующей для этой задачи, достаточно существования функ-
ции К(х, t), для которой формула (1) верна для любой допустимой пары
задачи (12) — (16) и
Тщ
lim С S (xm (i), um (I), t) dt = 5min, (22)
ТП—>OO
W
lim s (xm (Tm), = $mjn, lim К (xm tQm) = ^omiir $3)
m-»oo m-»oo
Доказательство. В оценке (19) вместо и* (t), х* (0, t*, Т* под-
ставим соответственно um(t), xm(t), tom, Tm и перейдем к пределу при
тп->оо. С учетом условий (22), (23) получим утверждение теоремы.
Предлагаем читателю самостоятельно выписать условия, аналогичные
условиям (10), (И), для определения функции Кротова К(х, t) для задачи
(12) —(16).
Пример 3. Требуется наибыстрейшим образом перевести точку
(х, у) ^.Е2 из начала координат (0, 0) в точку (1, 0), предполагая, что
528
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ» 7
движение точки подчиняется условиям x(t) = —y2(t) + »2(i), y(t) = a(f),
u(t) e= V(t) = {ut=El: |и| C 1} (O^i^T).
Здесь G(0) = {(0, 0)}, G(t) == E2 при 0 < г Г, S^T) = {(1, 0)}, 0O =,
= {t0 = 0}, 0i = {T: T>0}, f°==l, Ф = 0, 7(T, u(t)) = T,
Пусть Tm — корень уравнения (T — I)3 = 12(T — 1) — m~2, расположен-
ный в пределах 1 < Т < 1 + т~2^ (т = 1, 2, ...). Положим
М*) =
1 при — < i < -Е- И 1 < £ <
т 2т
2 ’
— 1 при —
т
р = 0, 1, т — 1, т = 1, 2, ... Через (zm(0, ym(t))
обозначим траекторию точки, соответствующую управлению ит(-) и на-
чальным условиям хт(0) = ут(0) = 0. Нетрудно видеть, что хт(Тт) = 1,
Ут(Тт)=0, — 0 l/m(0 ^“2/3 При 0 t Тт,
т = 1, 2, ...
Покажем, что lim Тт = 1 = Г* — оптимальное время. Для этого
т-»оо
возьмем функцию К (х, у, t) = —х. Тогда
S (х, у, и, i) = у2 — u2 + 1, inf inf S (x, у, и, t) = Q
(x,y)^E2 lul^l
Tm Tm
при всех f>0, Smln = 0, J S (xm(t), ym(t), um(t), t) dt = j y^ (t) dt —
0 0
I'm Tm
~ j (um№ — 0^= J 0 = 5min ПРИ ™->оо; s(x, у, T) =
о о
= —K(x, y, T)= — x — — 1 при (ж, y)e=Si(T), s(xm(Tm), ym(Tm), Tm) =
= —1 = Smin, K(x, y, 0) = 0 при (ж, у) G= G(0), K(xm(0), ym(0), 0) =0=3
= Kq min = 1, 2, . . .).
Кроме того, очевидно, формула (1) для данной задачи будет справедли-
ва при всех допустимых («(•), у(*), »(•))• Таким образом, для последова-
тельностей {Тт}, {(xm(t), ym(t), um(t))} все условия теоре-
мы 4 выполнены. Следовательно, lim J (Тт, ит(-)\ = Ит Тт =» 1 —
тп-+<х> т->оо
оптимальное время. Остается заметить, что в рассмотренной задаче
inf J(T, и) = 1 не достигается — здесь, как и в примере 2, мы имеем дело
со скользящим режимом.
3. Приведем еще одно достаточное условие оптимальности, касающееся
задачи быстродействия.
Теорема 5. Пусть в задаче (12) — (16) /°sl, Ф == 0; 0о = {М, т*
начальный момент tQ закреплен; 01 == {Т: Т £0}. Пусть имеется некоторая
последовательность (um(t), xm(t)) (tQ^.t Tm, m = 1, 2, ...) допустимых
пар рассматриваемой задачи быстродействия, причем lim Tm =
т->оо
Тогда для того, чтобы Т* было оптимальным временем, достаточно суще^
ствования функции К(х, t), для которой формула (1) верна для любой
допустимой пары и, кроме того,
Tm Т
lim f S (xm(t), um(t), t)dt< [5mln(i, T)dt + T*-T (24)
m-»oo о у
t0 t
для любого T (to ^.T <Z T*),
lim s (xm (Tm), Tm} = sm|n, Ит К (xm {tQ}, tQ)= KQ mln, (25)
I 4]
ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ
529
еде
^min
(t, Т) = inf inf S (ж, w, t),
xeX(t,T) ueD(x,t,T)
smin
inf inf s (x, T),
O^T^T* XGS^T)
^omln
inf inf К (x, t'
t0<T<£T* xt=X(tQtT) v °
Для получения формулировки достаточного условия оптимальности для
фиксированной допустимой пары (u* (£), х* (t)) (to t ^2 Т*) в этой тео-
реме надо принять Тт = Т*, um (t) == и* (£), хт (i) = х* (f) (m = 1, 2, ...)
и в (24), (25) всюду опустить знак lim.
Доказательство. Пусть вопреки утверждению теоремы Т* не
является оптимальным временем. Тогда существуют момент Т (t0 Т <
< Г*) и допустимая пара (ю(£), я(0) Go < * Г). В формуле (17) вместо
**» Т*» (“♦ G)» х* (0) примем соответственно tQl Tmi
xm(t)) Go t Tm) и перейдем к пределу при оо. С учетом условий
(24), (25) будем иметь
J (tQ, Tm, xm (Q, um (.)) - J («0, T, x (t0), и (•)) = Г* - T<
Tm T
< lim f S (xm (t), um (£), t\ dt - f S (x (f), и G), t) dt<T*- T.
oo J у
*o fo
Полученное противоречивое неравенство доказывает теорему.
Пример 4. Пусть требуется наибыстрейшим образом перевести точ-
ку (ж, у) Е2 из положения (1, 0) в начало координат (0, 0), предполагая,
что движение точки подчиняется условиям x(t) = у G), y (t) = и G), u(t) е
е7(0 = {izsE1: |и| С 1} (O^t^T).
Здесь G(0) = {(1, 0)}, G(t) в Е2 при 0 t < Т, SX(T) = {(0, 0)}, Оо =
= Go = O}, 01 = {Т>О}.
В примере 6.2.4 с помощью принципа максимума была найдена допу-
стимая пара ((х* (t)* у* (£)), u*(t) (0 < t < Т* — 2), где
и* (0 —
-1,
1,
, [1— ?/2,
l<t<2, *u l(t —2)2/2,
_ ( —t, 0<t<l,
V* [t — 2, l<t<2.
o;< t < i.
1 < t<2,
Покажем, что эта пара является решением рассматриваемой задачи быст-
родействия. Возьмем функцию К(х, y,t)= х —(t — 1)у. Тогда S (х, у, и, t) =«
= Kxy + Kvu-\-Kt-\-l= — (t— l)u + l, 5mln(t,T)= inf inf S (
y, u, t) = — 11 — 11 + 1 при всех T и Т 0, S (х^ (t)t у^ (t), (£), t) =
т* т 2
= -|t-l[ + l; j 5(^(0, !/»«), T)dt=J(l-
0 О т
— 11 — 11) dt <2— T=T*—T для всех T (0<T < Т* = 2); $ (ж, у, Т) = — К (ж,
у, Т) = 0 при (х. у) €= (Г), s (х* у* (Г*), Г*) = smin; К (х, у, 0) = 1
при (Ж, у) е G (0) = X (0, Г) = {(1, 0)}, К (х^ (0), у* (0), 0) = 1 = tfomin.
Кроме того, очевидно, формула (1) для данной задачи будет справед-
лива при всех допустимых управлениях и траекториях. В силу теоремы 5
момент Т* = 2 и пара ((я* (•), У* (•)), ^#(.)) являются оптимальными. За-
метим, что функция Веллмана в этой задаче имеет разрывы первой произ-
водной именно на оптимальной траектории [17, 65], в то время как функция
Кротова К(х, t) является просто многочленом.
530
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
[ГЛ. 7
В заключение упомянем, что функции Веллмана, Кротова тесно свя-
заны с функцией Ляпунова, широко* используемой в теории устойчиво-
сти [9].
Упражнения. 1. Рассмотреть задачу минимизации функции
т
J (и (•)) = J (и2 (t) — х2 (£)) dt при условиях z(0) = х(Т) — 0. Показать,
о
что пара (и* (t) ^0, х* (t) ^0) является оптимальной при 0 < Т < л.
Указание: функцию Кротова искать в виде К(х, t) = ф(t)x2.
2. С помощью принципа максимума найти подозрительные на оптималь-
ность управления и траектории, а затем доказать их оптимальность для
следующей задачи быстродействия: наибыстрейшим образом перевести точ-
ку (z0, */о) из заданного состояния в начало координат (0, 0), предполагая,
что движение точки подчиняется одному из следующих условий:
a) x(t) = г/(0, 2/(0 = п(0, н(0 g V(Q = {и е Е1: |u| 1}, 0 t Т7;
б) x(t) = y(t), у(t) = ~x{t) + и(0, u(t) е V(t) = {и е Е': |и| < 1},
0 Т;
в) x(t) = у(0 + п(0, y(t) = —x(t) + v(t), (u(i), v(t)) G V(i) =
= {(u, v) e E2: | iz| 1, | v | 1}, 0 t T. Указание: функцию Кро-
това искать в виде К(х, t) = ipi(t)x + ty2(t)y.
3. Перевести точку (ж, у, z) е Е3 из начала координат (0, 0, 0) в точку
(а, 0, 0) быстрейшим образом, если x(t)=y(t), y(t) —z(t), z(t) =u(t),
u(t) e V(0 = {и e E1: lu| 1} (0 t T); a = const. Показать, что опти-
мальное время Т*= (32[а|)1/3. Указание: функцию Кротова искать в виде
К(х, t) = t|)i(0a: + 1Ы0У + ^з(0^.
4. Рассмотреть задачу минимизации функции
т
J(to, т, х0, «(•)) = и W, О л + Ф0(»(е0), <0) + Ф(х(Т), Т)
при условиях (13) — (16). Для этой задачи сформулировать и доказать тео-
ремы, аналогичные теоремам 1—4.
СПИСОК ЛИТЕРАТУРЫ
ОСНОВНАЯ ЛИТЕРАТУРА
1. Алексеев В. М., Галеев Э. М., Тихомиров В. М. Сборник
задач по оптимизации. Теория. Примеры. Задачи.— М.: Наука, 1984.—
288 с.
2. Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное
управление.— М.: Наука, 1979.— 432 с.
3. Ашманов С. А. Линейное программирование.— М.: Наука, 1981.—
304 с.
4. Бахвалов Н. С., Жидков Н. П., Кобельков Г. М. Численные
методы.— М.: Наука, 1987.— 600 с.
5. Б у б л и к Б. Н., Кириченко Н. Ф. Основы теории управления.—
Киев: Вища школа, 1975.— 328 с.
6. В а с и л ь е в Ф. П. Методы решения экстремальных задач.— М.: Нау-
ка, 1981.— 400 с.
7. Г а б а с о в Р., Кириллова Ф. М. Методы оптимизации.— Минск:
Изд-во БГУ, 1981.— 352 с.
8. Евтушенко Ю. Г. Методы решения экстремальных задач и их при-
менение в системах оптимизации.— М.: Наука, 1982.— 432 с.
9. Зубов В. И. Лекции по теории управления.— М.: Наука, 1975.—
496 с.
10. Ильин В. А., Садовничий В. А., С е н д о в Бл. X. Математический
анализ. Начальный курс.— М.: Изд-во МГУ, 1985.— 660 с.
И. Карманов В. Г. Математическое программирование.— М.: Наука,
1986.— 288 с.
12. Ляшенко И. Н., Карагодова Е. А., Черникова Н. В.,
Шор Н. 3. Линейное и нелинейное программирование.— Киев: Вища
школа, 1975.— 372 с.
13. Марчук Г. И. Методы вычислительной математики.— М.: Наука,
1980.— 536 с.
14. М о и с е е в Н. Н. Элементы теории оптимальных систем.— М.: Наука,
1975.—528 с.
15. М о и с е е в Н. Н., И в а н и л о в Ю. П., С т о л я р о в а Е. М. Методы
оптимизации.—М.: Наука, 1978.—352 с.
16. Морозов В. В., Сухарев А. Г., Федоров В. В. Исследова-
ние операций в задачах и упражнениях.—М.: Высшая школа, 1986.—
287 с.
17. Понтрягин Л. С., Болтянский В. Г., Гамкралидзе Р. В.,
Мищенко Е. Ф. Математическая теория оптимальных процессов.—
М.: Наука, 1976.— 392 с.
18. Пшеничный Б. Н. Выпуклый анализ и экстремальные задачи.—
М.: Наука, 1980.— 320 с.
19. Пшеничный Б. Н., Данилин Ю. М. Численные методы в экст-
ремальных задачах.— М.: Наука, 1975.— 320 с.
532
СПИСОК ЛИТЕРАТУРЫ
20. Самарский А. А., Николаев Е. С. Методы решения сеточных
уравнений.— М.: Наука, 1978.— 592 с.
21. Сухарев А. Г., Тимохов А. В., Федоров В. В. Курс методов
оптимизации.— М.: Наука, 1986.— 328 с.
22. Т и х о н о в А. Н., А р с е н и н В. Я. Методы решения некорректных
задач.— М.: Наука, 1986.— 288 с.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
23. А б р а м о в Л. М., К а п у с т и н В. Ф. Математическое программиро-
вание.— Л.: Изд-во ЛГУ, 1981.—328 с.
24. А в а к о в Е. Р. Условия экстремума для гладких задач с ограниче-
ниями типа равенств Ц Журн. вычислит, матем. и матем. физики.—
1985.— Т. 25, № 5.— С. 680-693.
25. А к у л и ч И. Л. Математическое программирование в примерах и за-
дачах.— М.: Высшая школа, 1986.— 319 с.
26. А л е к с е е в О. Г. Комплексное применение методов дискретной опти-
мизации.— М.: Наука, 1987.— 248 с.
27. А л ь б е р Я. И., Ш и л ь м а н С. В. Метод обобщенного градиента:
сходимость, устойчивость и оценки погрешности Ц Журн. вычисл. ма-
тем. и матем. физики.— 1982.— Т. 22, № 4.— С. 814—823.
28. А н р и о н Р. Теория второй вариации и ее приложения в оптималь-
ном управлении.— М.: Наука, 1979.— 208 с.
29. Антипин А. С. Методы нелинейного программирования, основан-
ные на прямой и двойственной модификации функции Лагранжа.— М.:
Изд-во Всесоюзного научно-исследовательского института системных ис-
следований, 1979.— 74 с.
30. А о к и М. Введение в методы оптимизации.— М.: Наука, 1977.— 344 с.
31. Арутюнов А. В. О необходимых условиях оптимальности в зада-
че с фазовыми ограничениями // ДАН СССР.— 1985.— Т. 280, № 5.—
С. 1033—1037.
32. А р у т ю н о в А. В., М а р д а н о в М. Дж. К теории оптимальных
процессов с запаздываниями Ц Дифференциальные уравнения.— 1986.—
Т. 22, № 8.— С. 1291—1298.
33. А с т а ф ь е в Н. Н. Линейные неравенства и выпуклость.— М.: Наука,
1982.— 152 с.
34. А х и е в С. С. О необходимых условиях оптимальности для систем
функционально-дифференциальных уравнений Ц ДАН СССР.—1979.—
Т. 247, № 1 —С. 11-14.
35. Ашманов С. А. Введение в математическую экономику.—М.: Нау-
ка, 1984.— 296 с.
36. А щ е п к о в Л. Т. Оптимальное управление линейными системами.—
Иркутск: Изд-во ИГУ, 1982.— 116 с.
37. А щ е п к о в Л. Т. Оптимальное управление разрывными системами.—
Новосибирск: Наука, 1987.— 226 с.
38. А тп е п к о в Л. Т., Б е л о в Б. И., Б у л а т о в В. П., В а с и л ь е в О. В..
СрочкоВ. А., Тарасенко Н. В. Методы решения задач математи-
ческого программирования и оптимального управления.— Новосибирск:
Наука, 1984.— 234 с.
39. Бабенко К. И. Основы численного анализа.— М.: Наука, 1986.—
744 с.
40. Багриновский К. А., Бусыгин В. П. Математика плановых ре-
шений.— М.: Наука, 1980.— 224 с.
41. Б а з а р а М., Ш е т т и К. Нелинейное программирование. Теория и
алгоритмы.— М.: Мир, 1982.— 584 с.
42. Б а куши некий А. Б. Итерационные регуляризующие алгоритмы
для нелинейных задач Ц Журн. вычисл. матем. и матем. физики,—
1987.—Т. 27, № 4.—С. 617—621.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
533
43. Банину к Н. В. Оптимизация форм упругих тел.— М.: Наука,
1980.— 256 с.
44. Б а и к Б., Белоусов Е. Г., Мандель Р., Ч е р е м н ы х Ю. Н.,
Широнин В. М. Математическая оптимизация: вопросы разрешимо-
сти и устойчивости.— М.: Изд-во МГУ, 1986.— 216 с.
45. Б а р т и ш М. Я. Об одном классе методов типа Ньютона Ц Вестник
МГУ. Сер. вычислит, матем. и киберн.— 1987, № 2.— С. 16—20.
46. Батищев Д. И. Методы оптимального проектирования.— М.: Радио
и связь, 1984.—248 с.
47. Б а т у х т и н В. Д., М а й б о р о д а Л. А. Оптимизация разрывных
функций.— М.: Наука, 1984.— 208 с.
48. Б е й к о И. В., Б у б л и к Б. Н., 3 и н ь к о П. Н. Методы и алгорит-
мы решения задач оптимизации.— Киев: Вища школа, 1983.—
512 с.
49. Беленький В. 3., Волконский В. А., Иванков С. А., По-
ма н с к и й А. Б., Шапиро А. Д. Итеративные методы в теории игр
и программировании.— М.: Наука, 1974.— 240 с.
50. Б е л л м а н Р. Процессы регулирования с адаптацией.— М.: Наука,—
1964.— 360 с.
51. Б е л о л и п е ц к и й А. А., Рябов А. Ю. Асимптотические оценки
решений задачи оптимального быстродействия вблизи точек излома
изохронной поверхности Ц Журн. вычисл. матем. и матем. физики.—
1986.— Т. 26, Ха 4.— С. 521-535.
52. Б е л о у с о в Е. Г. Введение в выпуклый анализ и целочисленное про-
граммирование.— М.: Изд-во МГУ, 1977.— 196 с.
53. Б е р д ы ш е в В. И. Непрерывность многозначного отображения, свя-
занного с задачей минимизации функционала Ц Изв. АН СССР. Сер.
матем.— 1980.— Т. 44, № 3.— С. 483—509.
54. Б е р е з и н И. С., Ж и д к о в Н. П. Методы вычислений. Том I.— М.:
Наука, 1966.— 632 с. Том 2.— М.: Физматгиз, 1962.— 640 с.
55. Б е р е з н е в В. А. Математические методы планирования производст-
венной программы предприятий легкой промышленности.— М.: Легкая
индустрия, 1980.— 144 с.
56. Березнев В. А., Карманов В. Г., Третьяков А. А. О стаби-
лизирующих свойствах градиентного метода Ц Журн. вычислит, матем.
и матем. физики.— 1986.— Т. 26, № 1.— С. 134—137.
57. Б е р е с н е в В. Л., Г и м а д и Э. X., Д е м е н т ь е в В. Т. Экстремаль-
ные задачи стандартизации.— Новосибирск: Наука, 1978.— 334 с.
•58. Бертсекас Д. Условная оптимизация и методы множителей Лаг-
ранжа.— М.: Радио и связь, 1987 — 400 с.
59. Б е р т с е к а с Д., Шрив С. Стохастическое оптимальное управле-
ние: случай дискретного времени.— М.: Наука, 1985.— 280 с.
60. Б и с т р и ц к а с В. Б. Приближенное решение уравнений динамиче-
ского программирования Ц Журн. вычисл. матем. и матем. физики.—
1985.—Т. 25, № 8.-С. Ц31—1142.
61. Благодатских В. И. Линейная теория оптимального управле-
ния.— М.: Изд-во МГУ, 1978.— 96 с.
62. Благодатских В. И. Принцип максимума для дифференциаль-
ных включений Ц Тр. Мат. ин-та АН СССР.— 1984.— Т. 166.—
С. 23—43.
63. Благодатских В. И., Филиппов А. Ф. Дифференциальные
включения и оптимальное управление Ц Тр. Мат. ин-та АН СССР.—
1985.— Т. 169.— С. 194—252.
64. Блисс Г. А. Лекции по вариационному исчислению.— М.: Изд-во
иностр, литературы, 1950.— 348 с.
65. Б о л т я н с к и й В. Г. Математические методы оптимального управле-
ния.— М.: Наука, 1969.— 408 с.
66. Б о л т я н с к и й В. Г. Оптимальное управление дискретными систе-
мами.— М.: Наука, 1973.— 448 с.
534
СПИСОК ЛИТЕРАТУРЫ
67. Болтянский В. Г. Метод шатров в топологических векторных про-
странствах Ц ДАН СССР.— 1986.— Т. 289, № 5.— С. 1036—1039.
68. Б р а й с о н А., X о Ю - Ш и. Прикладная теория оптимального уп-
равления.— М.: Мир, 1972.— 544 с.
69. Б у б л и к Б. Н., Г а р а щ е н к о Ф. Г., Кириченко Н. Ф. Струк*
турно-параметрическая оптимизация и устойчивость динамики пуч-
ков.— Киев: Наукова думка, 1985.— 304 с.
70. Б у д а к Б. М., Васильев Ф. П. Некоторые вычислительные аспек-
ты задач оптимального управления.— М.: Изд-во МГУ, 1975.—
172 с.
71. Б у л а в с к и й В. А., Звягина Р. А., Яковлева М. А. Числен-
ные методы линейного программирования.— М.: Наука, 1977.—
368 с.
72. Б у л а т о в В. П. Методы погружения в задачах оптимизации.— Но-
восибирск: Наука, 1977,— 160 с.
73. Бурдаков О. П. Устойчивые варианты метода секущих для реше-
ния систем уравнений Ц Журн. вычисл. матем. и матем/ физики.—
1983.— Т. 23, № 5.— С. 1027—1040.
74. Буслаев В. С. Вариационное исчисление.— Л.: Изд-во ЛГУ, 1980.—
288 с.
75. Бутковский А. Г. Фазовые портреты управляемых динамических
систем.— М.: Наука, 1985.— 136 с.
76. В а й н и к к о Г. М., Веретенников А. Ю. Итерационные проце-
дуры в некорректных задачах.—М.: Наука, 1986.— 182 с.
77. Варга Дж. Оптимальное управление дифференциальными и функци-
ональными уравнениями.— М.: Наука, 1977.— 624 с.
78. Васильев Н. С. О численном решении экстремальных задач по-
строения эллипсоидов и параллелепипедов // Журн. вычислит, матем.
и матем. физики.— 1987.— Т. 27, № 3.— С. 340—348.
79. В а с и л ь е в О. В. Методы оптимизации в конечномерных пространст-
вах.— Иркутск: Изд-во Иркутск, ун-та, 1979.— 90 с.
80. В а с и л ь е в О. В. Методы оптимизации в функциональных прост-
ранствах.— Иркутск: Изд-во Иркутск, ун-та, 1979.— 120 с.
81. В а с и л ь е в Ф. П. Лекции по методам решения экстремальных за-
дач.— М.: Изд-во МГУ, 1974.— 376 с.
82. В а с и л ь е в Ф. П. О методе нагруженных функционалов // Вестник
МГУ. Сер. вычисл. матем. и киберн., 1978.— № 3.— С. 24—32.
83. В а с и л ь е в Ф. П. Численные методы решения экстремальных за-
дач.— М.: Наука, 1980.— 520 с.
84. В а с и л ь е в Ф. П. Применение негладких штрафных функций в ме-
тоде регуляризации неустойчивых задач минимизации Ц Журн. вы-
числит. матем. и матем. физики.— 1987.— Т. 27, № 10.— С. 1444—
1450.
85. Васильев Ф. П., Константинова Т. В. Об одном обобщении
метода нагруженных функционалов Ц Вестник МГУ. Сер. вычисл. ма-
тем. и киберн.— 1983, № 2.— С. 3—8.
86. В а с и л ь е в Ф. П., С о л о д к а я М. С., Я ч и м о в и ч М. Д. О регуля-
ризованном методе линеаризации при наличии погрешностей в исход-
ных данных Ц Вестник МГУ. Сер. вычисл. матем. и киберн.—1985,
№ 4.— С. 3—8.
87. Васильев Ф. П., Хромова Л. Н., Ячимович М. Д. Итератив-
ная регуляризация одного метода минимизации третьего поряд-
ка Ц Вестник МГУ. Сер. вычисл. матем. и киберн.— 1981, № 1.—
С. 31-36.
88. В а с и н А. А. Модели процессов с несколькими участниками,— М.:
Изд-во МГУ, 1983.— 84 с.
89. В а с и н В. В. Дискретная аппроксимация и устойчивость в экстре-
мальных задачах Ц Журн. вычисл. матем. и матем. физики.—1982.—
Т. 22, № 4.— С. 824—839.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
535
90. Вилков А. В., Жидков Н. IL, Щедрин Б. М. Метод отыскания
глобального минимума функции одного переменного Ц Журн. вычис-
лит. матем. и матем. физики.— 1975.— Т. 15, № 4.— С. 1040—1042.
91. Вилков В. Б. Некоторые свойства функции Лагранжа в задачах
математического программирования.— Кибернетика, 1986, № 1.—
С. 65—69.
92. Владимиров А. А., Нестеров Ю. Е., Чеканов Ю. Н. О рав-
номерно выпуклых функционалах Ц Вестник МГУ. Сер. вычисл. ма-
тем. и киберн.— 1978, № 3.— С. 12—23.
93. В о е в о д и н В. В. Линейная алгебра.— М.: Наука, 1980.— 400 с.
94. В о л о ш и н А. Ф. Метод локализации области оптимума в задачах
математического программирования Ц ДАН СССР.— 1987.— Т. 293,
№ 3.— С. 549—553.
95. Воробьев Н. Н. Числа Фибоначчи.— М.: Наука, 1978.— 144 с.
96. В о р о б ь е в Н. Н. Теория игр. Лекции для экономистов-кибернети-
ков.—Л.: Изд-во ЛГУ, 1985.—268 с.
97. Г аба сов Р. Ф., Кириллова Ф. М. Качественная теория опти-
мальных процессов.—М.: Наука, 1971.— 508 с.
98. Г а б а с о в Р. Ф., Кириллова Ф. М. Особые оптимальные управле-
ния.—М.: Наука, 1973.— 256 с.
99. Г а б а с о в Р. Ф., Кириллова Ф. М. Оптимизация линейных си-
стем.— Минск: Изд-во БГУ, 1973.— 248 с.
100. Габасов Р. Ф., Кириллова Ф. М. Принцип максимума в тео-
рии оптимального управления.— Минск: Наука и техника, 1974.—
272 с.
101. Габасов Р. Ф., Кириллова Ф. М. Основы динамического про-
граммирования.— Минск: Изд-во БГУ, 1975.— 264 с.
102. Габасов Р. Ф., Кириллова Ф. М. Методы линейного програм-
мирования.— Минск: Изд-во БГУ. Часть 1, 1977.— 176 с., часть 2,
1978.— 240 с., часть 3, 1980.— 368 с.
103. Гавурин М. К., Малоземов В. Н. Экстремальные задачи с ли-
нейными ограничениями.— Л.: Изд-во ЛГУ, 1984 — 176 с.
104. Гамкрелидзе Р. В. Основы оптимального управления.— Тбилиси:
Изд-во Тбилисского ун-та, 1977.— 254 с.
105. Гантмахер Ф. Р. Теория матриц.— М.: Наука, 1967.— 576 с.
106. Ганшин Г. С. Методы оптимизации и решение уравнений.— М.: На-
ука, 1987.— 128 с.
107. Гапоненко Ю. Л. Метод последовательной аппроксимации для ре-
шения нелинейных экстремальных задач Ц Известия вузов. Сер. ма-
тем.— 1980, № 5.— С. 12—15.
108. Гельфанд И. М., Фомин С. В. Вариационное исчисление.— М.:
Физматгиз, 1961.— 228 с.
109. Гермейер Ю. Б. Введение в теорию исследования операций.—М.:
Наука, 1971.-384 с.
110. Гермейер Ю. Б. Игры с непротивоположными интересами.—М.:
Наука, 1976.— 328 с.
111. Гилл Ф., Мюррей У., РайтМ. Практическая оптимизация.—
М.: Мир, 1985.—509 с.
112. Гилязов С. - Ф. Методы решения линейных некорректных задач.—
М.: Изд-во МГУ, 1987.— 120 с.
113. Гладков Д. И. Оптимизация систем неградиентным случайным по-
иском.— М.: Энергоатомиздат, 1984.— 256 с.
114. Гнеденко Б. В. Математика — народному хозяйству.— Новое в жиз-
ни, науке, технике. Сер. Математика, кибернетика.— М.: Знание, 1977,
№ 10.— 64 с.
115. Голиков А. И., Жадан В. Г. Две модификации метода линеари-
зации в нелинейном программировании Ц Журн. вычислит, матем. и
матем. физики.— 1983.— Т. 23, № 2.— С. 314—325.
536
СПИСОК ЛИТЕРАТУРЫ
116. Гольштейн Е. Г., Третьяков Н. В. Модифицированные функ-
ции Лагранжа и их применение Ц Экономика и матем. методы.— 1983.—
Т. 19, № 3.- С. 528-547.
117. Горбунов В. К. Методы редукции неустойчивых вычислительных
задач.— Фрунзе: Илим, 1984.— 134 с.
118. Г о р е л и к В. А., Кононенко А. Ф. Теоретико-игровые модели
принятия решений в эколого-экономических системах.— М.: Радио и
связь, 1982.— 145 с.
119. Гребенников А. И. Метод сплайнов и решение некорректных за-
дач теории приближений.— М.: Изд-во МГУ, 1983.— 208 с.
120. Г р и г о р е н к о Н. Л. Дифференциальные игры преследования не-
сколькими объектами.— М.: Изд-во МГУ, 1983.— 79 с.
121. Гродзовский Г. Л., Иванов Ю. Н., Токарев В. В. Механика
космического полета с малой тягой.— М.: Наука, 1966.— 680 с.
122. Гроссман К., Каплан А. А. Нелинейное программирование
на основе безусловной минимизации.— Новосибирск: Наука, 1981.—
184 с.
123. Г у п а л А. М. Стохастические методы решения негладких экстремаль*
ных задач.— Киев: Наукова думка, 1979.— 152 с.
124. Гурман В. И. Вырожденные задачи оптимального управления.—
М.: Наука, 1977.— 304 с.
125. Гурман В. И. Принцип расширения в задачах управления.—М.:
Наука, 1985.— 288 с.
126. Д а в ы д о в Э. Г. Методы и модели теории антагонистических игр.—
М.: Изд-во МГУ, 1978.— 208 с.
127. Дамбраускас А. П. Симплексный поиск — М.: Энергия, 1979.—
176 с.
128. Данилин Ю. М. Оценка эффективности одного алгоритма отыска-
ния абсолютного минимума Ц Журн. вычисл. матем. и матем. физи-
ки.—1971.—Т. И, № 4.—С. 1026—1031.
129. Данилин Ю. М., К о в н и р В. Н. Об одной точной штрафной функ-
ции для задачи нелинейного программирования.— Кибернетика, 1986,
№ 5.— С. 43-46.
130. Данциг Дж. Линейное программирование, его применения и обоб*
щения.— М.: Прогресс, 1966.— 600 с.
131. Даффин Р., Питерсон Э., Зенер К. Геометрическое програм-
мирование.— М.: Мир, 1972.— 312 с.
132. Демьянов В. Ф., Васильев Л. В. Недифференцируемая опти-
мизация.— М.: Наука, 1981.— 384 с.
133. Демьянов В. Ф., Малоземов В. Н. Введение в минимакс.— М.:
Наука, 1972.— 368 с.
134. Де н и с о в Д. В., Карманов В. Г., Третьяков А. А. Ускорен-
ный метод Ньютона для решения функциональных уравнений Ц ДАН
СССР.—1985.—Т. 281, № 6.— 1293—1297.
135. Дикин И. И., Зоркальцев В. И. Итеративное решение задач
математического программирования.— Новосибирск: Наука, 1980.—
144 с.
136. Д о н ч е в А. Системы оптимального управления. Возмущения, прибли-
жения и анализ чувствительности.— М.: Мир, 1987.— 156 с.
137. Дубовицкий А. Я., Милютин А. А. Необходимые условия сла-
бого экстремума в общей задаче оптимального управления.— М.: Нау-
ка, 1971.—114 с.
138. Дюркович Е. Численный метод нахождения времени быстродейст-
вия с заданной точностью Ц Журн. вычисл. матем. и матем. физики.—
1983.—Т. 23, № 1.—С. 51—60.
139. Е в т у ш е н к о Ю. Г. Численный метод поиска глобального экстре-
мума функций (перебор на неравномерной сетке) Ц Журн. вычисл. ма-
тем. и матем. физики.— 1971.— Т. И, № 6.— С. 1390—1703.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
537
140. Евтушенко Ю. Г., Жадан В. Г. Об одном подходе к системати-
зации численных методов нелинейного программирования.— Техниче-
ская кибернетика, 1983, 4 1.— С. 47—59.
141. Евтушенко К). Г., Ратькин В. А. Метод половинных делений
для глобальной оптимизации функции многих переменных.— Техниче-
ская кибернетика, 1987, № 1.— С. 119—127.
142. Егоров А. И. Оптимальное управление тепловыми и диффузионны-
ми процессами.— М.: Наука, 1978.— 464 с.
143. Емеличев В. А., Комлик В. И. Метод построения последователь-
ности планов для решения задач дискретной оптимизации.— М.: Нау-
ка, 1981.— 208 с.
144. Еремин И. И., Астафьев Н. Н. Введение в теорию линейного и
выпуклого программирования.— М.: Наука, 1976.— 192 с.
145. Еремин И. И., Мазуров В. Д. Нестационарные процессы мате-
матического программирования.—М.: Наука, 1979.—288 с.
146. Еремин И. И., Мазуров В. Д., Астафьев Н. Н. Несобствен-
ные задачи линейного и выпуклого программирования.— М.: Наука,
1983.— 336 с.
147. Ермаков С. М., Жиглявский А. А. Математическая теория оп-
тимального эксперимента.— М.: Наука, 1987.— 320 с.
148. Ермольев Ю. М. Методы стохастического программирования.— М.:
Наука, 1976.— 240 с.
149. Ермольев Ю. М., Гуленко В. П., Царенко Т. И. Конечно-
разностный метод в задачах оптимального управления.— Киев: Науко-
ва думка, 1978.— 164 с.
150. Ермольев Ю. М., Ляшко И. И., Мих а л ев ич В. С., Тюп-
т я В. И. Математические методы исследования операций.— Киев: Ви-
ща школа, 1979.— 312 с.
151. Ермольев Ю. М., Ястремский А. И. Стохастические моде-
ли и методы в экономическом планировании,— М.: Наука, 1979.—
254 с.
152. Жадан В. Г. Об одном классе итеративных методов решения задач
выпуклого программирования Ц Журн. вычисл. матем. и матем. физи-
ки.— 1984.— Т. 24, № 5.— С. 665—676.
153. Жданов В. А. О методе покоординатного спуска Ц Мат. заметки.—
1977.— Т. 22, вып. 1.— С. 137—142.
154. Жиглявский А. А. Математическая теория глобального случайно-
го поиска.— Л.: Изд-во ЛГУ, 1985.— 296 с.
155. Заботин Я. И. Лекции по линейному программированию.— Ка-
зань: Изд-во Казанск. ун-та, 1985.— 98 с.
156. Заботин Я. И., Кораблев А. И., Хабибуллин Р. Ф. Усло-
вия экстремума функционала при наличии ограничений.— Кибернети-
ка, 1973, № 6. С. 65—70.,
157. Заботин Я. И., Крейнин М. И. К сходимости методов отыскания
минимакса Ц Известия вузов. Сер. матем,—1977.—№ 10 (185). С. 56—
64.
158. Завриев С. К. Стохастические градиентные методы решения мини-
максных задач.— М.: Изд-во МГУ, 1984.— 82 с.
159. Зангвилл У. И. Нелинейное программирование.— М.: Советское ра-
дио, 1973.- 312 с.
160. Зорич В. А. Математический анализ.—М.: Наука, ч. I, 1981.—543 с.,
ч. II, 1984.— 640 с.
161. Иванов В. А., Ф а л д и н Н. В. Теория оптимальных систем авто-
матического управления.— М.: Наука, 1981.— 336 с.
162. Иванов В. К., В а с и н В. В., Танана В. П. Теория линейных
некорректных задач и ее приложения.—М.: Наука, 1978.—208 с.
163. Ижуткин В. С., Кокурин М. Ю. О гибридном методе нелиней-
ного программирования, использующем криволинейный спуск Ц Извес-
тия вузов. Сер. матем.— 1986, № 2.— С. 61—64.
538
СПИСОК ЛИТЕРАТУРЫ
164. Ильин В. А., Позняк Э. Г. Линейная алгебра.— М.: Наука, 1974,
296 с.
165. Ильин В. А., Позняк Э. Г. Основы математического анализа.—
М.: Наука, ч. I, 1971.— 600 с., ч. II, 1973.—448 с.
166. Иоффе А. Д., Тихомиров В. М. Теория экстремальных задач.—
М.: Наука, 1974.—480 с.
167. Казимиров В. И., Плотников В. И., Старобинец И. М. Аб-
страктная схема метода вариаций и необходимые условия экстремума Ц
Изв. АН СССР. Сер. матем.— 1985.—Т. 49, № 1.—С. 141—159.
168. К а л и х м а н И. Л. Сборник задач по математическому программиро-
ванию.— М.: Высшая школа, 1975.— 270 с.
169. Калихман И. Л., Войтенко М. А. Динамическое программиро-
вание в примерах и задачах.— М.: Высшая школа, 1979.— 126 с.
170. Капустин В. Ф. Практические занятия по курсу математического
программирования.—Л.: Изд-во ЛГУ, 1976.— 192 с.
171. Карманов В. Г., Т р е т ь я к о в А. А. Оценка скорости сходимости
некоторых методов покоординатного спуска Ц Вести. МГУ. Сер. 15. Вы-
числ. матем. и киберн.— 1985, № 2.— С. 41—46.
172. Карташев А. П., Рождественский Б. Л. Обыкновенные диф-
ференциальные уравнения и основы вариационного исчисления.— М.:
Наука, 1986.— 287 с.
173. К а т к о в н и к В. Я. Линейные оценки и стохастические задачи опти-
мизации.—М.: Наука, 1976.—488 с.
174. Кирин Н. Е. Методы последовательных оценок в задачах оптимиза-
ции управляемых систем.— Л.: Изд-во ЛГУ, 1975.— 160 с.
175. Киселев Ю. Н. Линейная теория быстродействия с возмущениями.—
М.: Изд-во МГУ, 1986.— 106 с.
176. Ковалев М. М. Дискретная оптимизация.— Минск: Изд-во БГУ,
1977.— 191 с.
177. Ковач М. Непрерывный аналог итеративной регуляризации гради-
ентного типа Ц Вести. МГУ. Сер. вычисл. матем. и киберн.— 1979.—
№ 3.— С. 36—42.
178. Ковач М. О сходимости метода обобщенных барьерных функций Ц
Вести. МГУ. Сер. вычисл. матем. и киберн.— 1981.— № 1.— С. 40—
45.
179. Колмогоров А. Н., Фомин С. В. Элементы теории функций и
функционального анализа.— М.: Наука, 1976 —544 с.
180. Коростелев А. П. Стохастические рекуррентные процедуры (ло-
кальные свойства).— М.: Наука, 1984.— 208 с.
181. Коша А. Вариационное исчисление.— М.: Высшая школа, 1983.—
279 с.
182. Краснов М. Л., Макаренко Г. И., Киселев А. И. Вариаци-
онное исчисление. Задачи и упражнения.— М.: Наука, 1973.—
192 с.
183. Краснощеков П. С., Петров А. А. Принципы построения мо-
делей.— М.: Изд-во МГУ, 1983.— 264 с.
184. Красовский Н. Н. Теория управления движением.— М.; Наука,
1968.— 476 с.
185. Красовский Н. Н. Игровые задачи о встрече движений.— М.: Нау-
ка, 1970.— 420 с.
186. Красовский Н. Н. Управление динамической системой. Задача о
минимуме гарантированного результата.—М.: Наука, 1985.— 520 с.
187. Красовский Н. Н., Субботин А. И. Позиционные дифференци-
альные игры.— М.: Наука, 1974.— 456 с.
188. Кротов В. Ф., Букреев В. 3., Г у р м а н В. И. Новые методы ва-
риационного исчисления в динамике полета.— М.: Машиностроение,
1969.— 288 с.
189. Кротов В. Ф., Гурман В. И. Методы и задачи оптимального уп-
равления.— М.: Наука, 1973.— 448 с.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
539
190. Кузнецов Ю. Н., Кузубов В. И., Волощенко А. Б. Ма-
тематическое программирование.— М.: Высшая школа, 1980.—
302 с.
191. Кукушкин Н. С., Морозов В. В. Теория неантагонистических
игр —М.: Изд-во МГУ, 1984 — 104 с.
192. Куржанский А. Б. Управление и наблюдение в условиях неопре-
деленности.— М.: Наука, 1977.— 392 с.
193. Лагунов В. Н. Введение в дифференциальные игры.— Вильнюс: Ин-
ститут матем. и кибернетики АН Литовской ССР, 1979.— 342 с.
194. Лебедев В. Ю. Декомпозиционный метод решения блочных задач
линейного программирования со связывающими переменными Ц Журн.
вычисл. матем. и матем. физики.—1981.— Т. 21, №4.— С. 881—
886.
195. Левин В. Л. Выпуклый анализ в пространствах измеримых функций
и его применение в математике и экономике.— М.: Наука, 1985.—
352 с.
196. Левитин Е. С. К теории возмущений негладких экстремальных за-
дач с ограничениями Ц ДАН СССР.— 1975.—Т. 224, № 6.—С. 1260—
1263.
197. Лейхтвейс К. Выпуклые множества.— М.; Наука, 1985.— 336 с.
198. Леонов А. С. О применении обобщенного принципа невязки для ре-
шения некорректных экстремальных задач // ДАН СССР.— 1982.—
Т. 262, № 6.— С. 1306-1310.
199. Ли Э. Б., М а р к у с Л. Основы теории оптимального управления.—
М.: Наука, 1972.—576 с.
200. Лисковец О. А. Вариационные методы решения неустойчивых за-
дач.— Минск: Изд-во Наука и техника, 1981.— 344 с.
201. Лоран П.-Ж. Аппроксимизация и оптимизация.—М.: Мир, 1975.—
496 с.
202. Лотов А. В. Введение в экономико-математическое моделирование.—
М.: Наука, 1984.— 392 с.
203. Л эс дон Л. С. Оптимизация больших систем.— М.: Наука, 1975.—
432 с.
204. Любушин А. А., Черноусько Ф. Л. Метод последовательных
приближений для решения задач оптимального управления Ц Изв. АН
СССР. Сер. технич. киберн.— 1983.— № 2.— С. 147—159.
205. Мансимов К. Б. Многоточечные необходимые условия оптимально-
сти особых в классическом смысле управлений в системах с за-
паздыванием Ц Дифференц. уравнения.— 1985.— Т. 21, № 3.— С. 527—
530.
206. Марданов М. Д. Некоторые вопросы математической теории опти-
мальных процессов в системах с запаздываниями.— Баку: Изд-во Азерб.
ун-та, 1987.— 120 с.
207. Марчук Г. И. Математическое моделирование в проблеме окружа-
ющей среды.— М.: Наука, 1982.— 320 с.
208. Марчук Г. И. Окружающая среда и проблемы оптимизации Ц Тр.
МИАН СССР. Т. 166.—М.: Наука, 1984.—С. 123—129.
209. Марчук Г. И., Лебедев В. И. Численные методы в теории пере-
носа нейтронов.—М.: Атомиздат, 1981.—454 с.
210. Матвеев А. С. О необходимых условиях экстремума в задаче оп-
тимального управления с фазовыми ограничениями Ц Дифференц. уп-
равления.— 1987.— Т. 23, № 4.— С. 629—640.
211. Мееров М. В. Исследование и оптимизация многосвязных систем
управления.— М.: Наука, 1986.— 236 с.
212. Мезенцев А. В. Сборник задач по теории оптимального управле-
ния.—М.: Изд-во МГУ, 1980.—48 с.
213. МихалевичВ. С., Волкович В. Л. Вычислительные методы ио
следования и проектирования сложных систем.— М.: Наука, 1982.—
286 с.
540
СПИСОК ЛИТЕРАТУРЫ
214. М и х а л е в и ч В. С., Г у п а л А. М., Норкин В. И. Методы невы-
пуклой оптимизации.— М.: Наука, 1987.— 280 с.
215. Михалевич В. С., Кукса А. И. Методы последовательной опти-
мизации в дискретных сетевых задачах оптимального распределения
ресурсов.— М.: Наука, 1983.— 208 с.
216. Михалевич В. С., Трубин В. А., Шор Н. 3. Оптимизационные
задачи производственно-транспортного планирования: модели, методы,
алгоритмы.— М.: Наука, 1986.— 259 с.
217. Моисеев Н. Н. Численные методы в теории оптимальных систем.—
М.: Наука, 1971.-424 с.
218. Моисеев Н. Н. Математические задачи системного анализа.— М.:
Наука, 1981.— 488 с.
219. Мордухович Б. Ш. Методы аппроксимаций в задачах оптимизации
и управления.— М.: Наука. 1988.— 360 с.
220. Мороз А. И. Курс теории систем.— М.: Высшая школа, 1987.— 304 с.
221. Морозов В. А. Регулярные методы решения некорректно поставлен-
ных задач.— М.: Изд-во МГУ, 1974.— 360 с.
222. Морозов С. Ф., Сумин М. И. Об одном классе задач управления
динамическими системами с разрывной правой частью.— Кибернетика,
1985, № 3.—С. 59—71.
223. Москаленко А. И. Методы нелинейных отображений в оптималь-
ном управлении.— Новосибирск: Наука, 1983.— 223 с.
224. М у р т а ф Б. Современное линейное программирование.— М.: Мир,
1984.- 224 с.
225. Мухачева Э. А., Рубинштейн Г. Ш. Математическое програм-
мирование.— Новосибирск: Наука, 1977.— 320 с.
226. Наконечный А. Г. Минимальное оценивание функционалов от ре-
шений вариационных уравнений в гильбертовых пространствах.— Ки-
ев: Изд-во Киевск. ун-та, 1985.— 84 с.
227. Немировский А. С., Нестеров Ю. Е. Оптимальные методы
гладкой выпуклой минимизации Ц Журн. вычисл. матем. и матем. фи-
зики.— 1985.— Т. 25, № 3.— С. 356—369.
228. Немировский А. С., Юдин Д. Б. Сложность задач и эффектив-
ность методов оптимизации.— М.: Наука, 1979.— 384 с.
229. Нестеров Ю. Е. Об одном классе методов безусловной минимиза-
ции выпуклой функции, обладающих высокой скоростью сходимости Ц
Журн. вычисл. матем. и матем. физики.— 1984.— Т. 24, № 7.— С. 1090—
1093.
230. Нефедов В. Н. Методы регуляризации многокритериальных за-
дач оптимизации.— М.: Изд-во Московск. авцацион. ин-та, 1984.—
56 с.
231. Нефедов В. Н. Отыскание глобального максимума функции не-
скольких переменных на множестве, заданном ограничениями типа не-
равенств Ц Журн. вычисл. матем. и матем. физики.— 1987.— Т. 27,
№ 1.— С. 35-51.
232. Никольский С. М. Первый прямой метод Л. С. Понтрягина в диф-
ференциальных играх.— М.: Изд-во МГУ, 1984.— 64 с.
233. Никольский С. М. Курс математического анализа.— М.: Наука,
1973.— Т. 1.— 432 с. Т. 2.— 392 с.
234. Ногин В. Д., Протодьяконов И. О., Евлампиев И. И. Ос-
новы теории оптимизации.— М.: Высшая школа, 1986.— 384 с.
235. Нурминский Е. А. Численные методы решения детерминирован-
ных и стохастических минимаксных задач.— Киев: Наукова думка,
1979 — 158 с.
236. Орлов М. В. О некоторых численных методах решения линейной
задачи быстродействия Ц Вестник МГУ. Сер. вычисл. матем. и кибер-
нетики.— 1986.— № 4.— С. 41—46.
237. Орловский С. А. Проблемы принятия решений при нечетной ис-
ходной информации.— М.: Наука, 1981.— 208 с.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
541
238. Ортега Д., Рейнболдт В. Итерационные методы решения нели-
нейных систем уравнений со многими неизвестными.— М.: Мир, 1975.—
560 с.
239. Островский А. М. Решение уравнений и систем уравнений.— М.:
Изд-во иностр, литературы, 1963.— 220 с.
240. Панин В. М. Методы конечных штрафов с линейной аппроксима-
цией ограничений Ц Кибернетика.— 1984.— Ч. 1, № 2.— С. 44—50.—
Ч. 2, iNs 4.— С. 73-81.
241. Певный А. Б. Об оптимальных стратегиях поиска максимума функ-
ции с ограниченной старшей производной Ц Журн. вычисл. матем. и
матем. физики.— 1982.— Т. 22, № 5.— С. 1061—1066.
242. ПервозванскийА. А., Гайцгори В. Г. Декомпозиция, аг-
регирование и приближенная оптимизация.— М.: Наука, 1979.—
344 с.
243. Петров Ю. П. Вариационные методы теории оптимального управле-
ния.— Ленинград: Энергия, 1977.— 288 с.
244. Петросян Л. А., Томский Г. В. Динамические игры и их при-
ложения.— Л.: Изд-во ЛГУ, 1982.— 252 с.
245. Пионтковский О. В. О минимизации нелинейных функционалов в
нормированных пространствах.— Успехи матем. наук, 1974.— Т. 29,
•N2 3.— С. 225—226.
246. Пиявский С. А. Один алгоритм отыскания абсолютного экстрему-
ма функции U Журн. вычисл. матем. и матем. физики.— 1972.— Т. 12,
№ 4.— С. 888—896.
247. Подиновский В. В., Ногин В. Д. Парето-оптимальные решения
многокритериальных задач.— М.: Наука, 1982.— 256 с.
248. Полак Э. Численные методы оптимизации. Единый подход.— М.:
Мир, 1974.— 376 с.
249. Половинкин Е. С., Смирнов Г. В. О задаче быстродействия
для дифференциальных включений Ц Дифференц. уравнения, 1986.—
Т. 22, № 8.—С. 1351—1365.
250. Поляк Б. Т. Введение в оптимизацию.— М.: Наука, 1983.—
384 с.
251. Понтрягин Л. С. Обыкновенные дифференциальные уравнения.—
М.: Наука, 1983.— 332 с.
252. Понтрягин Л. С. Математическая теория оптимальных процессов
и дифференциальные игры Ц Тр. МИАН СССР. Т. 169.— М.: Наука,
1985.—С. 119-158.
253. Потапов М. М. Об аппроксимации задач оптимизации с гладкими
допустимыми управлениями при наличии ограничений Ц Вести. МГУ.
Сер. вычисл. матем. и киберн.— 1983.— № 4.— С. 3—7.
254. Пропой А. И. Элементы теории оптимальных дискретных процес-
сов.— М.: Наука, 1973.— 256 с.
255. Пш еничный Б. Н. Необходимые условия экстремума.— М.: Нау-
ка, 1982,— 144 с.
256. Пшеничный Б. Н. Метод линеаризации.—М.: Наука, 1983.—
136 с.
257. Разумихин Б. С. Физические модели и методы теории равновесия
в программировании и экономике.— М.: Наука, 1975.— 304 с.
258. РакитскийЮ. В., Устинов С. М., Черноруцкий И. Г. Чис-
ленные методы решения жестких систем.— М.: Наука, 1979.—
208 с.
259. Растригин Л. А. Системы экстремального управления.—М.: Нау-
ка, 1974.— 632 с.
260. Раушенбах Б. В., Токарь Е. Н. Управление ориентацией кос-
мических аппаратов.— М.: Наука, 1974.— 600 с.
261. Рейклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация
в технике. В двух книгах.— М.: Мир, 1986, книга 1 — 350 с., книга 2 —
320 с.
542
СПИСОК ЛИТЕРАТУРЫ
262. Рихтер К. Динамические задачи дискретной оптимизации.— М.: Ра-
дио и связь, 1985.— 136 с.
263. Ройтенберг Я. Н. Автоматическое управление.—М.: Наука, 1978.—
552 с.
264. Рокафеллар Р. Выпуклый анализ.— М.: Мир, 1973.— 472 с.
265. Романовский И. В. Алгоритмы решения экстремальных задач.—
М.: Наука, 1977.— 352 с.
266. Рубальский Г. Б. Поиск экстремума унимодальной функции од-
ной переменной на неограниченном множестве Ц Журн. вычисл. ма-
тем. и матем. физики.— 1982.— Т. 22, № 1.— С. 10—16.
267. С а а т и Т. Целочисленные методы оптимизации и связанные с ними
экстремальные проблемы.— М.: Мир, 1973.— 302 с.
268. Самсонов С. П. Восстановление выпуклого множества по его опор-
ной функции с заданной точностью Ц Вестн. МГУ. Сер. вычисл. матем.
и кибернетики.— 1983.— № 1.— С. 68—71.
269. С а у л ь е в В. К., Самойлова И. И. Приближенные методы без-
условной оптимизации функций многих переменных Ц Сб. работ
ВИНИТИ: Матем. анализ. Сер. итоги науки и техники.— М.: ВИНИТИ
АН СССР.— 1973.— Т. И.— С. 91—128.
270. Сачков В. Н. Введение в комбинаторные методы дискретной мате-
матики.— М.: Наука, 1982.— 384 с.
271. С еа Ж. Оптимизация. Теория и алгоритмы.— М.: Мир, 1973.—
244 с.
272. Сергиенко И. В., Лебедева Т. Т., Рощин В. А. Приближен-
ные методы решения дискретных задач оптимизации.— Киев: Наукова
думка, 1980.— 274 с.
273. Силин Д. Б. Линейные задачи оптимального быстродействия с раз-
рывными на множестве положительной меры управлениями.— Матем.
сборник, 1986.—Т. 129(171), № 2.—С. 264—278.
274. Скарин В. Д. Об одном подходе к анализу несобственных задач ли-
нейного программирования // Журн. вычисл. матем. и матем. физи-
ки.— 1986.—Т. 26, № 3.— С. 439—448.
275. Ср очко В. А. Вычислительные методы оптимального управления.—
Иркутск: Изд-во Иркутск, ун-та, 1982.— 110 с.
276. Старосельский Л. А., Шелудько Г. А., Кантор Б. Я. Об
одной реализации метода оврагов с адаптацией величины овражного
шага по экспоненциальному закону Ц Журн. вычисл. матем. и матем,
физики.— 1968.—Т. 8, № 5.—С. 1161—1167.
277. Стар о ст енко В. И. Устойчивые численные методы в задачах гра-
виметрии.— Киев: Наукова думка, 1978.—228 с.
278. Стрекаловский А. С. К проблеме глобального экстремума Ц ДАН
СССР.— 1987.— Т. 292, № 5.— С. 1062—1066.
279. С т р о н г и н Р. Г. Численные методы в многоэкстремальных зада-
чах.— М.: Наука, 1978.— 240 с.
280. Субботин А. И., Ченцов А. Г. Оптимизация гарантии в задачах
управления.— М.: Наука, 1981.— 288 с.
281. Сумин М. И. Оптимальное управление системами с приближенно
известными исходными данными /Журн. вычислит, матем. и матем.
физики.— 1987.—Т. 27, № 2.—С. 163—177.
282. Сухарев А. Г. Оптимальный поиск экстремума —М.: Изд-во МГУ,
1975.—100 с.
283. Сухинин М. Ф. Правило множителей Лагранжа в локально выпук-
лых пространствах / Сибирск. матем. журн.— 1982.— Т. 23, № 4.—
С. 153—165.
284. Сухинин М. Ф. О двух вариантах градиентного метода / Журн.
вычисл. матем. и матем. физики.— 1984.— Т. 24, № 8.— С. 1265—
1267.
285. Сухинин М. Ф. Об одном аналоге уравнения Веллмана / Мат. за-
метки.— 1985 — Т. 38, «Ns 2.— С. 265—269.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
543
286. Тадумадзе Т. А. Некоторые вопросы качественной теории опти-
мального управления.— Тбилиси: Изд-во Тбилисского ун-та, 1983.—
128 с.
287. Танаев В. С., Ш к у р б а В. В. Введение в теорию расписаний.—
М.: Наука, 1975.— 256 с.
288. Тарасова В. П. Оптимальный поиск экстремума для класса ло-
кально унимодальных функций.— Кибернетика, 1984.— № 1.— С. 65—
68.
289. Т е л е с н и н В. Р. Об одной задаче оптимизации переходных процес-
сов Ц Тр. Мат. ин-та АН СССР.— М.: Наука, 1984.— Т. 166.— С. 235—
244.
290. Тер-Крикоров А. М. Оптимальное управление и математическая
экономика.— М.: Наука, 1977.— 216 с.
291. Тетерев А. Г. Анализ сходимости и устойчивости методов одномер-
ной оптимизации Ц Вести. МГУ. Серия вычисл. матем. и кибернети-
ки.— 1981.— № 4.— С. 21—27.
292. Тимохов А. В. Математические модели экономического воспроиз-
водства.— М.: Изд-во МГУ, 1982,— 128 с.
293. Тихомиров В. М. Некоторые вопросы теории приближений.— М.:
Изд-во МГУ, 1976.— 304 с.
294. Тихомиров В. М. Рассказы о максимумах и минимумах.— М.: На-
ука, 1986.— 192 с.
295. Тихонов А. Н., Васильева А. Б., Свешников А. Г. Диф-
ференциальные уравнения.— М.: Наука, 1985.— 232 с.
296. Тихонов А. Н., Гончарский А. В., Степанов В. В., Яго-
л а А. Г. Регуляризующие алгоритмы и априорная информация.—М.:
Наука, 1983.— 200 с.
297. Т и х о н о в А. Н., Р ю т и н А. А., А г а я н Г. М. Об устойчивом мето-
де решения задачи линейного программирования с приближен-
ными данными // Докл. АН СССР.— 1983.— Т. 272, № 5.— С. 1058—
1063.
298. Т р а у б Дж., Вожьняковский X. Общая теория оптимальных
алгоритмов.— М.: Мир, 1983.— 384 с.
299. Третьяков А. А. Необходимые и достаточные условия оптималь-
ности р-го порядка Ц Журн. вычисл. матем. и матем. физики.— 1984.—
Т. 24, № 2.— С. 203—209.
300. Троицкий В. А., Петухов Л. В. Оптимизация формы упругих
тел.— М.: Наука. 1982.— 432 с.
301. Ульм С. Ю. Обобщение метода Стеффенсена для решения нелиней-
ных операторных уравнений Ц Журн. вычисл. матем. и матем. физики,
1964.— Т. 4, № 6.— С. 1093—1097.
302. Ульм С. К). Методы декомпозиции для решения задач оптимизации.—
Таллин: Изд-во Валгус, 1979.— 132 с.
303. Уонэм М. Линейные многомерные системы управления.— М.: Наука,
1980.— 376 с.
304. Уткин В. И. Скользящие режимы в задачах оптимизации и управ-
ления.— М.: Наука, 1981,— 368 с.
305. Федоренко Р. П. Приближенное решение задач оптимального уп-
равления.— М.: Наука, 1978.— 488 с,
306. Федоров В. В. Численные методы максимина.—М.: Наука, 1979.—
280 с.
307. Фиакко А., Мак-Кормик Г. Нелинейное программирование.
Методы последовательной безусловной минимизации.— М.: Мир, 1972.—
240 с.
308. Флеминг У., Ришел Р. Оптимальное управление детермини-
рованными и стохастическими системами.— М.: Мир, 1978.—
318 с.
309. Формальский А. М. Управляемость и устойчивость систем с ог-
раниченными ресурсами.— М.: Наука, 1974.— 368 с.
544
СПИСОК ЛИТЕРАТУРЫ
310. Фурасов В. Д. Устойчивость движения, оценки и стабилизация.—
М.: Наука, 1977.— 248 с.
311. X а р а т и ш в и л и Г. Л., Мачаидзе 3. А., Маркозашви-
л и Н. И., Т а д у м а д з е Т. А. Абстрактная вариационная теория и ее
применения к оптимальным задачам с запаздываниями.— Тбилиси:
Мецниереба, 1973.— 112 с.
312. Харди Г. Г., Литтльвуд Дж. Е., Полна Г. Неравенства.—
М.: Изд-во иностран. лит-ры, 1948.— 456 с.
313. X а ч и я н Л. Г. Полиномиальные алгоритмы в линейном программиро-
вании Ц Журн. вычисл. матем. и матем. физики. 1986.— Т. 20, № 1.—
С. 51-68.
314. Химмельблау Д. Прикладное нелинейное программирование.—
М.: Мир, 1975.—536 с.
315. X о м е н ю к В. В. Оптимальные системы управления.— М.: Наука,
1977.— 150 с.
316. Хромова Л. Н. Об одном методе минимизации с кубической ско-
ростью сходимости Ц Вести. МГУ. Сер. вычисл. матем. и киберн.—
1980.- № 3.— С. 52-56.
317. Хрусталев М. М. Необходимые и достаточные условия оптималь-
ности в форме уравнения Веллмана Ц Докл. АН СССР.— 1978.— Т. 242,
№ 5 — С. 1023—1026.
318. Ху Т. Целочисленное программирование и потоки в сетях.— М.: Мир,
1974.— 520 с.
319. Цирлин А. М., Балакирев В. С., Дудников Е. Г. Вариа-
ционные методы оптимизации управляемых объектов.— М.: Энергия;
1976.— 448 с.
320. Ц у р к о в В. И. Декомпозиция в задачах большой размерности.— М.:
Наука, 1981.—352 с.
321. Ч а р и н В. С. Линейные преобразования и выпуклые множества.—
Киев: Вища школа, 1978.— 192 с.
322. Ч е р е м н ы х Ю. Н. Анализ поведения траекторий динамики народно-
хозяйственных моделей.— М.: Наука, 1982.— 177 с.
323. Ч е р е м н ы х Ю. Н. Математические модели развития народного хо-
зяйства— М.: Изд-во МГУ, 1986,— 104 с.
324. Черников С. Н. Линейные неравенства.—М.: Наука, 1968.—
488 с.
325. Черноусько Ф. Л., Акуленко Л. Д., Соколов Б. Н. Управ-
ление колебаниями.— М.: Наука, 1980.— 384 с.
326. Черноусько Ф. Л., Баничук Н. В. Вариационные задачи ме-
ханики и управления.— М.: Наука, 1973.— 238 с.
327. Черноусько Ф. Л., Колмановский В. Б. Оптимальное управ-
ление при случайных возмущениях.— М.: Наука, 1978.— 352 с.
328. Черноусько Ф. Л., Меликян А. А. Игровые задачи управле-
ния и поиска.— М.: Наука, 1978.— 270 с.
329. Ч и р и ч Н. Т. О регуляризованном методе линеаризации для мини-
мизации выпуклой функции на многогранном множестве при нали-
чии погрешностей в исходных данных Ц Вести. МГУ. Сер. вычисл. ма-
тем. и киберн.— 1987.— Яг 2.— С. 20—25.
330. Численные методы условной оптимизации // Сб. работ под ред.
Гилл Ф., Мюррэй У,— М.: Мир, 1977.— 292 с.
331. Чичинадзе В. К. Решение невыпуклых нелинейных задач опти-
мизации.— М.: Наука, 1983.— 256 с.
332. Чуян О. Р. Оптимальный одношаговый алгоритм максимизации дваж-
ды дифференцируемых функций Ц Журн. вычисл. матем. и матем. фи-
зики.— 1986 — Т. 26, 3.— С. 381—397.
333. Швартин С. М. Общая задача устойчивости для некоторых классов
задач линейного программирования. Ц ДАН СССР.— 1985.— Т. 285,
№ 1.— С. 56—59.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
545
334. Шепилов М. А. О методе обобщенного градиента для экстремаль-
ных задач Ц Журн. вычисл. матем. и матем. физики.— 1976.— Т. 16-
№ 1.— С. 242-247.
335. Шепилов М. А. Об отыскании корней и глобального экстремума
липшицевой функции.—Кибернетика, 1987.—№2.—С. 71—74.
336. Шор Н. 3. Методы минимизации не дифференцируемых функций и
их приложения.— Киев: Наукова думка, 1979,— 200 с.
337. Экланд И., Темам Р. Выпуклый анализ и вариационные пробле-
мы.— М.: Мир, 1979.—400 с.
338. Эльстер К.-Х., Рейнгардт Р., Шойбле М., Донат Г. Вве-
дение в нелинейное программирование.— М.: Наука, 1985.— 264 с.
339. Юдин Д. Б. Задачи и методы стохастического программирования.-”
М.: Советское радио, 1979.— 392 с.
340. Юдин Д. Б., Гольштейн Е. Г. Линейное программирование. Тео-
рия, методы и приложения.— М.: Наука, 1969.— 424 с.
341. Якубович В. А. К абстрактной теории оптимального управления Ц
Сибирск. матем. журн.— I, 1977, 18, № 3.— С. 685—707; II, 1978.— 19в
К» 2.— С. 436-460.
342. Янг Л. Лекции по вариационному исчислению и теории оптимально-
го управления.— М.: Мир, 1974.— 488 с.
343. Ячимович М. Итеративная регуляризация одного варианта метода
условного градиента Ц Весты. МГУ. Сер. вычисл. матем. и киберн,—
1980.— Кг 4 — С. 13—19.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Антициклин 124
Базис угловой точки 111
Базисные координаты 111
— переменные 111
Вектор опорный 198
— собственно опорный 198
Верхний предел последовательности
71
--функции 78
Верхняя грань функции 13
Выпуклая комбинация точек 156
Гиперплоскость 149
— опорная 198
— отделяющая 194
— собственно опорная 198
Градиент 79
Двойственные переменные 248
Задача быстродействия 434
— двойственная 248
— классического вариационного ис-
числения 485
— Коши 425
— минимизации второго типа И, 70
--первого типа 11, 70
— многоэкстремальная 347
— на безусловный экстремум 82
— на условный экстремум 82
— оптимального управления 433
------автономная 434
------с закрепленным временем
432, 435
------с закрепленным концом 432,
441, 442
------со свободным концом 432,
442, 443
Задача оптимального управления с
подвижным концом 432, 443, 444
— — — с фазовыми ограничениями
— регулярная 84, 225
— с сильно согласованной постанов-
кой 371
— с согласованной постановкой 370
Замыкание множества 153
Зацикливание 124
Золотое сечение отрезка 19
Квадратичная форма неотрицатель-
ная 168
---отрицательно определенная 80
---положительно определенная 80
Конус 204
— выпуклый 204
— двойственный (сопряженный) 204
— замкнутый 204
— открытый 204
Координата базисная 111
— отмеченная 141
— фазовая 425
Коэффициент барьерный 385
— штрафной 366
Краевая задача принципа максиму-
ма 440
Критерий выпуклости функции 39,
43, 44, 164, 165, 167
— оптимальности 42, 165, 173, 192,
210, 234—247
— сильной выпуклости функции
184, 185
Лексикографически положительный
вектор 135
Лексикографическое правило 135
Линейного программирования зада-
ча вырожденная 123
------каноническая 105
------невырожденная 123
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
547
Линейного программирования зада-
ча общая 101
------общая 101
------основная 105
Луч 149
Метод барьерных функций 384
— блуждающих трубок 510
— возможных направлений 299
— градиентный 261
— Давидона — Флетчера — Пауэлла
337
— декомпозиции 504
— деления отрезка пополам 17
— золотого сечения 19
— касательных 45
— квазиньютоновский 337
— классический 15, 78
— линеаризации 309
— локальных вариаций 510
— ломаных 28
— модифицированных функций Лаг-
ранжа 356
— нагруженных функций 396
— Ньютона 329
— овражный 269
— оптимальный 23
— парабол 59
— пассивный 24, 350
оптимальный 25
— переменной метрики 338
— поиска глобального минимума 28,
33, 53, 62, 347
— покоординатного спуска 342
— покрытий 33, 348
— последовательный 24, 350
оптимальный 27
— проекции градиента 277
-- субградиента 285
— равномерного перебора 24, 33
— симметричный 21
— скорейшего спуска 262
— случайного поиска 410
------без обучения 412
------с обучением 412
— сопряженных градиентов 328
-- направлений 320
— Стеффенсена 338
— стохастической аппроксимации 66,
415
— стрельбы 480
— тяжелого шарика 276
— условного градиента 291
— Фибоначчи 26
— штрафных функций 363
Минимальный корень уравнения 399
Множество аффинное 149
— выпуклое 148
— замкнутое 71
Множество компактное 71
— Лебега 73
— многогранное 152
— ограниченное 71
— открытое 153
— регулярное 238
Множитель Лагранжа 83, 224
Модуль выпуклости 218
---точный 218
Момент времени конечный 427
------закрепленный 432
---начальный 425, 427
------закрепленный 432
Надграфик (эпиграф) функции 171
Наибольшее (максимальное) значе-
ние функции 14
Наименьшее (минимальное) значе-
ние функции 9
Направление возможное 172
---убывания 299
— рецессивное 177
Неравенство Гронуолла 461
— Йенсена 163
Нижний предел последовательности
71
---функции 78
Нижняя грань функции 10
Нормальный вектор гиперплоскости
149
Оболочка аффинная 152
— выпуклая 157
Ограничения активные 224
— интегральные 434
— - корректные 375
— пассивные 224
— типа неравенств 87
--- равенств 82
— точечные 434
— фазовые 431
Окрестность точки 71
Ортант неотрицательный 152
Отделимость множеств 193
---сильная 194
---собственная 194
--- строгая 194
Отображение многозначное 211
---выпуклозначное 211
---компактное 211
---монотонное 211
---полунепрерывное сверху 211
------снизу 211
— суб дифференциальное 211
Отрезок локализации минимума 24
Параллелепипед 152
Подпространство несущее 152
548
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Позином 256
Полупространство замкнутое 149
— открытое 149
Поляра 206
Последовательность максимизирую-
щая 13
— минимизирующая 11
— ограниченная 71
Постоянная Липшица 28
— сильной выпуклости 181
Принцип максимума 438
Проблема синтеза 496, 513
Программирование выпуклое 234
— геометрическое 255
— динамическое 490
— квадратичное 314
— линейное 101
— полиномиальное 319
— стохастическое 415
Проекция точки на множество 188
Произведение множества на число
153
Производная по направлению 172
Прямая линия 149
Прямое произведение множеств 200
Размерность множества 151, 152
Разность множеств 153
Разрешающий элемент 118
Расстояние от точки до множества
11
Симплекс ИЗ, 157
Симплекс-метод 112
Скользящий режим 525
Сопряженная система 436
Субградиент 206
Субдифференциал 207
Сумма множеств 153
Схема Веллмана 490
— Моисеева 505
Сходимость последовательности ко
множеству 11
Теорема Вейерштрасса 12
— Куна — Таккера 235
— Фаркаша 240
Точка глобального (абсолютного)
максимума 13
------минимума 12
— локального максимума 14
---минимума 12
— множества внешняя 154
---внутренняя 153
---граничная 154
---изолированная 154
Точка множества относительно внут-
ренняя 160
— множества предельная 71
--угловая 109
------вырожденная 111
------невырожденная 111
—, подозрительная на экстремум 15,
85, 88
— седловая 235
— стационарная 80
— строгого локального максимума 14
------минимума 12
— экстремума 14
Точность метода гарантированная 23
------наилучшая 23
Траектории левый конец 427
------закрепленный 432
------подвижный 432
------свободный 432
— правый конец 427
------закрепленный 432
------подвижный 432
------свободный 432
Траектория (решение) задачи Ко-
ши 427
— оптимальная 433
Управление 425
— оптимальное 433
— особое 451
Уравнение Веллмана 492
— Эйлера 487
Условие Вейерштрасса 487
— дополняющей нежесткости 224,
437
— достаточное оптимальности (мак-
симума, минимума) 15, 80, 85, 165,
173, 192, 210, 237, 500, 522
— Лежандра 487
— необходимое оптимальности (мак-
симума, минимума, экстремума)
15, 80, 83, 165, 173, 192 210, 224,
239, 244, 246, 379, 437, 445
— Слейтера 238
— трансверсальности 437, 489
— Эрдмана — Вейерштрасса 488
Формула конечных приращений 92
Функция барьерная 385
— Веллмана 492
— Вейерштрасса 488
— вогнутая 163
— выпуклая 162
— Гамильтона — Понтрягина 436
— дважды дифференцируемая 79
--непрерывно дифференцируе-
мая (дважды гладкая) 91
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ 549
I I I I I I I I I I I I I I I I i
Функция дифференцируемая 78
квазивыпуклая 181
Кротова 501, 523
кусочно гладкая 425
— непрерывная 425
Лагранжа 83, 224
— модифицированная 358
— регулярная 235
Ляпунова 276, 530
Минковского 180
непрерывно дифференцируемая
(гладкая) 91
овражная 268
ограниченная 13
— сверху 13
— снизу 10
опорная 180, 199
полунепрерывная сверху 72
— снизу 72
Функция равномерно выпуклая 218
— сильно выпуклая 181
— синтезирующая 496, 513
—- строго вогнутая 163
---выпуклая 162
---равномерно выпуклая 218
---унимодальная 13
—удовлетворяющая условию Гель-
дера 377
— ,-Липшица 28
— унимодальная 13
— штрафная 364
Шар 148
Шкала состояний 505
Элементарная операция 506
Учебное издание
ВАСИЛЬЕВ Федор Павлович
ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ
ЭКСТРЕМАЛЬНЫХ ЗАДАЧ
Заведующий редакцией Е. Ю. Ходан
Редактор И. В. Викторенкова
Художественный редактор Г. М. Коровина
Технический редактор В. Н. Кондакова
Корректоры: О. А. Бутусова, Т. С. Вайсберг
ИБ К8 12659
Сдано в набор 07.12.87. Подписано к печати 02.11.88. Формат 60X90/16. Бумага
офсетная. Гарнитура обыкновенная новая. Печать высокая. Усл. печ. л. 34,5.
Усл. кр.-отт, 34,5. Уч.-изд. л. 38,64. Тираж 19 500 экз. Заказ Ка 1219. Цена 1 р. 60 к<
атуры
Ордена Трудового Красного Знамени издате
Главная редакция физико-математической
117071 Москва В-71, Ленинский проспект,
Четвертая типография издательства «На
630077 г. Новосибирск-77, Станиславского,