Ф. П. ВАСИЛЬЕВ
ЧИСЛЕННЫЕ
МЕТОДЫ РЕШЕНИЯ
ЭКСТРЕМАЛЬНЫХ ЗАДАЧ
Издание второе, переработанное и дополненное
Допущено Государственным комитетом СССР
по народному образованию
в качестве учебного пособия
для студентов вузов, обучающихся
по специальности «Прикладная математика»
МОСКВА «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУР!
1988

ББК 22.19
В19
УДК 519.6 @75. 8)
Васильев Ф. П. Численные методы решения экстремальных задач:
Учеб. пособие для вузов.— 2-е изд., перераб. и доп.— М.: Наука. Гл. ред.
физ.-мат. лит., 1988.— 552 с— ISBN 5-02-013796-0.
Содержит основные численные методы решения экстремальных задач.
Приводятся теоретическое обоснование и краткие характеристики этих
методов. Рассматриваются задачи минимизации функций конечного числа
переменных и задачи оптимального управления процессами, описываемыми
системами обыкновенных дифференциальных уравнений.
Сохранена структура первого издания, но содержание некоторых глав
существенно переработано и дополнено.
1-е издание — в 1980 г.
Для студентов вузов по специальности «Прикладная математика»,
а также для специалистов, связанных с решением задач оптимизации.
Табл. 11. Ил. 42. Библиогр. 343 назв.
Рецензент
член-корреспондент АН СССР Л. Д. Кудрявцев
1702070000—191
В 053@2)-88 68"88
ISBN 5-02-013796-0
ательство «Наука»,
вная редакция
[ико-математической
ературы, 1980;
зменениями, 1988

ОГЛАВЛЕНИЕ
Предисловие ко второму изданию 5
Предисловие 6
Глава 1. Методы минимизации функций одной переменной . . 9
§ 1. Постановка задачи 9
§ 2. Классический метод 15
§ 3. Метод деления отрезка пополам 17
§ 4. Метод золотого сечения. Симметричные методы . . . 19
§ 5. Об оптимальных методах 22
§ 6. Метод ломаных 28
§ 7. Методы покрытий 33
§ 8. Выпуклые функции одной переменной 38
§ 9. Метод касательных 45
§ 10. Метод поиска глобального минимума 53
§ 11. Метод парабол 59
§ 12. Другой метод поиска глобального минимума .... 62
§ 13. О методе стохастической аппроксимации 66
Глава 2. Предварительные сведения о задачах на экстремум . . 68
§ 1. Постановка задачи минимизации. Теорема Вейерштрасса 68
§ 2. Классический метод 78
§ 3. Вспомогательные предложения 91
Глава 3. Элементы линейного программирования 101
§ 1. Постановка задачи 101
§ 2. Геометрическая интерпретация. Угловые точки .... 106
§ 3. Симплекс-метод 113
§ 4. Антициклин 126
§ 5. Выбор начальной угловой точки 136
§ 6. Об условии разрешимости канонической задачи .... 145
Глава 4. Элементы выпуклого анализа 148
§ 1. Выпуклые множества 148
§ 2. Выпуклые функции 162
§ 3. Сильно выпуклые функции 181
§ 4. Проекция точки на множество 188
§ 5. Отделимость выпуклых множеств 193
§ 6. Субградиент. Субдифференциал 206
§ 7. Равномерно выпуклые функции . 218
§ 8. Правило множителей Лагранжа 223
§ 9. Теорема Куна — Таккера. Двойственная задача . . . 234
Глава 5. Методы минимизации функций многих переменных . . 260
§ 1. Градиентный метод 260
§ 2. Метод проекции градиента 277
§ 3. Метод проекции субградиента 285

4
ОГЛАВЛЕНИЕ
§ 4. Метод условного градиента 291
§ 5. Метод возможных направлений 299
§ 6. Метод линеаризации 309
§ 7. Квадратичное программирование 314
§ 8. Метод сопряженных направлений 320
§ 9. Метод Ньютона 329
§ 10. Метод Стеффенсена 338
§11. Метод покоординатного спуска 342
§ 12. Метод поиска глобального минимума 347
§ 13. Метод модифицированных функций Лагранжа .... 356
§ 14. Метод штрафных функций 363
§ 15. Метод барьерных функций 384
§ 16. Метод нагруженных функций 396
§ 17. О методе случайного поиска 410
§ 18. Общие замечания 415
Глава 6. Принцип максимума Понтрягина 421
§ 1. Постановка задачи оптимального управления .... 421
§ 2. Формулировка принципа максимума. Примеры .... 435
§ 3. Доказательство принципа максимума 461
§ 4. О методах решения краевой задачи принципа максимума 480
§ 5. Связь между принципом максимума и классическим
вариационным исчислением 485
Глава 7. Динамическое программирование 490
§ 1. Схема Беллмана. Проблема синтеза для дискретных систем 490
§ 2. Схема Моисеева 505
§ 3. Проблема синтеза для систем с непрерывным временем . 513
§ 4. Достаточные условия оптимальности 522
Список литературы 531
Основная литература 531
Дополнительная литература 532
Предметный указатель 546

ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
Во втором издании книга существенно переработана.
Добавлен новый материал, посвященный методу линеаризации, методу
Стеффенсена, геометрическому и квадратичному
программированию, изложены некоторые новые варианты градиентного метода,
метода покрытий. Существенно переработаны параграфы,
посвященные элементам выпуклого анализа, методу штрафных
функций. Приведено простое доказательство принципа
максимума Понтрягина для задачи оптимального управления с
граничными условиями достаточно общего вида. Из книги исключены
параграфы, содержащие доказательство оптимальности метода
Фибоначчи. Исправлены замеченные ошибки, неточности.
Автор глубоко признателен С. М. Алиакбарову, А. С.
Антипину, А. В. Арутюнову, С. С. Ахиеву, Е. Г. Белоусову, А. И.
Бенпкову, В. А. Березневу, Н. С. Васильеву, О. В. Васильеву,
Г. С. Ганшину, Ю. М. Данилину, Д. В. Денисову, Я. И.
Заботину, С. К. Завриеву, В. С. Ижуткину, А. С. Ильинскому, А. Д.
Искендерову, А. 3. Ишмухаметову, А. Г. Коваленко, А. И.
Кораблеву, Е. В. Лямину, М. Д. Марданову, Ю. Е. Нестерову,
В. Н. Нефедову, В. И. Плотникову, М. М. Потапову, Т. Л.
Рудневой, А. Г. Сухареву, А. Г. Тетереву, А. В. Тимохову,
А. А. Третьякову, В. Р. Фазылову, Р. Ф. Хабибуллину, Ю. Н.
Черемных, Н. Т. Чиричу, которые своими советами,
предложениями, замечаниями способствовали улучшению второго издания
книги.

ПРЕДИСЛОВИЕ
Первые задачи геометрического содержания, связанные
с отысканием наименьших и наибольших величин, появились
еще в древние времена. Развитие промышленности в XVII—
XVIII веках привело к необходимости исследования более
сложных задач на экстремум и к появлению вариационного
исчисления. Однако лишь в XX веке при огромном размахе
производства и осознании ограниченности ресурсов Земли во весь
рост встала задача оптимального использования энергии,
материалов, рабочего времени, большую актуальность приобрели
вопросы наилучшего в том или ином смысле управления
различными процессами физики, техники, экономики и др. Сюда
относятся, например, задача организации производства с целью
получения максимальной прибыли при заданных затратах
ресурсов, задача управления системой гидростанций и водохранилищ
с целью получения максимального количества электроэнергии,
задача о космическом перелете из одной точки пространства
в другую наибыстрейшим образом или с наименьшей затратой
энергии, задача о быстрейшем нагреве или остывании металла
до заданного температурного режима, задача о наилучшем
гашении вибраций и многие другие задачи.
Потребности развития самой вычислительной математики
также привели к необходимости исследования таких задач на
максимум и минимум, как, например, задачи наилучшего
приближения функций, оптимального выбора параметров
итерационного процесса или узлов интерполирования, минимизации
невязки уравнений и т. д.
На математическом языке такие задачи могут быть
сформулированы как задачи отыскания экстремума (максимума или
минимума) некоторой функции или функционала J (и),
выражающего собой качество (цену) управления и из заданного
множества U некоторого пространства. Требование принадлежности
управления и некоторому множеству U выражает собой
ограничения, обычно вытекающие из законов сохранения,
ограниченности наличных ресурсов, возможностей технической реализации
управления, нежелательности каких-либо запрещенных
(аварийных) состояний и т. п. Задачи отыскания экстремума функции
J (и) на множестве U принято называть экстремальными зада-

ПРЕДИСЛОВИЕ
7
чами. Заметим, что задача максимизации функционала J (и) на
множестве U эквивалентна задаче минимизации функционала
—J(u) на том же множестве С/, поэтому можно ограничиться
рассмотрением задач минимизации.
В настоящее время теория экстремальных задач обогатилась
фундаментальными результатами, появились ее новые разделы,
такие как линейное, выпуклое, стохастическое
программирование, оптимальное управление и др. Потребности практики
способствовали бурному развитию методов приближенного решения
экстремальных задач. Появление быстродействующих
электронных вычислительных машин (ЭВМ) сделало возможным
эффективное решение многих важных прикладных экстремальных
задач, которые ранее из-за своей сложности представлялись
недоступными.
В настоящей книге излагаются элементы теории
экстремальных задач, а также основы наиболее часто используемых на
практике методов приближенного решения экстремальных задач,
теоретическое обоснование и краткая характеристика этих
методов. Книга написана как учебное пособие для студентов
факультетов и отделений прикладной математики университетов,
технических вузов. В основу книги положен курс лекций по
численным методам решения экстремальных задач, который автор
в течение ряда лет читает на факультете вычислительной
математики и кибернетики Московского университета.
В главе 1 излагаются методы минимизации функций одной
переменной, в главах 2—5 рассматриваются задачи
минимизации функций конечного числа переменных, в главах 6, 7 —
задачи оптимального управления процессами, описываемыми
системами обыкновенных дифференциальных уравнений. Часть
текста, которая содержит материал, дополняющий и
расширяющий основное содержание книги, напечатана петитом и при
первом чтении может быть опущена.
Заманчиво было бы изложить теорию и методы минимизации
сразу в общем виде на языке функционального анализа, охватив
при этом как частный случай многие методы минимизации
функций конечного числа переменных. Однако такой способ
изложения, несмотря на свою привлекательность и удобства для
читателя-математика, видимо, все же труден для первого
знакомства с предметом, не говоря уже о том, что он не может
отразить всю специфику конечномерных задач. Поэтому автор,
стремясь сделать книгу доступной читателям, владеющим
математикой в объеме программ технических вузов и впервые
знакомящихся с теорией и методами решения экстремальных задач,
в настоящей книге отобрал материал, не требующий для своего
понимания знаний функционального анализа.
За пределами книги остались такие важные разделы теории
и методов экстремальных задач, как задачи оптимального

уп8
ПРЕДИСЛОВИЕ
равления процессами, описываемыми уравнениями с частными
производными, некорректные экстремальные задачи,
аппроксимация и устойчивость экстремальных задач, методы
минимизации в функциональных пространствах. Этим разделам теории и
методам экстремальных задач, требующим для математически
строгого изложения использования аппарата функционального
анализа, автор предполагает посвятить отдельную книгу.
По рассматриваемым в книге проблемам имеется обширная
библиография, насчитывающая много тысяч названий. Список
литературы, который приведен в конце книги, содержит лишь
некоторые работы, которые были непосредственно использованы
в книге или близко примыкают к ней, дополняя ее содержание.
Нумерация формул, теорем, лемм, определений, упражнений
в каждом параграфе самостоятельная; ссылки на материалы,
расположенные в пределах данного параграфа, нумеруются
одним числом, вне данного параграфа, но в пределах данной
главы — двумя числами, вне данной главы — тремя числами. Так,
например, теорема 3 из § 2 главы 4 в пределах этого параграфа
именуется просто теоремой 3, в других параграфах 4-й главы —
теоремой 2.3, в других главах — теоремой 4.2.3. Аналогично
параграфы при ссылках на них в пределах данной главы
нумеруются одним числом, а вне этой главы — двумя числами: первое
число означает номер главы, второе — номер параграфа.
Автор выражает глубокую благодарность академикам
A. Н. Тихонову и А. А. Самарскому за внимание и поддержку
при написании книги, С. М. Цидилину и Ю. Н. Черемных,
прочитавшим книгу в рукописи и сделавшим ряд ценных
замечаний, Н. Л. Григоренко, взявшему на себя труд по научному
редактированию книги и устранившему многочисленные
погрешности изложения, а также Н. С. Бахвалову, И. С. Березину,
B. И. Благодатских, В. Г. Карманову, М. Ковач, В. Л. Кулагину,
М. С. Никольскому, М. М. Потапову, Н. А. Прохорову,
В. Г. Сушко, В. В. Федорову, Б. М. Щедрину, М. Ячимовичу за
многочисленные полезные дискуссии и советы, способствовавшие
улучшению содержания книги.
В столь бурно развивающейся области, как теория и методы
решения экстремальных задач, очень трудно создать учебное
пособие, которое обладало бы определенной завершенностью и
было бы свободным от недостатков, и поэтому автор будет
признателен читателям за критические замечания по содержанию
книги.
Ф. П. Васильев

Глава 1
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ
ОДНОЙ НЕРЕМЕННОЙ
С задачами минимизации функций одной переменной мы впервые
сталкиваемся при изучении начальных глав математического анализа и
решаем пх методами дифференциального исчисления. Может показаться, что
эти задачи относятся к достаточно простым и методы их решения хорошо
разработаны и изучены. Однако это не совсем так. Методы
дифференциального исчисления находят ограниченное применение и далеко не всегда
удобны для реализации на современных ЭВМ. Хотя в последние десятпле^
тия появились другие методы, более удобные для использования на ЭВМ,
требующие меньшего объема вычислительного труда, но тем не менее эту
область экстремальных задач никак нельзя считать завершенной. Работы,
посвященные новым методам минимизации функций одной переменной,
продолжают появляться на страницах математических книг и журналов
(см., например, [И, 90, 95, 106, 128, 241, 246, 266, 279, 282, 288, 291, 314,
328, 332]). Мы здесь остановимся на некоторых наиболее известных
методах, достаточно хорошо проявивших себя на практике.
§ 1. Постановка задачи
Пусть К=={^г: —оо < ^ < оо} — числовая ось, U — некоторое
множество из R, ] {и)—функция, определенная на множестве U
и принимаюпдая во всех точках u^U конечные значения.
Примерами множеств из R являются: отрезок [а, Ь] = {^геК: а<
^и^Ы, интервал {а, Ъ) ~{и^^\ а<и<Ь}, полуинтервалы
[а, Ь)=ЫеК: а^и<Ь}, (а, b] = {u^R: a<u^b}, где а, b—
заданные числа. Будем рассматривать задачу минимизации
функции J (и) на множестве U. Начнем с того, что уточним
постановку этой задачи. Для этого сначала напомним некоторые
определения из классического математического анализа.
Определение 1. Точку щ^:и называют точкой мини-
мума функции J (и) на множестве f/, если 1{щ)^1{и) для
всех u^U; величину / (и^) называют наименьшим или
минимальным значением J (и) на С/ и обозначают min/(^г) =/(w^).
и=и
Множество всех точек минимума J (и) на U будем обозначать
через ?7*.
В зависимости от свойств множества U и функции J (и)
множество и^ моя^ет содержать одну, несколько или даже
бесконечно много точек, а также возможны случаи, когда U^ пусто.

1 о МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Пример 1. Пусть J{u) = sm^{n/u) при и?=0 и /@) = 0.
На множестве 17 = {и: i^u<2} минимальное значение J (и)
равно нулю, множество U^ состоит из единственной точки
Ujj. = 1. Если и = {и: i/3<u<i}, то U^ содержит три точки:
1/3, 1/2, 1; если U =-{и: 0<u<i}, то U^ = {u: и==: i/n, п =
= 1,2, ...} — счетное множество. В случае U = {u: 2^и<оо}
функция J {и) не имеет наименьшего значения на U. В самом
деле, какую бы точку u^U яш взять, найдется точка v^U
(например, v^k при достаточно большом к) такая, что J{il)>J{v),
Это значит, что U^ пусто.
Пример 2. Функция /(ix) = Iu| + Iw —1| — 1 на i7 =
= {и: \u\^i} принимает свое наименьшее значение, равное
нулю, во всех точках отрезка С/^^ = {i^: O^w^ 1}. Если С/" =:
s=^{u: 1^и^2}, то C/jj. содержит одну точку и^ = 1; если U =
^{и: l<i^<2}, то и'^ = 0.
Пример 3. Пусть J{u) = u при ^=5^0 и /@)=1. На
множествах и = {и: 0^u<i} или и = {и: О < w < 1} эта функция
не имеет наименьшего значения, т. е. U^ = 0.
Пример 4. Пусть J{u) = lnu, U=={u: 0<u<i}, Здесь
U^~ 0, так как во всех точках из U функция принимает
конечные значения, а для последовательности и^ = 1/fe {к =
= 1, 2, ...) имеем Ит 1{щ) = — оо.
ft->oo
Определение 2. Функция J (и) называется ограниченной
снизу на множестве С/, если существует такое число М, что
J(u)>M для всех и^и. Функция J (и) не ограничена снизу
на С/, если существует последовательность iuj ^ С/, для которой
lim J {Uk) = — оо.
h^oo
В примерах 1—3 функции ограничены снизу на
рассматриваемых множествах, а в примере 4 функция не
ограничена.
В тех случаях, когда U^ = 0, естественным обобщением
понятия наименьшего значения функции является понятие нижней
грани функции.
Определение 3. Пусть функция J {и) ограничена снизу
на множестве С/. Тогда число /* называют нижней гранью J (и)
на С/, если: 1) J^^J{u) при всех u^U; 2) для любого сколь
угодно малого числа 8 > О найдется точка w. е С/, для которой
J {^)<.J^ + ^» Если функция J {и) не ограничена снизу на U,
то в качестве нижней грани J {и) на U принимается/:|.=я — оо.
Нижнюю грань J (и) на U обозначают через inf J[u)~J^.
В примерах 1—3 /jj. == О, а в примере 4/jj. = — оо.
Если и^Ф0, то, очевидно, нижняя грань J (и) на U
совпадает с наименьшим значением этой функции на U, т. е.
inl J{u) = шт J (и). В этом случае говорят, что функция J (и)

§ 1] ПОСТАНОВКА ЗАДАЧИ Ц
на и достигает своей нижней грани. Подчеркнем, что inf / {и) =:
= J^ всегда существует, а min / {и), как мы видели из приме-
ров 1—4, не всегда имеет смысл. Введем еще два определения.
Определение 4. Последовательность {и^ ^ U называется
минимизирующей для функции J {и) на множестве t/, если
lim / (Uh) = inf / (и) = /^.
Из определения и существования нпжней грани следует, что
минимизирующая последовательность всегда существует.
Определение 5. Скажем, что последовательность {иJ
сходится к непустому множеству U, если lim р {и^, U) = О, где
Р(^fef U) = inf Iгг^ — и\ — расстояние от точки и^ до множества U.
Заметим, что если и^Ф0^ то всегда существует
минимизирующая последовательность, сходящаяся к U^; например,
можно взять стационарную последовательность и^ = и^ (/^ = 1? 2, .*.),
где и^ — какая-либо точка из [7^. Однако не следует думать,
что при и^Ф 0 любая минимизирующая последовательность
будет сходиться к ?7*.
2
Пример 5. Пусть / {и) = т, i7 = R. Очевидно, здесь
1 + 14*
/jj. = О и множество U^ состоит из единственной точки и^ — О»
Последовательность щ = к (/с = 1, 2, ...) является
минимизирующей, так как lim/(A:) = 0, но р{и^,и^)=к не стремится
fe->CX3
к нулю.
Теперь можем перейти к формулировке задачи
минимизации функции J (и) на множестве С/. В дальнейшем будем
различать задачи двух типов. К первому типу отнесем задачи,
в которых требуется определить величину /^ = inf / (и). Сразу
USE с/
же подчеркнем, что в задачах первого типа неважно, будет ли
множество ?/* точек минимума J (и) на U непустым или оно
пусто. Ко второму типу задач отнесем те задачи, у которых
множество и^ непусто и требуется наряду с /^ найти какую-либо
точку и^^и^.
Заметим, что получить точное решение задачи первого или
второго типа удается лишь в редких случаях. Поэтому на
практике при решении задач первого типа обычно строят какую-либо
минимизирующую последовательность {и^ для функции ]{и) на
и и затем в качестве приближения для J^ берут величину J{u^)
при достаточно большом к. Аналогично для нриближенного
решения задач второго типа достаточно построить
минимизирующую последовательность {г/J, которая сходится ко множеству
Ui^ в смысле определения 5, и в качестве приближения для Ji^

12 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
И точки гг^ е С/^ взять соответственно величину J{Uh) и точку Uk
при достаточно большом к.
Как показывает пример 5, в отличие от задач первого типа
не всякая минимизирующая последовательность может быть
использована для получения приближенного решения задач
второго типа. Построение минимизирующих последовательностей,
сходящихся ко множеству С/^, в общем случае требует
привлечения специальных методов [6, 22]. В настоящей главе будем
рассматривать лишь такие задачи второго типа, у которых любая
минимизирующая последовательность сходится к U^, Один
такой класс задач дается следующей теоремой, называемой
теоремой Вейерштрасса.
Теорема 1. Пусть U — замкнутое ограниченное множество
из R, функция J (и) непрерывна на U. Тогда J {и) ограничена
снизу на и, множество U^ точек минимума J {и) на U непусто,
замкнуто и любая минимизирующая последовательность {uj}
сходится к и^.
Доказательство этой теоремы можно найти, например, в [10,
160, 165, 233]. Несколько более общий факт будет установлен
в § 2.1, из которого также будет следовать теорема 1.
Предлагаем читателю вернуться к примерам 1—5 и выяснить, в каких
случаях и какое из условий теоремы 1 нарушено п к чему это
приводит.
Возможна и более широкая постановка задач минимизации
второго типа — когда ищутся не только точки минимума в
смысле определения 1, но и точки так называемого локального
минимума.
Определение 6. Точка v^^Uназывается точкой
локального минимума функции J {и) на множестве U со значением
с=7(г;^), если существует такое число а>0, что J {v^)^J {и)
для всех и^и П {^- 1 г/ — г;:,. I < ос} = Оа (г^:}.). Если при некотором
а>0 равенство J{i^^) = J{u) для u^Oa{v^) возможно только
при и = i;^, то и^ называют точкой строгого локального
минимума.
Для функции, график которой изображен на рис. 1.1, точки
Uo, U2, щ являются точками строгого локального минимума,
а в точках, удовлетворяющих неравенствам U5<u<Uq и iig ^
^u^Ug, реализуется нестрогий локальный минимум. Функция
из примера 1 в точках и^^Ик (/с = ±1, ±2) имеет строгий
локальный минимум на C/ = R, а в точке гг^ = 0— нестрогий
локальный минимум.
Точки локального минимума, в которых минимум
достигается в смысле определения 1, часто называют точками
глобального или абсолютного минимума функции J {и) на
множестве и.
Выделим класс функций, у которых все точки локального
минимума являются точками глобального минимума.

§ 1]
ПОСТАНОВКА ЗАДАЧИ
13
Определение 7. Функцию /(и) hslsobqu унимодальной яя
отрезке U = [а, Ь], если она непрерывна на [а, Ь] и существуют
числа а, ^ {а^а<^<Ь) такие, что: 1) J {и) строго монотонно
убывает при а^и^а (если а<а); 2) J (и) строго монотонно
возрастает при ^<и^Ь (если ^ < fc); 3) / {и) = J^= inf / (и)
и^и
прп а^гг^Р, так что U^ = [а, Р]. Случаи, когда один пли два
Рис. 1.1
Ug b-u^^ а
из отрезков [а, а], [а, ^], [р, Ь] вырождаются в точку, здесь не
исключаются. В частности, если сс = р, то 1 (и) назовем строго
унимодальной на отрезке [а, Ь].
Функция пз примера 2 унимодальна на любом отрезке [а, Ь];
функция пз примера 1 строго унимодальна на [2/3, 2], но не
будет унимодальной на [1/2, 2].
Нетрудно видеть, что если функция J (и) унимодальна на
[а, 6], то она остается унимодальной п на любом отрезке [с, d] s
s [а, Ы
В заключение кратко остановимся на задаче максимизации
функцпи.
Определение 8. Функция J (и) называется ограниченной
сверху на множестве С/, если существует такое число В, что
J{u)^B прп всех и^и. Функция J (и) не ограничена сверху
на С/, если существует последовательность {uj е С/, для которой
lim/(гг^) = оо. Функцию J (и) называют ограниченной на С/,
если она ограничена на U сверху и снизу.
Определение 9. Если функция J (и) ограничена сверху
на С/, то число /* называется верхней гранью J (и) на 17 в том
случае, когда: 1) J{u)^J^ для всех u^U; 2) для любого числа
8>0 найдется такая точка u^^U, что J{u^)> J* — &, Если J (и)
не ограничена сверху на С/, то по определению принимается
/* = оо. Последовательность {щ} е U называется максимизирую^
щей для J {и) на U, если lim J{uk) = /*. Если существует такая
точка и^^и, что /(ii*) = /*, то и* называется точкой максиму-

14 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. I
ма J (и) на f/, а величина J (и*)—наибольшим или максималъ^
ным значением J {и) на U. Множество точек максимума J (и) на
и будем обозначать через t/*, верхнюю грань — через /* =:
= sup / (и).
Заметим, что верхняя грань и максимизирующая
последовательность всегда существуют, а максимальное значение может
не существовать. Если выполнены условия теоремы 1, то /* < «»,
и*Ф0 и любая максимизирующая последовательность {uj
сходится к С/*.
В задачах максимизации также можно различать задачи двух
типов: в задачах первого типа ищется величина /*, а в задачах
второго типа ищется /* и какая-либо точка а* ^ С7*. Нетрудно
видеть, что
sup J{u) = •— inf (— / (и)),
причем любая точка максимума и любая максимизирующая
последовательность для J (и) на и являются точкой минимума и
соответственно минимизирующей последовательностью для
функции —J{u) на и. Это значит, что любая задача максимизации
функции J (и) на и равносильна задаче минимизации функции
—J{u) на том же множестве U. Поэтому мы можем ограничиться
изучением лишь задач минимизации.
Наконец, немного о точках локального максимума.
Определение 10. Точка v^^U называется точкой
локального максимума функции J (и) на множестве U, если
существует такое число а>0, что J{v^)>J{u) для всех u^U{\
f\{u: \u — v*\<a} = Oa{v^). Если при некотором а>0
равенство J{v*) = J{u) для и^Оа{^^) возможно ТОЛЬКО при M = i;*, то
у* называют точкой строгого локального максимума.
Для функции, график которой изображен на рис. 1.1, точки
Ui, Us, щ, Uio являются точками строгого локального максимума,
а в точках, удовлетворяющих неравенствам иъ^и<^и^ и щ<
<u<U9, реализуется нестрогий локальный максимум; ^з —точка
глобального максимума.
Множество всех точек локального минимума и максимума
функции на множестве U принято называть точками локального
экстремума функции на этом множестве или, проще, точками
экстремума.
Упражнения. 1. Построить минимизирующую и максимизирующую
последовательности для функции J(u) = arclg w на U = R. Достигает ли
функция своих нижних и верхних граней на R?
2. Пусть J{u) = \и^—1\ при и Ф 1 и /A) = 1. Найти множество 1-/<|
точек минимума J (и) на С/ = R. Можно ли утверждать, что любая
минимизирующая последовательность для этой функции будет сходиться к U^?
3. Найти все точки локального экстремума функции J (и) = \\\и^ — 1| —
— 11 — 11 на отрезке [а, Ь] при различных а, 6. При каких а, b эта
функция будет унимодальной на [а, 6]?

§ 21 КЛАССИЧЕСКИЙ МЕТОД 15
4. Выяснить, на каких отрезках будут унимодальными функции J {и) =
= e^ J{u) = и\ J(u) = —и^ J{u) = У|1г|, J{u) = cos и.
5. Если функция G(v) унимодальна на отрезке [с, d], то функция
J{u)=G({d'-c)(u — a)l(b — a)+c) унимодальна на отрезке [а, Ь], До^
казать.
6. Доказать, что линейная функция J (и) = Аи + В, где А, i5
—постоянные, А Ф О, достигает своего минимума и максимз-ма на отрезке [а, Ь]
только при и = а или и = Ь.
7. Найти минимум функции / (и) = max U^ — wf | на мноя^ествах U =
= R И С/ = {u: 1 < И < оо}.
§ 2. Классический метод
Под классическим методом будем подразумевать тот подход
к поиску точек экстремума функции, который основан на
дифференциальном исчислении и подробно описан в учебниках по
математическому анализу [10, 160, 165, 233]. Мы здесь лишь
вкратце остановимся на этом методе.
Пусть функция J {и) кусочно непрерывна и кусочно гладка
на отрезке [а, 6]. Это значит, что на [а, Ь] может существовать
лишь конечное число точек, в которых J (и) либо терпит разрыв
первого рода, либо непрерывна, но не имеет производной. Тогда,
как известно, точками экстремума функции J {и) на [а, Ь] могут
быть лишь те точки, в которых выполняется одно из следуюш;их
условий: 1) либо J{u) терпит разрыв; 2) либо J{u) ненрерывна,
но производная J'(и) не существует; 3) либо производная J'(и)
существует и равна нулю; 4) либо и = а пли и = Ъ. Такие точки
принято называть точками^ подозрительными на экстремум.
Поиск точек экстремума функции начинают с нахождения
всех точек, подозрительных на экстремум. После того как такие
точки найдены, проводят дополнительное исследование и
отбирают среди них те, которые являются точками локального
минимума или максимума. Для этого обычно исследуют знак первой
производной У {и) в окрестности (или соответствующей
полуокрестности граничных точек и = а или и = Ъ) подозрительной
точки. Для того чтобы подозрительная точка v е [а, Ъ] была
точкой локального минимума, достаточно, чтобы lim У{u)^J (у)^
lim J{u)'^J{v) и при некотором а>0 на множествах
[A% Ъ] П (у, V + а)= Oi (i;), [а, f] f] (у — а, v) = О" {v)
существовала производная J'{u), причем /'(гг)>0 при u^Oa{v) и
/' (и) < О при и^Оа {v). Если же lim / (ггХ / (v), lim / (и) <
</(y) и J'{u)<:0 при u^Ot{v), J'{v)>0 при u^Oa{v), то
V — точка локального максимума.
В тех случаях, когда удается вычислить в подозрительной
точке производные второго и более высокого порядков, то их
также можно использовать для исследования поведения функции

16 МЕТОДЫ МИНПМИЗАЦИП ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
В окрестности этой точки. А именно, пусть известны
производные Г (у), ..., J^^'^v), причем J<'^{v) = 0 (i = l, ..., ^-1),
а J^^'^lv^^O (n^i). Если ?г-—четное число, то в случае
j(n)^y^-^Q g точке V реализуется локальный минимум, а в
случае J^''^{v)<0 — локальный максимум. Если п нечетно, то при
a<v<b в точке и не может быть локального минимума или
максимума; при v = a {v = b) в случае J^''^{v)>0 в точке v
имеем локальный минимум (максимум), а в случае /^''^(i;)<0 —
локальный максимум (минимум).
Чтобы найти глобальный минимум (максимум) функции J (и)
на [а, &], нужно перебрать все точки локального минимума
(максимума) на [а, Ь] и среди них выбрать точку с наименьшим
(наибольшим) значением функции, если таковое существует.
Если вместо отрезка [а, Ь] имеем дело со множеством U^{u: а<
^^г<оо}^ или и = {и: —оо<и^Ь}, или [/= R, то наряду с
вышеописанными псследованиями нужно также изучить поведение
функции при и-^ оо плп 1г ->- — оо.
Классический метод исследования функции на экстремум
следует использовать во всех тех случаях, когда достаточно
просто удается выявить все подозрительные на экстремум точки
и реализовать описанную выше схему отбора экстремальных
точек. К великому сожалению, классический метод имеет весьма
ограниченное иримененпе. Дело в том, что вычисление
производной J'{и) в практических задачах зачастую является непростым
делом. Например, может оказаться, что значения функции J {и)
определяются из наблюдений или каких-либо физических
экспериментов, и получить информацию о ее производной крайне
трудно. Но даже в тех случаях, когда производную все же
удается вычислить, решение уравнения /'(гг) = 0 и выявление
других точек, подозрительных на экстремум, может быть связано
с серьезными трудностями. Поэтому важно иметь также и
другие методы поиска экстремума, не требуюгцие вычисления
производных, более удобные для реализации на современных ЭВМ.
Упражнения. 1. Найтп точки экстремума функции J {и) = sin^ и +
+ cos^ и на отрезках [О, Зя/4], [О, 2я].
2. Пусть J (и) = A + е^/^)-1 при иф О и /@) = 0. Найти точки
экстремума этой функции на отрезках [О, 1], [—1, 0], [—1, 1], [1, 2] и на R.
3. Пусть непрерывная на отрезке [а, Ь] функция J (и) в точке v
{а <С V <i Ъ) имеет строгий локальный минимум. Можно ли утверя^дать,
что существует число а >» О такое, что J{u) монотонно убывает при и —
— а <i и -< V и монотонно возрастает при v <<и<^ и-^ а? Рассмотреть
функцию J(u) = 2u2 + ii2sin(l/u) (ифО), /@) == О на [—1, 1].
Исследовать случай, когда J (и) имеет на [а, Ь] конечное число точек локального
экстремума.
4. Пусть функция J (и) определена на [а, Ь] и дважды
дифференцируема в точке у е [а, Ь], Доказать, что если а <i v <i b и в точке v
реализуется локальный минимум J {и), то необходимо, чтобы J''(v) ^0, Будет ли
верным это утверждение, если v = а или и = Ь? Будет ли оно верным,
если и = а или v = b и, кроме того Г{и)=0? Рассмотреть функции
у (и) = —u2, J {и) = cosiiHa [—Jt, Jt].

§ 3] МЕТОД ДЕЛЕНИЯ ОТРЕЗКА ПОПОЛАМ 17
5. Пусть функция J(u) определена па [а, Ь] и в точке г; е [а, Ъ]
имеет п производных (w^2), причем известно, что 7^^Ци) =0 при i = 1, ...
..., п — 1 и /^^) (у) =7^ 0. Доказать, что если v — точка локального
минимума и а < у < 6, то п — четное число и /^^^ (v) > 0. Что изменится, если
V = а или V = Ь?
6. Пусть функция J (и) аналитпчна на отрезке [а, &], т. е. ряд Тейлора
этой функции сходится к J (и) во всех точках [а, Ь]. Может ли эта
функция иметь на [а, Ь] бесконечное число точек локального экстремума?
7. Пусть функция J (и) определена па отрезке [а, &] и в точке v имеет
производные всех порядков. Можно ли утверждать, что если v — точка
локального минимума, то 1^^Ци) Ф О при каком-либо ?г ^ 1? Рассмотреть
функцию J (и) = е~^^'^ (ифО), /@) = 0,в точке i; = 0. Что изменится,
если функция J (и) аналитпчна на [а, 6]?
8. Пусть функция J (и) дифференцируема на отрезке [а, &] и в точке
и е [а, Ь] достигает своей нижней грани на [а, Ь]. Доказать, что тогда
необходимо, чтобы J' {v){u— v) '^0 при всех w е [а, Ъ]. Будет ли
выполнения этого условия достаточно для того, чтобы в точке v достигалась
нижняя грань J (и) на [а, 6]?
§ 3. Метод деления отрезка пополам
Простейшим методом минимизации функции одной
переменной, не требующим вычисления производной, является метод
деления отрезка пополам. Опишем его, предполагая, что
минимизируемая функция J {и) унимодальна на отрезке [а, &]. Поиск
минимума J {и) на [а, Ъ] начинается с выбора двух точек i^i =
= (а+Ь —б)/2 и 1^2 =(а +Ь +б)/2, где б — постоянная,
являющаяся параметром метода, О < б < & — а. Величина б выбирается
вычислителем и может определяться целесообразным
количеством верных десятичных знаков при задании аргумента и.
В частности, ясно, что б не может быть меньше машинного нуля
ЭВМ, используемой при решении рассматриваемой задачи.
Точки г^!, U2 расположены симметрично на отрезке [а, Ъ]
относительно его середины и при малых б делят его почти пополам —
этим и объясняется название метода.
После выбора точек и^^ U2 вычисляются значения ]{и^), Jiuz)
и сравниваются между собой. Если /(wi)</(wg), то полагают
ai = a, bi = U2; если же J{и^)> 1 {и^), то полагают ai = i^i, bi = b.
Поскольку J (и) унимодальна на [а, Ь], то ясно, что отрезок
[ai, &i] имеет общую точку с множеством U^ точек минимума
J {и) на [а, Ь] и его длина равна
b,-a,={b-'a-6)/2 + 8.
Пусть отрезок [%_i, bft-J, имеющий непустое пересечение
с [/:}., уже известен, и пусть b^-i — a;,_i = (Ь — а —б)/2^~* + б > б
{к>2). Тогда берем точки U2k-i={cik-i +bk-i — 8)/2, U2k = {ak-i +
+ bfe_i + 6)/2, расположенные на отрезке [a^-i, 6^-1],
симметрично относительно его середины, и вычисляем значения /(i^a^-i),
J{u2k). Если J{u2k~i)^J{u2k), то полагаем а^ = a;,_i, bu = U2k\
если же J {u2h~i)'> J {Щп)', то полагаем а^ = и2к-и ^ft=i^A-i- Длина

18 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
получившегося отрезка [а^, bj равна Ь^ —«^ = F —а —б)/2^ + б>
>6 и [а&, bh] О и^Ф0.
Если количество вычислений значений минимизируемой
функции ничем не ограничено, то описанный процесс деления
отрезка пополам можно продолжать до тех пор, пока не
получится отрезок [flfe, bk] длины Ьи — а^<г, где 8 — заданная
точность, 8>б. Отсюда имеем, что /c>log2 ((Ь —а —б)/(8 — б)).
Поскольку каждое деление пополам требует двух вычислений
значений функции, то для достижения точности Ь^ — а^ < 8
требуется всего n = 2/i;>21og2((b~a —б)/(8 —б)) таких
вычислений.
После определения отрезка [а^, bj в качестве приближения
ко множеству U^ можно взять точку un = U2k-i при J{u2k-i)^
>J{u2k) и Un='U2k при J{u2k-i)'>Huzh), а значение /(йп) может
служить приближением для/* = mt J (и). При таком выборе
и~[а,Ъ]
приближения для U^ будет допущена погрешность р (un, U^) ^
^max [bk — Un, Un — сьь) = {b ~ a — 6)/2 . Если не требовать того,
чтобы значение функции, принимаемое за приближение к J^,
было вычислено непременно в той же точке, которая служит
приближением к U^, то вместо йп можно взять точку Vn =
= {aft+bft)/2 с меньшей погрешностью 9{vn,U^)^{bh —
— ak)/2 = {b — a— б)/2^+^ + 6/2 (здесь к=^п/2 и б
достаточно мало).
Конечно, и в этом случае можно бы провести еш;е одно
дополнительное вычисление значения функции в точке Un и
принять J{vn)^J^> Однако заметим, что на практике нередко
встречаются функции, нахождение значения которых в каждой точке
связано с большим объемом вычислений или дорогостояш;ими
эксперпментами, наблюдениями,— понятно, что здесь приходится
дорожить каждым вычислением значения минимизируемой
функции. В таких ситуациях возможно даже, что число тг,
определяющее количество вычислений значений функции, заранее
жестко задано и превышение его недопустимо.
Из предыдущего следует, что методом деления отрезка
пополам с помощью п = 2к вычислений значений функции можно
определить точку минимума унимодальной функции на отрезке
[а, Ь] в лучшем случае с точностью «(й —aJ~*""'*^^ Возникает
вопрос, не существует ли методов, позволяющих с помощью того
же числа вычислений значений функции решить задачу
минимизации унимодальной функции поточнее? Оказывается, такие
методы есть. Один из них будет описан в § 4.
В заключение отметим, что метод деления отрезка пополам
без изменений можно применять для минимизации функций, не
являющихся унимодальными. Однако в этом случае нельзя
гарантировать, что найденное решение будет достаточно хорошим
приближением к глобальному минимуму.

§ 4] МЕТОД золотого СЕЧЕНИЯ. СИММЕТРИЧНЫЕ МЕТОДЫ 19
§ 4. Метод золотого сечения. Симметричные методы
Перейдем к описанию метода минимизации унимодальной
функции на отрезке, столь же простого, как метод деления
отрезка пополам, но позволяющего решить задачу с требуемой
точностью при меньшем количестве вычислений значений
функции. Речь пойдет о методе золотого сечения.
1. Как известно, золотым сечением отрезка называется
деление отрезка на две неравные части так, чтобы отношение длины
всего отрезка к длине большей части равнялось отношению
длины большей части к длине меньшей части отрезка.
Нетрудно проверить, что золотое сечение отрезка [а, Ъ]
производится двумя точками Ui = a+ {3j- У5) (Ь — а)/2 = а +
+ 0,381966011... (Ь-а) и и, = а+ {У5-1) (Ь~а)/2 = а +
+ 0,618033989 ... (Ь —а), расположенными симметрично
относительно середины отрезка, причем a<Ui<U2<b, {b — a)/{b —
^Ui)__== (b — Ui)/{Ui — a) = {b — a)/{u2 — a)=^{u2 — a)/{b — U2)==
= A5 + l)/2 = 1,618033989 ...
Замечательно здесь то, что точка щ в свою очередь
производит золотое сечение отрезка [а, Иг], так как ^2 — Wi < Wj — а =
= & —ii2 и {u2 — a)l{Ui — a) = {ui-'a)/{u2'-Ui), Аналогично
точка U2 производит золотое сечение отрезка [wi, Ь]. Опираясь на
это свойство золотого сечения, можно предложить следуюгций
метод минимизации унимодальной функции J {и) на
отрезке [а, 6].
Положим «1 = <2, &1 = Ь, На отрезке [aj, bj возьмем точки и^
U2, производящие золотое сечение, и вычислим значения 1{щ),
/(иг). Далее, если J{ui)<J{u2), то примем а2 = а^, 62 = ^2, ^2 =
= Ui\ если же /(iii)>/(u2), то примем ^2 = ^1, &2 = bi, U2 = z^2.
Поскольку функция J (и) унимодальна на [а, 6], то отрезок [^2, Ьг]
имеет хотя бы одну общую точку с множество]^ U^ точек
минимума J (и) на [а, Ь]. Кроме того, &2 —^2 = (V5 —1) (Ь —а)/2 и
весьма важно то, что внутри [«2, bi] содержится точка ^2 с
вычисленным значением J{U2) = mm{J{Ui); /(«2)}, которая
производит золотое сечение отрезка [^2, Ьг].
Пусть уже определены точки и^^ ..., Un-i, вычислены
значения J{Ui), ..., J{iin-i)^ найден отрезок [ап-и bn-i] такой, что
[ап-и bn-i]nC/^?=0, bn-,-an-i={{V5-i)/2y{b-a), и
известна точка 1гп-1,_производящая золотое сечение отрезка [a^-i, bn-i] и
такая, что J{un-i) = Hiin 1{щ){п^2), Тогда в качестве следу-
Кг<п—1
ющей точки возьмем точку Un = dn-i + bn-i — йп-и также
производящую золотое сечение отрезка [а^-!, &n-i], вычислим
значение J{Un).
Пусть для определенности un-i <Un< Wn-i < bn-i (случай
iln-i<Un рассматривается аналогично). Если /(гг„)^/(un-i), то

20 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ переменной [ГЛ. 1
полагаем ап = ап-и Ъп — Un-u Un = Ur,; если же J{Un)> J{un-i), то
полагаем а^ = Un, Ъп = fcn-i, йп = Wn-i. Новый отрезок [an, fc„]
таков, что [ап,Ъп]^и^Ф0, Ь„-а, = (A5-J)/2)^-4b-б^),
точка Un производит золотое сечение [а^, Ьп] и /(^г^) = min{/(z^n);
/(iln_i)} = min J {ui).
Если число вычислений значении J {и) заранее не ограничено,
то описанный процесс можно продолжать, например, до тех пор,
пока не выполнится неравенство Ъп — ап< 8, где 8 — заданная
точность. Если же число вычислений значений функции J (и)
заранее жестко задано и равно п, то процесс на этом
заканчивается и в качестве решения задачи второго типа (см. § 1)
можно принять пару J{un), и^ где J{iin) является
приближением для /^ = inf / (и)^ а точка йп слуя^пт приближением для
множества U^ с погрешностью
р {un, и^) < шах {Ьп — Un\ Un — an) ==
= -^{Vl-i){bn- an) = (^%^f (Ь -a)== Ar,.
Вспомним, что с помоп1;ью метода деления отрезка пополам
за п = 2к вычислений значений функции J {и) в аналогичном
случае мы получили точку йп с погрешностью
Р Ы и^) < 2"^^' (Ь - а - б)< 2-^^^' {Ь-а) = Вп.
Отсюда имеем Лп/Sn = BУ27(У5 +1))" ^ @,87 .. .)^ —видно, что
уже при небольших п преимущество метода золотого сечения
перед методом деления отрезка пополам становится ош;утимым.
2. Обсудим возможности численной реализации метода
золотого сечения на ЭВМ. Заметим, что число У5 на ЭВМ неизбежно
будет задаваться приближенно, поэтому первая точка Wi = а +
+ C —У5) (& — а)/2 будет найдена с некоторой погрешностью.
Посмотрим, как повлияет эта погрешность на результаты после-
дуюш;их шагов метода золотого сечения. Обозначим Дп = Ь„ —
~ап = ((У5 —1)/2)''"^(Ь —а) G2 = 1, 2, ...). Нетрудно проверить,
что An является решением конечно-разностного уравнения Аг^-г =
= Ап-1 + An, или
Ап = Ап-2-Агг-1, 7г==3, 4, ..., A)
с начальными условиями Ai = & — а, А2 = Ь — Wi.
Как известно [4, 54], линейно независимые частные решения
этого__ уравнения имеют вид т^ и х^ (^ = 1, 2, ...), где Ti ===
= (У5 — 1)/2, Т2 = — (У5 + 1)/2 — корни характеристического урав-

§ 4] МЕТОД ЗОЛОТОГО СЕЧЕНИЯ. СИММЕТРИЧНЫЕ МЕТОДЫ 21
нения т^ + т —1 = 0, а любое решение уравнения A) представи-
мо в виде
Ап^Ат\ + В%1, п=1,2, ..., B)
где постоянные А п В однозначно определяются начальными
условиями из линейной системы
Ах^ + Вх^ = Ai, Axl + Bxl = Ag. C)
При Ai=»b —a, A2=^bui из C) имеем Л = 2F —a)/(V5--1),
JS = 0, и понятно, что формула B) в этом случае дает уже
известное нам решение An = Ti~-^(b —а). Однако точка Ui задана
с погрешностью, поэтому в системе C) вместо точного
значения Аг придется взять приближенное А2 = А2 + б. Тогда
постоянные А, В из C) определятся с соответствуюш;ими
погрешностями: А ==^А+ 6i, jS = S + 62, и вместо B) с точными А, В будем
иметь An = 3ti + Вх^ (^ = 1, 2, ...). Поскольку О < Ti == 0,6 ...
...<1, кг! = 1,6 .. .> 1, то погрешность 1 An — An 1 = 1 Six'^+
+ 62^21 с возрастанием п будет расти очень быстро. Это
значит, что уже при не очень больших п отрезок [an, bj и точки Un*
Un+i ==cin + bn — йп будут сильно отличаться от тех, которые
получились бы при работе с точными данными. Численные
эксперименты на ЭВМ также подтверждают, что метод золотого
сечения в описанном выше виде практически неприменим уже
при небольших п.
Как же быть? К счастью, имеется достаточно простая
модификация метода золотого сечения, позволяюпдая избежать
слишком быстрого возрастания погрешностей при определении точек
Un {п'^2). А именно, на каждом отрезке [а^, Ьп], содержанием
точку йп с предыдуш;его шага, при выборе следуюш;ей точки Un+i
нужно остерегаться пользоваться формулой Un+i = ап+ bn — йп,
и вместо этого лучше непосредственно произвести золотое
сечение отрезка [an, bn] и в качестве Un+i взять ту из точек а^ -Ь
+ C — У5) {Ьп — а)/2, а„ + (У5 — 1) (Ь„ —а„)/2, которая наиболее
удалена от йп (здесь под У5 подразумевается какое-либо подхо-
дяш;ее приближение этого числа). Конечно, после такой
модификации метод золотого сечения, вообш,е говоря, теряет свойство
симметричности и, быть может, уже не так красив, но зато
вполне годится для приложений. Нетрудно видеть, что этот
метод может применяться и без априорного знания о том, что
минимизируемая функция унимодальна, но в этом случае
полученное решение может оказаться далеким от глобального
минимума.
3. Метод золотого сечения относится к классу так называемых сим^
метричных методов. Дадим краткое описание произвольного
симметричного метода минимизации функции J (и) на отрезке [а, 6].

22 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. I
Первый шаг: на [а, Ь] задается точка щ (а < ui < 6), полагается ai =
= а, 6i = Ь, щ = U] и вычисляется J(ui), Пусть уже сделано п — 1 шагов
(п^2) и найдены отрезок [ап-и bn-i] и точка wn-i(an-i < Мп-i < &n-i>
с вычисленным значением /(ып-О, причем un-i Ф («n-i + &n-i)/2. Тогда на
следующем п-м шаге берется точка Un = «n-i Н- ^n-i — йп-ь расположенная
внутри [яп-ь bn-i], симметрично точке йп-\ относительно середины этого
отрезка — отсюда происходит название методов. Затем вычисляется
значение J{un) и сравнивается с /(мп-i). Пусть для определенности Tin-\ < Wn
(случай Un <. йп-i рассматривается аналогично). Тогда при 7(Mn-i) ^Hun)
полагается an = dn-j, bn = un, йп == Мп-ь если же /(йп-О > /(wn), то an =
= un-h bn = &П-1, йп = Un. Если ип =й= (dn + &п)/2, то процесс может быть
продолжен дальше. Может оказаться, что йп = (Дп + &п)/2,— в этом случае
процесс заканчивается; при необходимости на [йп, Ьп] можно продолжать
поиск минимума аналогичным методом, начиная с выбора новой начальной
точки йп # {an + bn)l2.
Из описания симметричного метода видно, что всякий симметричный
метод полностью определяется заданием отрезка [а, Ь] и первой точки щ
(а •< щ <С Ь), Отсюда следует, что в качестве другой характеристики
симметричного метода можно взять длины An отрезков [а^ Ьп] (п = 1, 2, .,.),
где Ai = & — а, Дг = тах{& — щ; щ — а}. Очевидно, An+i ^ Ап/2 при всех
72 ^ 1. Как видим, симметричные методы весьма просты и, пожалуй, даже
изящны. Однако все эти методы страдают тем же недостатком, что и метод
золотого сечения: погрешность, допущенная в задании первой точки uu
приводит к быстрому накапливанию погрешностей на дальнейших шагах»
и уже при не очень больших п результаты будут сильно отличаться от тех,
которые могли бы получиться при точной реализации симметричного
метода с точными исходными данными.
Если симметричный метод таков, что для An = &п — «п выполнено
условие
Ап/2 < Ап+1 ^ 2Ап/3, ?г = 1, ..., iV, D)
при некотором iV > 1, то An будут удовлетворять конечно-разностному
уравнению A) при п = 2, ..., 7V, и исследование поведения погрешностей в этом
случае может быть проведено так же, как это было сделано выше для
метода золотого сечения. Чтобы избежать слишком быстрого роста
погрешностей в симметричных методах со свойством D), на каждом отрезке [«п»
Ьп] (п = 2, ...,iV), содержащем точку йп с предыдущего шага, следующую
точку Wn+i нужно определять не по формуле Un+i= ап+ Ьп — Мп, а лучше
принять за Un+i ту из точек an + t(bn — an), Лп+A—т^)(&п — ап)(т =
= (A2 + 6)/Ai), которая наиболее удалена от un.
Упражнения. 1. Найти наименьшее гг, начиная с которого точность
метода золотого сечения больше точности метода деления отрезка пополам
в 2 раза; в 10 раз.
2. Написать конечно-разностные уравнения для длин An отрезков
[an, Ьп], получаемых симметричным методом, для случая, когда на каких-
то шагах метода нарушается условие D).
§ 5. Об оптимальных методах
1. В тех случаях, когда вычисление значений функции
связано со значительными затратами, большую ценность
приобретают экономичные или, как их еще называют, оптимальные
методы, позволяющие решить задачу минимизации с требуемой
точностью на основе вычислений значений минимизируемой
функции как можно в меньшем числе точек, а также тесно
связанные с ними методы, гарантирующие наилучшую точность
при жестко заданном количестве вычислений значений миними-

§ 5] ОБ ОПТИМАЛЬНЫХ МЕТОДАХ 23
жируемой функции. В связи с этим возникают вопросы, что
такое оптимальные методы, существуют ли такие методы, как их
строить? Абсолютно наилучший метод, пригодный для
минимизации всех функций, вряд ли сугцествует, и на поставленные
вопросы можно попытаться ответить лишь при определенных
ограничениях на рассматриваемые методы, функции и постам
новки задач минимизации.
Предположим, что нам задан некоторый класс функций Q,
зафиксирована какая-либо постановка задачи минимизации
функций из этого класса (например, задача первого или
второго типа из § 1) и указано множество методов Р, позволяющих
решить поставленную задачу минимизации. Пусть Д(/,
/?)—погрешность решения рассматриваемой задачи минимизации для
функции J =^J{u)^Q с помощью метода р^Р. Ясно, что,
минимизируя одним и тОхМ же методом р различные функции из Q,
мы будем получать, вообще говоря, различные погрешности: для
некоторых «хороших» функций из Q эта погрешность может
оказаться равной нулю, а для других «плохих» функций из Q
погрешность может быть значительной. Имеет смысл считать
метод Pi^P лучше метода рг ^ Р, если погрешность метода /?i
даже для самых «плохих» (для Pi) функций из Q будет
меньше погрешности метода р^ для «плохих» (для рг) функций пз
Q, В связи с этим представляется разумным ввести величину
^(р) = sup Д (/, р), выражающую собой погрешность метода
JeQ
р при минимизации самой «плохой» (для р) функции из Q.
Определение 1. Величину 6(р) = sup А(/, р) назо-
вем гарантированной точностью метода р^Р на классе функ-
ций Q. Скажем, что метод Pi^P лучше метода р^^Р на классе
Q, если 6(pi)<6(p2). Метод p^^iP назовем оптимальным
методом на классе Q, если 6(p^) = inf б(р) = б^, а величину
Oju — наилучшей гарантированной точностью методов Р на
классе Q. Если для некоторого метода Рг^Р выполняется
неравенство б (ре) ^ б^ + S, то метод Ре назовем г-оптимальным на
классе Q.
Вопросы существования оптимальных и е-оптимальных
методов, возможности их построения для различных множеств
методов Р, классов функций Q и постановок задач
минимизации, а также другие возможные подходы к проблеме выбора
оптимальных методов изучались, например, в [И, 21, 81, 83, 95,
106, 109, 228, 241, 266, 282, 288, 291, 298, 328, 332].
2. Здесь мы кратко остановимся на оптимальных методах решения
задачи минимизации функций из класса Q, состоящего из всех
унимодальных функций на отрезке [а, Ь]. Ограничимся рассмотрением множества Р
методов минимизации, использующих лишь значения функции, считая при
этом, что чпсло п вычислении значений минимизируемой функции заранее
задано. Будем предполагать, что в описание каждого метода рп из Р входич

24 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. t
задание правила выбора точек wi, ..., Un из отрезка [а, &], вычисление
значений 1(щ), ..., J(un) минимизируемой функции J{u)^Q, выделение
из точек wi, ..., Un такой точки йщ для которой J(uJ)=' min J (иЛу и
определоние отрезка [an, Ъп], где в качестве Яп, Ьп берутся ближайшие
слева или справа к йп точки среди wi, ..., Пщ а, b (возможности Un = ci или
Un = b пе исключаются).
Таким образом, применяя конкретный метод рп^ Р к конкретной
функции J(u) ^Q, в результате получаем отрезок [ащ &п] и точку й„ е
е [ащ Ьп] с вычисленным значением J{^ri)~ ^^^ '^ i^i)* ^^^ определе-
ния унимодальной функции и построения отрезка [а^, Ьп] следует нера-»
венство J (и) ^ /(йп) при всех и е [а, &]\[ап, &п], так что
/*= inf JD)= inf /(ii), 27* n К» ^n] =^ 0- (^
В качестве приближения для /* обычно берут величину J{un), а в
качестве приближения к множеству f/* можно взять любую точку и^^ из
отрезка [йп, Ьп] — на практике часто принимают и^^ = и^ или и^^ = (а^ + Ь^у2,
Отрезок [йп, Ьп] принято называть отрезком локализации минимума
функции J (и) на отрезке [а, Ь]. Из A) следует, что расстояние от любой
точки и^^ е [а^, &,^] до множества U^ не превышает длины отрезка
локализации Ьп — ani
Р("п*'^*)= inf |i^n»~^*|<^n-V B)
us и*
Величину А(/, рп) = b п — an можно принять за погрешность решения
задачи минимизации функции J(u) ^Q методом рп^Р^ Согласно B) чем
меньше погрешность Д(/, рп), тем точнее будет определено приближение
^п* ^ ^* ^^' следовательно, тем лучше метод рп. Для точного определения
наилучшего или близкого к неагу метода нам остается епде уточнить
правило выбора точек щ, ..., Мп, в которых вычисляются значения
минимизируемой функции. Здесь принято различать два типа методов: пассивные
методы и последовательные методы.
Если все точки щ, ..., Un метода рп выбираются одновременно до
начала вычислений и в дальнейшем уже не меняются, то такой метод
называют пассивным. Если в методе рп точки и^ ..., Un выбираются
последовательно отдельными порциями, причем при выборе каждой очередной
порции учитываются результаты предыдущих вычислений и проводится
уточнение отрезка локализации минимума, то такой метод называется после-
дователъным.
Примером пассивного метода является метод равномерного перебора.
В этом методе точки ui, ..., un выбираются по правилу: щ = ui + ih
(i = 1, ..., w), где Д>0 —шаг метода, щ — заданная точка из [а, Ъ],
u\ — а ^h (например, ui = а или ui = а + /г/2), и, кроме того, nh ^
^ & —ui < (п+ l)h.
Примерами последовательного метода служат методы деления
отрезка пополам, золотого сечения.
Пассивный метод является частным случаем последовательного
метода, когда все п точек выбираются сразу в первой же порции. Поэтому
нетрудно понять, что последовательные методы, вообш,е говоря, обладают
большей гибкостью и гораздо точнее пассивных методов. Однако отсюда
не следует, что пассивные методы вовсе не находят применения. Такие
методы весьма полезны, когда можно вести параллельные вычисления,
используя, например, многопроцессорные ЭВМ. В тех случаях, когда
значения минимизируемой функции определяются из физического эксперимента,
условия проведения таких экспериментов также могут сделать
необходимым применение пассивных методов.

^ 5] ОБ ОПТИМАЛЬНЫХ МЕТОДАХ 25
Таким образом, п-точечные (т. е. использующие вычисление значений
функции в п точках) последовательные и пассивные методы описаны.
Если теперь в определении 1 принять, что Q — класс унимодальных функций
на отрезке [а, 6], Р = Рп — множество всех ^г-точечных последовательных
(или пассивных) методов, Д(/, рп) = Ъп — «п — длина отрезка локализации
минимума, полученного методом рп Для фупкции J = J{u) е (?, то придем
к определениям гарантированной точности, оптимального и 8-оптимального
последовательного (пассивного) метода для унимодальных функции.
Кратко расслютрпм вопросы существования и построения оптимальных методов
для таких функций.
3. Сначала остановимся на пассивных методах. Пусть р^ = {ui , Un} —
какой-либо пассивный метод, а = uq ^ ui <..,.-< Un ^ b = Un+i. Применяя
его к какой-либо функции J{u) е (?, получаем отрезок [щ-1, Ui+i]
локализации минимума этой функции, так что погрешность метода рп здесь
будет равна А(/, рп) = Мг+i — "г-ь Поэтому б (р^) = sup Л (/, р^) <
J^zzQ
< max (М|»1 — Wi_i)- Пусть max (м^.^ — "i^i) = ^k-^i — ^k-г Возьмем
функцию Jk = Jk(u) = \u — uk\. Это строго унимодальная функция
достигает своей нижней грани на отрезке [а, Ь] в точке щ = и^^ [^fe-i» ^^fe+il»
причем A(/ft, Рп) = uk+i — Uk-u Следовательно, гарантированная
погрешность метода рп на классе Q равна б (Р^) = шах (w., . — ux_A. Для полу-
чения оптимального пассивного метода остается выяснить, достигается ли
нижняя грань inf б(р^) = б*, где Р„ — множество всех пассивных мето-
Рп^Рп
дов, и если достигается, то на каком методе рп е Рп. Оказывается, здесь
нужно различать случаи четного и нечетного п.
Теорема 1. При всех нечетных п = 2т-}-1 (т ^ 0) существует
бесконечно много оптимальных пассивных методов на классе Q; наилучшая
-гарантированная точность пассивных методов Р2т+\ на этом классе равна
{Ъ-аI{т-\-\).
Доказательство. Возьмем пассивный метод р^^ = {у^, ..., vA, где
V2i ^== а-\-i{b — а)I{т + i) (г = 1, ..., т), а точки V2i+\ (i = О, 1, •.., ш)
расположены на отрезке [а, 6] произвольно, лишь бы 1^21-1 <С V2i <. ?;2i+i,
-1^21 + 1 — i^2i-i ^ {b — a)l(m 4- 1). Очевидно, б (р„^) = {b — a)l{m + 1). С
другой стороны, для любого пассивного метода рп = {uu ..., Un) {щ = а ^
^щ <:.,,<. Un^b = Un+u п = 2т + 1) имеем б (р^,) = max (и.,^ —
— M._j) > max {b — t^2m' ^2m— ^*2m-2' • • •, ^^ " ^3' "" ^}^ (^ "~ ^)/('^ + ^)-
Следовательно, методы p^^ оптимальны и б* = F — a)l(m -f 1).
Теорема 2. При всех четных п = 2гп (ттг ^ 1) оптимального
пассивного метода на классе Q не существует] наилучшая гарантированная
точность пассивных методов Р2п на этом классе равна {Ъ — а)/G7г + 1).
В качестве е-оптимального метода можно взять Рт == {vi, ..., Vn}, sde
V2i^i = a-\- i{b — a)l(m -f 1) — e, U2i = a + i(b — a)l(m + 1) + s (t = 1, ...
..., ттг, 0< 8< F-a)/B(m + l))).
Доказательство. Сначала убедимся в том, что б(рп) > (& — а)/
J(m + 1) для любого пассивного метода рп = {uu ..., Un} {uo= а ^ui <!...
,.. < Wn ^ & = Mn+i, n = 2m). Обозначим й = a + (b — a)/(m-fl).
Имеются две возможности: либо U2 >> й, либо U2 ^ м. Если U2 i> щ то о(р^) =
= max (U'j_^ — w. -)>м^ — а>м— а = (& — а)/{т + 1). Если же и <
^ м, то б (р^) = max {uj^,^ — W|«i) > и^ — а, В самом деле, если бы
max (и.,^ — и,_Л < м,, — а, то U2i+i — U2i-i ^U2 — а (г = 1, ..., ттг) и,

26 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. I
кроме того, щ — а <. U2 — а. Сложив эти неравенства, придем к противоре-
чивому неравенству b — а <, (т +_1) (мг — я) ^ (ттг + 1) (м — а) = & — а.
Таким образом, при U2<u шмеем б (р^) = max (м-,. — щ^Л =
2<Ып
*=5(jD^_j), где jD^_^—пассивный метод на отрезке [щ, Ъ], составленный
из точек W2, .. •, un метода рп. Но п — 1 = 2т — 1 — нечетное число,
поэтому, применяя теорему 1 к отрезку [ии Ь], имеем 6(^71-1)^
>{Ь- и^)/т. Тогда б (р„) = б (Pn~i) > (^ - "i)/'^ >(b - и)/т = (Ь - a)t
/(m + l). Тем самым доказано, что б(рп) "> (Ъ — а)/G7г + 1) при всех рп^
е Р2т. С другой стороны, 6{рпе) = {Ь — а)/{тп +1L-6 для всех Е (О < 8 <
< {b — a)l{2(m + i)). Следовательно,б* = F —й)/G7г+1).
Из теорем 1, 2 вытекает, что предпочтительнее пользоваться
пассивными методами с четным числом п = 2т точек, поскольку в случае п = 2т +
-f 1 наилучшая гарантированная точность остается такой же, как и при
п = 277г.
4. Перейдем к рассмотрению последовательных методов минимизации
унимодальных функций на [а, Ъ], Здесь нам понадобятся знаменитые
числа Фибоначчи^ которые, как известно [95], определяются соотношениями
Fn+2 = Fn+\ + Fn, тг = 1, 2, ...; Fi = F2 = 1.
С помощью индукции легко показать, что тг-е число Фибоначчи предста-
вимо в виде
Используя числа Fn, построим тг-точечный последовательный метод,
который принято называть методом Фибоначчи. Этот метод относится к клас*
су симметричных методов, описанных в § 4, и определяется заданием на
отрезке [а, Ь] точки wi = а + (Ь — a)Fn-\IFn+\ или симметричной ей точки
U2 = a+b — u\^=a+ (& — a)FrJFn+u С помощью индукции нетрудно по-^
казать, что такой симметричный метод обладает свойством D.4) и на к-ш
шаге (А: < тг), когда проведены вычисления значений функции в точках
Ml, ..., Wfe, приводит к отрезку локализации минимума [ак, 6л] длиной
Aft = bk — «ft = (b — a)Fn-k+2lFn+i,
причем точка uh (aft < мл < bh) с вычисленным значением / (w^) =»
= min J (иЛ совпадает с одной из точек
Р
,^n-k
а) р
^n-fe+i
D)
расположенных на отрезке [aft, &л] симметрично относительно его
середины.
Как видно из D), при к = п — 1 точки w^^^, ^n-i совпадают. Это
означает, что при к = п — 1 первая часть процесса заканчивается
вычислением значения функции в точке Un-i и определением отрезка локализации
минимума [ап-1, &n-i] длины &n^i--an~i= {b —a)FslFn+i == 2{b--a)Fn+u
причем точка ^n—i ~ ^n—i ^ "n-i совпадает с серединой отрезка [дп-ь
&n-i]. В заключение, несколько нарушая симметричность процесса,
последнее п-е вычисление значения минимизуемой функции J (и) проводится в

^ 5] ОБ ОПТИМАЛЬНЫХ МЕТОДАХ 27
точке Un = un^i + 8 (или un = ttn-1 — 8), где о < '8 < F — a)IFnJrU и
отрезок [йп, Ьп] локализации минимума определяется по формулам an =
s=_an-i, Ъп =2 Mn-i + 8 при /(un-i) ^ /(мп-1 + 8) и ап = йп-и Ьп == Ьп~\ при
/(un-i) > /(un-1 + 8), так что в худшем случае Ъп — ап= {Ь — a)IFn+i + 8.
Описанный метод обозначим через Фп.
Теорема 3. При всех тг > 1 оптимального последовательного
метода на классе унимодальных функций не существует; наилучшая
гарантированная точность последовательных методов на этом классе равна {Ь — а}/
/Fn+u В качестве г-оптимального метода можно взять метод Фибоначчи Фп.
Доказательство этой теоремы можно найти в [И, 15, 83, 291]. Заметим,
что число г п— i/Fn+u вообще говоря, является бесконечной периодической
десятичной дробью, поэтому первая точка щ метода Фп будет задаваться
на ЭВМ приближенно. Во избежание быстрого роста погрешности из-за
неточности задания первой точки на практике нужно пользоваться
модификацией метода Фп, описанной в § 4 для симметричных методов в общем
«лучае.
Следует подчеркнуть, что метод Фп для своей реализации требует,
чтобы число п вычислений значений минимизируемой функции было задано
заранее — выбор первой точки в этом методе невозможен без знания п,
В тех случаях, когда число п по каким-либо причинам не может быть
задано заранее, можно применять метод золотого сечения, не требующий для
своей реализации априорного значения п.
Для сравнения вспомним, что методом золотого сечения за п
вычислений значений функции мы получали отрезок [an, Ьп] ^токализации
минимума длины Ьп — ап= ({p — i)|2)'^-^{±—a) = (УЦБ + 1))'^-^(Ь — а).
С учетом формулы Fn+i « (A'5 + 1)/2)'»+7У5, вытекающей из C) при
больших тг, для метода Фп получаем отрезок локализации минимума, длина
которого близка к (& —a)/Fn+i» B/(У5 + 1))'^"^Ч& — «)/У5. Отсюда следует,
что метод золотого сечения хуже метода Фп при больших п всего в
<(У5'+1)/2) 2/У5"= 1,1708... раз, т. е. па классе унимодальных функций
метод золотого сечения близок к оптимальным методам. Интересно также
заметить, что
Fn-i 3-V5 „ ^п V5-1
lim р = ^ , иш т; = 2 »
Т. е. при достаточно больших п начальные точки uu U2 методов Фибоначчи
н золотого сечения практически совпадают.
Упражнения. 1. Найти гарантированную на классе унимодальных
функций точность последовательного (или пассивного) w-точечного метода
Рп, если в качестве погрешности метода рп при минимизации функции / =
= J (и) принята величина А (/, р^) = | /» — / (w^) |.
2. Сравнить оптимальные и е-оптимальпые пассивные методы на
классе унимодальных функций с методом деления отрезка пополам.
3. Указать все точки метода Фп на отрезке [О, 1] при п = 2, 3, 4, 5.
4. Применить метод Ф5 к функциям J (и) =щ J (и) = 1^ —1| на
отрезке [О, 2].
5. Найти наименьшее w, для которого точность метода золотого
сечения хуже точности метода Фибоначчи в 2 раза.
6. Доказать, что число Фибоначчи Fn является ближайшим целым
числом к (A+У5)/2)'^/У5.
7. Доказать, что решение уравнения D.1) представимо в виде An =
= (—l)^i^n-iA2+ (—l)^-^i^n-2Ai (л = 3, 4, ...). Отсюда вывести закон
изменения погрешности величины An, если Ai, A3, заданы неточно.
8._Доказать, что последовательность {F2m/^2m+i} сходится к xi =
= (У5 —1)/2 монотонно возрастая, а {F2m-ilF2m} сходится к Ti.
монотонно убывая.

28 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
9. Используя утверждения упражнений 7, 8, доказать, что метод
золотого сечения является единственным симметричным методом, удовлет-»
воряющим условию D.4) при всех п = 1, 2, ...
10, Пусть дан симметричный метод с начальными отрезками Ai, А2<
пусть iV ^ 2 — заданное натуральное число. Используя утверждения
упражнений 7, 8, указать промежуток изменения отношения Аг/Аь чтобы метод
удовлетворял условию D.4) при всех w = 1, ..., iV.
И. Пусть дан некоторый симметричный метод, удовлетворяющий
условию D.4) при п = 1. Используя утверждения упражнений 7, 8, указать
максимальное число iV, при котором условие D.4) выполняется для всех
п == 2, ..., iV.
§ 6. Метод ломаных
Описанные выше методы часто приходится применять без
априорного знания о том, что минимизируемая функция
является унимодальной. Однако в этом случае погрешности в
определении минимального значения и точек минимума функции
могут быть значительными. Например, применение этих
методов к минимизации непрерывных на отрезке функций приведет,
вообще говоря, лишь в окрестность точки локального минимума,
в которой значение функции может сильно отличаться от
искомого минимального значения на отрезке. Поэтому представляв
ется важной разработка методов поиска глобального минимума,
позволяюш;их строить минимизирующие последовательности и
получить приближенное решение задач минимизации первого и
второго типов (см. § 1) для функций, не обязательно
унимодальных.
Здесь мы рассмотрим один из таких методов для класса
функций, удовлетворяющих условию Липшица.
Определение 1. Говорят, что функция J (и)
удовлетворяет условию Липшица на отрезке [а, Ь], если существует
постоянная L > О такая, что
\J{u) — J{v)\^L\u — v\ Vw, v^[a, b]. A>
Постоянную L называют постоянной Липшица функции J {и)
на [а, 6].
Условие A) имеет простой геометрический смысл: оно
означает, что угловой коэффициент (тангенс угла наклона)
\J{u) — J{u)\ - lu — vl"^ хорды, соединяющей точки (и, J{u)) и
(у, J{v)) графика функции, не превышает постоянной L для
всех точек гг, v^[a, 6]. Из A) следует, что функция J (а)
непрерывна на отрезке [а, 6], так что по теореме 1.1 множества
С/^ точек минимума J (и) на [а, Ь] непусто.
Теорема 1. Пусть функция J (и) непрерывна на отрезке
[а, Ь] и на каждом отрезке [а^-, ^f+i] (i = 1, ..., m), где а^^а^
йт+i == Ъ, удовлетворяет условию A) с постоянной Li, Тогда
J (и) удовлетворяет условию A) на всем отрезке с постоянной
L = max Li,

§ 6] МЕТОД ЛОМАНЫХ 29
Доказательство. Возьмем две произвольные точки
и, v^ [а, 6]. Пусть up-i ^и^ йр, as^v^ us+i при некоторых
р, S. Тогда
I S-1
/ Aг) - / (ар) + 2 (/ {аг) -> / (ai+i)) + / (а,) -
I i—jj
-1
|/(u)-/(z;)l =
J{v)
<^P-i|
2 ^г (fl^Hl — Cii)
г=р
+ L^ja^—z;l^I/|i/—1;[.
Теорема 2. Пусть функция J (и) дифференцируема на
отрезке [а, 6] и ее производная J^ {и) ограничена на этом
отрезке. Тогда J (и) удовлетворяет условию A) с постоянной
Ь= sup \Г{и)\.
Доказательство. По формуле конечных приращений
для любых и, v^[a, b] имеем J{u) — J{u) = J' {а +
+ Q{u — v)) {и — v) @<6<1). Отсюда и из ограниченности
J^ (и) следует утверждение теоремы.
Пусть функция J{u) удовлетворяет условию A) на отрезке
[а, 6]. Зафиксируем какую-либо точку v е [а, Ь] и определим
функцию g{u, v) = J{v)—Liu —и\ переменной и{а^и ^b).
Очевидно, функция g{u, v) кусочно линейна на [а, Ь] и график
ее представляет собой ломаную линию, составленную из
отрезков двух прямых, имеющих угловые коэффициенты L и —L и
пересекающихся в точке {v, J{v)), Кроме того, в силу
условия A)
J(u)-g{u, u)>{L- \J{u)-J{v)\ \u-v\-')\u-^v\ >0, u?=v,
T. e.
g{u, v) = J (u) -- L\u — u\^J{u) y/u^ [a, b], B)
причем g(v, v) = J(v), Это значит, что график функции J (и)
лежит выше ломаной g{u, v) при всех и^[а, 6] и имеет с ней
общую точку {v, J{v)).
Свойство B) ломаной g{u, v) можно использовать для
построения следующего метода [246], который назовем методом
ломаных. Этот метод начинается с выбора произвольной точки
Uo е [а, 6] и составления функции g{u,Uo) = J{Uo) —L\u — Uo\ =
^Ро{и), Следующая точка Ui определяется из условий/?о (^i) =
= min Pq {и) {ui е [а, 6]); очевидно, Ui = а или щ = 6.
Далее берется новая функция Pi{u)= meix{g{u, и^); Ро{и)}, и
очередная точка Uz находится из условий Pi A^2) = min р^ (и)
{u2^[a, b]) и т. д. (рис. 1.2).
Пусть точки Uo, Ui, ..., Un {n>i) уже известны. Тогда
составляется функция
Рп {и) = шах {g {и, un), Pn-i (и)} = max g {и, щ),
Q<i<n

30 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ (ГЛ. 1
И следующая точка Un+i определяется условиями
Pn{Un-hi)= min рп{и), Un+i^la,b]. C)
Если минимум Рп{и) на [а, Ь] достигается в нескольких
точках, то в качестве Un+i можно взять любую из них.
Метод ломаных описан. Очевидно, Рп{и) является кусочно
линейной функцией и график ее представляет собой
непрерывную ломаную линию, состояш;ую из отрезков прямых с
угловыми наклонами L или —L. Из теоремы 1 следует, что Рп{и)
удовлетворяет условию A) с той же постоянной L, что и
функция J (и). Ясно также, что
Рп-1 (и) = max g{и, Ui) < max g{и, щ) = рп{и), и е [а, Ъ]. D)
Кроме ТОГО, согласно B) g(u, щ)<1{и) (и е [а, 6]) для всех
i = О, 1, ..., п, поэтому
Pn{u)^J{u), и^[а, Ь],
^г-0, 1, ... E)
Таким образом, на
каждохМ шаге метода
ломаных задача
минимизации функции J {и)
заменяется более простой
задачей минимизации
кусочно линейной функции
Рп{и), которая
приближает J (и) снизу, причем
согласно D) {рп{и)}
монотонно возрастают. Дока-
Рис. 1.2. лес —график Po{u)^g{u, мо), жем, что при неограни-
ЛА —график g(u, щ), ЛВС1В1 — график ченном увеличении п ме-
^^^^^Ьг^^Д^2^2'~^Р^^?^ ^("'), тод ломаных сходится.
ABD2B2E2B, - график Р2(и) Теорема 3. Пусть
J (и)—произвольная
функция, удовлетворяющая на отрезке [а, Ь] условию A). Тогда
последовательность Ып), полученная с помощью описанного
метода ломаных, такова, что: 1) lim / {un) — Ит рп (t^n+i) = /* ==
= inf J {и), причем справедлива оценка
О < / (wn+i) — J^<,J {un+г) — Рп {un+i), n = О, 1, ...; F)
2) {uj} сходится к множеству U^ точек минимума J {и) на
[а, 6], т. е. lim р {нщ U:^) = 0.
П-*оо
Доказательство. Возьмем произвольную точку и^ е
^tf^.G учетом условий C) и неравенств D), E) имеем

§ 61 МЕТОД ЛОМАНЫХ 31
J3n-i(wn)= min Pn-^i{u)^pn-i{un+iX:Pn{un-\-i) = niin Pn{u)^
uGi[a,b] u^[a,b]
^Pn{Ui^)^J(Щ) = J^y T. e. последовательность {pn{un+i)}
монотонно возрастает и ограничена сверху. Отсюда сразу следует
оценка F) и существование предела lim Pn{un+i) = P^^^^J^» По-
кажем, что р^ = J^.
Последовательность iun) ограничена и по теореме Больца-
но — Вейерштрасса обладает хотя бы одной предельной точкой.
Пусть v^ — какая-либо предельная точка последовательности
{uj. Тогда существует подпоследовательность {ип^^], сходящаяся
к v^, причем можем считать, что Wi < ... < n^-i < %< ...
Заметим, что J{ui) = g{Ui, щ)^pn(Ui)^J{Ui), т. е. J{ui)=^рп{щ)
при всех j = 0, 1, ..., п. Тогда 0^рп{щ)--- min Рп(и) =
ii=[a,b]
= / (щ) — Рп (Un+i) = Рп (Щ) — Рп (Un+l) < Z/ I Z^i — Un+i I при
любом ^г И i = 0, 1, ..., ?г. Принимая здесь п = 72^—1^ i = nk-i<
< Hfc — 1, получаем О < / (^n^.J — Pnj^^i (un^) < L \unj^_^ — Un^ \
(/c^2). Отсюда при k-^oo имеем J^^J {v^) = \\m J Ып^^^ ="
= lim pn^^i(unA = /?* < /*» T. e. lim / (ппЛ == lim pn^^i (un^) ==
Пользуясь тем, что рассуждения проведены для
произвольной предельной точки v^^ последовательности (i^n), убеждаемся
в справедливости первого утверждения теоремы. Второе
утверждение следует из теоремы 1.1.
Таким образом, с помощью метода ломаных можно получить
решение задач минимизации первого и второго типов для
функций, удовлетворяющих условию A). Проста и удобна для
практического использования формула F), дающая оценку
неизвестной погрешности / (un+i) — /* через известные
величины, вычисляемые в процессе реализации метода ломаных. Этот
метод не требует унимодальности минимизируемой функции, и
более того, функция может иметь сколько угодно точек
локального экстремума на рассматриваемом отрезке. На каждом шаге
метода ломаных нужно минимизировать кусочно линейную
функцию /?n(w), что может быть сделано простым перебором
известных вершин ломаной Рп{и)^ причем здесь перебор существенна
упрощается благодаря тому, что ломаная рп{и) отличается от
ломаной Pn-i{u) не более чем двумя новыми вершинами. К
достоинству метода относится и то, что он сходится при любом
выборе начальной точки щ, В работе [128] показывается, что метод
ломаных близок к оптимальным методам на классе функций^
удовлетворяющих условию A). Оптимальные методы поиска
минимума строго унимодальных функций, удовлетворяющих
условию A), рассмотрены в [328].
К недостаткам метода ломаных следует отнести то, что с
увеличением числа шагов п растет требуемый объем памяти

32 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
ЭВМ для хранения координат вершин ломаной рп{и), В ^ 7
будет рассмотрен другой метод, по своей идее близкий к методу
ломаных, но предъявляющий менее жесткие требования к
объему памяти и более удобный для реализации на ЭВМ.
Следует также отметить, что метод ломаных невозможно
реализовать без знания постоянной L из условия A). На
практике оценку для L получают, вычисляя угловые коэффициенты
некоторого числа хорд, соединяющих точки графика
минимизируемой функции. Здесь полезно иметь в виду, что если
и< V <w, то
\J{w)^J{u)\/{w^u)<
< тЫЩю)^ J{v) \/{w - V); \J{v)-J{u) \/{v - и)}, G)
т. е. при добавлении новой точки на отрезке \и, w] появляется
новая хорда с неменьшим угловым коэффициентом.
Для доказательства G) нужно рассмотреть два случая,
когда неравенство
J{v)>{J{w)^ J (и)) {V — и)/ {W — и)+ J{u) (8)
выполняется и когда оно не выполняется. Если J{w)> J{u) и
(8) выполняется, то {J{v)—J{u))/{u — u)>{J{w)—J{u))/
/{w — u)>0; если J{w)> J{u) и (8) не выполняется, то
{J{w)^J{u))/{w — v)>{J{w)--J{u))/{w — u)>0,
Аналогично доказывается G) в случае J{w)<J{u),
Пусть а == Uo < Ui < .,. < Um = Ь; обозначихм Ь^ =
= mSiX \ J{ui) —J{Vi^i)\-\ui —Vi^i\~^. Ясяо, что Lm<L. Пусть
при каждом m ^ 1 величина Lm+i вычисляется по точкам а =
= Wo< Wi< ., .< Wm+i = b, полученным добавлением к точкам
Vo, Vi, ..., Um одной новой точки. Тогда согласно G) имеем
Lm^Lm+i'^L (m^l). Это значит, что с возрастанием т
величины Ьщ все лучше и лучше приближают L снизу. Если
max \vi — yi-il~>0 при m->oo, то lim Lm = L. Приведенные
соображения могут помочь в получении оценки для L. При
определении L могут быть полезны теоремы 1, 2.
Следует заметить, что использование завышенно!! оценки
для L ухудшает скорость сходимости метода ломаных, приводит
к излишне большому количеству вычислений значений
минимизируемой функции. Если же пользоваться заниженной оценкой
для L, то метод может привести к неправильному определению
приближения минимального значения.
Упражнения. 1. Привести пример функции, удовлетворяющей ус-»
ловию A), но не являющейся унимодальной,
2. Можно ли утверждать, что всякая унимодальная на отрезке [а, &1
функция удовлетворяет условию A) на [а, 6]? Рассмотреть пример
функции J {и) = У и на [О, 1].

§ 7] МЕТОДЫ ПОКРЫТИЙ 33
3. Рассмотреть первые шесть шагов метода ломаных для функции
J {и) = 11^2—1|—1| на отрезке [—2, 2] при различном выборе
начальной точки щ.
4. Выяснить, как ведет себя метод ломаных при минимизации
функции J (и) ^ 1 на отрезке [О, 1].
5. Пусть J (и) = anu^ + ... + aiu + ао — многочлен п-тк степени на
отрезке [а, 6], где О < а < &. Обозначим
А+ = {t: О < i ^ п, ai > 0}, Л" = {i: О ^ i ^ /г, а» < 0},
Доказать, что J (и) = J^{u) ~ J-(u), а в качестве постоянной L из
условия A) для функции J {и) на [а, 6] можно взять величину шах {/^ F) —
-/1И; \У^{а)-У^{Ъ)\] [106].
§ 7. Методы покрытий
1. Обозначим через Q{L) класс функций, удовлетворяющих
условию Липшица F.1) на отрезке [а, Ь] с одной и той же для
всех функций этого класса постоянной L > 0. Для функций
J = J(u)^Q(L) будем рассматривать задачу минимизации
первого типа, когда ищется величина /ц« = inf J (и). Для решения
и=:[а,Ъ]
этой задачи будем пользоваться методами /?п, которые
заключаются в выборе точек Ui, ..., Un {а ^ Ui < ,,, < Un ^ b),
вычислении значений функции J{ui), ..., J{un) и определении
величины J {Uk) = min J (щ)^ принимаемой за приближение к /*.
Возникает вопрос: как выбрать метод рп ={ui, ..., uj, чтобы
min / (щ) < /^ + е yj{u)^Q (L), A)
где 8 > О — заданная точность? Ниже будет изложено
несколько методов решения поставленной задачи A). В каждом из этих
методов определенным образом строится некоторая система
отрезков, покрывающих исходный отрезок [а, 6], и вычисляются
значения функции в подходянщм образом выбранных точках
этих отрезков. Поэтому излагаемые ниже методы принято
называть методами покрытий,
2. Простейшим методом Рп для решения задачи A) можег
служить метод равномерного перебора, когда точки Ui, ..., и»
выбираются по правилу
Ui — a-^- fe/2, U2=-Ui + h, ..., Ui+i = Ui + h = Ui + ih^ ...,
Un-i== Ui + {n — 2)h, Un = min{Ui + {n — i)h; b), ^'''
где h = 2e/L — шаг метода, a число n определяется условпехМ
Un-i< b — h/2^ Ui+{n-- l)h.
Теорема 1. Метод равномерного перебора B) решает за-
дачу A) на классе Q{L), Если fe > 2e/L, то существует
функция J(u)^Q{L), для которой метод B) не решает задачу A).

34 1МЕТ0ДЫ ЗМИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Доказательство. Пусть J = J{u)—произвольная
функция из Q{L), С учетом неравенства F.2) для любого и^
^ [гг,- — fe/2, Ui + h/2] имеем J{u)^J(щ) — L\u — Ui\^J(щ) —
— 1//г/2^ min J(ui) — г при всех J = 1, ..., п. Поскольку си-
стСхМа отрезков [щ — к/2, Ui + h/2] (J==l, ..., п) покрывает весь
отрезок [а, Ь], т. е. всякая точка и из [а, Ь] принадлежит
одному из отрезков этой системы, то из предыдущего
неравенства следует, что J (и) ^ min J{Ui) — е для всех и^[а, Ь], По-
этому/^^ min 1{щ) — г для любой функции J == J (и)^ Q{L)^
ЧТО равносильно неравенству A). Если к>2г/Ь, то,
например, для функции J{ii)==Lu метод B) дает min (Ьщ) — La =
^Lh/2>e.
3. Метод равномерного перебора B) относится к пассивным
методам, когда точки Wi, ..., Un задаются все одновременно до
начала вычислений значений функции. На классе Q{L) можно
предложить такой же npocToii, но более эффективный
последовательный метод перебора, когда выбор точки щ при каждом
г > 2 производится с учетом вычислений значения функции в
предыдущих точках Ui, .. ., Ui-i, и задачу A) удается решить,
вообще говоря, за меньшее количество вычислений значени!!
функции, чем методом B). А именно, следуя работе [139],
положим
Ui = а + /г/2, щ+i == щ + h -т{1(щ)— Fi)/L, j = 1, ..., п—2,
Un = min{wn_i + h + {J(Un~i)— Fn~i)/L; fe),
где h = 2elL^ Fi =: min J{uj), a число n определяется условием
Un~i < b — h/2 < Un~i + h + {J{Un~i) — Fn-i)/L.
Теорема 2. Метод последовательного перебора C)
решает задачу {i) на классе Q{L),
Доказательство. Пусть J^J{u)—произвольная
функция из Q{L), С учетом неравенства F.2) для всех 11^[щ, щ~\-
+ h/2 + (J(u,)—F,)/L] имеем 1{и)>7{щ)— L{h/2 + {J{ii,)~
— Fi)/L) = Fi — Lh/2 ^ Fn — e. Аналогично для всех и ^[ui —
— /г/2, щ] получим J{u)> J{ui)—Lk/2>Fn — е. Поскольку
система отрезков [гг, —/г/2, щ4-h/2-\-{7{щ)~ Fi)/L] (^=1, ..., п)
покрывает весь отрезок [а, 6], то из предыдущих неравенств
следует, что J{ii)> Fn~ е при всех и^[а, Ь]. Тогда J^^
^/^п —енри всех J = J{u)^Q{L), что равносильно
неравенству A).
В худшем случае, когда, например, функция J (и) постоянна
или монотонно убывает на [а, Ь] и, следовательно, Fi =
= min J{uj) = J{ui), метод C) превращается в метод B), и

§ 7] МЕТОДЫ ПОКРЫТИЙ 35
ДЛЯ решения задачи A) тогда потребуется N^ ^ {Ъ — a)L/{2г)
вычислений значений функции. В самом лучшем случае, когда
J{u) = А + L{u — В), где А, J9 — постоянные и, следовательно,
Fi = J{ui), Ui = Ui+{2'~^ — i)h {i=i, ..., n—2), для решения
задачи A) понадобится всего N2^1 + log2F — а)Ь/{2г)
вычислений значений функции. И вообще, если J{iii)>Fi при
каком-либо г, то щ+1 — щ > fe, и поэтому число п вычислений
значений функции, необходимое для решения задачи A),
будет, вообще говоря, меньше Ni и больше N2.
Заметим также, что метод C) идейно примыкает к методу
ломаных из § 6, но метод C) выгодно отличается простотой
реализации и не требует большой машинной памяти.
Недостатком метода C), как и метода ломаных, является необходимость
априорного знания постоянной L из условия F.1).
4. Следуя [141, 231], изложим еще один метод покрытий для
решения задачи A). Сначала определим минимальное целое
число п из условия
{Ь-а)/2^+'<г/Ц п>0, D)
и на отрезке [а, Ь] введем точки Ci}, = a + i{b — а)/2^ (^ =
= 0, 1, ..., 2^), где О^к^п. Систему отрезков {[Сгт,, Ci+i/t], i =
= О, 1, ..., 2^—1} будем называть разбиением отрезка \а, Ь]
к-го уровня. Таким образом, исходный отрезок будет иметь
нулевой уровень. Отрезками первого уровня являются две
половины исходного отрезка. И вообще, отрезки к + 1-го уровня
получаются из отрезков к-го уровня делением пополам.
На первом шаге метода берем исходный отрезок [^i, bi] =
= [а, Ь], полагаем hi ==F1 — 6^i)/2, Ui =(ai + bi)/2, вычисляем
J{ui) = Fi, Если д = О, то процесс закончен и, как увидим
ниже, число Fi — искомое приближение для /^ц. Допустим, что
п> О, Тогда на втором шаге метода рассматриваем отрезок
|б?2, ^2], представляющий собой одну из половин отрезка [ai, bi].
Полагаем Лз = F2 — <22) /2, ггз = («2 + бг) /2, вычисляем / (^^2),
F2 = min{Fi; J{u2)}. Если /г = 1, то отрезок [«2, ^2] исключаем
из дальнейшего рассмотрения и на третьем шаге переходим к
отрезку \аз, Ь^] = [ai, bi]\[a2, Ь2]. Если же /г > 1, то еще
проверяем неравенство ^2^/A^2)—Lfc2 + e. В случае выполнения
этого неравенства отрезок [«2, Ьг! исключаем из дальнейшего
рассмотрения и на третьем шаге переходим к отрезку fag, b^] —
= [ai, bi]\[a2, 62]; если же это неравенство не выполняется, то
в качестве [аз, Ьз] берем одну из половин отрезка [«2, ^2] и т. д.
Пусть уже сделано к—1 шагов (/с>2), определена
величина Fk^i = min / (Ui) и выделен отрезок [а^, Ь^] некоторого
7-Г0 уровня (/ ^ п) для рассмотрения па следующем /с-м шаге.
Положим K = {bk — <^а)/2, Uk = {ctk + ^/i)/2, вычислим /(w^),

36 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
F^= min{F;j_i; J {щ)) = min J {щ). Если / = п^ то отрезок [%, Ъ^
исключаем из дальнейшего рассмотрения и на А: + 1-м шаге
переходим к одному из отрезков [a^+i, b^+i] какого-либо уровня,
еще не исключенного из рассмотрения (например, за [а^+и K+i]
можно принять один из оставшихся отрезков с возможно
меньшим уровнем; возможны и другие варианты перебора
оставшихся отрезков [141, 231]). Если же ]<п, то проверяем еще одно
неравенство
F,<J{u,)-LK + e, E)
Если оно выполняется, то отрезок [а^, bj исключаем из
дальнейшего рассмотрения, а в качестве следующего отрезка
[ah+u bk+i] берем один из оставшихся отрезков какого-либо
уровня (например, самого меньшего уровня). Если E) не
выполняется, то за \ak+i, bfe+i] берем одну из половин отрезка [а^, 6J и
т. д. Процесс исключения продолжается до тех пор, пока не
будет исчерпан весь отрезок [а, Ь].
Теорема 3. Для каждой функции J{u)^Q(L) описанный
процесс закончится за iV<2" — 1 шагов, где п взято из D),
исчерпанием всего отрезка [а, Ъ\ причем Fjv = min /{щ)^
Доказательство. Из описания метода видно, 4'i;o
отрезки [%, fcj п-то уровня дальше не дробятся и исключаются
из рассмотрения без проверки условия E). Исключение отрезка
[flft, Ьй] г-го уровня при i < п производится лишь при
выполнении условия E), в противном случае отрезок [а^, 6^^] дробится
пополам. Таким образом, в самом худшем случае, когда
условие E) не выполнится ни для одного отрезка г-го уровня
{i<n), процесс превратится в последовательное исключение
всех отрезков п-то уровня и завершится на шаге iV = 2^* — 1.
Если же хотя бы на одном шаге благодаря условию E) будет
исключен отрезок /-го уровня {j<n), то процесс закончится за
iV<2"~-l шагов. Покажем, что F^^J^ + г. Поскольку
отрезки п-то уровня [ci„, Сг+1,п] (^ = 0, 1, . .., 2" —1) покрывают
весь отрезок [а, Ь], то найдется такой номер ттг (О < w ^ 2" — 1)^
что [Стп, Ст-\-1,п] f\ U ^ф 0.
Пусть отрезок \стп, Ст+1,7г] оказался исключенным на к-ж
шаге как часть отрезка {а^, bj /-го уровня (/ < п). Имеются две
возможности: J <С п или j = п. Если / < /г, то исключение
произведено йз-за выполнения условия E). Отсюда и из условия
Липшица следует, что J{u)> J(и^) — Lhf, > Ff^ — г > F^^ — г
для всех и е [Uf,, bj. Тогда, учитывая, что [Стп, Cm+i,n] П ^7* сг
czlak^bh] (] и^у^ 0, имеем /:,.-- inf / (гг) ^ f jv •—е, т. е.
/^iv</*+ ^- Если / = /г, то отрезок [а^, h] = [c,nn, Cm+i,n] на
ft-M шаге исключен из рассмотрения как отрезок п-то уровня.

§ 7] МЕТОДЫ ПОКРЫТИЙ 37
В этом случае в силу D) имеем bf, — ah= c,r,+i,n — Стп =
= (fc — a)I2^ ^2г/Ь, и из условия Липшица получим J{u)>
> J{Uh)— L{b — а)/2'''^^ > J{Uk)— г> F^— г для всех а е
^ [<^л, К]' Отсюда снова имеем /^ = inf / (и) ^ F^^ — е.
Как видим, описанный метод на классе Q{L) в худшем
случае превращается в метод простого перебора отрезков [сш, Ci+i^n]
(i = О, 1, ..., 2^ — 1) с шагом h=={b — а)/2^ = 2г/Ь с
вычислением значений функции в средних точках этих отрезков. В то
же время ясно, что для многих функций J{u)^Q{L) этот
метод гораздо эффективнее метода простого перебора.
5. Метод последовательного перебора, аналогичный методу C), можно
предложить и для некоторых других классов функций. Остановимся на
классе функций, дважды дифференцируемых на отрезке [а, Ь], у которых
sup J" (и)^М, где ЛГ—некоторая фиксированная постоянная. Обозна-
и^[а,Ь]
чим этот класс функций через R(M). Заметим, что если ЛГ ^ О, то /''(w) ^ О
и, следовательно, Г (и) монотонно убывает на [а, Ь]. Это значит, что тогда
функция достигает своей нижней грани при и ^= а или и = Ь. Таким
образом, задача минимизации функций из класса R (М) в случае Ж ^ О
решается просто. Поэтому имеет смысл рассматривать класс R (М) при М > 0.
Тогда для решения задачи минимизации первого типа на классе функций
R(M) можно предложить следу10Щ,ий метод последовательного
перебора [106]:
щ = а, Ui+i = Ui + У2е1М + hi, i == 1, ..., /г — 2, Мп = Ь, F)
где hi = У2(^Е + J(щ) —Fi)IM, Рл= min J (иЛ, а число п определяется
i^j^i ^ •'^
условием Un-i < Ь ^ Un~i +У2г1М + hn-u
Теорема 4. Применяя метод F), задачу минимизации первого типа
для любой функции J(u) ^R{M) можно решить с заданной точностью е >>
> О, т. е.
0< min /(ггЛ —/^<е. G)
Доказательство. Пусть w* — какая-либо точка минимума J (и) на
[а, Ъ]. Если и^ = а или и^=Ь, то /^ = min|/(гг^); /(гг^)}, и
неравенство G) очевидно справедливо. Поэтому пусть а<с и^<:Ь. Тогда J' (и^) =0 п
используя разложение по Тейлору в точке и^, для J (и) ^R(M) получаем
J (и) = /* + J' (I) (и - u^f/2 < /* + М Aг - u^f/2, (8)
где 1 = u^-{-Q(u— и^) @<:Q<:i), Система отрезков [щ — 1/2е/Л/, щ + hi]
(i = 1, ..., п) покрывает отрезок [а, Ь], поэтому и попадает в один из
отрезков этой системы при некотором L Если w^ — '\^2е/М ^u^^Uj^, то из
(8) при и = U;^ имеем / (i^.) — /^ < (MI2) Bг!М) = е. Если z^| < t^* < г^1 +
+ /j^, то аналогично / (гг^) — /^ < M/i|/2 = е + / (г/|) -- F^, или F^ — /# <
<е. Объединяя оба случая, получаем требуемое неравенство G).
В худшем случае (например, если J(u) = М(и — ЬУ12) может
оказаться, что Fi = J{ui) (i^l), и тогда метод F) превратится в метод
равномерного перебора с шагОхМ h = 2У2е/Л/. Если же Fi < J(ui) при
некоторых i (например, для J(u) = М(и — а)^12), то методом F) удается
получить неравенство G), вообще говоря, при меньшем п, чем методом
равномерного перебора. Метод F) можно несколько улучшить, приняв Ft =

38
МЕТОДЫ МИНИМИЗАЦИИ ФУТПлЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
~minf/F); min /(^,I. Недостатком метода F) является требование
гзпапЕя постоянной М^ sup J''{и).
ne[a,b]
Упражнения. \. Пусть одним из вышеописанных методов
покрытий найден min J (иЛ = *^ l^^k)' Моя^но ли принять Uk за приближение к
1^шожсству С/*? Оценить погрешность p(w^tC^*) для метода B) на классе
Q(L); рассмотреть функцию J (и) = L(u — а) —6/2 при а ^и ^а -\- e/L,
j(^u) = е{Ь — u)lB(b ~~ а —гЩ) при a-^-e/L^u^b, где е > О — малое
число. Оценить р (t^^^, ?/*) для методов C), F) на классах Q(L) и R(M)
соответственно.
2. Найти оптимальный пассивный и оптимальны!! последовательный
методы па классе функций Q(L) [109, 282].
§ 8. Выпуклые функции одной переменной
Рассмотрим класс функщш, для которых существует более
эффективны!! вариант метода ломаных, когда ломаные
составляются из отрезков касательных и лучше аппроксимируют
минимизируемую функцпю. Речь пдет о выпуклых функциях,
играющих важную роль в теории экстремальных задач.
Определен не 1. Функция J (и), определенная на
отрезке [а, Ь], называется выпуклой на этом отрезке, если
J{aii + {l~-a)v)<aJ{ii) + {i-a)J{v) A)
при всех и, V е [а, Ь], а ^ [О, 1].
Когда а пробегает отрезок [О, 1], точки {аи + {1 — a)i;,
aJ{ii) + {i — a)J{v)) на плоскости переменных {и, J)
пробегают хорду ЛВ,
соединяющую точки Л =(гг,/(и) )и
B = {v\ J{v)) на графике
функции J^=J{u).
Поэтому неравенство A) имеет
простой геометрический
смысл: график выпуклой
фунтщии на любом
отрезке \ii, v\ s [а, Ь\
находится не выше хорды,
соединяющей точки графика
{щ J (и)) и {и, J (и))
(рис. 1.3). Примерами
функций, выпуклых на
служить функции J{u)=u^, J{u)=\u\,
Рис, 1,3
могут
любом отрезке,
J(u)= и.
Наряду с выпуклыми функциями в
вают вогнутые функции.
Определение 2. Функция J {и) называется вогнутой
отрезке [е, Ь], если
J(au+{i - a)v)>aJ{n)-\-{i ~ a)J{v)
при всех W, V е [а, Ь], а ^ [О, 1].
литературе рассматрп-
на

§ 8J ВЫПУКЛЫЕ ФУНКЦИИ ОДНОЙ ПЕРЕМЕННОЙ 39
Между выпуклыми и вогнутыми функциями суидествует
тесная связь: если J (и) вогнута на [а, 6], то —J (и) выпукла на
этом же отрезке. Учитывая эту связь, достаточно ограничиться
изучением свойств выпуклых функций.
Теорема 1. Для выпуклости функции J {и) на отрезке
|[а, Ь] необходимо и достаточно, чтобы
{J{u)— J{v))/{u — u)^{J{w)— J{v))/{w — v)^
<{J{w)-J{u))l{w-u) B)
при всех и, V, w {a^u<u<w^b).
Доказательство. Необходимость. Пусть функция
J (и) выпукла на [а, Ь]. Нетрудно проверить, что гг =
= av +{1 ~ a)w, где a={w — и)/{w — и) @<а<1).
Отсюда с учетом выпуклости функции J {и) имеем /(ii)<
<{w ~ u)J{u)/{w — v) + {l —{w — u)/{w — u))J{w), или
(w — u)J{u)^{w — u)J{v) + (u — v)J{w),
Последнее неравенство молено переписать в двоякой форме:
{w — v) {J{u)—J{v))^{u — v) {J{w)~J{v)),
пли
{w - и) {J{w)-J{v))^{w - v) {J{w)~J{a)),
откуда будет следовать B).
Достаточность. Пусть J {и) удовлетворяет одному из
неравенств B). Отправляясь от этого неравенства п проделав
предыдущие преобразования в обратном порядке, убеждаемся
в том, что J (и) выпукла на [а, Ь].
Нетрудно понять геометрический смысл неравенств B) (см.
рис. 1.3), если вспомнить, что {J{u)—^{^))/{ii—^)
представляет собой угловой коэффициент хорды АВ, соединяющей
точки А={и, ]{и)) и B={v, J{v)) на графике функции J = J{u).
Теорема 2. Выпуклая на отрезке [а, Ь] функция J (и) в
каоюдой внутренней точке и отрезка [а, 6] непрерывна и имеет
конечную правую производную Jim {J {u-\-h)--J {u));h=^ J' [и-\-0),
конечную левую производную lim {J {и) — J{u—т))/т==/'(и—0),
Т-^ + О
причем У (и — 0) < /' {и + 0) при всех и ^ (а, Ь).
Доказательство. Из теоремы 1 следует, что
(J{u)~J{u — %))/x<{J{u)—J{u — h))/h ^
^{J{и + h)- J{u))/h<{J{и + т)~ J{п))/х C)
при всех т, h, лишь бы 0<h<x и точки и, гг ± Л, и ± т е^
^(а, Ь) (рис. 1.4). Неравенства C) означают, что величина
{J{u + h)—J{u))/h монотонно убывает при убывании h и
ограничена снизу, например, величиной {J{u)—J (и — %))/%, не
зависящей от h. Отсюда следует существование правой произ-

40
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. I
водной /'(и + О). Аналогично доказывается существование
левой производной /'(и —0). Из C) при h-^+0 получаем
неравенство /' {и — 0)< /' (ii + 0). Из существования левой и
правой производных следует непрерывность /(ii) при всехи^{а,Ь).
Заметим, что на концах отрезка [а, Ь] выпуклая функция
может не иметь соответствующей односторонней производной и,
более того, здесь она
может терпеть разрыв.
Пример 1. Пусть
J{u)=u при 0<и<1,
/@) = /A) = 2.
Очевидно, эта функция
выпукла на [О, 1], но
на концах отрезка
терпит разрывы.
Пример 2. Функ-
ция 1{и)==—У1 — и^
выпукла и непрерывна
на отрезке [—1, 1], но
на концах отрезка не
имеет конечных производных /'A — 0), /'(— 1 + 0).
Теорема 3. Пусть функция J {и) выпукла на отрезке [а^Ь]
и имеет конечные производные /'(а + 0), J'{Ь — 0). Тогда
Г (а + 0) {и ~ v)^ J (и)— J {v)< J' {Ь ^ 0) {и — v) D)
при всех и, V (a^v^u^b), так что J (и) на [а, Ь]
удовлетворяет условию Липшица F.1) с постоянной Ь =
= max{l/'(a-f 0I; \Г{Ь-0)\}.
Доказательство. Из теоремы 1 имеем
{J{a + h) — J{a))/h<{J{v)~J{a))/{v--a)<
<{J{u)-J{v))/{u — v)^{J{b)~J{u))/{b~u)<
<{J{b)~J{b — h))/h
Рис. 1.4
для всех
получаем
/г>0, а + h < и < и < b — h. Отсюда при h -> +0
Г (а + 0)<{J{u)~ J{v))/{u - v)< Г{b -- 0),
что равносильно D) при любых ц, v {a<v<u<.b).
Неравенства D) остаются верными также и при и = а или и^-Ъ^ так
как при выполнении условий теоремы функция J {и)
непрерывна во всех точках отрезка [а, Ь] и в D) можно совершить
предельный переход при i; -^ а + О или и -^ Ъ — 0.
Пример 2 показывает, что конечность величин /'(а + 0),
/'(Ь —0) существенна для выполнения условия Липшица F.1).
Теорема 4. Пусть функция J {и) выпукла на отрезке [а, 6],
а l{v)—любая функция, удовлетворяющая неравенствам
J'{v — Ol<l{v)<r{v + 0) при а<и<Ь, Тогда l{v) не убы-

§ 8] ВЫПУКЛЫЕ ФУНКЦИП ОДНОЙ ПЕРЕМЕННОЙ 41
вает при v^{a, b) и справедливо неравенство
]{u)>J{v)+l{v){u-v), и^{а, Ъ]. E)
Если, кроме того, J (и) дифференцируема во всех точках отрезка
[а, Ъ\ то
J{u)>J{v) + J'{v){u-v), ue[a, bl F)
при любом v^\a, Ъ\ Если неравенство E) {или F))
обращается в равенство при некотором и = с^{а, Ъ\ {cФv), то J{u)^
^ J{u)+ l{v) {и — v) при всех и из отрезка [с, v].
Д оказательство. Перепишем неравенство A) в виде
J {и + а(и — и))— J (v)^ a{J (и)— J {и)) @<а< 1). Разделив
обе части этого неравенства на а и перейдя к пределу при
а^ +0, получим 1{и)— J{u)> J'{и + 0) {и — v)> l{v) (и — v)
П1ряи>и и J{u)—J{v)> J'{v— 0){и —u)>l{v){u—V) при
и < и. Неравенство E) доказано. Заметим, что при а< и< Ь
переменные и, v в E) входят равноправно, поэтому, меняя их
ролями, получаем J{u)> J {и)+1{и) (v — и) при всех и^[а, Ь],
Сложим последнее неравенство с E) почленно. Будем иметь
A(и)— 1{и)) (и — и)> О при всех и, и^{а, Ь), что равносильно
монотонному возрастанию l{v).
Пусть теперь J (и) дифференцируема во всех точках и^
^[а, Ь]. Тогда J'{и +0)= J'{и — 0)= J'(и) при всех и^[а, Ь].
Полагая в E) Z(i?)=/'(г;), убеждаемся в справедливости
неравенства F) при всех и^(а, Ь). Из существования конечных
функций J'(a + 0), J'{Ь — 0) и из D) следует, что F) верно
и при и = а, V = Ь.
Наконец, пусть J{c) = J(и)+l{v) {с — v) при некотором
с е [а, Ь] (с ?= и). Возьмем произвольную точку и = ас -h
+ A — a)v из отрезка [с, и]. Из выпуклости J (и) тогда следует,
что J{u)<aJ(c) + {i - a)J(u)^ a{J{v)+ 1{и) {с - и)) + {1 —
— a)J{u)= J(v)+ l{v) {и — v) (ц е [с, г;|). Сравнивая это
неравенство с E), заключаем, что J(u)= J{v)+1{и) {и — v) при
всех и ^ [с, и].
График линейной функции J{v)+ J'(и) {и— и) переменной
и^[а, Ь] представляет собой касательную к графику J==J{u)
в точке V. Поэтому неравенство F) означает, что график любой
выпуклой дифференцируемой функции лежит не ниже любой
касательной к нему. Обобщая понятие касательной на случай
выпуклых недифференцируемых функций, прямую g{u, v) =
= J{v) + l(u) (и — и), где J (v~0)< l{v)^J'{v + 0), также будем
называть касательной к графику J = J{u) в точке v.
Следствие 1. Пусть функция J (и) выпукла на [а, Ь], Тог-
да производные /'(а + О), J^{u — 0) монотонно возрастают при
и^{а, Ь) (если существуют конечные функции J'(a + 0), J^ (b ^
— 0), то утверждение справедливо на всем отрезке [а, Ь]).

42 МЕТОДЫ МПНПМПЗАЦИП ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Доказательство этого утверждения непосредственно следует
из теоремы 4, если в ней принять l{v) = J'{v + 0) или l{v) =
Теорема 5. Пусть функция J (и) выпукла на отрезке [а,Ь]
и 1ш1 J {и) = J{a)^ lim J (и) = J {Ъ). Тогда множество U^
точек ее глобального минимума на [а, Ъ\ непусто и все точки
локального минимума J{u) принадлежат U^, Для того чтобы
и^ е и^, необходимо и достаточно^ чтобы
/'К + 0)>0, /'(и^_0)<0 G)
{если и^ = а или и^ = Ь, то {!) заменяется одним неравенством
/' (й^ + 0) ^ О или /' (Ь — 0) ^ О соответственно).
Доказательство. Из условий на функцию 1 {и) и
теоремы 2 следует непрерывность J{u) на [а, Ъ\. Согласно теореме 1.1
тогда множество U^ непусто. Пусть и^ — какая-либо точка
локального минимума J {и). Тогда J {и^ -f/i) — J {и^)'^0 при всех
достаточно малых |/г1, для которых и^ + Де [а,Ъ]. Разделив это
неравенство па h> О и h<0 и устремив h к нулю, получим
условие G). Заметим, что существование и конечность J' (u^ztO)
прп а<:^и^<СЪ следует из теорвхмы 2. Если и^ =^ а, то
существование и конечность /'(й^ + 0) следует из того, что {]{аЛ-к)~
— J{a))/h монотонно убывает при h-^+0 и ограничена снизу
нулем. Аналогично доказывается существование и конечность
/'(Ь —0) прп и^, ™ Ь. Таким образом, показано, что всякая точка
локального мпнимума необходимо удовлетворяет условиям G).
Пусть теперь некоторая точка и^ е(а, Ь) удовлетворяет
условию G). Положим в неравенстве E) v = u^,l{v) — О и
получим, что J{u)'^J{и,^) при всех и^[а^ Ь]. Это значит, что
u,j^^U^. Аналогично с использованием неравенств D)
рассматриваются случаи и^^=а илк и,^==Ь и показывается, что и^^и^^:.
Отсюда следует, что всякая точка локального минимума
выпуклой и непрерывной па [а, Ь] функции является точкой ее
глобального минимума на [а, Ь].
Теорема 6. Пусть функция J (и) выпукла на отрезке [а,Ь]
и lim / (и) = J (а), Иш / (и) = J (b); пусть U.j^ — множе-
ство точек минимума J (и) на [а, Ь] и v — некоторая точка
(a<v<b). Тогда для того чтобы U^ П [^^ v]~ 0 {U^ fl [^, Щ =
== 0), необходимо и достаточно выполнения неравенства J'{v +
-Ь0)<0 (ГA;-0)>0). Для того 4To6biU.^[\[a,v]^0 {U^{\
П [v-, Ц Ф 0), необходимо и достаточно^ чтобы /' (i; + 0) > О
(/'(i;-0)<0).
Доказательство. Достаточность. Пусть /'(у + 0)<
< 0. Тогда согласно следствию 1 J'{u + 0)<.Q при всех u^{a,v\
Из теоремы 5 тогда имеем U^ П [^^ i'] = 0. Если /'(г; —0)>0,
^о аналогично получаем /'(ii —0)>0 при всех u^[v. Ъ\ так что

§ 8] ВЫПУКЛЫЕ ФУНКЦИИ ОДНОЙ ПЕРЕМЕННОЙ 43
Необходимость. Пусть U^^Clla, и] -^ 0. Допустим, что
/' (i; + 0) ^ 0. Тогда возмолаю, что Г{и-0)<0 или /' (г; - 0)> 0.
Если /'(у —0)^0, то из G) следует, что v^U^. Если же
J'{v — 0)>0, то по доказанному выше U:^(][v, Ь] = 0 и,
следовательно, и^ П [^, ^]Ф 0- В обоих случаях приходим к
противоречию с тем, что U^f][a, v]-^ 0, Это значит, что при U^{]
{\[a,v] = 0 необходимо, чтобы /'(i;+0)<0. Аналогично
доказывается, что если U.j^{][v, Ъ\ =- 0, то необходимо, чтобы J'{u —
-0)>0.
В справедливости последнего утверждения теоремы 6 легко
убедиться рассул\деппем от противного со ссылкой па уже
доказанное первое утверждение.
Теорема 7. Если функция J (и) выпукла на отрезке [а, Ь]
и lim J (и) — J (а), lira J (и) = J (b), то она унимодальна
на [а, b].
Доказательство. Обозначим и.^ == miU^, v^ — supU:^.
Из непрерывности J (и) на [а, b] и определения верхней и
нижней грани множества U^^ следует, что и^, y^j. е f/^. Если и^ =
= v^^, то U.j^ состоит из одной точки и^. Если U^<Z^:i,, "ГО ^ У^®""
том выпуклости / (и) имеем J^ = inf / {u)^J (аи^ + A — а) v^)^
itG[Gr,b]
^aJ(u^) + A — a) J(v^)) = /5J.. Это значит, что J{аи^^ +
+ A — a)v^) = /^ при всех ae [О, 1], т. е. U^= [u^, v^].
Далее, так как U^ (] [а, v] =- 0 для любого v (a<i;<a^), то
по теореме 6 имеем /'(г;+0)<0 upiia^v<Zu^. А тогда J'{v +
+ 0)^{J{v+ h) — J{u))/h<.0 при всех достаточно малых fe, т. е.
J (и) строго монотонно убывает при а^и^и.^. Аналогично
показывается, что при v^^u^b функция J (и) строго монотонно
возрастает.
Как показывает пример 1, при нарушении условий теоремы 7
множество и^ может быть пустым. Приведем епце несколько
примеров.
Пример 3. Функция J{u) = u^ выпукла на отрезке [—1, 1]
и множество U^ состоит из единственной точки и^ = 0.
Пример 4. Функция J{u)== \и\ + \и— i\ выпукла на
отрезке [—1, 2] и множество U^ представляет собой отрезок U^ ==
= [О, 1].
Пример 5. Пусть J{u) = 0 при 0<и<1, /@)=1.
Функция J (и) выпукла па [О, 1], по множество U:^^{u: 0<Cu^i}
пе является отрезком. Здесь lim J {и)Ф/ @) — нарушено одна
из условий теоремы 7. и-^+о
Критерий выпуклости функций, приведенный в теореме 1, не
очень удобен для практической проверки. Приведем другие, часто
более удобные критерии выпуклости функций.
Теорема 8. Для того чтобы дифференцируемая функция
J (и) на отрезке [а, Ь] была выпуклой, необходимо и достаточно^
чтобы ее производная J' {и) не убывала на [а^ Ъ].

44 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Доказательство. Необходимость доказана в теореме 4,
так как в рассматриваемом случае l{v)=^r{v) {v^[a, b]).
Достаточность. Пусть /'(^г) не убывает на [а, Ь]. Пусть
a^u<u<w^b. Применяя формулу Лагранжа, имеем
{J{u)-J{u))/{u-v)^r{l,), и<1,<щ
(J {w)~ J {и))/ {W - и)== Г A^), u<l,<w.
По условию /'(^i) ^/'(gf2), поэтому из предыдущих равенств
следует одно из неравенств B), что согласно теореме 1
равносильно выпуклости J (и) па [а, Ь],
Теорема 9. Для того чтобы дважды дифференцируемая
функция J (и) на отрезке [а, Ь] была выпуклой, необходимо и
достаточно, чтобы J" (а)>0 на [а, Ь].
Доказательство. Условие J''{u)^0 является
необходимым и достаточным для неубывания J'(и) на [а, Ь], Отсюда и
из теоремы 8 следует требуемое.
Используя теоремы 8, 9, легко проверить, что функции J{u) =
= а"", 1{и)==—1пщ J{u) = ulnu выпуклы на любом отрезке из
области своего определения; функции J{u) = u'' при г^1, г^О
и J{u)=—u'' при 0<г<1 выпуклы на любых отрезках [а, Ь]
(О < а < b < <х>), Функция J (и) = sin и выпукла на отрезке
[—я, 0], но певыпукла на [—д, я].
Упражнения. 1. Доказать, что если функция J (и) выпукла
на отрезке [а, Ь], то J'{и-{-0) =^ ini {J (и-{-h) — J (u))lh, /'(u — 0) =
Л>о
= sup (/ (и) ~ J {и ~ h))/h при всех и ^ [a, b].
Л>о
2. Пусть функция J (и) выпукла на отрезке [а, Ь]. Доказать, что тогда
Г(и-\-0) непрерывна слева а J'(u — 0) непрерывна справа при всех и
{а< и <. Ь).
Указание: воспользоваться непрерывностью J (и), следствием 1 и
упражнением 1.
3. Пусть J{u) выпукла на [а, Ь]. Доказать, что У(v — 0) ^У(и + 0) :^
:^Г{и— 0)^Г(и-{-0) при всех и, v (а <. v <. и-< Ь). Пользуясь этими
неравенствами, показать, что J (и) дифференцируема в точке v (а <. v <. Ь)
тогда и только тогда, когда одна из функций Г{и-{-0) или Г {и — 0)
непрерывна в точке V.
4. Пусть J (и) выпукла па [а, Ь]. Пользуясь упражнениями 2, 3,
доказать, что множества точек непрерывности функции У(и-\-0) и J^(u — 0)
совпадают. Вывести отсюда, что множество точек, в которых J (и) недиф-
ференцируема, не более чем счетно.
5. Пусть функция J (и) непрерывна на отрезке [а, Ь], дифференцируема
на отрезках [а, ai], [ai, ^2],..., [«n-i, an], [ccn, b] (a <C ai <....<. an <. b),
причем на каждом таком отрезке производная Г (и) суммируема, не
убывает и /'(аг~0) :^/'(at-fO) (г = 1, ..., п). Доказать, что тогда J (и)
выпукла на [а, Ь].
6. Для выпуклости функции Ци) на интервале (а, Ь) необходимо и
достаточно, чтобы существовала функция l(v) (v ^ (а, Ь)) такая, что J(u) ^
^ J(v) -}- l(v) (и — v) при всех и ^ (а, Ь), Необходимость доказана в
теореме 4, докажите достаточность. Покажите, что 1(и) = Г(и) почти
всюду на (а, Ь).
7. Пользуясь теоремой 3, доказать, что выпуклая на отрезке [а, Ь]
функция J (и) абсолютно непрерывна на любом отрезке [а, ?] а (а, Ь).

§ 9] МЕТОДЫ КАСАТЕЛЬНЫХ 45
8. Если функция f(t) возрастает на отрезке [а, Ъ] и суммируема на
и
этом отрезке, то функция / (w) = \ f (t) dt выпукла на [а, Ь]. Доказать.
а
Верно ли обратное утверждение?
9. Пусть J (и) выпукла на [а, Ъ] и имеет обратную функцию. Можно ли
утверждать, что обратная функция также будет выпуклой? Рассмотреть
функции J (и) = е^, J (и) = е~^.
10. Пусть J{u) выпукла на [а, Ь] и Ит J(u)==J(a), Ит J {и)—
= J {1)^ а и^, — множество точек минимума J (и) на [а, Ъ]. Доказать, что
^* П [а, Р]?= 0 (^* с= int [а, р]) тогда и только тогда, когда У (а — 0) ^
<0, /'(Р + 0) ^0(/'(а —0) <0, Г(? + 0) >0); здесь а < а < ^ < Ь,
И. Доказать, что выпуклая на отрезке \а, Ь] функция J (и), отличная
от постоянной, не может достигать своей верхней грани внутри
отрезка [а, Ь].
12. Пусть функция J (и) выпукла и монотонно возрастает на отрезке
[а, Ъ], а функция z(x) выпукла на [с, d], причем z{x) е [а, Ъ] при всех
х^ [с, d]. Доказать, что тогда сложная функция g{x) == J{z(x)) выпукла
на [с, d].
13. Назовем функцию J (и) выпуклой на отрезке [а, &], если
J((u-{-v)l2) ^ (J{u)-{-J(v))l2 при всех и, v ^ [а, Ь]. Доказать, что для
непрерывных функций это определение выпуклой функции равносильно
определению 1. Если не требовать непрерывности J(u), то новое определение
выделяет более широкий класс функций — см. пример из [312, с. 119].
14. Пусть J{u) —выпуклая функция при и^О, 7@) ^0. Доказать, что
тогда функция Ц)(и) = J {и)/и монотонно возрастает при w > 0. На примере
функции J{u) = i + u^ убедиться, что при 7@) > О это утверждение
неверно.
Указание: воспользоваться равенством
J{u)=^j(-JL^(u + h)+ J—'O) {h>0).
\и-{- h U'\- h I
15. Пусть функция J(u) выпукла и дважды дифференцируема при и ^
^0, причем Ит {uj'{и)^—J {и))^(). Доказать, что тогда ф(и) = J{u)lu
монотонно убывает при гг >> 0.
Указание: вычислить производные функций Ц)(и) и пГ{и) — J(u).
16. Доказать, что (а + 6)^ ^ 2"-* (а" + Ь"") при всех w ^ 1, а > О, Ь > 0.
Указание: воспользоваться выпуклостью функции J (и) = и^ при
а>0, w> 1.
§ 9. Метод касательных
1. Пусть функция J (и) выпукла и дифференцируема на
отрезке [а, Ь]. Согласно теоремам 8.3, 8.7 такая функция
удовлетворяет условию Липшица и унимодальна на [а, Ь], Поэтому для
минимизации J (и) на [а, Ь] применимы почти все описанные
выше методы, в частности, метод ломаных из § 6. Однако если
значения функции J {и) и ее производной J'{и) вычисляются
достаточно просто, то здесь можно предложить другой, вообще
говоря, более эффективный вариант метода ломаных, когда в
качестве звеньев ломаных берутся отрезки касательных к графику
J (и) в соответствующих точках.
Зафиксируем какую-либо точку v ^ [а, Ь] и определим
функцию gin, и) = J{u) + J'{u){u — v), а<и< Ъ.

46
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Согласно теореме 8.4
g{u, u)<J{u) Vue[a, b].
A)
В качестве начального приближения возьмем любую точку щ е
е[а, Ь] (например, Uo = a)^ составим функцию /?о(^) = ^(^, ^о)
и определим точку Ui ^ [а, Ь] из условия Pq (и-^) = min (и
и=[а,Ь]
(ясно, ЧТО при /' (щ)"^ О будет Ui = а или Ui = Ь).
Далее, берем новую функцию pi{u) = mdix{po{u); g{u, Ui)} и
следующую точку Uz ^ [а, Ь] найдем из условия Рг {U2) =
= min Pi{u), и т. д. Если точки Uo, Ui, ..., и^ {п>1) уяге
известны, то составляем функцию pn{u) = m^x{pn-i{u); g{u, Un)} =
== max g{u^ Ui), и следуюш;ую точку Un^i определяем из усло-
ВИЙ Pn{Un^i)
min рп{и)
Рпс. 1.5. ЛВ — график g{u, щ), CD —
график g(w,wi),^?:Z)—график/?i(w), Р(?
—график g(u, U2), AMND — график Р2(и), FL —
график g{u, Us), AMRSD — график р?,{и)
(un+i ^ [^? Щ)- Если при каком-либо
п'^0 окажется, что /' {и^ +
+ 0)^0, /'(^„-0)^0
(если a<Un<b, то это
равносильно условию
/'(^ri) = 0), то согласно
теореме 8.5 Un^U^ —
в этом случае задача мп-
нимизации уже решена и
итерации па этом
закапчиваются.
Нетрудно видеть, что
Рп (и) — непрерывная
кусочно линейная функцпя
и ее график представляет
собой ломаную, состояп],ую
из отрезков касательных
к графику функции J {и)
в точках Uo, ill, ..., i^n
(рис. 1.5). Поэтому
описанный метод естественно
назвать методом паса-
телъпых.
Теорема 1. Пусть
функция J (и) на отрезке
[а, Ь] выпукла и дифференцируема, а последовательность {и„}
получена описанным выше методом касательных, причем пф U
(^ = 0, 1, ...). Тогда:
1) Ит J (un) ~ lim pn{i'n+i) = J^ и справедлива оценка
O^J{Un + i)-' J^^J{un+i) — Pn(un\^i), n -= 1, 2,

§ 9] МЕТОД КАСАТЕЛЬНЫХ 47
2) lim p{un, и.<^) =^ О, или точнее, {uj имеет не более двух
п->(Х)
предельных точек, совпадающих с и^~ miU^ или v^ — supf/^.
Доказательство. Поскольку величины /'{a + Q), /'{Ъ — 0)
конечны по условию, то в силу теоремы 8.3 функция J {и)
удовлетворяет условию Липшица с постоянной L = шах{|/'(а) |;
1/'F)|}. Кроме того, согласно A) и определению функции /?п(^)
имеем
p^-i{u)<pn{u)<J{u), и^[а, Ь], /2=1, 2, ... B)
Тогда J{Ui)==g{Ui, Ui)<Pn{Ui)<J{ui), т. е.
J{Ui) = pn{ui), j = 0, 1, ..., п, C)
Наконец, угловые коэффициенты касательных g{u, щ) равны
J'{ui), причем \J'{ui)\^L, Из теоремы 6.1 тогда следует, что
Рп{и) удовлетворяет условию Липшица с постоянной L. Отсюда
с учетом B), C) с помош;ью тех же рассуждений, которые
применялись при доказательстве теоремы 6.3, нетрудно убедиться в
справедливости всех утверждений доказываемой теоремы.
Остается лишь заметить, что из того, что функция J{u) унимодальна
ц Un^U^ = [и^, v,j^] (/г^О), равенство limp{un, U^) = О воз-
можно только в том случае, если предельными для {uj могут
быть лишь точки и^ или а^^.
2. Метод касательных обладает всеми достоинствами метода
ломаных из § 6. Недостаток этого метода: он применим лишь в
случае, когда минимизируемая функция выпукла и значения
функции и ее производных вычисляются достаточно просто.
Можно предложить более удобную для использования на
ЭВМ вычислительную схему метода касательных, которая не
требует хранения в машинной памяти информации обо всей ломаной
Рп{и) при и^[а, Ь], А именно, возьмем di^a, bi = b, вычислим
Г{а,)^Г{а + 0), Г{Ь,)^Г{Ь-0), Если Г{а,)>0 или Г{Ь,)^
^0, то по теореме 8.5 a^U^^ или b^U^—задача решена.
Поэтому, пусть /'(«^i)<0, /'(bi)>0, что согласно теореме 8,6
означает U^cz{a, Ь), Пусть отрезок [an-i, bn-i] {п>2) уже
построен, причем /'(an-i)<0, /'(bn-i)>0. С/^j. с: (an-i, bn~i).
Обозначим через Un точку пересечения касательных g{u, an-i) и
g{u, bn-i). Ясно, что an-i <Un<bn-i, Вычислим J'{un), Если
/'(iin)==0, то Un^U^ — задача решена, итерации на этом
заканчиваются. Если J'(un)^0, то положим
^ f Дп-ь J' i^n) > О, ^ \Un, /' (Un) > О,
"^"-"Un, /'Ы<о, ^"^1б,^1, /'ы<о. (^^
По построению /'(««)< О, /'(Ьп)>0, и согласно теореме 8.6
и^ CZ {а, Ь), Индуктивное описание метода закончено.
Из геометрических построений нетрудно усмотреть (см.
рис. 1.5), что этот метод совпадает с описанным выше методом

48 МЕТОДЫ ]МПНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
касательных, в котором за начальную точку берется щ = а]
строгое доказательство этого факта приводится в п. 5. В то же время
приведенная схема метода более проста и удобна для реализации
на ЭВМ; на каждом шаге метода здесь достаточно хранить в
памяти ЭВМ величины а^, Ьп, /(«п), J{bn), J'{cin)-> J (bn)'
Нетрудно выписать явное выражение для точки iin+i, определяемой
условием g{u, (in)^g{u, bn) пересечения касательных в точках
an, bn при /' (dn) < О, /' (bn) > 0:
3. Поскольку ломаная из отрезков касательных
аппроксимирует функцию J {и), вообще говоря, лучше, чем ломаные из § 6,
то следует ожидать, что метод касательных для выпуклых
функций сходится быстрее метода ломаных из § 6. Исследуем
скорость сходимости метода касательных, считая минимизируемую
функцию дважды дифференцируемой.
Теорема 2. Пусть функция J (и) дважды непрерывно
дифференцируема на [а, Ь], inf J" (и) > О, и^ — точка минимума
J (и) на [а, Ь]. Пусть последовательность Ып) получена методом
касательных при щ = а по схеме D), E), а^ = а, bi = b, причем
Ппфи^ (тг = О, 1, .. .). Тогда для любого числа 8>0
существует номер N = N{e) такой, что
\un-u,^\<(A + г)/2Т'-''{Ьг, ~ ^iv), п>N. F)
Доказательство. Из теоремы 8.9 следует выпуклость
функции J (и) на [а, Ь]. Кроме того, так как J'(и) строго
возрастает, то множество U^ состоит из единственной точки u^.Torji^di
из теоремы 1 имеем Иш и^ = г^** Поскольку [й^п+i, bn+i]^[fl^n, bn]
^ = 1, 2, ...), то последовательность {а^} монотонно возрастает,
а {bj — монотонно убывает, причем ап'<.и^<СЬп{п = I, 2, . ..).
Покажем, что Urn an = Иш Ьп^и^,
в силу D) либо {an), либо {bj является
подпоследовательностью последовательности Ып) и сходится к u,j^. Пусть для
определенности Ит ап~и^. Допустим, что {bn) не сходится
П->оо
к Ujj.. Тогда согласно D) последовательность {bn) не может быть
подпоследовательностью для (un), т. е. найдется номер щ^ t
такой, что bn=bn^ -ipn всех п>По. При п-^оо из E) получим
/ (и^) = / (bnj + /' (bnj (гг^ — bnj- В силу теоремы 8.4 это
возможно только тогда, когда J {u)^J (Ьп^) + J' [bn ) (и — bn )
(i^^ < u < bn J. Отсюда /' (bn J = /' (u^) = 0, что противоречит
условию /'(Ьп^)>0. Тем самым доказано, что обе
последовательности {an), {bn) сходятся к и^.

§ 9] МЕТОД КАСАТЕЛЬНЫХ 49
Из представления E) для точки Un+i с помоШ;ЬЮ формулы
Тейлора имеем
где ^п, г|^, |1п — некоторые точки из отрезка [а», Ьп]. Отсюда
получаем, что bn+i — an+i^rriSix{un+i — an; Ъп —Un+J < qn{bn--cin)/2y
где gn = max{/" (gn)//" (l^n); /''(Л")/*^'(l^n)^- Поскольку
последовательности {gn), (т]п}, iiij вместе с {а„}, {&„) стремятся к i^:jc,
то в силу непрерывности функции /" (и) и условия inf J"{и)>
> о имеем lim g^ = J.
Следовательно, для любого 8>0 найдется номер N = N{e)
такой, что gn^l + 8 при всех n>N. Тогда Ьп-ы — ^n+i =^ ^(i^n —
-an) {n>N), где 5=A + е)/2. Отсюда Ь^-ап< q"'~''(Ь^-а^)
{n>N), Следовательно,
I и,г — гг^ц I ^{Ьп — an)^ q^^^i^N — ^n), n^N.
4. Оценка F) означает, что метод касательных сходится со
скоростью, не меньшей скорости сходимости геометрической
прогрессии €0 знаменателем g =A + е)/2 « 1/2. Конечно,
существуют выпуклые функции, для которых этот метод будет сходиться
гораздо быстрее (возможно, например, что точка минимума
найдется за конечное число шагов). Однако нетрудно привести
пример, показывающий, что на классе дважды непрерывно
дифференцируемых функций оценка F) по порядку не может быть
улучшена.
Пример 1. Пусть J{u)=u^{ — i^u^2). С помощью
формулы E) легко проверить, что касательные к параболе в точках
an, Ьп пересекаются в точке Un+i=ian+ Ьп)/2, Возьмем UQ = ai =
= — 1, Ui = bi = 2, Тогда U2 = 1/2. С помощью индукции нетрудно
показать, что й^п = —1/2"~\ 6п = l/2"~^ Un^-i = 1/2" при нечетных
п и ап = —1/2""^ Ьп = 1/2"~\ Un+i = —1/2" при четных п. Отсюда
получается точная оценка \un — u-j^] — \пп\ — 1/2 , в то время
как, используя методику вьивода оценки E), имеем \un — i^^:!^
Таким образом, из примера 1 следует, что метод касательных
на классе гладких выпуклых функций не лучше метода деления
отрезка пополам. Более того, для этого класса функций нетрудно
предложить вариант метода деления отрезка пополам,
требующий лишь вычисления значений производных минимизируемой
функции.

50 ]МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
А именно, ПОЛОЖИМ rzo=^i = a, Ui = bi = b, вычислим
значения Г{а,) = Г{а + 0), Г{Ь,) = Г{Ь-0), Если Г{а,)>0 или
/'Ei)=^0, то ПО теореме 8.5 имеем a^U или b^U^ — задача
решена. Поэтому пусть /' (^i) < О, У (bi) > 0. Тогда U^ с= (а^, Ь^).
Пусть отрезок [ап-и bn-i] (п>2) уже построен, причем J'{an-i)<
< О, J' (^n-i) > О, так что и^ CZ {an-i, bn-i)- Положим Un = (^n-i "i~
-\-bn-i) 2 и вычислим J'(iin). Если J' {un) = 0, то z^nef/jj.—
задача решепа. Если J'{Un)=^ О, то определим точки йп, Ь^ по
формулам D), приняв в них Un = {an-i'^ bn-i)/2. По построению
/'(ап)<0, /'Fп)>0, и согласно теореме 8.6 U:^cz(an, bn). Кро-
мо того, ясно, что
Ьп--а^г = {Ьп-^~ап-,)/2={Ь,-а,)/2''-\ п=1, 2, ...
Описанный метод деления отрезка пополам выгоднее
применять при минимизации тех гладких выпуклых функций, у
которых значения производных вычисляются проще, чем значения
функции. Если же значения и функции, и ее производных
вычисляются достаточно просто, то метод касательных может
оказаться предпочтительнее — хотя, как мы выше убедились, метод
касательных на классе гладких выпуклых функций в целом не
лучше метода деления отрезка пополам, но в то же время
нетрудно привести примеры таких выпуклых функций, для
которых метод касательных сходится гораздо быстрее описанного
метода деления отрезка пополам.
5. Метод касательных можно описать и без требования дифференци-
руемости выпуклой функции, используя лишь односторонние производные
во внутренних точках отрезка \а. Ь] — существование таких производных
доказано в теореме 8.2. Чтобы гарантировать непустоту множества t^*,
потребуем еще, чтобы lim J (и) ~ J (а), lim J (и) = J F).
v-*a+o и->Ь—о
Положим 7/0= «1 = а+б, U{= b\= b — 'у, где б, 'у — достаточно малые
положительные числа; если /'(g-j-0) или /'(&—0) конечны, то здесь можно
взять 6 = 0 или 'Y = 0 соответственно. Вычислим /'(ai-j-0),/'(bi—0). Можем
считать, что /'(«iH-0)<0, /'(&i—0)>>0, ибо в противном случае согласно
теореме 8.6 либо и^{] [а, С1^]ф 0, либо U^[][b^, Ь]Ф 0 — в обоих случаях
точка из и^ находится с требуемой точностью б или 'у, и задача решена.
Абсцпссу точки пересечения касательных g(u, а[) = J(ai)-\-J^(ai -ЬО)Х
X (^ — «i) и g{u, bi) "= J(b\) -\- J'(b\ — 0)(u — bi) обозначим через U2.
Нетрудно видеть, что точка щ ^= bx доставляет минимум функции ро(и) =
= g(u, lie), а в точке U2 достигается минимум функции р\{и) = тах{ро(г^);
g{u, щ)} па [яь bi], причем ai < ^2 < bi,
так что па [ai, 112] функция р\(и) строго убывает, а на [u2, bi]—строго
возрас1:'ает (рис. 1.6).
Сделаем индуктивное предположение. Пусть онреде.чены точки щ^
uu ..., Un-\ {п ^ 2), найден отрезок [ап-и Ьп-Л такой, что J'{an~i -j- 0) <
<; О, J^(bn-\ — 0)>>0, причем «n-i, bn-i совпадают с одной из точек щ,
Ml, ..., Un-\. Пусть Un — точка пересечения касательных g(u, an-i) ==
= J(an-i) +J4^n-i+0){u-an-i) и g(u, bn-i) = J(bn-i) + Г (bn-i-0)X

§ 9]
]МЕТОД КАСАТЕЛЬНЫХ
51
X {и — bn-\), а функция pn~i{u) = тах{рп-2{и); g{u, Un-\)} такова, что
Pn-ii'')
G)
Pn~i{u) на [au Un] строго убывает, a на [un, 6il — строго возрастает: это
значпт, что Un — точка минимума pn-~i(u) на [ai, bi]. Вычислим /'(wn + 0)i
^г^тЧ
Рис. 1.6
J'{un — 0). Если /'(un + 0)>0, J'{un — 0)^0, то по теореме 8.5 имеем
и^^и^, и задача решена — итерации на этом заканчиваются.
Поэтому пусть выполнено одно из условий
/Чг^п + 0)<0, Г(ип~0)->0. (S)
Положим an = dn-u bn = Un, g{u, Un) = J{un) + J'(un — 0) (li — Un) при
J'{un — 0) > 0 (рис. 1.7, a) и ЙП =un, bn = 6n-i, g-(M, Un) = J{un) -\-
и Un ) при J'(un-\-0) <0 (рис. 1.7, 6). Полученный
отрезок [an. bn] таков, что [an, bn] cz [«n-i, bn-i], /'(«n + O) < 0, /'(&« —0) >
>> 0, и согласно теореме 8.6 тогда U^, cz (an, bn).
Выясним, в какой точке функция рп{и) = max{pn-i{u); g{u, Un)}
достигает своего минимума на [«i, bi]. Из рис. 1.7 видно, что
Рп (^0 ==
U(zx, и^), u^[ul^, и^],
(9)
где
_, и^ — абсциссы точек пересечения соответствснпо касательных
g{u, an-i) и g{u, Un), g(u, bn-i) и g{u, Un). Дадим строгое доказательство
формулы (9).
Р1з теоремы 8.4 следует, что g(u, щ) ^ J (и) при всех и е \а\, bi] и i =
= О, 1, ..., поэтому pn-iiu) ^J{u). В частности, Pn-\{un) ^J{un).
Допустим, что pn-\iun) = J(un). в силу G) это значит, что точка (ыщ Jiun))
лежит на касательных g(u, «n-i), g(u, bn-\). Согласно теореме 8.4 тогда
J (и) = рп-\{и) при и^ [ап-и bn-i]. Отсюда имеем
Г{ип - 0) == g'(un, an-i) = Г («n-i + 0) < О,
r(un + 0) = g'(un, bn-i) = Г(Ьп-1 - 0) > О,
что противоречит (8). Таким образом, при выполнении (8) возможен лишь
случай pn-\(un) < J(un).

52
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Далее, в силу теоремы 8.4 g(an~i, un) ^J(an-\). Если g{an-u Un) =
==/(fln-i), TO из той же теоремы следует, что 1{и) = g{u, Un) при we
е [яп-ь Un], и поэтому g'ian-u Un) = Г(an~i + 0) и J{u) = g(u, Un-i)
(ме [an-u ^n]). Тогда /(wn) = g{un, an) = g(un, «n-i) = Pn-iiun). Однако
выше было показано, что при выполнении (8) это невозможно.
Следовательно, g(an-u Un) < J(an-\)== g{a n—1, Cln—l ). Аналогично доказывается, что
g{bn-u Un) < J{bn-i) = g(bn-u bn-i).
Таким образом, при выполнении (8) Ихмеем giun, Un) = J(un) >
>Pn-i{un)r g(an-h Un) < g(an-u cin-i), g(bn-u Un) < g(bn-h &n-i). Это
Рис. 1.7. a) r(un — 0) > 0, 6) r(un-\-0) < 0; ЛВ — график g(u, «n-i), CD-
график g(u, bn-i), i?F —график g(u, Un)
значит, что касательные g(u, «n-i) и g(u, Un) пересекаются в некоторой
точке с абсциссой ^n(^n-i< ^п< ^п)» ^ касательные g(u, un),g(u, &n-i) —
в точке с абсциссой и^(^и^< и^ < &^_i), причем g (w, и^ > Vn-\ (^) ^Р^
и^ < w<w^, g(u, а^_^) > g (u, w^) при «1 < w < u^, g (u, Ь^_^) > g (w, w^)
при и<,и^Ь Отсюда следует, что р^_-, (г^) = шах g(u,u.\'^

§ 10] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 53
при u^<M<bj. Таким образом, формула (9) доказана.
Из предположения индукции следует, что рп-\{и) строго возрастает па
["п' ^ij ^^ строго убывает на [а^^, w^], так что минимум рп(и) на \а\, &i]
достигается в одной из точек и^ пли и^. Нетрудно видеть, что при
У{ип-'0) >0 минимум функции рп(гг) достигается в точке w^, а при
/'(^п + 0) <0 —в точке м^ (см. рис. 1.7). Вспоминая определение точек
t It
^ni ^n' ^"' ^«' можем сделать следующие выводы: минимум Рп{и)
достигается в точке Wn+i, являющейся абсциссой точки пересечения g(u, an)
и g(u, Ьп) {an < Un+i < 6n), причем
функция рп(и) на [й1, wn+i] строго убывает, а па [un+i, Ь\\ —строго
возрастает.
Индуктивное описание метода касательных для выпуклых функций
закончено. При его реализации будем иметь систему вложенных друг в
друга отрезков [йп, Ьп\ CI... d [fli, 6i], причем согласно теоремам 8.5, 8.6
процесс либо завершится при каком-либо п определением точки u^<^U^, либо
?/:и с= (а^, Ь^ при всех ?г = 1, 2, ... Теорема 1 остается верной и для
этого метода. Поскольку минимум рп(ц) на [«i, Ь{\ достигается па [лп, Ьп\
точке Un+i, то информацию о ломаной рп(и) вне \ап, Ьп\ хранить в
памяти ЭВМ нет необходимости. Это значит, что на п-ш шаге в памяти ЭВМ
достаточно хранить величины «п, &п, J (an), ЦЬп), /'(«п + О), /'(Ьп~0).
Нетрудно видеть, что для гладкой выпуклой функции описанный
вариант метода касательных совпадает с методами п. 1, 2, примененными к
отрезку [а -|- б, b — 'yI с выбором начальной точки щ == а -\- б; попутно
получено строгое доказательство равносильности методов из п. 1, 2.
Упражнение. Применить метод касательных для минимизации
функций J(u) = |u|, J(u) = u2, J(u) == \u\ + (u — 1)'' на отрезках [—1, 1],
[-1,2], [О, 1], [1,2].
§ 10. Метод поиска глобального минимума
В § 6, 7 были рассмотрены методы, пригодные для поиска глобального
минимума функций, удовлетворяющих условию Липшица. Эти методы
требовали для своей реализации знания постоянной Липшица
минимизируемой функции. Опишем другой метод поиска глобального минимума [279],
не требующий априорного знания постоянной Липшица и вместо этого
использующий угловые коэффициенты хорд минимизируемой функции меж-
ду определенными точками, получающимися при поиске минимума.
Итак, пусть функция J (и) определена на отрезке fa, b]. Поиск
минимума функции J (и) на этом отрезке начинается с выбора двух точек щ =
= Vo= а, ui= vi= b и вычисления величины Li= \J(ui) —J(uo)\l{ui—uq).
После этого полагаем di = jiiLi при Li >> О и di = v при Li = 0; здесь
л? >> О, jii >> 1 — параметры метода. Затем определяем следующую точку
V2 = (щ-{-uo)/2 — (J(щ)—J(uo))lBdi). Нетрудно показать (см. ниже
общий случай), что щ < V2 < ui.
Перенумеруем точки uo, ui, ^2 в порядке их возрастания, приняв uq =
= я, ui = U2, U2 = b. Предположим, что уже сделано к шагов и найдены
точки Uo, Ни .. м Uk (/с ^ 2), причем щ = а <. щ <. .., <. uk-i <. Uh = b.

54 1МЕТ0ДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Опишем к -\- 1-й шаг метода. Определим величины
Z,b = max '¦ A)
^-r 'CI
где V > 0, jife >> 1 — параметры метода, выбираемые вычислителем.
Для каждого отрезка [ui-i, Ui\ введем следующую числовую
характеристику:
-2(/(^.) + /(^^^_i)), / = 1, ...,^. C>
После этого перебором значений Rh(i) (J = 1, ..., к) определим
минимальный помер 5, па котором достигается шах Л. (г), т. е.
Rj^(s)= mdix Rj^(i), Rj,(i)<Rf,{s), г = 1, ...,5-1. D)
Затем положим
Vh+i= ius~\-Us-i)l2-(J(u,)-J{us-i))l{2du) E)
и перенумеруем точки щ, u\, ..., Uh, Vh^\ в порядке их возрастания, чтобы
щ = а <с u\ <С ... <, Uh <С Uk+{ = b. Метод описан. Будем предполагать, что
параметры из B) таковы, что
v>0; Иь>И'>1, ^==1,2,,..; supfx <оо. F)
Точки Vk или ui, получаемые методом A) —F), будем кратко называть
поисковыми точками. Из описания метода видно, что каждая поисковая
точка имеет двойную нумерацию и двойное обозначение: если точка
появилась впервые и это случилось на s-m шаге, то она получает номер s и
обозначается через Us'j на каждом последующем шаге с номером /с ^ 5 та же
точка Vs в зависимости от своего местоположения на \а, Ь] получает один
из номеров i (О ^ i ^ к) и обозначается через Ui — здесь номер i = i{k)
зависит от номера шага. В зависимости от обстоятельств мы будем
пользоваться обоими обозначениями поисковых точек.
Покажем, что точка Vk+u определяемая формулой E), удовлетворяет
неравенствам Us-\ < Uk+i <. Us (здесь s = s{k)). В самом деле, из E)
имеем
''s
''s
-^s-1
2
-"s-1
G)
1 _^ j4^M_:i:4v-i)_
Поскольку в силу A), B), F)
'^.("i-^i-x) ^^.^7<l' -l'-'^. (8)
TO ИЗ G) следует, что Us-\ <. Vh+i < Ua.

§ 10] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 55
Таким образом, вслед за повой поисковой точкой Vk'+i на к + 1-м шаге
появляются два новых отрезка [us-u uk+i] и [vk+u "s], длина которых с
помощью G), (8) оценивается так:
{lis — Us-i) A — lAu)/2 < min{ws — Vh+u vu+i — Ws-i} <
^ max{ws — Vh+u ^ft+i — Us-i} < {iis — Us-i) A + l/ti)/2, (9)
где 0 < g = A H- l/ii)/2 < 1, s = s(k) {k = 1, 2, .. .)• Кроме того, пз
неравенства F.7) имеем
Us - ''s^i ^
Это значит, что Lu+i'^Lk (к = 1, 2, ...). Поэтому если Lk = О
{к = i, 2, ...), то согласно B), F) dk — v > О {к = 1, 2, ...); если же
Lk = О при /с = 1, ..., ко — 1, L^^ > О, то dj^ > min {v; ft^^ | > О (A: =
— 1, 2, ...). Иначе говоря, существует постоянная d такая, что
dh^d>0, А: = 1, 2, ... A0)
С другой стороны, если функция J (и) па [а, Ь] удовлетворяет
условию Липшица, т. е.
\J(u) ~J(v)\ ^L\u— i;|, Vm, и ^ [fif, b], L == const > 0, A1)
TO Lk^ Ц и следовательно,
t/. <max /v; Lsupix,\ < oo, k= 1, 2, ••• A2)
Теорема 1. Пусть функция J (и) на отрезке \а, Щ удовлетворяет
условию A1). Пусть последовательность {vk} построена методом A) — F) и
v^ — какая-либо предельная точка {vh). Тогда Иш / (v^^ = / {v^) и, кроме
h-^ оо
того,
J{v^)^J{v.), i = 0, 1, ..* A3)
Доказательство. Поскольку и г Ф Vk при i Ф к viv^—
предельная точка {vh}, то существует последовательность отрезков \um(k)-\, иш(К)\
(А: = 1, 2, ...), каждый из которых содержит точку v^ п бесконечно много
поисковых точек, отличных от V^ П, кроме того, Ит{к)-\ ^ Um{k+\)~\ <.
<i Ura(k+l) ^ Um(h) (к = 1, 2, . . .).
Введем множество iV (у^,.), состоящее из всех тех и только тех номеров
к'^ 1, для которых либо Um(h)-l < Uni{k+l)-l, Либо Um(k+l) < Um(k). ЭтО ЗНа-
чит, что при к ^ N (и^) поисковая точка Vk+i попадает внутрь отрезка
[umih)-\, um{k)], образуя ОДИН ИЗ КОНЦОВ следующего отрезка [umik+i)-u
umih+i)]. Отсюда в силу условия D) имеем
J^h ('^ (^)) > ^л (О' i = 1, ..., /^ k^N {v^), A4)
Поскольку каждый из отрезков [um{k)-u Um(k)] содержит бесконечно много
поисковых точек, то множество N (v^) также содержит бесконечно много
номеров. Согласно оценке (9)
^ < ""mik+D - Mft+l)-l < ^ (Vft)- ^m(/t)-i)' ^ ^ ^' (^*),
где О << ^ < 1. Отсюда и из счетпости множества N (v^,) следует, что.

56 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Перепишем формулу C) в виде
A6)
Взяв здесь i= т(к), с учетом соотношений (8), A1), A2), A5) получим
lim R^ {т (к)) = - 4/ (у,). A7)
Далее, из A6) и A4) следует, что —4/(ui) < Rk(i) ^Rk{m{k)) для
каждого к ^ N {v^) и всех i = 1, ..., к. Кроме того, если C) запишем в виде
/?ft (О = dft ("i - "i-i) (^1 --^^^(I^-ril-J-j -4/("i_i), » = 1 k,
A8)
и примем здесь г = 1, то с учетом A4) будем иметь ~AJ(uq) <. Rh(i) ^
^Rkim(k)) (k^N{v^)).
Таким образом, AJ(ui) >-—Rh(jn{k)) при всех i = О, 1, ..., к
(к^ N (v^,)), т. е. 4 min J (ii.)> — R, {т(к)) {k^N(v^)). Поскольку
o<i<h ^ '^'
min J {U\) = niin /(^s)=^ min ^ (v\ при любом /? ^ к, то из предыду-
{S<i<h 0<s<k o^s^p
щего неравенства имеем 4 min / (уЛ > — Rb{^ {к)) для всех р^к (/се
eiV(z':,c)). Перейдем здесь к пределу прп к-^оо, k^N(v^). С учетом A7>
получпм min J(vS^J (v^,) при каждом фиксированном р ^ 1. Оценка
A3) доказана.
Докажем, что lim / (у^^) = / (y^jc). Пусть с — какая-либо предельная
точка последовательности {«^(^^/j)} и пусть с= Ит J/Vj^ \. Выбирая при
необходимости подпоследовательность, можем считать, что |г;^^ \ сходится
к некоторой точке w^. Тогда пз A3) следует, что / (v^) ^ / (w^)=^c. С
Другой стороны, так как оценка A3) доказана для произвольной предельной
точки {^Л, то / (г^*) ^ «^ (^г) (i=0, 1, ...) и, следовательно, J(w^)^J(v^),
Таким образом, / (w^.) = с = J (v^), т. е. {J {^^^)} имеет единственную
предельную точку с — J (и^). Это означает, что lim J (vA = J (v^),
h^oo
Теорема 2. Пусть выполнены все условия теоремы 1 и, кроме
того, пусть функция J {и) на [а, &] имеет конечное число локальных
экстремумов. Тогда любая предельная точка последовательности {vh) является
точкой локального минимума функции J (и) со значением с= lim J (иЛ,
fe->cx>
Доказательство. Сначала покажем, что если предельная точка у*
последовательности {uk} такова, что а < v^ <Ь, то из {uu} можно выбрать
две подпоследовательности, одна пз которых стремится к у* слева,
другая— справа. Возьмем отрезки [um{h)-ii Umik)] (/с = 1, 2, ...) и множество
N {и^), введенные при доказательстве теоремы 1. Если оказалось, что
^m(k)—i^ ^* ^ ^m(k) (^= Ij 2, ...), то с учетом A5) в качестве искомых
подпоследовательностей можно взять {um{h)-i} и {um{h)}. Остается
рассмотреть случаи, когда, начиная с какого-либо s-ro шага, « будет совпадать с
одним из концов отрезка [Um(k)-U Umik)].
Пусть сначала v^ = u^^j^y._^ {к^ s). Тогда подпоследовательность
{um{h)} В силу A5) СХОДИТСЯ К v^ справа. Рассмотрим
подпоследовательность {um{h)-\} при k^N (v^). с помощью формулы A6) при i = тп{к) —1

§ 10] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 57
И соотношений A4), A7) имеем
= Rf, {т (к) - 1) + 4/ (y*)< 7?^ {т (к)) + 4/ (у^) ->0, к-^оо, k^N (v^).
Отсюда с учетом (8), A0) получим, что подпоследовательность {umik)-2}
сходится к у* слева.
Пусть теперь i^* = ^rn(ft) ik>s). Тогда {u^j^^_^} сходится к v^
слева. С другой стороны, из A8) при i = т{к) + 1 и из A4), A7) следует, что
=- R^ {т (к) + 1) + 4/ (у*) < R^ {т (к)) + 4/ (i;*) ->0, А:->сх^, k^N (v^).
Отсюда, учитывая (8), A0), имеем {uni{h)+\}-^v при к-^оо {k^N(v^)).
Искомые подпоследовательности для предельных точек v^(a<v^<ib)
построены. Заметим, что если v^ = a, то в силу A5) {ицк)} сходится к
v^ справа, а если v^ = Ь, то {^^(;j)_i} сходится к v^ слева.
Перенумеруем точки Qi (г = О, 1, ..., г) локального экстремума
функции J (и) на [а, Ь] в порядке возрастания: 9о = я < 9i < ... < 9г = &.
Тогда на каждом отрезке [9г, 9,4-i] функция J(u) строго монотонна, причем
при переходе через внутренную точку 9, направление монотонности
меняется. Пусть у*—произвольная предельная точка {vk}. По доказанному
существуют подпоследовательности, сходящиеся к '^* слева и справа (при
v^=^ а и v^ = b достаточно односторонней сходимости). Отсюда и из A3)
следует, что при переходе через точку у* функция J (и) меняет
направление монотонности, причем J (и) вблизи от v^ слева строго убывает, справа
строго возрастает. Следовательно, v^ совпадает с одной из точек О, и
представляет собой точку локального минимума J(u) со значением J (v^.) =
Из теорем 1, 2 и 1.1 непосредственно вытекает
Следствие 1. Пусть функция J (и) на отрезке \а, Ь] удовлетворяет
условию (И), множество и^ — \и: и^[а,Ь ),/(li) =/* = inf J {v)] co-
стоит из конечного числа точек и вне U^ других локальных минимумов
J(u) на [а, Ь] не имеет. Тогда последовательность {vk}, полученная методом
A) — F), будет минимизирующей для J(u) на [а, 6] и lim р (v^^ U^) = 0.
Сходимость метода A) — F) можно доказать и без требования
конечности множества точек локального минимума функции.
Теорема 3. Пусть функция J (и) на отрезке [й, &] удовлетворяет
условию A1); кроме того, пусть в методе A) — F), начиная с некоторой
итерации^ dh ^ 2L. Тогда последовательность {vk}, полученная этим методом,
такова, что:
1) Ит/(уЛ = /*, lim р(у^^, С/*) = 0;
2) при inf d. >2L для некоторого ко"^ 1 все точки из U^ будут пре-
дельными точками {vu}'
Доказательство. Преяхде всего заметим, что случай dk ^ 2L
согласно B) соответствует параметрам v ^ 2L при Lk = О и [ife ^ 2L/Lft при
Lk > 0. Поскольку если Lh > О, то из Lj^ < L^^ < L следует 1 < L/Z/^^ <
^ L/Lj^ < оо при всех к ^ ко, и поэтому ясно, что имеются
возможности удовлетворить всем условиям F), сохраняя неравенства dk^^L.

8 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Возьмем произвольную точку и^ е U^. Пусть u^^j^.^ ^ г^* ^ ^r(k) (^ ~
= 1,2, ...). Поскольку / (гх^(;^)) + / (i^^(^)_i )< L {u^^j^^ - iV(ft)-i) +2^ ("*)»
то из C) с учетом условия du ^ 2L имеем
Rh (' (^)) > i^h - Щ Ыю - ^r(h)-i) ~ ^-^ ("*) >-''J ("*)' Л - 1, 2, ...
A9)
Далее, пусть ^* — какая-либо предельная точка последовательности {vh}.
Возьмем отрезки [um{k)-i, Umik)] (к = 1, 2, ...) и множество iV (i;*),
введенные при доказательстве теоремы 1 для точки v^. Поскольку J [и^) ^
< / (у*), то из A4) при i = г{к) и из A9) имеем R^^ (т {к)) > R^^ (г (к)) >
> - 4/ (и^) > - 4/ (v^) (к ^N (v^)).
Отсюда с учетом равенства A7) имеем
lim Rj^ (т (к)) == lim R^ (г (к)) = — 4/ (и^) = — 4/ (i;*), k^N (и^), B0)
т. е. J {и^)= J (v^). в сплу теоремы 1 тогда lim / (i'/j) = /(г^*) = /(гг*), а
из теоремы 1.1 получпм lim р (Vj^, f/*) = О- Наконец, при inf ^^^^ > 2L пз
A9), B0) следует lim (^ггь^—^WbWi)—^'и поэтому в качестве под-
последовательности, сходящейся к и^, можно взять {ur(k)} или {ur{k)-\}.
Сравним метод A) —F) с методом равномерного перебора G.2) на
классе функций (?(L), удовлетворяющих на [а, Ь] условию (И) с одной и
той же постоянной L. Согласно теореме 7.1 для обеспечения точности
min/(M?.) —/*<8 Bi)
г
на классе Q(L) перебор на [«, Ь] нужно осуществить по точкам Wi = а-}-
+ (?• — 1/2) Д (г = 1, 2, ...) с шагом 2г/1.
Теорема 4. Пусть J(u) е Q(L), а [а, р] Q (и: и^ [а, &], / (и) >= /*-Ь
+ 7/» ^^е 7 > ^ — фиксированное число. Тогда на fa, J] число поисковых
точек метода A)—F), реализованного при dk = 2L (А: ^ 1), /го крайней
мере в '^1(Ъг) раз меньше числа поисковых точек метода равномерного
перебора G.2); здесь число е > О взято из B1), 5е <С. 7-
Доказательство. Пусть u^^U^, ^^^(к)-!^^*^ ^r(k) (^ — 1' 2, .. .)•
Тогда из A9) следует, что i?;^ (г (/с)) > — 4/(w^,,) == — 4/^. Далее, для
любого отрезка [ui-u щ] ^ [а, Р] (i = i(k)) справедливо неравенство
/ (М|)-|-/(u^_j)>2/^-f-27- Поэтому из C) при dk = 2L получим
Rj^(i) < — 4/^ — 47 + 5L (w| — гг|_^у2. Отсюда ясно, что если Ui — Ui-i <
< 8^/EL), то Rk{r{k)) —Rk{i{k)) ^ A^— 51{щ — Ui-i)/2 > 0 и на к-ш
шаге внутри [и г-и и г] новая поисковая точка не появится. Следовательно, для
появления HOBOii точки в [ui-i, ui] на к-и шаге необходимо, чтобы Ui —
— Ui-i^S'iKbL).
Однако тогда появление новой поисковой точки i'^ в \ui-i, Ui]
приведет к двум новым отрезкам [ui-u ^k] и [vk, ui], длина которых согласно (9)
при dk = 2L, [ih = 2LlLk ^ 2 = ji оценивается снизу величиной (щ — ui-\)l
4^2^/E^). Это значит, что независимо от номера шагов расстояние
между точками Ui_i, wi е [а, И удовлетворяет условию ui — Wi-i ^ 2'y/EL),
и следовательно, число поисковых точек, попавших на fa, Р| при
применении метода A) —F), не может превышать числа 5L(P — а)/B'у).
Остается заметить, что число точек метода равномерного перебора на
[а, Р], необходимое для обеспечения точности в смысле неравенства B1),
оценивается числом (р —а)/Д^ (а —p)L/Be). Сравнивая полученные
числа, убеждаемся в справедливости теоремы.

§11] МЕТОД ПАРАБОЛ 59
Из теоремы 4 следует, что на отрезках, на которых значения функции
J{u) значительно превышают /*, число поисковых точек метода A) — F),
вообпде говоря, намного меньше числа точек равномерного перебора.
На практике в методе A) —F) часто берут v = 1, jift = 2 и итерации
продолжают до тех пор, пока величина Us — Us-i не станет меньше
заданного числа (здесь s определяется условиями D)). Численные
эксперименты показывают [279], что метод A) — F) позволяет определить
глобальный минимум с достаточно высокой надежностью. Замечено, что при
увеличении значений параметров v, ii^ надежность поиска возрастает, но при
этом одновременно может увеличиться и количество вычислений значений
минимизируемой функции.
Упражнения. 1. Выяснить поведение поисковых точек метода
A) — (б) для функций J (и) ^ 1, J (и) = и на отрезке [О, 1].
2. Исследовать сходимость метода A) —F) для функции J (и) = \и\ -{•
-Ь |i^ —1| на отрезках [—1, 1], [—1, 2], [1, 2].
§ 11. Метод парабол
В рассмотренных выше методах ломаных и касательных
минимизируемая функция аппроксимировалась кусочно линейными
функциями и исходная задача заменялась последовательностью
задач минимизации кусочно линейных функций. Однако
существуют и другие достаточно простые классы функций, которыми
можно аппроксимировать минимизируемую функцию и для
которых задача мпнимизацип легко решается. Выбирая, например,
в качестве такого аппроксимируюпдего класса квадратичные
функции, график которых представляет собой параболу, мы
придем к методу минимизации, который естественно назвать методом
парабол.
Определение 1. Пусть функция J (и) определена на
отрезке [а, Ь], а т, /г — положительные постоянные. Тройку точек
i; — т, г;, г; + /г, принадлежапдих [а, 6], назовем выпуклой тройкой
для J{ii), если A-(v)==J{v-r)-J{v)>0, A'-{v) = J{v +h)-
-J{v)>0, д+-ьд->о.
Если тройка точек v — x, v, v + h выпукла для J {и), то через
точки {v — x, J{v — x)), {v, J{v)), (v + h, J (v + h)) на
плоскости (и, J) можно провести параболу L2{ii) = ри^ + qii + r со
старшим коэффициентом /? > 0. Эта парабола является графиком
обычного интерполяционного многочлена второй степени и
имеет вид
4И==(—+ —]^ T+I > + j^{u-v)+J{v). A)
Поскольку /? = А"^//г + Д~/т > о, то ^2A1) выпукла на R и
достигает своей ния^ней грани на R в точке
2(/гА' + тА+) ^ ^
Пользуясь условияхми А+ ^0, А~ ^ О, из B) нетрудно получить,
что
-i:/2<iv-v^h/2. C)

60
МЕТОДЫ МИНПМПЗАЦПП ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
Перейдем к описанию одного из вариантов метода парабол
для минимизации функции J (и), унимодальной на отрезке [а, Ь].
Пусть /г > О — некоторый начальный шаг, 2fe < Ь — а, а щ^
е [а, Ь] — начальная точка. Поиск минимума начинаем с
вычисления значений J{uo)^ J{uo + h), Если окажется, что J{iio + h)^
^J{uo), то продолжаем вычислять значения J{Uo + h -2''^) {i =
= 2, 3, ...) (рис. 1.8); если же J(uo + h)> J{uo), то меняем
направление поиска: переобозначаем щЛ-h через щ и далее
вычисляем значения ]{щ — h • 2*~*) (i = 2, 3, ...) (рис. 1.9). Перед
J-J(U)
О а и^и^ а^
/7 a-w и^-(/^
^5 ^=^« ^^
Рис. 1.8
Рис. 1.9
вычислением значения функции в очередной новой точке щ =
== lio + /г • 2'~* (или соответственно щ^щ — Ъ- 2'"*) прежде всего
выясняем, будет ли Ui^{a, Ь]. Если Ui^[a, Ь], то вычисляем
значение J{ui) и проверяем, образуют ли последние три точки гг,-2,
Ui-i, Ui выпуклую тройку для J {и) или нет. В том случае, когда
тройка Ui-г, Ui-i, Ui невыпукла, переходим к следующей точке
Ui+i и т. д. Этот процесс закончится отыскиванием такого номера
д ^ 1, что:

§ 11] МЕТОД ПАРАБОЛ 61
1) либо три точки tin-2, Un-ij Un образуют выпуклую тройку
для /(ti)—тогда через три точки (щ, 1{щ)) {i = n — 2, n — i, п)
проводим параболу и находим точку w ее минимума на R;
согласно C) w^[un~2, Un] (см. рис. 1.8, п = А);
2) либо ни одна тройка Ui-2, Wi_i, щ при i = 2, ..., ^г не будет
выпуклой, а Un+i ^ [а, Ь] — тогда полагаем w = a или гг; = 6 в
зависимости от того, какой из концов отрезка [а, 6] ближе всего
к точке Un+i (см. рис. 1.9, w = 4).
Определив указанным образом точку w;, вычисляем значение
J{iv) (если оно еще не было вычислено на предыдущих шагах).
Наконец, среди точек w, щ, Uj, ..., Un находим точку йп такую,
что
/(wn) = min{/(w;), 1{щ), 1{щ), ..., /(гг„)},
и за приближение к J^= inf J (и) берем значение J{un)^
а за приближение к множеству U^ точек минимума — точку йп.
При необходимости для уточнения точки минимума можно взять
найденную точку йп за начальную и повторить описанную
процедуру поиска с начальным шагом ft/2, и т. д. Последовательно
повторяя этот процесс, можно найти точку, удаленную от
множества и^ точек минимума унимодальной функции J {и) па
расстояние, не превышающее заданного числа.
Если унимодальная функция хорошо аппроксимируется
параболой в некоторой окрестности U^, то этот метод может
оказаться гораздо более эффективным, чем другие методы минимизации.
Если функция непрерывна па отрезке [а, Ь], но не является
унимодальной, то применение метода парабол приведет, вообще
говоря, лишь к точке локального минимума этой функции.
Существуют различные модификации метода парабол. Иногда
после нахождения выпуклой тройки 1гп-2, ^n-i, w^ вычисляют
значение функции еще в одной точке Vn='{Un~i + Un)J2 —
середине отрезка [un-i, Un\ затем из получившихся равноотстоящих
точек Un-2-, Un~i, Vn, Un исключают либо Un~2, либо Un, в зависимости
от того, какая из них более удалена от точки, соответствующей
минимальному значению среди вычисленных, и по оставшейся
тройке проводят параболу.
Возможно использование описанного метода парабол и при
другом, более общем определении выпуклой тройки. А именно,
тройку точек и — X, v, i; -f ft е [а, b] можно назвать выпуклой,
если старший коэффициент /? = AVft + А~/т параболы A)
положителен, хотя в отличие от определения 1 одно из условий А"*" ^
> О или А~ > О может быть и нарушено. В этом случае парабола
A) также выпукла на R и достигает своей нижней грани в
точке W, выражаемой той же формулой B). Однако здесь надо
иметь в виду, что w не обязана удовлетворять неравенствам C),
и более того, может оказаться, что w Ф \а, Ь\

62 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
§ 12. Другой метод поиска глобального минимума
1. Описанные выше методы деления отрезка пополам, золотого сече-
Ш1Я, парабол и некоторые другие методы приспособлены для поиска
глобального минимума унимодальных функций. Если эти методы применить
к непрерывным функциям, не являющимся унимодальными на
рассматриваемом отрезке, то мы получим, вообще говоря, лишь точку локального
минимума. Поэтому такие методы часто называют локальными методами
минимизации.
Можно предложить следующую схему поиска глобального минимума
непрерывной функции J (и) на отрезке [а, Ь] с помощью локальных
методов. А именно, пусть каким-либо локальным методом минимизации
найдена точка uo локального минимума функции J (и) на fa, b]. Если точка щ
не является точкой глобального минимума, то найдется точка vq е fa, b]
такая, что J(vo) < J{uo). Допустим, что нам как-то удалось найти хотя бы
одну такую точку vq. Тогда в некоторой окрестности точки vo существует
новая точка ui более глубокого локального минимума со значением J{ui) ^
</(г^о) <J{uo).
Для поиска ui можно использовать один из локальных методов
минимизации, например метод парабол, беря в качестве начальной точку vq.
Если здесь будет использован метод золотого сечения, то чтобы
гарантировать получение точки ui локального минимума со значением Цщ) ^
^/(уо), на каждом шаге этого метода следует учитывать также и
имеющееся вычисленное значение J(vo); кроме того, сам метод золотого сечения
может применяться как на исходном отрезке fa, 61, так и на каком-либо
другом подходящем отрезке [а, Р] cz fa, 6], содержащем точку vq. Если
найденная точка ui не реализует глобального минимума функции J (и) на fa,
6], то можно попытаться найти точку vi со значением J{vi) <С J{u\) и
затем, пользуясь одним из локальных методов, перейтп к точке U2 более
глубокого минимума со значением J(u2) ^J(vi) < J{ui) < J{uo), и т. д. В том
случае, когда J (и) на [а, Ь] имеет конечное число локальных минимумов,
осуществляя переход от одного локального минимума к другому более
глубокому локальному минимуму, за конечное число таких переходов можно
отыскать глобальный минимум функции J (и) на fa, b].
Намеченная здесь схема поиска глобалБшого минимума показывает,
как в принципе можно использовать локальные методы минимизации для
отыскания глобального минимума. Однако эта схема имеет существенный
недостаток: в пей отсутствует сколь-нибудь конструктивный способ
отыскания точек 1^0, 1'ь ..., т. е. точек, в которых функция принимает меньшее
значение, чем в найденной точке локального минимума.
2. Опишем один такой способ, следуя работе fQO]. Будем предполагать,
что функция J (и) непрерывно дифференцируема па отрезке fa, 6] и имеет
па нем конечное число точек локального минимума. Тогда, очевидно, все
локальные минимумы будут строгими. Кроме того, предположим, что в
окрестности каж71,ой точки и г локального минимума имеет место
представление
J(u)-~J{u.) = {u-u.f^g^(u), A)
где gi(ui) > О при а ^ т <: b и (— 1) ^gi{b) > О при Ui = &, gi(u)
непрерывно дифференцируема на fa, 6], а т — натуральное число. Заметим,
что для достаточно гладких функций J {и) представление A) легко
получается из разложения по формуле Тейлора в точке Ui, причем число п
здесь равно порядку самой младнхей производной функции J (и) в точке ui,
которая отлпчна от нуля, а условие Л ^' (?/^) = /г!^. {u^| > О прп а < w^ < &
.Пл
Мг)
JJ (—1) *7^ (^^i) ^ ^ ^Р^^ I'i = b являются необходимыми для того, что-

§ 12] ДРУГОЙ МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 63
бы В точке Ui достигался локальный минимум (см. упражнения 2.5—2.7).
Заметим также, что при а <Z ui <^ b число тц обязательно будет четным.
Возьмем одну из точек щ локального минимума функции J (и). Тогда
J (и) > J(uo) для всех и е Oa{uo) = {и: и ^ \а, &1, О < |z^ — z^ol < а},
если число а >> О достаточно мало. Введем функцию
(рт{Щ Щ) = {1(и)--7(ио)I{и'-иоУ'^, B)
определенную при всех и ^ \а, Ь], и ^ uq, т = 1, 2, ...
Напомним, что нам требуется найти хотя бы одну точку vq е \а, Ь],
для которой J(vo) <: /(wo), что равносильно неравенству фт(^о, ^о) < 0.
Такую точку vq можно попытаться искать, решая в свою очередь задачу
минимизации функции (рт(и, Uo) на fa, b] с помощью тех же локальных
методов, которые упоминались выше. Однако здесь сразу возникает вопрос:
чем эта задача минимизации лучше исходной задачи? Ответить на цего
можно так: во-первых, задача минимизации Ц)т{и, uo) играет
вспомогательную роль при поиске точки vq, для которой срт(^"о, щ) < О, и сразу же
после нахождения такой точки vq процесс мпнимизации Ц)т{и^ uo) прекраша-
ется, во-вторых, функция Ц)т{и, щ) обладает рядом интересных ^свойств,
существенно облегчающих попек точки vq. Рассмотрим эти свойства
функции B).
1. Перепишем B) в виде
J (и) —J(uo) = (и — иоУ'^(ргп{щ Uo), иф uq, и^ [а, Ь].
Отсюда ясно, что функции J(u) —J(uq) и фт(г^, Wo) при всех m = 1, 2, ...
имеют одинаковые знаки при каждом и е fa, 6] (и Ф щ) и обращаются в
нуль в одних и тех же точках, не считая и = щ. Поэтому нетрудно видеть,
что точка Wo будет точкой глобального минимума функции J (и) на fa, b]
тогда и только тогда, когда фт(", щ)^ О при всех и efa, b] (и Ф uq, т =
= 1, 2, ...), и следовательно, в точке uq не будет достигаться глобальный
минимум тогда и только тогда, когда существует точка ^'o е fa, &], в
которой фт(^о, ^о) < О (w ^ 1). Очевидно также, что при любом т = 1, 2, ...
функция фш(г^, Uo) может иметь локальный минимум в точке ЮоФщ со
значением фт(м?о, ^о) = О тогда и только тогда, когда и>о является точкой
локального минимума функции J {и) со значениехМ J(wo) = J(uo).
2. Существуют такие ттг ^ 1 и а >> О, что функция фт(г^ wo) не будет
иметь локальных минимумов па множестве Оа(ио) = {и: i^ е fa, Ь],
О < \и — uo\ < а}. В самом деле, эта функция дифференцируема при всех
и Ф щ и ^е производная равна
Фт (". %) = [J' (") (" - %) - 2'" {J (") - J ("о))]/(« - "о)''"+^ C)
Отсюда с учетом представления A) имеем
Фш ("' %) (" - u^f'^'"'^'^^ ^ i^u - и^) 4 {и) - {2т - п^) g^ {и). D)
Если а^щ <: b и а достаточно мало, то go(u) ^ const > О при всех и е
^Oa.(uo), а тогда, взяв т достаточно большим, можно сделать ф^^С^^ ^о)^
о 771 71 -|- 1
X(w — и^у о ^ Q дрд jj^^x ^^ ^ Oa(uo). Учитывая, что при а <, щ <. Ь
число По четно, отсюда получаем, что (рт{и, uo) в Оа(ио) строго возрастает
слева от uo и строго убывает справа от uo. Случай а ^uo <i b рассмотрен.
Если же щ = Ь, то из непрерывности функции go{u) и условия
(— 1) ^g^ (b) > о следует существование такого а > О, что (— 1) Vq (^*) ^
^ const > О для всех и ^ Oa(uo). Тогда из D) при достаточно больших т
получим неравенство Фш("'^)>0 (^^<^а(^))' означающее, что па
Оа{Ь) функция срт{щ Ь) строго возрастает и не может иметь локальных
минимумов.

64 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
3. Пусть в некоторой точке i? е (а, Ь) оказалось, что фт(г^, щ) > О, т. е.
J{v) >/(wo). Тогда найдется столь большой номер то = шо(и), что
функция фш(", щ) не будет достигать локального минимума в точке v при всех
тп ^ то. В самом деле, возьмем
то > \r{v) I (b - a)/{2{J{v) - 7(uo))).
Тогда из формулы C) при и = v для всех m ^ то имеем Фт(^» %)^
Х{^ — \^^^^ <0, т, е. ф^(г;, i*^) < О при u^<v<bii ф^A?, i^^) > О при
й < р < Wo. Это значит, что при m ^ то функция срт(и, щ) не может иметь
локального минимума в точке и = v.
Опираясь на изложенные свойства функции (pmiu, щ), можно
предложить следующий способ определения точки vo, для которой фт(г^о, щ) <. О-
Сначала будем рассматривать задачу минимизации (pmiu, щ) на отрезке
[щ, Ь] (при 1^0 < Ь), затем —на [а, щ] (при а <Zuo). Поиск минимума на
[щ, Ь] начнем с некоторой начальной точки uo + а <: Ъ.
С учетом свойства 2 выберем а > О столь малым, а т столь большим,
чтобы Ф^ (и^ + ^» %) < О- Тогда непрерывная функция ^т(и, щ) на отрезке
[щ + а, 6] имеет хотя бы один локальный минимум со значением,
меньшим фт(г^о + сь, ^о). Поиск минимума на этом отрезке будем вести с
помощью какого-либо локального метода минимизации. Если в процессе
поиска будет найдена точка pq, для которой фт(г^о, ^о) < О, то сразу
возвращаемся к задаче минимизации исходной функции J {и) в соответствии со
схемой, описанной в начале параграфа.
Допустим, что при поиске минимума ^т{щ щ) на [щ-\- а, Ь} такая
точка Уо не нашлась, и мы пришли к некоторой точке локального минимума
ivo{uq-\-а <. ivo<i Ъ) со значением фт(^^о, ^о) ^ О, причем ^гп(и, щ)^0
при всех we [wq -j- а, а?о].
Здесь имеются две возможности: либо фш(м?о, ^^о) > О, либо фт(г^о. ^о) =
= 0. Если фт(г^о, Wo) > О, то, пользуясь свойством 3, увеличиваем ш так,
чтобы соответствующая функция фш(^, щ) в точке Wq не достигала
локального минимума, и продолжаем поиск минимума на отрезке [wq, Ь\.
Заметим, что при минимизации функции фт(^, щ), соответствующей новому
значению т, нет необходимости возвращаться к отрезку \щ + а, Wq\ , так
как неравенство фт(^, щ) ^0 (we [wo + ct, w^]), установленное для
какого-то значения //г, останется верным при всех m = 1, 2, ... и
свидетельствует об отсутствии па [щ + а, и>\ искомой точки vq.
Рассмотрим случай фт(г^^о, wq) = 0. Согласно свойству 1 функция J (и)
также будет достигать локального минимума в точке wq со значением
J(wq) = J(uq). Поскольку локальные минимумы функции J (и) строгие, то
можем выбрать а > О столь малым, чтобы ](и) '> J(wo) и, следовательно,
фт(^, Wo) > О при Wo <С и ^ и>о-{-а. Увеличивая при необходимости т,
согласно свойству 3 можно сделать Ф^ ("'о ^ ^» %) ^ ^ ^ затем перейти к
минимизации соответствующей функции фm(w, щ) на отрезке [г^^о + а, Ь].
Можно ожидать, что продолжая этот процесс дальше, либо мы найдем
искомую точку I'o, для которой фт(^^о, Wq) < О, либо, конечное число раз
увеличивая ?д и выбирая а >> О, доберемся до точки b и выясним, что
фm(w, Uo) ^0 при всех и (uo<Cu^b). В последнем случае переходим к
отрезку [а, щ] п па нем аналогичным образом ищем точку vo со свойством
Фт(ь'о, Wo) < 0. Если и на отрезке [а, щ] такая точка Vq не найдется, то
это будет означать, что фm(w, щ) ^0 при и^ [а, Ь] {и Ф uo), т. е.
согласно свойству 1 точка uo есть точка глобального минимума функции J (и) на
[а, Ь\. С другой стороны, если uo пе является точкой глобального
минимума, то в силу того же свойства 1 существует точка уо, для которой
фт(г^о, Wo) <. О, и можно надеяться, что описанным выше способом
удастся найти точку и реализовать изложенную в начале параграфа схему
поиска глобального минимума функции J {и) на [а, &].

§ 12] ДРУГОЙ МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 65
Следует заметить, что для более строгого обоснования предложенного
способа поиска точки vq надо бы еще доказать, что поиск минимума
(рт(и, Uq) на [щ, Ь] И [а, uo\ всегда удастся закончить за конечное число
изменений величин /тг, а. Интересно также исследовать, как влияют
погрешности, неизбежные при определении точек локального минимума
рассматриваемых функций, на весь процесс поиска глобального минимума.
Эти вопросы, по-видимому, пока еще должным образом не изучены.
При практическом использовании описанного метода обычно задают
некоторое достаточно большое натуральное число М и ограничиваются
рассмотрением функций срт(и, щ) лишь при 771 = 1, ..., Л/. Численныб
эксперименты показывают, что удачный выбор М и точность определения точек
локального минимума рассматриваемых функций обеспечивают
достаточно высокую эффективность этого метода [90].
3. Применим описанный метод поиска глобального минимума к задаче
минимизации многочленов / (и) = р^^ {и) = ^ ^i^^ степени 2п, где все ко-
1=0
эффициенты йг — действительные числа, старший коэффициент а2п > 0. По^
скольку Ит Pgn (^) ~ ^ ^ Р2п{и)—непрерывная функция, то мно^
жество М(и) = {и: w е R, Р2п{и) ^P2n(v)} непусто, ограничено и
замкнуто при любом фиксированном и. Кроме того, очевидно inf р^п (^) ^
и—я
= inf Р2п(^)~*^*' Поэтому, применяя теорему 1.1 к функции Р2п(и) на
u—M{v)
множестве М{и), получаем, что /* > — со и множество С/"* точек минимума
Р2п{и) на R непусто. Более того, так как производная р^^(и), является
многочленом степени 2п — 1, то она может иметь не более 2п — 1
действительных корней, и р2п(и) на R может иметь не более п — 1 точек
локального максимума и не более п точек локального минимума.
Поиск глобального минимума функции Р2п(и) на R можно осуществить
следующим образом. Отправляясь от произвольной начальной точки, с
помощью какого-либо локального метода минимизации, например, метода
парабол, находим точку uq локального минимума Р2п(и). В этой точке
^2п(%)^ ^ ^ справедливо представление
Р-гп («) = Р2п{%) + Р'т("о) (" - %)V2! + • • •
По аналогии с B) введем функцию
ф2A^, Uq) = (Р2п{и) ~ P2n(Uo))l(u — UQ)^ = Р2п-2(Ц, Uq) .
Из предыдущего представления следует, что Р2п-2{и, щ)—многочлен
степени 2п — 2 со старшим коэффициентом а2п'>0. Поскольку Р2п(и) —
— P2n{uQ) = (i^ — UQ)^p2n-2{Uj Uq) при всех i^ е R, ТО ясно, что точка uq будет
точкой глобального минимума Р2п(и) на R тогда и только тогда, когда
inf Р2П—2 (^» ^о) ^ ^' ^^^ означает, что исходная задача минимизации мно-
гочлена степени 2?г свелась к задаче минимизации многочлена Р2п-2{и, uq)
меньшей степени 2п — 2, которую в свою очередь можно аналогично
решать последовательным сведением к задаче минимизации на R
многочленов меньших степеней 27г — 4, 2п — 6, ..., 2 с одним и тем же старшим
коэффициентом а2п > 0. Остается заметить, что для многочлена второй
степени Р2(и) = b2u^ + biu + 60 (^2 = «2n > 0) точка минимума R
находится по известной формуле и^ = — Ь^Ц2Ь^).
Если при поиске минимума р2п-2(^, щ) на R будет найдена точка vq,
для которой P2n-2(vQ, Uq) < О, ТО сразу же возвращаемся к исходной задаче
минимизации Р2п{и): отправляясь от начальной точки vq, каким-либо ло-

66 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ ОДНОЙ ПЕРЕМЕННОЙ [ГЛ. 1
кальным методом находим следующую точку ui локального минимума
Р2п{и) со значением Р2п{и\) ^ P2n(vo) <С P2n{uo) и затем с новой точкой щ
поступаем так же, как с предыдущей точкой щ, п т. д. Этот процесс
перехода от одной точки Ui-i локального минимума к следующей точке щ с
более глубоким локальным минимумом закончится не более чем через /?
шагов обнаружением того, что Inf /^^г^—з!^» ^|)^0.
§ 13. О методе стохастической аппроксимации
Выше предполагалось, что значение минимизируемой
функции ПЛИ ее производной в кая^дой точке вычисляется точно.
Между тем из-за погрешностей применяемого здесь метода и
ошибок округления значения даже простейших элементарных
функций могут быть вычислены, вообш;е говоря, лишь
приближенно. Поэтому при поиске минимума вместо точных значений
функции J (и) мы будем иметь дело с приближенными
значениями z{u) с некоторой погрешностью \J{u)—z {и)\ < г, В этом
случае уверенно можно различать значения функции в двух
точках и выяснить, какое из них меньше, только тогда, когда
разность этих значений больше 28. Понятно, что это
обстоятельство должно быть учтено при использовании описанных выше-
методов минимизации.
Весьма усложняется решение задачи минимизации в тех
случаях, когда на значения функции в каждой точке
накладываются случайные ошибки или, как говорят, помехи. Такая ситуация,
например, имеет место, если значения функции получаются в
результате измерений какой-либо физической величины. В том
случае, когда помехи являются случайной величиной и обладают
определенными ъероятностными характеристиками, для поиска
минимума целесообразно использовать метод стохастической
аппроксимации.
Опишем один из вариантов втого метода. Будем предполагать^
что значения функции J (и) могут быть измерены в любой
фиксированной точке u^R, причем результаты измерений не
содержат Систематических ошибок. Тогда для поиска минимума
функции J (и) на R может быть использован следуюш;ий
итерационный метод:
Un+i = Un- an{z{Un + Сп)- z{Un- Сп))/Сп n=l, 2, ..., A)
где последовательности iaj, icn) заданы и удовлетворяют
условиям
ап>0, Сп>0, ^г = 1,2, ..., Итап= Итсп = О, B)
П->схэ П-^го
п=^1 п=1 \ "• /
Например, здесь можно взять an = i/n, Cn=i/n^^^ (^ = 1» 2, ...).

§ 13] о МЕТОДЕ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ 67
Следует заметить, что в тех случаях, когда слева от точки
минимума график функции имеет крутой спуск, справа — крутой
подъем, а на остальных участках функция J {и) изменяется
медленно, сходимость метода A) может ухудпгаться. В самом деле,
на пологих участках разность z{un +Сп) —z{un —Сп) может стать
очень малой, и тогда шаги поиска \un+i — Un\ будут малыми, а на
крутых участках, наоборот, пгаги поиска могут стать очень
большими. В результате значительная часть времени на поиск может
быть затрачена на чрезмерно медленные спуски на пологих
участках и последуюш;ие большие скачки через точку минимума с
попаданием на другой пологий участок. В таких ситуациях
может оказаться полезным следующий вариант метода
стохастической аппроксимации:
Un+i = Un — anSign{z{un + Cn)—z{Un — Cn)), w=l, 2, ..., C)
где последовательности {aj, icn) по-прежнему удовлетворяют
условиям B), signal — знак числа а, т. е. signa = l при а>0,
sign а = —1 при а < О, sign 0 = 0. Сходимость метода C) можно
ускорить, если длину шага an менять лишь при изменении знака
z{un + Сп) — z{un — Сп), сохраняя а^ постоянным в остальных
случаях.
При некоторых предположениях относительно функции J (и)
и вероятностных характеристик случайной величины z{u) можно
доказать сходимость по вероятности последовательности Ып),
определяемой формулами A) или C), к точке глобального
минимума J {и) на R. Различные варианты метода стохастической
аппроксимации, строгое обоснование этого метода, различные
приложения можно найти в [180].

Глава 2
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
О ЗАДАЧАХ НА ЭКСТРЕМУМ
в этой главе собраны основные факты о задачах на экстремум
функций конечного числа переменных, обычно излагаемые в учебниках по
математическому анализу [10, 160, 165, 233], а также некоторые другие
вспомогательные формулы и оценки, необходимые для дальнейшего изложения.
§ 1. Постановка задачи минимизации. Теорема Вейерштраееа
1. Сначала введем обозначения, напомним некоторые
определения из линейной алгебры и математического анализа.
Через R"" будем обозначать л-мерное вещественное линейное
пространство, состоящее из вектор-столбцов
1"!
с действительными координатами и\ v\ w% ... (J=l, ..., п);
сумма и + и двух вектор-столбцов и произведение аи вектор-
столбца и на действительное число а в R" определяется так:
и +
вектор-столбец
[ u^ + v^
^ "" [ ^п _j_ ^п
аи =
аи
называется нулевым. Вектор-строку, полученную
транспонированием вектор-столбца щ обозначим через и^ = {и^^ ..., и^). Там,
где не могут возникнуть недоразумения, вектор-столбец или
вектор-строку из R'' для краткости мы часто будем называть
просто вектором или точкой, а знак транспонирования «Г»
будем опускать.

§ 1] ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ 69
Если в R"" ввести скалярное произведение двух векторов
п
<^и, г;> = 2 ^^^\ и, v^ R^,
г=1
то R"" превращается в п-мерное евклидово пространство, которое
будем обозначать через Е"^. Длина вектора или норма вектора в
Е"^ определяется так:
/ П \1/2
Величину
1/2
\г=1
называют евклидовым расстоянием между точками и, и^ ?"**
Для любых точек и, v, w^ Е'^ справедливо неравенство
\и -- v\ <, \и — w\ + \w — v\,
называемое неравенством треугольника. Когда важно
подчеркнуть, что скалярное произведение, норма, расстояние взяты
именно в ?", мы будем писать <гг, v)^^n-, 1^|^;п, \и — ^Ij^n.
2. Перейдем к постановке задачи минимизации. Пусть
и — некоторое непустое множество из Е'^^ а J {и)—функция,
определенная на этом множестве. Всюду ниже, если не оговорено
противное, мы будем рассматривать лишь функции,
принимающие во всех точках u^U конечные вещественные значения.
Определения таких понятий, как точка минимума и максимума,
наименьшее и наибольшее значение, ограниченность снизу и
сверху, нижняя и верхняя грань функции ]{и) на множестве С/,
минимизирующая и максимизирующая последовательность, точка
локального и строгого локального минимума и максимума
функции, сходимость последовательности к заданному множеству в
пространстве Е"" получаются из определений 1.1.1 — 1.1.6, 1.1.Б —
1.1.10, нужно лишь под и понимать точку и = {и^^ ..., и"") из
?''', под |гг|—норму и в Е"", Поэтому здесь мы не будем
воспроизводить определения перечисленных понятий. Примеры
1.1.1 — 1.1.5 могут служить иллюстрацией к этим понятиям и в
?'', так как функция одной переменной является частным
случаем функции п переменных.
Нижнюю грань функции J {и) на множестве U по-прежнему
будем обозначать через
mlj {и) — J^,
и
а множество точек минимума J {и) на U—через
и^ = {и: и^и, J (и) = /jjj}.

70 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
Для обозначения задачи минимизации функции J {и) на
множестве и часто будем пользоваться следующ;ей краткой
стандартной записью:
Как и в § 1.1, будем различать задачи минимизации двух
типов. В задачах первого типа ищется точное или приближенное
значение величины Z^^, и здесь неважно, будет ли мноя^ество
и^ пустым или непустым. В задачах второго типа наряду с
величиной J^ ищется точка u^U^ которая достаточно близка
к множеству U^, или даже принадлежит П^^, — здесь
естественно требовать, чтобы /^j^> — оо, и^Ф 0.
Для приближенного ренхения задач обоих типов на практике
обычно строят какую-либо минимизирующую
последовательность {и^}:
Uk^iU, /с = 1, 2, ..., lim / (uk) = J
h-
*
(при U^^ 0 возможно, например, и^ = u^s^^U^j^, /i: == 1, 2, ...).
Тогда, как нетрудно видеть, в качестве приближения для /*
молено взять величину J{Uh) при достаточно большом к. В том
случае, если Ыи) сходится к множеству U^, т. е. р{щ,и^) =
= in.i\uk — i^j-^Onpn к-^^, точку Uj, и соответствующее зна-
чение функции J(Uk) при достаточно большом к можно принять
за приближенное решение задачи второго типа. Однако, как мы
видели в примере 1.1.5, условие lim p{uj^, С/^) = О имеет место
не всегда. Поэтому в задачах второго тина построение
минимизирующих последовательностей, сходящихся к С/^, в общем
случае требует привлечения специальных методов.
В то же время имеются классы задач второго типа, у
которых любая минимизирующая последовательность {uj сходится к
Z7:jj. Эти классы задач хороши тем, что для их приближенного
решения достаточно построить произвольную минимизирующую
последовательность {иJ и затем пару {щ, 1{щ)) при достаточно
большом к принять за приближенное решение. Один такой класс
задач будет описан ниже в теореме 1. Эту теорему будем
называть теоремой Вейерштрасса, поскольку она является
некоторым обобщением хорошо известной из учебников по
математическому анализу теоремы Веперштрасса о достижении нижней
грани непрерывной функции на замкнутом ограниченном
множестве из Е^ [10, 160, 165, 233].
3. Для формулировки теоремы Вейерштрасса нам
понадобятся понятия компактного множества, полунепрерывности снизу
функции и некоторые другие понятия из математического
анализа. Кратко напомним их определения.

§ 1] ПОСТАНОВКА ЗАДАЧИ МПНИМИЗАЦИИ 71
Пусть {uj == {ui^ U2, ...) ~" некоторая последовательность,
{uj^?", т. е. Uh^E'^ (^ = 1, 2, ...). Точка v называется
предельной точкой последовательности {и^}, если существует
подпоследовательность {Wft^}, сходящаяся к v. Последовательность
{uj называется ограниченной^ если существует постоянная
М ^ О такая, что \и^,\ ^ М для всех /с = 1, 2, ...
Множество и из Е'^ называется ограниченным^ если
существует постоянная it ^ О такая, что lul ^i? для всех u^U.
Множество 0{v, г)={и: и^Е'^^ кг —i;l<8}, представляющее собой
открытый niap с центром в точке v и радиусом 8 > О,
называется е-окрестностъю точки v. Точка v^E"" называется
предельной точкой множества ?/с:?^, если любая ее е-окрестность
содержит точки из С/, отличные от v. Нетрудно видеть, что для
любой предельной точки v множества U существует
последовательность {Uhi^U {Uk?=v), сходящаяся к у,—для построения
такой последовательности достаточно при каждом /Ь = 1, 2, ..,
взять точку Uh^O{u, ijk) {Uh?=v). Верно и обратное: если в U
существует последовательность {uj (u^^y), сходящаяся ц
точке у, то г; — предельная точка множества U, Множество U из
Е"" называется замкнутым, если оно содержит все свои
предельные точки.
Определение 1. Множество U из Е"" называется ком-
пактным, если любая последовательность {uj ^ U имеет хотя
бы одну предельную точку v, причем v^ U.
Согласно теореме Больцано — Вейерштрасса всякая
ограниченная последовательность имеет хотя бы одну предельную
точку. Пользуясь этой теоремой, нетрудно доказать, что в Е""
компактными являются все замкнутые ограниченные мнол^ества и
только они.
Числовая последовательность хх^^} — (^i, ^2? • • •) называется
ограниченной снизу [сверху], если существует число А такое,
что Xh>A[xj^^A] при всех k = i, 2, ... Если {xj не ограничена
снизу [сверху], то существует подпоследовательность [^^.^1
такая, что lim Xk^ = — сх) riim Xk^ = ool.
m-^oo [m->oo J
Определение 2. Число a называется нижним [верхним]
пределом ограниченной снизу [сверху] числовой
последовательности ixj) и обозначается через lim Xk = а\
1) существует хотя бы одна подпоследовательность {^л^},
сходящаяся к а; 2) все предельные точки {^г^} не меньше [не
больше] числа а, т. е. число а является наименьшей [наибольшей]
предельной точкой последовательности ixk). Иначе говоря, а —
нижний [верхний] предел {xj, если для любого 8 > 0: 1)
существует номер N такой, что х^"^ а — г [х^'^а + г] для всех
k'^N; 2) для любого номера т найдется номер кт> ш такой,
lim Xh
если:

72 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
ЧТО o^ft^^a + 8 Гд^/г^^а —б]. В том случае, когда {xj) не
ограничена снизу [сверху], то по определению принимают
lim Xk = — оо [lim х^= оо\; если lim х^= — схэ, то полагают
Иш Xk = — оо; если lim Xj^ = cxd, to lim ^r^ = cxd.
Например, если Xk = {—i)^ (^^ = 1, 2, ...), то lim х^ = — i,
lim Xk= 1; если :г/^ = (— i)^k {к = I, 2, ...), то lim x^ = — oo,
limxft = cx); если ^r^ = [l + (— l)^]k {k=l, 2,.. .), то lim д:^ = 0,
lim Xk = oo; если д:;^ = k"^ {к == 1, 2, ...), то lim x^ = lim д^д = 0.
Для того чтобы числовая последовательность {xj имела
предел, необходимо и достаточно, чтобы lim хи = lim х^ = а; тогда
lim Xk = CL,
Определение 3. Пусть функция J (и) определена на
множестве и^Е"", Говорят, что функция J {и) полунепрерывна
снизу [сверху] в точке u^U, если для любой последовательности
{Uft} е и, сходящейся к точке и, имеет место соотношение
lim / (Uk) ^ / (и)
Функцию J (и) называют
lim / (щ) ^J{u)\
I fe-»oo J
полунепрерывной снизу [сверху] на множестве U, если она
полунепрерывна снизу [сверху] в каждой точке этого множества.
Предлагаем читателю доказать, что функция J (и)
полунепрерывна снизу [сверху] в точке v^U тогда и только тогда, если
для любого 8 > О существует б > О такое, что для всех u^iu: и^
е С/, |и —i;|<6} справедливо неравенство J{u)> J{v)'-e[J{u)^
^J{u)+ г]. Нетрудно убедиться, что функция непрерывна в
точке V тогда и только тогда, когда она в этой точке
полунепрерывна и снизу, и сверху.
Пример 1. Пусть и = {и: и^Е'^^ [ul < 1} — w-мерный
единичный шар; пусть J{u)=^\u\ при 0<|и1=^1 и /@) = а. Тогда
при а<0 функция /(и) будет полунепрерывна снизу на U\ при
а ^ О — полунепрерывна сверху на U\ при а = О —
непрерывна на и.
Пример 2. Пусть 17 = {и: и^Е\ —Ки^ 1); J{u)=u при
0<и^1; /(u)=l-u {-1^и<0); 7@) = а. Нетрудно
видеть, что при а ^ о эта функция полунепрерывна снизу на U;
при а> i — полунепрерывна сверху на С/, а при О <а < 1 в
точке 1г = О она не будет полунепрерывной ни снизу, ни сверху.
Пример 3. Пусть и = {х, у)^Е^; J{u) = x^ + y^ при ж > О,
i/^0;7(u) = 0 при х^О, у>0; J{u)=^l при х>0, у<0;

§ 1] ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ 73
/(u) = —1 при д: < О, г/<0. Нетрудно показать, что эта функция
на множестве Ui = {{x, у): х>0, у>0} непрерывна; на Uz =
= U^» у)- 2/^0} полунепрерывна снизу; на из = {(х, у): х<0}
полунепрерывна сверху; на U^ = {{x, у): х>0} в некоторых
точках полунепрерывна снизу, в некоторых — сверху.
Установим связь между свойством полунепрерывности снизу
функции и замкнутостью множеств
М{с)={и: и^и, /(и)^с}, с = const,
называемых мнояхествами Лебега функции J (и) на множестве U.
Лемма 1. Пусть U — замкнутое множество из Е'^. Тогда
для того, чтобы функция J {и) была полунепрерывна снизу на С/,
необходимо и достаточно, чтобы множество Лебега М{с) было
замкнутым при всех с {пустое множество считается замкнутым
по определению), В частности, если J (и) полунепрерывна снизу
на и, то множество U^ точек минимума J {и) на U замкнуто.
Доказательство. Необходимость. Пусть J {и)
полунепрерывна снизу на U. Возьмем произвольное число с.
Пусть М{с)Ф0. Возьмем какую-либо предельную точку w
множества М{с). Тогда существует последовательность {uj)^M{c),
сходящаяся к w. В силу замкнутости U точка w^U. Из того,
что J{Uh)^c (fc = l, 2, ...), с учетом полунепрерывности снизу
J (и) в точке W имеем J{w)<limJ{U],)^ с, т. е. w^M{c),
Замкнутость М{с) доказана. В частности, множество U^ = iu: ue U,
J {u)^J^ = inij {u)\ замкнуто.
Достаточность. Пусть для некоторой функции J (и)
множество М{с) замкнуто при любом с. Возьмем произвольные
8 > О, и^и и последовательность {uj ^ С/, сходящуюся к точке
U. Пустьlim /(t/;,) = а = lini/(u/j^). Тогда J(и^^)^A + г, т.е.
Uk^^ М {а + г), для всех достаточно больнгих номеров km- Но
М{а + г) замкнуто по условию, а точка и является пределом
для [Ukra]- Следовательно, и^М{а + г), т. е. J{u)^a + г, В силу
произвола 8 > О отсюда имеем J{и)^а = lim /(и^).
Установим одно интересное свойство расстояния от точки до
множества.
Лемма 2. Пусть U — произвольное непустое множество из
Е"^, Тогда расстояние р {и, U) = inf р {и, w) от точки и до мно-
жества и как функция переменной и непрерывна на Е'^ и, более
того, удовлетворяет условию
\р{и, U)-p{u, U)\^p{u, V) Vi^, г;e?^
Доказательство. Прежде всего из р(и, w)= Ы — w\ > О
и р{и, U)^\u— w\ (w^U) следует, что функция р(и, U)

74 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
неотрицательна и конечна во всех точках и ^ Е"". Возьмем
произвольное число 8 > 0. По определению нижней грани (см.
определение 1.1.3) для любых и, и^Е"^ найдутся точки щ, Ue^U
такие, что
р(и, U)<p{u, Ue)<p{u, С/)+8, p{v, U)<p{V, Ue)^p{v, U)+ E.
Поскольку p(u, U)^p{u, Уе), TO c помощью неравенства
треугольника p{u, Vs)^p{u, u) + p{v, Ve) имеем p{ii, U) — p{u, U)^
^p{u, Ve)—p{v, Ve)+ &^р{щ v)+s, Аналогично получается
неравенство p(u, C/)--p(y, U)>p{u, Ue)— e'-p{v,Ue)> — p{u,v)— &.
Объединяя два последних неравенства, имеем \р{и, U) —
— р(г;, С/')|<р(и, v)+г. Отсюда при 8->+0 получим требуемое
неравенство.
4. Перейдем к формулировке теоремы Вейерштрасса.
Теорема 1. Пусть U — компактное множество^ а функция
J (и) определена, конечна и полунепрерывна снизу на U. Тогда
/jjj = inf J {и)> — оо, множество U^ — {и: и ^: U, J (и) = J..}
и
непусто, компактно и любая минимизирующая
последовательность сходится к и^.
Доказательство. Возьмем произвольную
минимизирующую последовательность {uj: щ^и (& = 1, 2, ..., limJ(Uh) =
= /jj.). Существование хотя бы одной такой последовательности
следует из определения 1.1.3 нижней грани функции. Так как
и — компактное множество, то {иJ имеет хотя бы одну
предельную точку и все ее предельные точки принадлежат U, Возьмем
любую предельную точку и^ этой последовательности. Тогда
существует подпоследовательность {Ufe^j, сходящаяся к точке и^,.
Пользуясь свойством нижней грани /^ и полунепрерывностью
функции J (и) в точке u^j, имеем
/^ < / (ш^) < lim / (uu^) = lim / (и^,) = /^,
Т. е. J (u^) == J^. Отсюда следует, что /jj.>—-оо, U^=^0. Более
того, показано, что любая предельная точка любой
минимизирующей последовательности принадлежит С/^..
Покажем, что U.j^ компактно. Возьмем произвольную
последовательность {vk} ^ и^. Так как {uj ^ U — компактное
множество, то существует подпоследовательность {^/г^Ь сходящаяся
к некоторой точке v^^U. Но {yj — минимизирующая
последовательность, так как J{vk) = J^ {k = i^ 2, ...). По вышедо-
казанному тогда v^^lU^, Компактность tf^ установлена.
Покажем, что любая минимизирующая последовательность
{и^ сходится к [/:{:. Так как p{uj^,U^)= inf р(^/г, u)^0 (А: =
= 1,, 2, ...), то ясно, что limр(а^, U^)'^0, Пусть Итр(гг^, U^ =

§ 1] ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ 75
= lim p(Ufe^, С/^) = а^ сх). В силу компактности U из{иь^}
МОЖНО выбрать подпоследовательность, сходящуюся к некоторой
точке и^. Не умаляя общности, можем считать, что сама
последовательность l^fe^^} сходится к и^. Согласно лемме 2 функция
р(и, C/jj.) непрерывна по переменной 1г, поэтому lim 9(Щгп'> ^*) "^
= р (u^, и^ = а. Однако по доказанному u^^U^. Тогда а =
= р (w^, и^) = 0. Это значит, что Ит р {uj,, U^)^Timp {uj,, U^) =
= 0. Следовательно, предел lim p (i^^^, u\) существует и равен
нулю. Теорема 1 доказана.
Предлагаем читателю рассмотреть функции и мнол^ества из
примеров 1—3 (см. также примеры 1.1.1 — 1.1.5) и проверить,
в каких случаях условия теоремы 1 выполнены и,
следовательно, нижняя грань достигается, в каких случаях она не
достигается и в каких случаях нижняя грань достигается несмотря на
то, что условия теоремы 1 нарз^шены.
5. Заметим, что в теореме 1 условие компактности множества
и является довольно жестким. Например, такие часто
встречающиеся на практике множества, как U = Е'^ — все пространство
или и = {и: и^ ^ О, ..., и" ^0} — неотрицательный ортант, не
являются компактными. Приведем две теоремы, в которых
компактность множества U не предполагается, но зато функция,
кроме полунепрерывности снизу, удовлетворяет некоторым
дополнительным требованиям.
Теорема 2. Пусть U — непустое замкнутое множество из
Е'^, функция J {и) конечна, полунепрерывна снизу на U и для
некоторой фиксированной точки v^U множество Лебега
M{v) = {u: и^и, J{u)<J{v)}
ограничено. Тогда Лц!> — оо, мпожесгаво U^^ непусто, компактно
и любая минимизирующая последовательность (i^J, принадле-
0}€ащая M{v), сходится к U^.
Доказательство. По определению мноя^ества M{v)
имеем: J{u)>J{u) при всех и^и\М{и) и J{u)^J{u) при всех
и^М{и). Это значит, что на U\M{u) функция J (и) не может
достигать своей нижней грани на U и для доказательства
теоремы достаточно рассмотреть J (и) па множестве M{v),
Замкнутость множества M{v) вытекает из леммы 1. Из
ограниченности п замкнутости M{v) следует его компактность.
Применяя теорему 1 к функции J {и) на M{v), получим все
утверждения теоремы 2. Попутно установили, что U^^M{v).
Заметим, что в теореме 2 утверждается сходимость к U^
только тех минимизирующих последовательностей и^^ которые
принадлежат М[и), Если J{v)>J^, то условие {Uh}^M{v)
можно не оговаривать, так как в этом случае для любой миними-

76 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
зирующей последовательности {uj найдется номер к^ такой, что
J{Uh)<J{v) для всех к>ко, т. е. Uk^M{v) при к>ко. Если
же J{u) = J^, то и^=М{и) и, как видно из примера 1.1.5,
в этом случае могут существовать минимизирующие
последовательности, которые не принадлежат M{v) и не сходятся к U^,
Теорема 3. Пусть U — непустое замкнутое множество из
Е"", функция J (и) конечна^ полунепрерывна снизу на U и для
любой последовательности {Uf^} е С/, lim | w^^ | = сх) (если такие
Uh существуют) имеет место соотношение
lim J (Uh) = оо.
ft- оо
Тогда /^> — схэ, множество U^ непусто, компактно и любая
минимизирующая последовательность {и^} сходится к U^,
Доказательство. Если множество U ограничено, то все
утверждения теоремы следуют из теоремы 1. Поэтому пусть U
не ограничено, т. е. существует хотя бы одна последовательность
{uJ^U такая, что lim | i;/i | = схэ. Тогда согласно условию тео-
fe->oo
ремы lim/(i;;j) = оо. Возьмем какую-либо точку v^U такую,
что / (v) > J^ (например, можно принять v = Vk при достаточно
большом к), и рассмотрим множество Лебега M{v)—{u: u^U,
J{u)^J(v)}, Покажем, что M{v) ограничено. Допустим
противное: пусть существует последовательность {Wh}^M{v) такая,
что lim \wk\ = оо. Тогда limJ{Wh) = ^^ что противоречит не-
равенству J{Wk) =^ J{v) < «э, вытекающему из включения w^ е
^М{и) (fc = l, 2, ...). Таким образом, множество M{v)
ограничено. Отсюда и из теоремы 2 следуют все утверждения
теоремы 3.
Следствие 1. Пусть U — непустое замкнутое множество
из ?"". Тогда для любой точки и^Е'^ найдется точка v = v{u)^
^и такая, что p{u,U)= inf \u — w\ = \u —v{u)l т, e, v{u)^
ближайшая к и точка из U.
Доказательство. Пусть и — произвольная точка из Е"".
Рассмотрим функцию g{w)= \w — u\ переменной w^E"", Ясно,
что g{w) непрерывна на Е"". Кроме того, g{w)> \w\ — \и\, так
что lim g{w) = оо. Таким образом, g{w) удовлетворяет усло-
ВИЯМ теоремы 3 на любом непустом замкнутом множестве
и^Е"". Существование искомой точки v = u{u) теперь следует
непосредственно из теоремы 3. Заметим, что такая точка г;(и),
вообще говоря, неединственна.
6. В заключение кратко остановимся на задаче
максимизации функции J (и) на множестве U, Так как
sup J (и) = — inf (— / (и)),
и и

$ 1] ПОСТАНОВКА ЗАДАЧИ МИНИМИЗАЦИИ 77
ТО ясно, ЧТО любая точка максимума или любая
максимизирующая последовательность для J {и) на U будет соответственно
точкой минимума или минимизирующей последовательностью для
функции {—J{u)) на и. Это значит, что любая задача
максимизации функции J (и) на и равносильна задаче минимизации
функции {—J{u)) на том же множестве U. Поэтому можно
ограничиться изучением лишь задач минимизации.
Предлагаем читателю, пользуясь указанной связью между
задачами минимизации и максимизации, но аналогии с п. 2
сформулировать задачи максимизации первого и второго типов.
Далее, учитывая, что полунепрерывность сверху функции J (и)
равносильна нолуненрерывности снизу функции —J(и),
нетрудно сформулировать и доказать аналоги теорем 1 — 3 для задач
максимизации.
Упражнения. 1. Выяснить, будет ли произвольная
минимизирующая последовательность сходиться к множеству точек минимума функции
J (и) на множестве С/, если:
а) и={и= {х, у) ^Е'', х^О, у^О, х + 2у^ 1}, J (и) = х + у;
б) и = E^,J{u) = \u\(i+ \и\')-';
в) и = Е"", 7{и) = \и\^.
2. Пусть множество t/'^ точек минимума функции J (и) на U непусто и
ограничено. Доказать, что для сходимости любой минимизирующей
последовательности {uh} к Ui^ необходимо и достаточно, чтобы существовало
число а > О такое, что множество М^^ = {и: и ^ U, J (и) <: /* + ее}
ограничено.
3. Доказать следующие свойства верхнего и ния^него пределов
числовых последовательностей:
a) lim са^ = с lim а^, lim са^ = с lim а^, lim (— са^) = ~ с JJ^ а^,
lim (— са^\ = ~ с lim а^ для любых с = const > 0;
б) если а^^Ь^ (д = 1, 2, . ..), то lim а^^ lim b^, lim а^< lim b^;
b) lim a^ + lim b^ < lim (a^ + ЬЛ < lim a^ + lim Ъ^, Рассмотреть
n-^oo n-^oo n-»oo n->cx) n-^oo
пример a-n = (—1)^, bn = (—1)^ или bn = (—l)^'*'^ и убедиться, что
здесь возможны строгие неравенства;
г) lim а^ + lim b^ < lim (а^ + b^) < lim a^ + lim b^. Привести при-
n-^oo n-*oo n-^oo n-»oo n-»oo
меры последовательностей, когда здесь возможны строгие неравенства;
д) если существует lim а^, то lim (а^ + Ь^\ = lim а^ + lim Ь^,
^_^QQ П-^оо П-^оо П-^(Х>
lim (а^ + Ь^) == lim а^ -\- lim b^;
n-*oo П-^оо n->oo
е) если а^> о, 5^>0 (д = 1, 2, ...), то lim а^-lim 6^ < lim а^6^<
П-»оо П->оо П-^оо
< lim а^- lim b^; lim а^- lim 6^^ < lim ci^b^^ lim a^- lim b^. Приве-
n^oo ?г-*оо n-^oo n-»oo n-»oo n-»c» n-»oo
СТИ примеры последовательностей, когда здесь возможны строгие
неравенства;

78 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНПЯ [ГЛ. 2
ж) если ап^О, Ъп^О (тг = 1, 2, ...) и существует lim а^, то
lim ci^b^= lim а^. lim 6^, lim (a^&^^) = lim a^- lim b^,
4. Найти верхний и нижний пределы последовательности an = sin па^
где а — фиксированное число.
5. Пусть J (и) = A — е-'^')-^ (i^ =7^ 0). Как надо доопределить эту
функцию при и = О, чтобы она стала полунепрерывной снизу или сверху на
Е^ ==R?
6. Пусть Ji{u), /2A^)—две функции, полунепрерывные снизу на
множестве и. Будут ли полунепрерывными снизу на U следуюгцие функции:
а) J{u) = ajiiu) + a2J2(u) (рассмотреть случаи положительных и
отрицательных tti, аг);
б) 7{и) = min{/i(?^); 12{и)};
в) 7{и) =max{/i(i^); /2,A^)};
г) 7{и) = \J,{u)\?
7. Пусть функция J (и) определена на множестве и. Говорят, что
число А является нижним [верхним] пределом этой функции в точно и по
множеству и, и обозначают Ит J (и) == А llim / (и) = А] если:
а) для любой последовательности {ии} е U, сходящейся к и, имеет
место неравенство lim / (иЛ > А \ lim / (w^^) < а];
б) существует последовательность {uk} е U, сходящаяся кип такая,
что lim J (иЛ = А.
fe-»oo
Доказать, что функция J {и) полунепрерывна снизу [сверху] в точке и,
если lim / (w) > / (у) [lim / (w)< / (г;I.
8. Пусть и = ?^, J{u) = sin (Jt 11/. 1-1) при ифО п /@) = a. При
каких а эта функция будет полунепрерывна снизу или сверху на V^ Найти
lim / (и)^ lim / {и). Что изменится, если U =^ {и: \и\ = п-\ п = 1, 2, ...}?
гГТо ^^-*о
9. Показать, что понятия верхнего и нижнего предела функции в
точке обладают свох^ствамп, аналогичными свойствам верхнего и нижнего
предела числовых последовательностей, приведенных в упражнении 3.
§ 2. Классический метод
Как и в гл. 1, под классическим методом будем
подразумевать тот подход к поиску точек экстремума функции многих
переменных (т. е. точек локального минимума п максимума —
см. определения 1.1.6, 1.1.10), который основан на
дифференциальном исчислении и обычно излагается в учебниках по
математическому анализу [10, 160, 165, 233]. Мы здесь лишь
вкратце остановимся на этом методе.
1. Сначала напомним некоторые понятия и факты из
дифференциального исчисления функций многих переменных.
Определение 1. Пусть функция J (и) определена в
некоторой 8-окрестностп 0{и, e)={v: и^Е"", li; —и|<8} точки и.
Говорят, что функция J {и) дифференцируема в точке и, если
существует вектор J'{u)^E'' такой, что прирагцение функции

§ 2] КЛАССИЧЕСКИЙ МЕТОД 79
AJ{u) = J{u +h) —J{u) {\Ы<г) можно представить в виде
Ы{и)=<Г{и), Ю + о{]г, и), A)
где о (/г, 1г) —величина, бесконечно малая более высокого
порядка, чем \h\, т.е. Ит o{h, u)\h\~^ = 0. Величина dJ{u) =
= iJ'{u), Ю представляет главную линейную относительно h
часть приращения A) и называется дифференциалом функции
J {и) в точке W, а вектор J' {и)— градиентом этой функции
в точке и.
Условие A) однозначно определяет градиент J'{u), причем
где
r{u) = [/^i{u),..,,Jln{u)y B)
а-»о
есть частная производная функции J (и) в точке и по переменной
ii\ вг = @, ..., О, 1, О, ..., 0)—единичный вектор, у которого
i-я координата равна 1, остальные координаты равны нулю.
Всякая функция, дифференцируемая в точке, непрерывна в этой
точке.
Для определения дважды дифференцируемой функции нам
понадобится понятие квадратичной формы. Напоминаем, что
п
квадратичной формой называют функцию ^ aijuhi^ переменных
и^{и\ ..., и^)^Е'^, которая однозначно определяется заданием
симметричной числовой матрицы
4=
L^ni •• • ^п
= [(^ц]
размера щ называемой матрицей квадратичной формы. Обозна-
п
чая через Аи вектор-столбец с координатами {АиУ — 2 ^а^^
0=1
(i=l, ..., w), квадратичную форму можно кратко записать в
виде <Ли, w>.
Определение 2. Пусть функция J {и) определена в
некоторой 8-окрестности точки и. Говорят, что эта функция дважды
дифференцируема в точке и, если наряду с градиентом J'(и)
существует симметричная матрица J" (и) порядка пХп такая,
что приращение функции в точке и можно представить в виде
J{u + h)-J{u)=^<r{u), Ю+{\/2)а" {u)h, Ю + а{К и), C)
где a(/i, u)I\hV -^ О при \h\ -^ 0.
Квадратичную форму d}J{u)= U" {u)h, Ю переменной fe =
= {h\ ..., h^)^E'^ называют вторым дифференциалом функции

80
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ
[ГЛ. 2
J (и) в точке щ а матрицу J" {и)— второй производной этой
функции в точке и.
Условием C) матрица J" (и) определяется однозначно,
причем
Г'{и) =
d^J (и) дЧ (и)
аУ (и) d^J {и)
d^J {и) d^J (и)
d^J {и)'
ди^диР'
аУ ( и)
Л_(и)
[«^^i(^)]'
D)
где /li,jH-
aV {и)
_д_ (dJ (и)
ди
_ J_ ldJ{u)\
¦ вторые частные
производные функции J (и) по переменным и\ и\
2. Пусть функция J {и) дифференцируема во всех точках
пространства Е'^, Тогда точками локального минимума или
максимума функции J [и) на Е"" могут быть липгь те точки v, в
которых /'(i;)=0, что в силу B) можно записать в виде системы
уравнений
E)
Все точки у, удовлетворяющие системе E), называются стацио^
парными точками функции J {и).
Таким образом, поиск точек экстремума можно начинать с
решения системы E) и определения стационарных точек.
Однако, к сожалению, не всякая стационарная точка представляет
собой точку локального минимума или максимума. Поэтому
после нахождения стационарных точек проводят
дополнительное исследование, и из них отбирают те точки, которые в самом
деле являются точками экстремума. Если функция J {и) дважды
дифференцируема в окрестности стационарной точки и все
вторые частные производные этой функции непрерывны в этой
точке, то для такого исследования можно использовать второй
дифференциал функции. А именно, если в стационарной точке
V квадратичная форма dV(i;)= </''(i;)A, Ю положительно
определена, т. е. W {v)h^ h>>0 для всех h?=0, то у —точка
локального минимума функции J (и); если И" {v)h^ кУ
отрицательно определена, т. е. U" {v)h, fe> < О при всех КФО, то v —
точка локального максимума; если я^е квадратичная форма
iJ" {v)h^ Ю знакопеременна, т. е. может принимать как
положительные, так и отрицательные значения, то в точке v функция
J {и) не имеет локального минимума или максимума.

§ 2] КЛАССИЧЕСКИЙ МЕТОД 81
п
Напомним, что квадратичная форма {Аи, гг> = 2 ctijU^u^ бу-
дет положительно определенной тогда и только тогда, когда все
угловые миноры матрицы Л, т. е. определители
Ai = det
^11 ••• НгЛ
положительны; форма <Ли, и> отрицательно определена тогда
и только тогда, когда (—l)'Af>0 (i=l, ..., п), т. е. знаки
угловых миноров Ai, ..., An чередуются, причем Ai < 0. Таким
образом, для проверки знакоопределенности квадратичной
формы <J'' {v)k, hy достаточно вычислить угловые миноры матрицы
/"" (и) и исследовать их знаки.
В том случае, когда в стационарной точке квадратичная
форма <J''{v)h, Ю не меняет знака при всех h^E"", но может
равняться нулю при некоторых й =5^ О, то для выяснения
поведения функции в окрестности точки v можно привлечь старшие
производные и связанные с ними формы более высокого порядка:
где суммирование проводится по всем целым ri, ..., Гп таким,
что О =^ Гг ^ 7?г (^ = 1, ..., щ ri + ... + Гп== пг> 3), Однако на
практике исследование характера стационарных точек с помощью
форм d/^J{v) {m>3) почти не применяется из-за его
громоздкости.
В тех случаях, когда указанным выше путем удается выявить
все точки локального минимума [максимума] функции /(гг), то
для определения глобального минимума [максимума] этой
функции на всем пространстве Е"" нужно перебрать все точки
локального минимума [максимума] и из них выбрать точку с
наименьшим [наибольшим] значением функции, если такая точка
суш;ествует.
Пример 1. Пусть в пространстве Е"" даны т точек щ =
— (и], ,. .^ Ui) (J==l, ..., т) и требуется найти точку и^Е"",
сумма квадратов расстояний от которой до этих данных точек
минимальна. Иначе говоря, требуется минимизировать функцию
т
J{u)= ^\и--щ\^ на Е"".
m
Поскольку /' (гг) = 2 2 {и — щ), то система E) здесь выгля-
г=1
т
ДИТ так: ти — 2 ^г = 0. Отсюда получаем стационарную точку
г=1

82 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
и^=— 2^Щ^z^Q,подозрительную на экстремум. Матрица вто-
г=1
рых производных равна J" {и)^2тЕ при всех и^Е"^, где Е —
единичная матрица размера пХп, т. е. матрица, у которой
элементы аи = 1, ац = О при i?=] (i, / = 1, ..., w). Отсюда ясно, что
</'" {u)h, h> ==2m\h\^>0 при всех НФО, Это значит, что в точке
и^ == Uq достигается локальный минимум. Однако здесь можно
сказать больше: в точке и^ = щ функция J{u) достигает своего
глобального минимума на ?". В самом деле, рассматриваемая
функция такова, что lim J (и) = 00, Тогда по теореме 1.3 мно-
\и\-^(х>
жество U,v: точек минимума J (и) на E'^ непусто. Кроме того, во
всех точках и^ е U^ должно соблюдаться равенство /' {и^) = 0.
Как выяснилось, последнее равенство выполняется только в точ-
т
ке и^, = Uq. Следовательно, С/^ = {и^}, J^ = J (и^) = 2 | ^о — ^г 1^-
2=1
3. Задачу поиска экстремума функции на всем пространстве
Е"", которую мы только что рассмотрели, принято называть
задачей на безусловный экстремум. В этом названии отражен тот
факт, что на переменные и = {и\ ..., и"") никакие
дополнительные условия и ограничения не накладываются. Наряду с
задачами на безусловный экстремум имеется немало задач, в которых
переменные не могут быть совершенно произвольными и должны
удовлетворять некоторым дополнительным условиям, выражаю-
niiiiM, например, условие неотрицательности тех или иных
переменных, условия ограниченности используемых ресурсов,
условия нормировки, ограничение на параметры конструкции
системы и т. п. Иначе говоря, переменные и = {и^, ..., гг") должны
принадлежать некоторому заданному множеству U из ?"",
причем иФЕ"". Тогда чтобы подчеркнуть, что экстремум функции
иш;ется при условии u^UФ?/", часто говорят о задаче на
условный экстремум,
В классическом математическом анализе традиционно
рассматривается следующая задача на условный экстремум: найти
экстремумы функции J {и) при условии, что переменные и =
= {и\ ..., и"") удовлетворяют ограничениям [10, 160, 165, 233]
giH = 0, ..., gs{u) = 0; F)
при этом предполагается, что функции J (и), gi{^) определены
и имеют непрерывные частные производные первого порядка на
всем пространстве ?". Ограничения F) принято называть
ограничениями типа равенств. Таким образом, здесь мы имеем дело
с задачей поиска экстремума функции J (и) на множестве

§ 2] КЛАССИЧЕСКИЙ МЕТОД 83
В тех случаях, когда систему F) удается преобразовать к
эквивалентному виду
щ = а,{иР+\ ..., и""), ..., Up = ap{u^-^\ ..., и'^), G)
выразив из F) первые р переменных через остальные,
рассматриваемую задачу на условный экстремум можно свести к
задаче на безусловный экстремум функции ((){и^^\ ..., u'^)==
= J{a,{uP-^\ ..., 1г^), ..., а^{и^-^\ ..., гг^), и^^\ ..., и^)
переменных (гг^"^\ ..., и^)^Е'''~^^ которую можно исследовать, например,
по описанной в п. 2 схеме. Однако этот подход имеет
ограниченное применение из-за того, что явное выражение вида G)
одной группы переменных через остальные переменные удается
получить лишь в редких случаях.
Более общий подход к исследованию задачи поиска
экстремума дифференцируемой функции J {и) при ограничениях C)
дает метод множителей Лагранжа. Этот метод заключается в
следующем. Вводится функция Лагранжа
S{u,l)-KJ{u)-\-i,hgAu) (8)
j=i ^
переменных {и\ ..., гг% Яо, Xi, ..., Я«) = (гг, Х)^Е''-^'^\
Теорема 1. Пусть ^—точка локального минимума или
максимума функции J (и) на множестве С/, задаваемом ограни-
чениями F), функции J{u), gi(ii), ..., ^8(^) непрерывно
дифференцируемы в окрестности точки и^. Тогда необходимо суще-
ствуют числа (Я^, Я^, ..., Я^ ) = Я* ^т^ О, называемиые
множителями Лагранжа, такие, что
д^{и, V)
ди"-
ri^^'^' ляаЛ Л?/»
ii=w* ОН '^ ди
(9)
Доказательство. Поскольку не все числа Я^, .,,,%&
равны нулю, то условие (9) означает, что векторы /' {и^),
^i(^4-)? ...,^'s(^^*) линейно зависимы. Допустим противное:
пусть эти векторы линейно независимы. Тогда s+ i^n, В
случае 5+1<7г возьмем какие-либо векторы e^+i, ..., e^-i так,
чтобы система /'(^^), gi(W'^), .-.^^sC^hc), e^+i, ..., e^-i образовала
базис в ?".
Введем функции / {и, t) = (/о {и, t), /^ {и, t), .,., /n-i (и, t)):
U{uJ) = J(u)—J{u.j^)+t, fi(u,t) = gi{u) (i = l, ...,5); fi{u,t) =
= {вг, и — и^У (i = s + 1, ,. .,п — 1) переменных (и, t)е Е'^'^^ и
рассмотрим систему уравнений
/о {и, t) == О, /i (iz, t) = Q, ..., fn-i {щ t)=0

84 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
относительно п неизвестных и = {и^^ ..., и^). Для ее
исследования воспользуемся теоремой о неявных функциях [10, 160, 165,
233]. Заметим, что /(г^*, 0) = 0.
Далее, функции fi{u, t) непрерывно дифференцируемы в
окрестности точки {щ, 0) е ?"^'^^, причем /qu {и^, 0) = /' {щ),
/iuK.O) = ^iK) {i = 1, ...,5); {ги{щ,0) = е1 (г = 5 +1,.. .,7г—
— 1). Это значит, что в точке {щ,^) якобиан системы функций
и{щ t) (i' = 0, 1, ..., w—1), представляющий собой
определитель квадратной матрицы со строками /' {щ)^ gi (щ), ...
..,, gsiu^),es+i, ..., ^n-i, образующими базис в ?", отличен от
нуля. Тогда по теореме о неявных функциях система f{u, ;t) = 0
имеет решение при каждом t {\t\^to), где to — достаточно
малое положительное число, или, точнее, существует
вектор-функция u=^u{t) = {u^{t), ..., u'^it)), которая определена и
дифференцируема при всех t (UI ^ ^о) и такая, что
и{0) = щ, J {u(t))-=J{u^) — t, gi{u{t)) = 0, ^ = 1, ...,5;
{ей и (t) — и^у = 0, j = 5 + 1, ..., W — 1.
Это значит, что u{t)^U, \t\<to, u{t)'-^u^ при t-^0. Отсюда
же имеем
J {u{t)) =/ {и^) --t<J (щ) < J (и^) + t=^J(u{-t)) V^ е (О, g,
что противоречит тому, что и^ — точка локального экстремума.
Из теоремы 1 следует, что подозрительными на экстремум
могут быть лишь те точки и, для которых существуют
множители А. = (Яо, ^1, ..., Xs) такие, что точка {и, Я) ^ ?''"'"'"'"*
удовлетворяет системе п + s уравнений
Яо—V + 2d^i^i ""О' ^iH = o, i-i,...,w,/ = i,...,5, A0)
ди^ ^^ ди''
И, кроме того, известно, что Я = (Яо, Xi, ..., Ks)"^0, Нетрудно
видеть, что если (г;, Л)—решение системы A0), то (у, аХ) при
любом а ^ О также является решением этой системы, т. е.
множители (Хо, ^1, ..., Ks) из A0) определяются с точностью
постоянного множителя. Поэтому множители К можно подчинить
какому-либо дополнительному условию нормировки, например,
^о>о, 1Хр= S?^? = i. (И)
Если система A0) имеет решения (у, К) такие, что Яо=5^0,
то задачу минимизации J (и) при условиях F) называют
регулярной (невырожденной) в точке v. В регулярной задаче
условие нормировки A1) можно заменить более простым
условием Яо = 1. Нетрудно видеть, что для регулярности задачи в точ-

§ 2] КЛАССИЧЕСКИЙ МЕТОД 85
не и достаточно, чтобы векторы gi{v), . -., gs(u) были линейно
независимы, т. е. чтобы равенство a^gi (и) + ... + asgs (v) = О
было возможно только при ai = ... = as = 0.
Условия A0) с условием нормировки (И) (или Яо==1)
представляют собой систему п + s + I уравнений с п + s + 1
неизвестными {и, Х) = {и\ ..., и'^, Яо, Xi, ..., Ks). Решив ее, мы
найдем точки V ^ и, подозрительные на экстремум, и
соответствующие им множители Лагранжа А,=1о=(Яо, Xi, ..., К)=^0. Для
выяснения того, будет ли в этих точках в действительности реа-
лизовываться локальный минимум или максимум, нужно
провести дополнительные исследования с привлечением вторых
производных функции Лагранжа по переменной и.
Теорема 2. Пусть: 1) функции J (и), gi{u), ..., gs{u)
дважды дифференцируемы в точке v ^ U = {и^ Е'^: gi {и)= О, ...
..., gs{u) = 0}; 2) точка {v, Xv) удовлетворяет условиям A0),
A1); 3) квадратичная форма
i2uu[v, K)h, h>>0 [<0] A2)
7ipu всех h, для которых
<Г{1^)Л><0 [>0], <g[(v),h} = 0, i = l,..,^s; h=^0. A3)
Тогда в точке и функция J {и) на U имеет строгий локальный
минимум [максимум].
Доказательство. Допустим противное: точка v
удовлетворяет условиям теоремы, но не является точкой строгого
локального минимума J {и) на U. Тогда найдется такая
последовательность {^J, что
gi{uk)=0, ..., gs{Uk) = 0, J{Uf,)<J{v),
Uh'^v, /c = l, 2, ...; {uj-^ V A4)
(предполагаем, что и не является изолированной точкой
множества U; всякая изолированная точка множества U может
считаться точкой строгого локального минимума или
максимума и без выполнения условий A0) —A3)). Точку и^ можно
записать в виде
Uh = v + \Uk-v\^^^^^ = v+he^, ^/.^-у^^ЗГ^р
Поскольку |efel = l, то, выбирая при необходимости
подпоследовательность, можем считать, что {ej -^ во, \ео\ = 1.
С учетом A4) и дифференцируемости функций J {и), gi{u)
в точке V имеем
О> / Ы -J(v) = </' (v), виУ h + о (h),
0 = g Ы — g{v) = (gi (и), ей) h + o (tk)

86 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
ДЛЯ всех i = l, ..., 5, /с=1, 2, ... Разделив эти соотношения
на 4> О и устремив /с -> оо^ получим </'(у), е^^ < О, (gi (i/'), ^о) =
= 0 (j = 1, ..., 5), так что бо удовлетворяет условиям A3).
Далее, из того, что и^, у е С/, Яо ^ О, и из A4) имеем
S
S (щ, к) = KJ Ы + S hgi Ы = Яо/ (I/;,) < Яо/ (^^) = Яо/ (I') +
+ 2 ^-iSi {v) = 2?{v,K). Отсюда с учетом условия A0) и дваж-
ды дифференцируемости функции S{v, Я^,) в точке г; получаем
О > 5^ (гг,, X,) - S (и, J^) =-^tl (S'uu {v, К) e,, e,) + о (tl),
/c = l,2, ...
Разделив это неравенство на tl^O и устремив fe->oo,
будем иметь ^S'uuiv, Яг;)ео, ео)^0, что противоречит условиям
A2), A3). Аналогично исследуется случай, когда и — точка
строгого локального максимума.
Пример 2. Пусть требуется на ^-мерной единичной сфере
и = {и^Е"": \и\^ = <и, и> = 1} найти точку, сумма квадратов
расстояний от которой до т данных точек i^i, ..., Um^E"' была
бы минимальной, т. е. нужно минимизировать функцию / {и) =
т
= 2 I ^ — ^г\^ при условии <11, U> = 1.
Для решения этой задачи составим функцию Лагранжа
^(^, K)=XoJ{u)+'k{<u, и> — 1). Система A0) примет вид
S'uiu, }i) = Ko'2m{u-Uo)+2lu = 0, <щ иУ == i, A5)
TjiG Uq = —2^ Ui {см. пример 1). Очевидно, при Яо = О система
A5) не имеет решения с (Яо, Я) =7^ О, поэтому мол^ем принять
Яо = 1. Тогда из A5) при г^о "^ О получим две точки Vi = ио/\щ\
и V2 = —Uq/\uo\, подозрительные на минимум, и
соответствующие им множители Лагранжа Xi = m{\uo\ — I) и Яг =
= m{—\uo\ — 1), Матрицы вторых производных функции
Лагранжа в найденных точках {vi, Я1) и (Уг, Яг) равны
соответственно 2\uo\mE и —2\uo\mE, где ?' —единичная матрица.
Отсюда ясно, что в точке Vi достигается локальный минимум, а в
точке Vz — локальный максимум функции J{u) при условии
1^1=1. Поскольку С/— компактное множество, J (и) непрерывна
на и, то согласно теореме 1.1 на U функция J (и) достигает
своего глобального минимума и максимума. Но точки
глобального экстремума, конечно же, удовлетворяют системе A5). Как
выяснилось, при Uo?=0 система A5) имеет всего два решения
1^1 и V2. Следовательно, Vi = Uo/\uq\ — точка глобального мини-

§ 2] КЛАССИЧЕСКПЙ МЕТОД 87
мума, ^2 =—iio/1^01 — точка глобального максимума при Uq?=0.
Таким образом, искомая точка есть и^ = Uq/\Uq\ прп и^фО,
Рассмотрим случай г/о = 0. Тогда решением системы A5)
является точка (у, Ло, Я), где Яо = 1, К = —т, а у —
произвольная точка, для которой |г;| =1. Это значит, что из необходимых
условий экстремума A5) при Uo = 0 не удалось извлечь никакой
полезной информации — все точки единичной сферы как были,
так и остались подозрительными на экстремум. Тем не менее
здесь нетрудно разобраться в происходящем. А именно, при
т
Uo = 0 ДЛЯ всех u'^U имеем J (и) ==^ (\и |- — 2 {u^ui} + \ui р) =
г=1
т
= т — 2(и, ^ щУ + ^ \iii\^ = т— ^\uiр = const. Таким об-
\ г=1 / i-=i i = l
разом, при Но = о рассматриваемая задача становится
тривиальной: /(ii)= const на f/, т. е. моя^но сказать, что во всех точках
и^ и функция достигает глобального минимума (или
максимума).
Пример 3. Пусть требуется найти точки экстремума
функции ]{и) = х на множестве C/ = {ii = (x, у)^Е^, х^ — у^ = 0).
Применим метод множителей Лагранжа. Здесь функция Лагранжа
такая: ^{и, Х) = ХоХ + К{х^ — у^). Система (Ю), A1) имеет вид
Я^ + ЗКх = О, 2Ау = О, х^ — у'- = О, II + Я2 == 1, Яо > 0.
Нетрудно видеть, что она совместна лип1ь прп Хо = О и выделяет
единственную точку v = {0, 0) = 0, подозрительную на
экстремум. Таким образом, рассматриваемая задача нерегулярна в
точке v = 0. Она просто решается, если из равенства х^ — у^ = О
выразить X = у^^^ и заметить, что /(и) = у^^^ (—оо < i/ < оо).
Ясно, что г; = @, 0)—точка глобального минимума функции
/A^) на и.
4. Метод множителей Лагранжа может быть применен для
поиска экстремумов функции и в тех случаях, когда на
переменные и = {и\ ..., и"") наряду с ограничениями F) типа
равенств накладываются еш;е ограничения
hi{u)^0, ..., hm{u)<0, A6)
называемые ограничениями типа неравенств.
Будем предполагать, что функции J{u), gi{u), hj{u) (j =
= 1, ..., 5, 7 = 1, ..., ш) определены и дифференцируемы во
всех точках и ^ Е"^, Оказывается, если ввести новые
вспомогательные переменные w = {iv\ ..., w"^), связанные с исходными
переменными и = {и\ ..., и"") соотношениями
{w'y + h,{u)==0, ..., {w^y + hm{u)=0, A7)
то задача поиска экстремумов функции J (и) при ограничениях
{6), A6) сводится к равносильной задаче поиска экстремумов

88 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
ТОЙ же функции в пространстве переменных и={и^, ..., и'^^
iv\ ..., w'^) = {u, w) при ограничениях типа равенств F), A7).
Равносильность этих двух задач понимается в следующем
смысле: если гг^ — точка локального минимума^ [максимума] функции
J {и) при ограничениях F), A6), то ^4с = (г^*? ^'*)» где w;^—
= {К^ . .., ^Г). ^* = (— ^3 (Щ))^^^ (; - 1, ..., т) будет точкой
локального минимума [максимума] ^функции J (и) при
ограничениях F), A7), и наоборот, если и^= {щ, w^)—точка
локального минимума [максимума] функции J {и) при ограничениях
F), A7),T0Wjj,— точка локального минимума [максимума] J (и)
при ограничениях F), A6).
Таким образом, для поиска экстремумов функции J (и) при
ограничениях F), A7) можно ввести функцию Лагранжа
S т
2 (щ IV, Я, \i) - Яо/ {и) + 2 hgi {и) + Е F^j ii^'Y + h {и))
г=1 j = l
И В соответствии с изложенным в п. 3 написать необходимые
условия экстремума в виде системы A0), найти точки,
подозрительные на экстремум, выявить среди них точки локального
минимума пли максимума, а затем, исключив переменные и?', ...
..., w'^, получить точки экстремума функции J {и) при ограни-
ххениях F), A6).
Пример 4. Пусть требуется в ^-мерном единичном шаре
и = {и: и^Е"", \u\^^ = <и, и> < 1} найти точку, сумма квадратов
расстояний от которой до т данных точек Wi, ..., Um^E"^ была
бы минимальной, т. е. требуется минимизировать функцию
m
J (и) = У] \и — Ui 1"^ при ограничениях <и, иУ < 1.
г = 1
Из примера 1 следует, что глобальный минимум функции
J (и) на всем пространстве Е"" достигается в точке u.^ = Uq =
т
= — Zj ^г-Поэтому если UoI<l, то эта точка Uq будет решени-
ем рассматриваемой задачи.
Остается рассмотреть случай U^ol > 1. Введем новую
переменную W соотношением
w^ + <u, u>~l = 0 A8)
и рассмотрим задачу минимизации функции J (и) в
пространстве переменных a=(a, w) = {u\ ..., и"", w)^E'''^^ при
ограните
чениях A8). Составим функцию Лагранжа 2" (и, Я) = Я^ 2 Н —
— г/гр + 'k{w'^ + \и\^ — 1). Система A0) будет иметь вид
S'u = 2Хот {и - щ) + IXu = О,
г=1

§ 2] КЛАССИЧЕСКИЙ МЕТОД 89
где Я = (Яо, я) =5^0. Напоминаем, что \uo\ > 1. Очевидно, при Яо==
= О эта система не имеет решения. Поэтому можем принять
Яо = 1 и переписать систему в виде
{m + X)u = mUo, Ям; = 0, w^ + \и\^ = 1, \щ\ > 1. A9)
Заметим, что здесь случай Я = О невозможен, так как тогда
u = Uq и Iz^I^ = li^ol^ = 1 — w;^ ^ 1, что противоречит условию
\uo\ > 1. Если же Я =5^ О, то из A9) получаем два решения Vi==
= {ио/\щ\, 0), Xi = 7?z(|llol — 1)>0 и V2={—Uo/\uo\, 0), ^2==
= —m(bol + 1)< 0. Это значит, что экстремум функции J{u)
при ограничениях A8) может достигаться лишь в точках Vi и Vz-
Матрица вторых производных функции Лагранжа в
найденных точках (г^!, ^i), {vz, Xz) соответственно имеет вид
т\и^\Е О
4I%|-1)J
¦т\и^\Е О
-^(hol + 1)
Отсюда ясно, что при U^ol>l в точках Vi={uo/\uo\, 0)
достигается локальный минимум, а в точке V2={—Uo/\uo\,
0)—локальный максимум при ограничениях A8). Исключив
переменную W, отсюда получаем, что j^i = Ио/1 i^o I — точка локального
минимума J (и) на единичном шаре, а и2 = —щ/\ио\ — точка
локального максимума. Используя теорему 1.1, как и в
примере 2, нетрудно убедиться, что в действительности в этих точках
достигается глобальный минимум и соответственно глобальный
максимум функции J (и) на единичном шаре. Таким образом,
искомой точкой будет щ = Uq при | гг^ | ^ 1 и щ = Uq/\ Uq \ при
|гго|>1.
Мы еще не раз будем возвращаться к задаче поиска
экстремума функций при ограничениях типа F), A6); в частности,
в § 4.8, 4.9 с других позиций будут получены необходимые
и достаточные условия минимума, также использующие
множители Лагранжа.
В заключение заметим, что изложенный выше классический
метод исследования задач на условный и безусловный
экстремум может быть широко использован во всех тех случаях,
когда достаточно просто удается выявить все подозрительные на
экстремум точки и отобрать из них точки локального минимума
и максимума. Однако, как и в случае функции одной
переменной, классический метод, к сожалению, имеет весьма
ограниченное применение. В общем случае отыскание точек,
подозрительных на экстремум, из условий E) или A0) само по себе
представляет весьма серьезную задачу, сравнимую по трудности,
быть может, с исходной задачей на экстремум. Дело осложняется
также и тем, что в практических задачах иногда бывает
непросто выписать даже сами системы уравнений E) или A0),
так как не всегда ясно, существуют ли требуемые для этого

90 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
производные и как их вычислить. Из сказанного ясно, что
кроме классического метода необходимы также и другие численные
методы поиска экстремумов функций многих переменных.
Упражнения. 1. Найти экстремумы фзшкцип:
а) J{u) = {x-]-y — i)QX]i{—(x'^ — xy-\-i/)}^T]\Q и=(х, у)^Е^',
б) J (и) = xy^z^ii — х — 2у — 32), где и = (ж, у, z) е Е^;
2. Найти точки экстремума функции J{u) = ^ш{х +у)—^тх — ът ij
на множестве U, если:
а) f/ = ?2;
б) и == {и= (х, у): x^Q, у-^О, х+у^ 2я}.
3. Иапти точки экстремума функций J {и) =х + у, ](и) = \х\ +
+ 12/ — 1К ^(и) = а:2 + 2г/2 на множествах С/, если:
а) С/ = {w = (ж, г/): О < а: < 1, О < г/ < 1};
б) и={и={х^ у): х^О, г/>0, ах + by = i}, где а, &
—неотрицательные числа;
в) и={и= (х, у): д: _ 7/2 > О, 0:2+2/2 <1};
г) и ^ {и= (ж, Z/): ж^ — 4а:3 + 4л:2 + 1 ^ Z/ < 1}.
Указание: на плоскости нарисовать графики функций J (и) = с для
различных значений постоянной с (линий уровня).
4. Среди всех вписанных в данный круг радиуса R треугольников
найти тот, площадь которого наибольшая.
5. Из всех параллелепипедов, имеющих ребра данной длины, найти
параллелепипед наибольшего объема.
6. Среди треугольных пирамид с данным основанием и высотой
найти ту, которая имеет наименьшую боковую поверхность.
7. Пусть А = A(mi, ..., Un)—определитель матрицы (wi, ..., Un)r
столбцами которой являются вектор-столбцы Ui с координатам (wj, ..., и^У
(i = 1, ..., п). Найти наибольшее и наименьшее значение величины
определителя А при условии, что |mi| = tti, где ai — заданные числа (i = 1, ...
..., п). Доказать неравенство Адамара |А| ^ |wi| • ... • |wn|. Дать
геометрическую интерпретацию задачи при тг = 2, 3 (ср. с упражнением 5)
([165,4. I, с. 554-557]).
8. Найти наименьшее и наибольшее значение квадратичной формы
/ (и) = <Лгг, w> = 2 а^и^и^ при условии u^U = {и: we Е'^, {и, и} =»
= 1}, где А — симметричная матрица. Показать, что /* =inin/ (и) и /* =
= max / (и) представляют собой соответственно наименьшее и наибольшее
и
собственное число матрицы А ([164, с. 209]).
9. В множестве U = {и: и ^ Е"^, <с, и} = 1} или U = {и: и^Е"^,
<с, и} ^ 1}, где с — заданный вектор из Е^, найти точку, сумма квадратов
расстояний от которой до т данных точек wi, ..., Um^E^ была бы
минимальной (ср. с задачами из примеров 1, 2, 4).
10. Может ли функция двух неременных па плоскости иметь
бесконечно много точек локального минимума и ни одной точки локального
максимума? Рассмотреть функцию J {и) == хе^ — A + e^)cos у.
11. Пусть в некоторой точке гго = (^о, Уо) ^ Е^ функция /(и)
переменных и = (х, у) имеет локальный минимум вдоль каждой прямой,
проходящей через точку uq. Можно ли утверждать, что в точке щ реализуется
локальный минимум функции J (и)? Рассмотреть функцию J (и) =
== (х — г/2) Bх — Z/2) в точке щ = (О, 0).
12. Доказать, что если функция J (и) имеет первые частные
производные, непрерывные в окрестности точки и, то J (и) дифференцируема в
точке V. На примере функции J {и) = \ху\^^^ {и = (х, у), и = (О, 0)) показать,
что одно лишь существование частных производных в точке и еще не
гарантирует ее дифференцпруемость в этой точке.

§ 3] ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ 91
13. Доказать, что если v — точка локального минимума [максимума!
дважды дифференцируемой функции J {и) на всем пространстве Е"", то
необходимо {r'(v)h, hy ^0 [^ 0] при всех h е Е"^.
14. Доказать, что если и^— точка локального минимума [максимума!
дважды дифференцируемой функции J (и) при ограничениях F), а X* =
= (Х*, Я*, ..., Я*)—соответствуюндпе множители Лагранжа, определенные
из системы A0), причем ?i* = 1, то ^5^^^^(гг^, Я*) h, h^ ^0 [^0] для всех h,
удовлетворяющих условиям A3) (ср. с условиями A2)).
15. Применить метод множителей Лагранжа для поиска экстремума
функции J(u) = а: па множестве С/ = {гг = (х, у) е Е"^, х^ -\- у^ = 0}, где
р, q — натуральные числа. Выяснить, при каких р, q задача является вы-
рон^дснной в точках экстремума.
16. Применить метод множителей Лагранжа для поиска экстремума
J(u) = X на множествах и = {и = {х, у) е Е^: у — х^^^ = 0}, 17 =
= {и: X '^0 у х^^^' = 0}.
17. n'fcTL J (и) = X, и= {и= {х, у) ^Е^: gi(u) =. х^ — у = 0, g2{u) ==
= а:2 >j_ г/ = О, дъ(и) = X = 0}. Показать, что для точки минимума и^ =
==@, 0) множителями Лагранжа Х= (Хо, h, ^2, Яз)_ могут быть точки
Xi ~= (О, 1, —1, 0), Яз = A, О, О, —1), а также точки aXi + Р>-2, где а, ^—
любые действительные числа.
§ 3. Вспомогательные предложения
Ниже приводятся некоторые формулы и различные другие
сведения, которые будут использованы в дальнейшем при
описании и исследовании методов минимизации.
1. Начнем с того, что введем классы функций С^(С/), C^{U).
Определение 1. Функцию J (и) называют непрерывно
дифференцируемой или гладкой на множестве U^E"", если J (и)
дифференцируема во всех точках u^U щ кроме того, \J'{и + h) —
— J (и) I -> О при \h\ ->¦ О для всех и, u + h^U, Множество таких
функций принято обозначать через C^{U),
Определение 2. Функцию J (и) называют дважды
непрерывно дифференцируемой или дважды гладкой на множестве
и^Е'^, если J {и) дважды дифференцируема во всех точках
и^и и li/" (u + h)— J" {и)\\ -^ О при \h\ -^ О для всех щ u + h^
^ и. Множество дважды гладких на U функций обозначают
через C'{U),
В определении 2 ||^|i = siip |Л^|— норма матрицы А, Заме-
ТИМ, что в определениях 2.1, 2.2 требуется, чтобы
дифференцируемая в точке функция была определена в некоторой
окрестности этой точки, причем радиус е > О этой окрестности
может зависеть от рассматриваемой точки, самой функции и
может быть очень малым. Это значит, что если J{u)^C^{U) или
J{u)^ C^{U), то либо множество U открыто, либо функция J{u)
определена на открытом множестве, содержанием U, Это
обстоятельство мы всегда будем подразумевать, говоря о классах
функций C'{U),C'{U).

92 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
Возьмем какую-либо функцию /(гг), определенную на
множестве и ^ Е"". Пусть точки и^ u + h^U таковы, что h?= 0^
u + th^U при всех t {0<t<l). Тогда можно рассматривать
функцию одной переменной f{t) = J{u + th) при t^[0, 1].
Оказывается, если J{u)^C^{U) при р == 1 или р = 2, то t{t)^
еС^[0, 1], причем
f{t)=<r(u + th), /г>, f''{t)=<J'' (u + th)h, ft>, 0^^<1.
A)
В самом деле, если, например, J{u)^C^{U), то, заменив в
формуле B.3) и Rdi u + th, h на Mh, получим
/ {t + At) -f{t) = M </' {u + th), hy +
+ i- {Atf <r Aг + th) h,hy + o A A^ |2).
Такое разложение означает, что f{t)^C^[0, 1], и указывает на
справедливость формул A).
Для функций одной переменной имеют место формулы
t
Jit)-} (U) = /' (e^i) i = j /' (T) dx = /' @) f + i- /" @,0 ^^.
0
/' @ - r @) = /'^ (взО ^, 0 < 0i, 62,03 ^ 1.
Полагая в этих формулах t=i и пользуясь равенствами A),
получаем различные формулы для конечных приращений
функции многих переменных:
1
j{u + h)^J (и) =</' {u+Q^h), fe>= f </' {и + th), hy dt, B)
0
/ {и + h)^J (и) = </' (и), /i> + i- <r (u+Q^h) h, hy, C)
</' (u + h)- r (u), hy = <r (i^ + 0з/г) fe, hy, D)
где 0 < 01, 02, 03 ^ 1. Далее, так как
j^{r{u + th)) = r{u+ th)h, 0<^<1,
то, интегрируя это равенство по t на отрезке [О, 1], получаем
/' (^a + h) — J' (и) = J J" {u + th)hdt=n J" {u + th)dt]h. E)
Подчеркнем еще раз, что в формулах A) —E)
подразумевается, что точки и, u + h принадлежат множеству U вместе
с отрезком u + th @<^<1). В частности, эти формулы верны
на любых выпуклых множествах — множествах, которые содер-

§ 3] ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ 93
жат вместе с любыми двумя своими точками и ж v и. отрезок
[и, v] = {ua = au + (i-'a)v, 0<а<1}, соединяющий эти точки
(подробнее о выпуклых множествах см. § 4.1).
2. При описании и исследовании методов минимизации нам
часто придется иметь дело с функциями, градиент которых
удовлетворяет условию Липшица.
Определение 3. Пусть J{u)^C^{U). Скажем, что
градиент J'{и) этой функции удовлетворяет условию Липшица на
множестве U с постоянной L > О, если
\r{u)-r{v)\<L\u-v\, щ v^U. F)
Класс таких функций будем обозначать через C^''^{U),
Лемма 1. Пусть U — выпуклое множество^ J{u)^C^'^(U).
Тогда
\J{u)-J{v)-<r{v), u-vy\<L\u-v\y2 G)
при всех и, V ^ и.
Доказательство. С помощью формулы B) имеем
1
J (и) —J (v) — </' (и), u--vy = ^{J'{v + t (и — v))—J' (у), u—v}dt.
о
с учетом условия F) получим
J(u) ^J(v) — (J'{u),u--uy\^
1 1
<,^\J'{v + t{u-v))-r{v)\\u-v\dt^^L\u-v\Hdt=^^^^^^.
о о
3. Приведем несколько лемм о числовых
последовательностях, которые нам пригодятся при доказательстве сходимости
методов минимизации, при оценке скорости их сходимости.
Лемма 2. Пусть числовая последовательность {aj такова,
что
оо
а,+1<^, + б,, б,>0, А = 0,1,..., 2eft<oo. (8)
Тогда существует lim а^<Соо, Если {aj ограничена еще и сни-
зу, ТО lim а^ конечен,
ft-»oo
Заметим, что если бй = 0 (А = О, 1, ...), то
последовательность {aj не возрастает, и лемма 1 превращается в хорошо
известное утверждение о пределе монотонной
последовательности.
Доказательство. Суммируя первое из неравенств (8),
имеем
т—1 оо
i=k i=k

94 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
при всех т'>к>0. Пусть Ит а^ = Ит а^^ (кп<кп+ъ п = 0,
1, ...); Иткп= оо. Положим в (9) к = кп- Получим am^(ikn +
с» оо
+ 2 бг {т>кп). Следовательно, Ит ат^аи^+ 2 ^г Для всех
i=kn m-»oo i=kn
гг = 1, 2, ... Отсюда при 7г~> оо имеем lira. Пщ ^ Ит а^^ = Ит а^.
т-»оо п-^'схз 7г-»оо
Однако всегда Ит йщ < Ит am- Поэтому Ит am = Ит а^.
Отсюда следует существование предела {aj. Далее, при к = 0
из (9) следует ограниченность {aj сверху. Поэтому, если {aj
ограничена еще и снизу, то Ит а^ конечен.
Лемма 3. Пусть числовая последовательность {bj такова,
что
оо
Ъи+1>Ън-Ьк. 6fe>0, /с-0,1, ..., 2 6fe<oo.
Тогда существует Ит Ь^ > — со. Если {bj ограничена еще и
<;верху, то Ит Ъ^ конечен.
Эта лемма сводится к лемме 2, если принять bi^ =—а^ {к =
= 0, 1,...).
Лемма 4. Пусть числовая последовательность {aj такова,
что
ak>0, fc = 0,1,...; afe —ай+1>Ла^ к^к^^О, A0)
А = const > 0.
Тогда ak = 0{k~^) (& = 1, 2, ...), т, е. найдется постоянная
-В > О такая, что
0^а^<Вк-\ Л: = 1, 2, ... (И)
Доказательство. Если а^ = О при некотором т > feo, то
из A0) следует, что «^==0 при всех к^т, и. оценка A1)
становится тривиальной — в A1) достаточно взять 5 = ^тг max а^.
Поэтому пусть ап>0 при всех п^ко. Тогда из A0) имеем
-L l=!!i:i^!i±i^_!!L.^>4>0, п>к,.
Суммируя эти неравенства по п от ко до некоторого к— 1>к&,
получаем а^^ — а^^^ > 4 (/с —/Со) или a^^A-^ik —ко)'^ {к>ко).

§ 3] ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ 95
Но {к —ко)"^ <(ко +i)k-'^ при к>ко, поэтому 0<ai,<
<{ко+1)А^'к-\ Если l^k^ko, то 0^аи = каик~^^
^к^( max аЛк"^. Остается в (И) принять В = mdixUkQ +
+ 1) А~^; А'о max аЛ.
а^,+1<а;,~^ + ;4' ^^^^о; A3)
Лемма 5. Пусть числовая последовательность {aj
удовлетворяет условиям
а,>0, k^N=:{U2,..,}; A2)
4
аи^Вк-^^, к^1^; A4)
6^ft+i<«fe + C&""^^ ^^^Л, к+ 1^1^, A5)
г5е i4, S, С, р — положительные постоянные, р<1, а
множества индексов /о, /i таковы, что /о U Л = Л^, /о П 7i = ^ {случаи
1о = 0 или li = 0 не исключаются). Тогда существует
постоянная D>0 такая, что
0^a^<Dk-^, fe=l, 2, ... A6)
Доказательство. Можем считать, что А^В + С, так
как если неравенство A3) верно для некоторого Л==Ло>0,
то оно верно для всех Л>Ло. Выберем натуральное число ко,
так, чтобы
4<А^о'<(^о + 1)'<6. A7)
Убедимся в том, что такое число супдествует. Для этого
перепишем A7) в равносильном виде: 4^ < feo < 6^ — 1, где 8 == р"* ^
> 1. Супдествование такого числа ко будет доказано, если
покажем, что длина отрезка [4% 6^ — 1] при любом 8 > 1 не
меньше 1, т. е. 6^ —4^ —1>1 или g{E)=6^ — A^>2 при всех 8^1.
Но ^'(8)=6Чп6-4Чп4>1п6F^~4^)>0 (e^l), так что
^(8) строго монотонно возрастает при 8^1. Следовательно,
g{e)>g{i) = 2 для всех 8^1. Таким образом, при каждом р
@<р<1) число Ао, удовлетворяющее условиям A7),
существует.
Покажем, что
as^+l<2Л(/c„ + l)-^ A8)
Может случиться, что ко ^ /о. Тогда воспользуемся
неравенством A3). Заметим, что функция fk{a) = a —а^А^^ + Ак~^^
достигает своего максимума на числовой оси при а = А/2, и
поэтому U{a)^fk{A/2) = A/i + Ak-^p для всех а> 1, к = 1, 2, ...

96 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
Тогда из A3) с учетом неравенств A7) имеем
а,^+1 < /, (auj < Л/4 + Ако'' < 4/4 + 4/16 <
< E4/16) 6 {к, + 1)-^ < 24 {к, + l)-¦^
Если же ko^Ii, то возможно и ко+1^1о. Тогда из A4),
A7) следует, что
^h
+1 < S (fc^ + 1)-^^ <В{к, + 1)4 < 24 (к, + l)-^
0^
Если ko^Ii, но ko + i'^Io, то из A4), A5), A7) получим
au^^i < Вко^^ + Ск-^' < 4^:^-'^ < 24 {к, + 1)'^
Оценка A8) доказана. Далее, сделаем индуктивное
предположение: пусть при некотором к> ко + i верна оценка
а/1=^24&~р. Возможно, что k^Io. Тогда с учетом A7) имеем
ak^2Ak'^^^2Ako^^A/2. Поскольку Д(а) монотонно
возрастает на отрезке [О, 4/2], то из A3) следует, что a^+i^ fkici'k)^
<AB4&-p)=24/c-p-34/c-2p<24(fc-P-/c-'p). Но при 0<р^1
справедливы соотношения
fc-P ^ jk-^P < (fcp + 1) -^ < {к^ + ftp-*) -* =
= /с-р+^(/с+1)-*< (/с + 1)-р, A9)
поэтому <2ft+i <24(/Ь+1)-р. Если же k^Ii и fe + l^/i, то из
A4), A7) получим
an+i<B{k+ 1)-'^ ^В{к+ 1)-^{ко+ 1)-^ <2А(к+ 1)-^.
Если fce/i, но k+i^Io, то из A4), A5), A7), A9) имеем
аи+^ < E + С) ^^-2^ < 4fc-^^ < Л (/с2 - 1) /с-^^ <А(к^^ 1) Л:-^^ =
= А (к-^ ^ к-'^) < 24 (А: + l)-^
Тем самым показано, что аи<2Ак-^ при всех A>feo+l. Если
Кк<ко, то ak = k^ahk~^^к^к"^ max а^. Остается в A6) при-
пять Z) = maxf24; А:^ max аД.
Лемма 6. Пусть числовая последовательность {соJ такова,
что
0^o),+,<(l-5,)o), + d,, /с = 1, 2, ..., (о,>0, B0)
оо
0<Sft<l, 4>0, /?=1,2,..., 2sft-VOO,
lim 4/Sfe = 0. B1)
fe-»oo
Тогда lim 0^ = 0.
fe-^oo

§ 31 ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ 97
Доказательство. Поскольку i — х^ е** при О < о: < 1,
то 1—5fe^e~^^. Из неравенства B0) тогда имеем O^W/^-l-i^
^ще~^^ + dk {к = 1,2, ...). Отсюда с помощью индукции
нетрудно получить, что
O<o)fe_Li<[0i + 2 с^гехр|2 Sj\] ехр ^ S ^j , ^ = 1, 2, ...
Далее воспользуемся известной теоремой Штольца ([165, ч. I,
с. 88]), представляющей собой разностный аналог правила Ло-
питали и гласящей, что если последовательность {yj монотонно
возрастает, предел Ит {xk —Хи^хI{Ук — Uk-i) существует, lim у^ =
= оо, то существует и предел Ит х^/Ук, причем
lim Хи/Ук = lim {Xf, — х^-Муи — Уи-г)'
Положим Ук = ехр \ 2 ^и, Xk = (iii+ S ^i exp | 2 ^n (^ = ^%
2, ...). Из условий B1) следует, что {г/J монотонно возрастает
и стремится к бесконечности. Кроме того,
k л / ( k \ (h-l \\-1
^k ~~ ^k-1
lim ^ __ ^ = lim d^ ехр
Ъ
3 = 1 ) \ \3=1
= lim "^^ = lim (^] —^ = 0,
так как функция x/{l — e ^) ограничена на множестве 0<х^
< 1. По теореме Штольца с учетом неравенства B2) получим
lim 0ft = lim Xk/yu = Ит {х^ — х^-МУи — Уп-х) = 0.
Заметим, что неравенство B2) по существу представляет
собой оценку скорости сходимости последовательности {wj.
Однако правая часть оценки B2) трудно обозрима. Поэтому
полезно иметь другие, быть может, более грубые, но более
обозримые оценки. Здесь может быть полезна следующая простая
Лемма 7. Пусть числовая последовательность {«J такова,
что
О^0,+,<A-5,)о), + 4, Л: = 1, 2, ..., 0,^0, B3)
где
0<5й<1, cZft>0, к = 1,2, ...,sup4/5ft = c<oo. B4)
k>i
Тогда
О < 0А < o)i + с, А; = 1, 2, ... B5)

98 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
Доказательство легко проводится по индукции. При к = I
оценка B5) очевидна. Если B5) верно для некоторого к>1,
то из B3), B4) следует О < (Ok+i<{i-s^) ((Oi +с)+dk<
^{1 — Sh)@i + {1 — Sk)c + cSk^ (Oi + с, что и требовалось.
Покажем, как может быть применена лемма 7 для оценки
конкретных последовательностей.
Лемма 8. Пусть числовая последовательность {aj такова,
что
0^a^^,^{i-ilk)a, + cjk\ А: = 1, 2, ...,
Ci = const > о, ai> 0.
Тогда справедлива оценка
0<а^^с^1п{к+1)/к, Л=1, 2, ..., С2 = const>0. B7)
Доказательство. Сделаем замену 0А = а^/сAп(А:+1))~*
и, пользуясь леммой 7, докажем ограниченность {«J. Из B6)
имеем
к = I 2
Таким образом, (wj удовлетворяет условиям B3) при
S^-l^^l^ Wln(^ + 2)' ^^-'1 k'ln(k+2)'
Нетрудно видеть, что О < 5^ < 1 и limdh/Sh == с^, так что sup dh/Sf^ =
= Сз<;оо. Из леммы 7 имеем О^0а<со1 + Сз (/с = 1, 2, ...),.
что равносильно оценке B7) с Сз = Сз + ai/ln 2.
Лемма 9. Пусть числовая последовательность {aj такова^
что
0^a,^.l<(l-^/fcP)a, + c,/F^ А:=1, 2, ...,
Ci = const > О, О < ^ < 1, «i ^ 0.
Гог5а
0<a,<(ai + ^)-l, fc=.l,2, ... B9)
Доказательство. Сделаем замену ю^ = Лг^а^. Тогда из
B8) имеем
Это значит, что {оз^} удовлетворяет условиям B3) при
B8)

§ 31 ВСПОМОГАТЕЛЬНЫЕ ПРЕДЛОЖЕНИЯ 99
Поскольку A + i/k)-^ >1-^/к (/с = 1, 2, ...), то
>
>i^ + Tf
отсюда же следует, что dh/Sk> Ci/{i —^) (fc=l, 2, ...). По
лемме 7 тогда О ^ 0^ < 0i + Ci/A — ^), что равносильно
оценке B9).
Лемма 10. Пусть {zj, {wj — некоторые последовательности
из евклидова пространства Е"", z^ — точка из Е"^ такая, что
dkft+i — Ч f + I ^k^i — z^f^lz^ — z^ |2, C0)
oo
\zh^i — ^k-^i\<bbu, 6fe>0, Л: = 0, 1, ..., 2 6fe<oo, C1)
ft=0
где a, b — положительные постоянные. Тогда существует
конечный предел
lim \Zh — z^\== lim \wk — z^ \ C2)
и справедливо равенство
lim\Wh+i — Zk\=0. C3)
Если, кроме того, точка z^ из (^30) является предельной для
{zj, то обе последовательности {zj, {w^ сходятся к z^.
Доказательство. Из C0) следует, что | wu^^ — z^\^
^\zj^ — z^\. Тогда с помощью C1) имеем
1 ^fe+i — г* КI ^ft+i — ^fe+i I + I ^ft+i — 4\<b^k + \zj, — z^ I, C4)
или
I ^fe+i — 2* к h^ — ^* I + b6fe, A: = 0, 1, ...
Отсюда и из леммы 2 при «^ = | :г^ — ^^ | вытекает
существование конечного предела lim [ z^ —z^j. |. Из C4) следует C2),
что В СВОЮ очередь гарантирует выполнение равенства C3).
Наконец, пусть в C0) z^— предельная точка (zj, пусть [ZhJl"-^^^^*
Тогда lim I Zft—z^l = limlzft^—z^|= О, т. е. {zn}-^z^. Отсюда и из
C2) получим, что {0fe}->z^.
Лемма 11. Пусть неотрицательное число z таково, что
0<z^<bz + d, C5)

100 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ [ГЛ. 2
где Ь, d — неотрицательные числа, р'>\. Тогда
0<z<{b^+qd)'^^, C6)
где q определяется равенством р~^ + q~^ = 1.
Доказательство. Если d = 0, то из C5) имеем 0<
< 2^~* ^ Ь, или О < 2 < ь^/^р-^) = ь^/р^ что совпадает с оценкой
C6) при d = 0. Поэтому можем считать, что d > 0. Рассмотрим
функцию
Ц){х) = х^ — Ьх — d, х> 0.
Нетрудно проверить, что эта функция имеет единственную точку
минимума х^ [blpyi^'P-^) > О, Ф (^*) < Ф @) = — d < О, lim ср {х) -=
= оо, строго монотонно убывает при O^^r^^r^j. (если д^^^^О),
строго монотонно возрастает при х'^х^. Отсюда следует, что
уравнение ф (о:) = О имеет единственное регаение а; = ^» так что
ф(:г)<0 при 0^a:<Y и ф(а:)>0 при о: >'у. Согласно C5)
Ф {z) ^ О, поэтому справедлива оценка О ^ 2 ^ Y- Однако
получить явное выражение для ^ в общем случае не удается,
поэтому в приложениях удобнее оценка C6). Для доказательства
оценки C6) достаточно установить, что у < й5 = (Ь^ + qd) ^^^.
Пользуясь известным неравенством [10, 160, 179]
\ab\<\a\Vp+\b\4q,
справедливым для всех действительных чисел а, Ь, /? > 1, ^ > 1,
р-'^ + q~^ = 1, имеем ^{а) = а'^ — аЪ — d> а^ — а^р~^ — ?q'^ — d =
= а^^~^— {?+qd)q~^ = 0. Следовательно, а>у и 0^2^а==

Глава 3
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
Изучение методов минимизации функций многих переменных начнем
с методов решения сравнительно простых и достаточно хорошо изученных
задач линейного программирования. Под линейным программированием
понимается раздел теории экстремальных задач, в котором изучаются
задачи минимизации (или максимизации) линейных функций на множествах,
задаваемых системами линейных равенств и неравенств. Различные аспекты
теории и методов линейного программирования, его приложения к технико-
экономическим задачам изложены, например в [3, 7, И, 12, 15, 21—23, 25,
30, 33, 35, 40, 41, 48, 57, 71, 79, 102, 106, 130, 144, 146, 150, 155, 183,
190, 194, 202, 211, 224, 225, 234, 250, 261, 265, 274, 290, 292, 297, 307, 313,
320—324, 333, 340].
§ 1. Ностановка задачи
1. Общая задача линейного программирования может быть
сформулирована следующим образом: минимизировать функцию
J (и) = CiU* + ... + c„ii^ A)
при условиях
и^^О, к^1; B)
Лцгг* + ... + ainU'' < b\
amiU^ + ... + amnU'' < Ь"",
^m+l, lU "Г ... "Г drn+l, n^ = 0 ,
C)
asiU^ + ... + Usnif^'^ = b%
где Cj, aij, V (г = 1, ..., 5, ; = 1, ..., n)— заданные числа, причем
не все из чисел Cj и а^ равны нулю; / — заданное подмножество
индексов из множества И, ..., п) (в частности, здесь возможно,
что I == 0 или / = {1, ..., ^}; в C) не исключаются случаи, когда
отсутствуют ограничения типа равенств {т = s) или типа
неравенств {т = 0)). Если ввести векторы c = (ci, ..., Сп), а{ = {ац, ...
..., ащ), и = {и\ ..., и"^), то задачу A) —C) можно кратко
записать так:
J{u)=<c, иУ-^mi; u^U = {u^E'^: w'^^O, k^I; <ai, uX Ь',
г = 1, ..., m; iai, иУ = b\ i = m+ i, ..., s]. D)

E)
102 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
Если для каких-либо двух векторов х = {х\ ..., х^), у =
= (j/\ --ч У^) справедливы неравенства х'>у^ при всех г = 1, ...
..., /?, то будем кратко писать: х>у. Тогда, например,
неравенство х'^0 означает, что х'>0 для всех г = 1, ..., р. Используя
принятые обозначения, задачу A) —C), или D), можно
записать и в таком виде:
J{u)= <с, иУ -^ inf;
и^и=={и^Е'': гг^^О, /се/, Аи^Ь, Аи = Ь},
где
L А = \ ,
-[•::•]•-[¦•:•¦]•
Точку u^^U назовем точкой минимума функции <с, u> на
множестве U или, короче, решением задачи D) или E), если
ic,u^y =inf <с, и},
и
2. Приведем примеры прикладных задач, приводящих к
задачам линейного программирования.
Задача оптимального планирования производства. Пусть на
некотором предприятии изготовляются п видов продукции из s
видов сырья. Известно, что на изготовление одной единицы
продукции /-Г0 вида нужно а^ единиц сырья i-vo вида. В
распоряжении предприятия имеется bi единиц сырья i-ro вида. Известно
также, что на каждой единице продукции /-го вида предприятие
получает Cj единиц прибыли. Требуется определить, сколько
единиц ii\ ..., w"* каждого вида продукции должно изготовить
предприятие, чтобы обеспечить себе максимальную прибыль.
Если предприятие наметит себе план производства и = {и\ ...
..., W."}, то оно израсходует а^и* +... + ainW^ единиц сырья г-то
вида и получит Ciii* + ... + CnW^ единиц прибыли. Ясно также,
что все величины и^ (j = 1, ..., п) неотрицательны. Поэтому мы
приходим к следующей задаче линейного программирования:
максимизировать функцию J (и) = CiW* + ... + CnW^ при
ограничениях и^>0, ..., u'^>0, auU^ + ... + ainU'^<b^ (^ = 1, ..., «).
Поскольку задача максимизации функции J {и) равносильна
задаче минимизации функции —J(и), то с учетом введенных выше
обозначений сформулированную задачу линейного
программирования можно кратко записать в виде
<-с, K>->inf; и^и=-{и^Е\ и>0, Аи^Ь). F)
Ясно, что задача F) является частным случаем задачи E).
Задача об оптимальном использовании посевной площади.
Пусть под посев р культур отведено г земельных участков пло-

§ 1] ПОСТАНОВКА ЗАДАЧИ ЮЗ
щадью соответственно в bi, ..., br гектаров. Известно, что
средняя урожайность i-& культуры на /-м участке составляет а^
центнеров с гектара, а прибыль за один центнер i-й культуры
составляет с, рублей. Требуется определить, какую площадь на
каждом участке следует отвести под каждую из культур, чтобы
получить максимальную прибыль, если по плану должно быть
собрано не менее di центнеров i-й культуры.
Обозначим через щ^ площадь, которую планируется отвести
под i-ю культуру на /-м участке. Тогда
Uij +... + Upj = bj, 7 = 1, ..., г. G)
Ожидаемый средний урожай 1-й культуры со всех участков
равен йцПн + ... + ainUin центнеров. Поскольку согласно плану
должно быть произведено не менее di центнеров i-й культуры, то
ациц +... + ainUir> di, i = l, ..., p. (8)
Ожидаемая прибыль за урожай i-и культуры равна С{{ациц +...
.., + ainUin), а за урожай всех культур —
р
2 ^г {diiUil + . . . + агпЩг) = / (и). (9)
1=1
Таким образом, приходим к задаче максимизации функции (9)
(или минимизации функции —/(гг)) при условиях G), (8) и
естественных ограничениях
щ^ >0, J = 1, ..., /?, 7 = 1, ..., г.
Если умножить соотношения (8) на —1 и переменные {щ)
переобозначить через и\ ..., w"", то придем к задаче вида A) —C).
Транспортная задача. Пусть имеется г карьеров, где
добывается песок, и р потребителей песка (например, кирпичные
заводы). В i-M карьере ежесуточно добывается а,- тонн песка, а /-му
потребителю ежесуточно требуется bj тонн песка. Пусть Cij —
стоимость перевозки одной тонны песка с 1-го карьера ]-м.у
потребителю. Требуется составить план перевозок песка так, чтобы
общая стоимость перевозок была минимальной.
Обозначим через щ планируемое количество тонн песка из
г-го карьера j-uy потребителю. Тогда с i-то карьера будет
вывезено
На + ... + Uip = flf, f = 1, ..., г, A0)
тонн песка, /-му потребителю доставлено
Uij + ,.. + Urj = bj, 7 = 1, ..., Р, (И)
тонн песка, а стоимость перевозок будет равна
р г
/(и)= 2 2 CijUij. A2)
3=1 г=1

104 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
Естественно требовать, чтобы
Uii>0, i = l, ..., г, 7 = 1, ...,/?. A3)
В результате получили задачу минимизации функции A2) при
условиях A0), (И), A3), которая, очевидно, является частным
случаем общей задачи линейного программирования A) — C).
К задачам типа A) —C) сводятся также и многие другие
прикладные задачи технико-экономического содержания.
Следует заметить, что приведенные выше примеры задач
линейного программирования, вообще говоря, представляют лишь
приближенную, упрощенную математическую модель реальных
задач, и некритическое использование получаемых на основе
анализа этих моделей результатов может привести иногда к
парадоксам. К чему может привести пренебрежение существенными
факторами реальных задач при составлении математических
моделей, хорошо иллюстрируют следующие строки из брошюры
Б. В. Гнеденко [114, с. 4]: «В пятидесятых годах, когда методы
линейного программирования только начали входить в широкий
обиход, наши центральные газеты обошла статья, в которой
сообщалось, что перераспределение снабжения строек Москвы
песком путем прикрепления их к пристаням и карьерам позволило
снизить каждодневные транспортные расходы на 20 000 рублей.
Действительно, этим приемом удалось добиться минимального
суммарного пути и, значит, минимального расхода топлива.
Однако уже через несколько лет мне на глаза попалась небольшая
статья из газеты «Труд», в которой сообщалось, что недоучет
пропускной способности карьеров, отсутствие подъездных путей
и погрузочных устройств приводят к огромным простоям
грузовых машин на местах погрузки песка. Таким образом, мы видим,
что недостаточно только оптимизировать расход бензина.
Минимизации требует вся операция в целом».
Эти критические замечания можно, конечно, отнести не
только к задачам линейного программирования, но и к другим
математическим моделям. Вполне может оказаться, что принятая
математическая модель, обычно составляемая на основе
приближенных данных о реальном моделируемом явлении (объекте,
процессе), не охватывает какие-либо важные существенные
стороны исследуемого явления и приводит к результатам,
существенно расходящимся с реальностью. В этом случае
математическая модель должна быть изменена, доработана с учетом вновь
поступившей информации, а получаемые при анализе
совершенствованной модели данные должны снова и снова критически
сопоставляться с реальными данными и использоваться для
выяснения границ применимости модели. Математическая модель
лишь при высокой степени адекватности моделируемому явлению
может быть использована для более глубокого анализа явления

§ 1] ПОСТАНОВКА ЗАДАЧИ 105
И проникновения в его сущ;ность, для выработки
целенаправленного управления.
Было бы оп1ибочным, основываясь на приведенных выше
критических строках, делать вывод о том, что линейные модели,
приводящие к задачам вида A) — C), слишком просты и вовсе
непригодны для исследования реальных задач. Наоборот,
практика показала, что линейное программирование может быть
успешно применено для исследования и анализа широкого класса
реальных технико-экономических задач. Линейное
программирование является одним из наиболее изученных разделов теории
экстремальных задач с достаточно богатым арсеналом методов.
Ниже мы увидим, что задачи линейного программирования
используются также и в качестве вспомогательных во многих
методах решения более сложных нелинейных задач минимизации.
3. Из обн];ей задачи линейного программирования обычно
выделяют и исследуют два ее подкласса: каноническую задачу
<с, иУ -^ inf; и^и={и^Е'': и>0, Аи = Ь} A4)
и основную задачу
<с, иУ -> inf; iz е С/ = {гг е ?\- и ^ О, Л а ^ Ъ). A5)
Здесь с, Ъ — заданные векторы, с ^ ?''*, с =7^ О, Ъ^ J?"*, А —
матрица размера тХп, А?=0. Несмотря на внешнее различие задач
A4) и A5) (в одной из них ограничения Аи==Ь, в другой Аи^
=^Ь), эти задачи, оказывается, в определенном смысле
эквивалентны. В самом деле, если ограничения типа равенств Аи = Ь
заменить на равносильную систему двух неравенств: Аи^Ь,
Аи>Ь, то каноническую задачу A4) можно записать в виде
основной задачи
<с, иУ-^Ы; и^и^Ы^Е"": ii>0, Au^b, -Au^-b). A6)
Ясно, что задачи A4) и A6) эквивалентны, т. е. всякое решение
задачи A4) является решением задачи A6) и наоборот (или,
возможно, обе задачи не имеют решения).
Основную задачу линейного программирования A5) также
можно записать в виде канонической задачи. А именно, введем
дополнительные переменные v={v\ ..., г;"") посредством
соотношений v = b — Au (v^O) ив пространстве ^"+"* переменных
Z = {щ v) = {и\ ..., и"", v\ ..., г;"") рассмотрим каноническую
задачу
<d, 2>-^inf; z^Z = {z = {u, v): 20^^+"^, z>0,
Cz = Au + v=b}, A7)
где d = {c, 0)e?^+"^, С = (Л, ?), jE" — единичная матрица размера
mXm. Нетрудно видеть, что если и^ — решение задачи A5), т. е.
и^ е и, <с, щУ = inf <с, и}, то z^ = {щ , i;^), v^^ = b — Ащ — ре-

106 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
шение задачи A7), т. е. z^ е Z, <d, z^>= inf {d, z}, и обратно, если
и
2* = (^*» ^*) — решение задачи A7), то и^—решение задачи
A5). Таким образом, путем введения новых переменных или
увеличением числа ограничений всякую задачу вида A5) можно
привести к виду A4), а задачу A4) —к задаче вида A5).
Оказывается, общая задача линейного программирования E)
также может быть записана в виде канонической (или основной)
задачи линейного программирования. В самом деле, положим
v==b — Au, м;' = тах{0, и'}, гу'==тах{0; —и'}, i^I, A8)
и в пространстве переменных z = {v, и\ i е /; w\ гй\ i ФI) рас-
СхМотрим задачу
/ (z) = 2 ^i^^ + 2 ^i (^'—^0 "^ iiif;
zgZ = {z: i;>0, u^^O, i^I; ш^>0, w'^0, i^I;
2 ^iu^ + 2 ^i(^' — г^'О + v = b, 2 '^iu' + 2 3i{i^' — w') ='b],
i=I imi iSl i^I J
A9)
где Ai — 1-й столбец матрицы A, Ai — i-й столбец A. Как видим,
в задаче A9) функция J{z) линейна, все переменные
неотрицательны, остальные ограничения имеют только вид равенств, т. е.
A9) является канонической задачей линейного
программирования. Учитывая обозначения A8) и равенство u' = w' — w' {i^
^0), остается лишь заметить, что точка z^ = (v^, ul, ie /; ш*>
ivl,i^I) будет решением задачи A9) тогда и только тогда,
когда точка и^ с координатами ul {i е /), ul = wl — wl (i^I)
будет решением задачи E).
Заметим, что изложенные приемы сведения задач E), A4),
A5) к канонической или основной задаче линейного
программирования на практике без особой необходимости не применяют,
так как это может привести к чрезмерному увеличению
размерности переменных или числа ограничений. Поэтому методы
решения задач линейного программирования обычно
разрабатывают для задачи A4) или A5), а затем, учитывая указанную
выше связь между задачами E), A4), A5), модифицируют
полученные методы применительно к другим классам задач линейного
программирования.
§ 2. Геометрическая интерпретация. Угловые точки
I. Кратко остановимся на геометрическом смысле задачи
линейного программирования. Рассмотрим задачу A.15) при ^ = 2.
Для краткости обозначим и^ = х, и^ ='У, и = {х, у) и перепишем

S 2J
ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ. УГЛОВЫЕ ТОЧКИ
107
задачу A.15) в виде
с^^х + с^у -> inf;
iieC7 = {u = (a:, у)\ х>0, у>0, а^х + Uizy < Ь\ 1 = 1, ..., т).
A)
Введем множества: Uo = {u = {x, у): х>0, i/^0) —
положительный квадрант плоскости
{X, у), Ui = {u = {x, у): //л. ^^
аих + dizy < b'} —
полуплоскость, образуемая
прямой йцХ + аг2У = Ъ^
A=1, ..., т). Ясно,
что множество U
является пересечением
множеств [/о, C^i, ..., и т.
Может случиться, что
это пересечение пусто
(рис. 3.1)—тогда
задача A) теряет смысл.
Если множество U
непусто, то оно,
образованное пересечением
конечного числа полуплоскостей, представляет собой выпуклое
многоугольное множество, границей которого является ломаная,
Рис. 3.1
Рис. 3.2
Рис. 3.3
составленная пз отрезков каких-либо координатных осей и
прямых ацХ+а12у = Ь' (i = i, ..., т). Это многоугольное множество
может быть как ограниченным (рис. 3.2)—тогда U представляет
собой выпуклый многоугольник, так и неограниченным (рис. 3.3).

108
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
Пусть а —какое-либо значение функции J{u)=<c, uy = c^x-i-
+ Сгу, Тогда уравнение
CiX + СгУ = а B)
задает линию уровня функции J {и), соответствующую ее
значению а, и на плоскости определяет прямую, перпендикулярную
вектору c = (ci, С2)=7^0. При
изменении а от — оо до оо прямая
B), смещаясь параллельно
самой себе, «зачертит»
(«заметет») всю плоскость. При этом
вектор с указывает
направление, в котором следует смещать
прямую B), чтобы увеличивать
значение функции J{u)= <с, иУ,
Если и — многоугольник (ом.
рис. 3.2), то при изменении а
от ~оо до оо прямая B) при
некотором значении а =^ /^j.
впервые коснется U и будет
иметь с и общую точку и^ (на
рис. 3.2—3.5 прямая B)
представлена при а — oci<zJ^<i
<а2 <ссз). Ясно, что <с, и^} = J^= inf <с, и}, т. е. и^ —
решение задачи A). Возможен случай, когда прямая B) ^при первом
касании с многоугольником U будет иметь не одну общую точку
Рис. 3.4
1
, \ ^
1 ^
N
/ —
^
—s;
ZX~""
—X.
- J/ z:
.-- -
\
-
~:^
X. v^
/'
\(Г.
Рис. 3.5
G и, Si целую сторону (рис. 3.4)—это может случиться, если U
имеет сторону, перпендикулярную вектору с.
Если многоугольное множество U не ограничено, то наряду
ео случаями, когда при первом касании прямая B) будет иметь
е и одну общую точку щ (см. рис. 3.3) или сторону (рис. 3.5),

§ 2J ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ. УГЛОВЫЕ ТОЧКИ 109
возможна ситуация, когда прямая B) при всех а (—оо<а<
<ао<оо) имеет обпцую точку с U (рис. 3.6)—тогда inf(c, и) =
= —оо (первого касания прямой B) с U нет), т. е. задача A)
не имеет решения.
Из рассмотренных случаев задачи A) видно, что задача
линейного программирования может не иметь ни одного
решения (см. рис. 3.1, 3.6), может иметь лишь одно решение
(см. рис. 3.2, 3.3), может иметь бесконечно много решений (см.
рис. 3.4, 3.5).
Аналогично можно показать, что множество U в задаче A.15)
при W = 3 является многогранным множеством, и дать
геометрическую интерпретацию этой задачи. Предлагаем читателю
самостоятельно рассмотреть этот случай, а также исследовать задачу
A.14) при ^ = 2, 3.
2. На примере рассмотренной выше задачи A) нетрудно
усмотреть, что если задача A) имеет решение, то среди решений
найдется хотя бы одна угловая точка (вершина) многоугольного
мнол^ества U, Ниже мы увидим, что это не случайно: и в более
общей задаче линейного программирования, оказывается, нижняя
грань функции <с, иУ на U достигается в угловой точке
множества.
Определение 1. Точка v множества U называется угло-
вой точкой (вершиной, крайней точкой, экстремальной точкой)
множества С/, если представление г; = az;i+ A — a)i;2 при i;i, V2^
^ и и 0<ос<1 возможно лишь при Vi = V2. Иначе говоря, v —
угловая точка множества С/, если она не является внутренней
точкой никакого отрезка, принадлежащего множеству U,
Например, угловыми точками многоугольника на плоскости
или параллелепипеда в пространстве являются их вершины; все
граничные точки шара будут его угловыми точками; замкнутое
полупространство или пересечение двух замкнутых
полупространств не имеют ни одной угловой точки.
В задачах линейного программирования понятие угловой
точки играет фундаментальную роль и лежит в основе многих
методов решения таких задач. В дальнейшем мы будем подробно
исследовать каноническую задачу A.14). Поэтому начнем с
изучения свойств угловых точек множества
С/ = (гг еЯ^: и>0, Аи = Ь), C)
где А — матрица размера тХп, АФО, Ъ — вектор из Е"^, Ниже
будет показано, что множество C), если оно непусто, имеет хотя
бы одну угловую точку (см. теорему 5.1). Возникает вопрос, как
узнать, будет ли та или иная точка множества C) угловой
точкой? Приведем один достаточно простой алгебраический
критерий угловой точки множества C). Для этого вначале обозначим
/-Й столбец матрицы А через Aj и запишем систему уравнений

110 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
Аи = Ъ в следующей эквивалентной форме:
А,и' + .,. + Аг,и^ = Ъ. D)
Теорема 1. Пусть множество U определено условиями C),
АФО^ г = rang Л—ранг матрицы А, Для того чтобы точка v =
= (г;*, ..., и'')^и была угловой точкой множества С/, необходимо
и достаточно, чтобы существовали номера /i, ..., /г A^Л=^^,
Z== 1, ..., г) такие, что
Aj/i + ... + А^У' = Ъ\ v' = 0, ]Ф]и Z = 1, ..., г, E)
причем столбцы Aj^, ..., Aj^ линейно независимы.
Доказательство. Необходимость. Пусть v —
угловая точка множества U. Если i; = О, то из условия O^U следует,
что 6 = 0. Поскольку АФО, то r = rang^>l и существуют
линейно независимые столбцы Aj^, ..., Aj^. Отсюда имеемu4j^-0+.. •
... +Aj^'0 = 0. Для случая г; = О соотношения E) доказаны.
Пусть теперь г; ^ О и пусть v^^, ..., г/^ — все положительные
координаты точки v. Отсюда и из условия Av = b с учетом
представления D) имеем
A^yi + ... + Aj^^ - Ь, г/ = 0, / #= /ь г = 1, ..., к. F)
Покажем, что столбцы Aj^, ..., Aj^^ линейно независимы.
Пусть при некоторых osi, ..., ос^ имеет место равенство
^Л, + ... + cikA^j^ = 0. G)
Возьмем точку v^ = (v\, ..., г;+) с координатами v^ = v^ + гар,
i;+ = О при / ?=]'р (р = 1, ..., к) и точку z;i= (v-, ..., v^) с
координатами vJ^ = u^—Eap, uL = 0 при ]ф]р{р = \^ ..., /с).
Поскольку г;^р>0(р=1,. .., /с), то при достаточно малых 8 > О будем
иметь г;+^ О, i;_ ^ 0. Кроме того, умножая G) на е или —г и
складывая с F), приходим к равенствам Av+ = b, Au- = b,
Таким образом, i;+, v-^U. Очевидно, v = {v+ + v-)/2, т. е. v =
==av+ + {i~ a)v^ при ос =1/2. По определению угловой точки
это возможно лишь при v+ = v-. = V, что в свою очередь означает,
что ai = ... = aft = 0. Таким образом, равенство G) возможно
только при ai = ... = oCft = 0. Линейная независимость столбцов
Aj^, ..., Ajj^ доказана. Отсюда следует, что к^г.
Если к = г, то соотношения F) равносильны E). Если к<г^
то добавим к столбцам Aj , ..., Aj^ новые столбцы Aj^,^ ..., А^^
матрицы А так, чтобы система Aj^, ..., Aj^, -^h+v • • •' "^h была
линейно независимой, а при добавлении любого другого столбца
Aj эта система становилась линейно зависимой. Тогда система
Aj , ..., Aj^ образует некоторый базис линейной оболочки векто-

§ 2] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ. УГЛОВЫЕ ТОЧКИ Щ
ров Ai, ..., An- Размерность линейной оболочки векторов Ai, ...
..., An равна рангу матрицы А, так что 5 = r = rang^. Добавив
к первому равенству F) столбцы -4j^_}_i» • • ч ^jr' умноженные
соответственно на u^^+i = 0, ..., i;^^ = О, из F) получим
соотношения E). Необходимость доказана.
Достаточность. Пусть некоторая точка v = {v^, ..., v"^)
удовлетворяет условиям E), где ^j ,..., ^j^ — линейно
независимы, г = rang 4. Пусть V == av^ + A — а) ^2 при некоторых
Vi, Vz^U, о < а < 1. Покажем, что такое представление
возможно только при Vi = U2 = V. Сразу же заметим, что если v' = О, то
из этого представления с учетом неравенств О < а < 1, v{^0,
v\ ^ О получим о ^ av{ + A — a)v\=^v^ = О, что возможно лишь
при v\ = v2 = v^ = 0. Таким образом, для получения
равенства i; = 171 == 172 остается еще доказать, что v\ = v\ = v^ и при
тех 7, для которых v^ > 0.
По условию E) у точки v положительными могут быть лишь
координаты y^i, ... ,v^^. Произведя при необходимости
перенумерацию переменных, можем считать, что y^i > О, ..., v^^ > О,
y^fe+i = 0, ..., i;^'' = О (случаи /с = О или к = г здесь не
исключаются). Тогда D) можно переписать в виде AjV^^ + ...+ Aj^v^^ =
=^ 6. Кроме того, учитывая, что по доказанному г^ = ^2 = О при
всех ]?=jp (/? = 1, ..., к), равенства AVi = b также можно
записать в виде Aj^Vi- + .. . + Ajj^i^ = b (J = 1, 2). Вспомним, что
векторы Aj , ..., Ajj^ линейно независимы. Поэтому вектор Ь
может линейно выражаться через Aj^,...,Aj^ единственным
способом. Это значит, что у^^ = i^/ = v^^ для /? = 1, ..., к. Тем
самым установлено, что v = Vi = v^. Следовательно, v — угловая
точка множества U,
Определение 2. Систему векторов Л^^, ...,Л^^, входя-
ш;их в первое из равенств E), называют базисом угловой
точки V, а соответствуюш;ие им переменные i^S ..., и'^—базисными
координатами угловой точки и. Если все базисные координаты
угловой точки положительны, то такую угловую точку называют
невырожденной. Если же среди базисных координат i;^i, ..., г;^^ —
хотя бы одна равна нулю, то такая угловая точка называется
вырожденной. При фиксированном базисе Aj , ..., Aj^ переменные
гг^1, ..., w-^^ называются базисными переменными угловой точки,
а остальные переменные и' — небазисными {свободными)
переменными.
Из теоремы 1 следует, что невырожденная угловая точка
обладает единственным базисом — ее базис составляют столбцы с
теми номерами, которым соответствуют положительные коорди-

112 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНПЯ [ГЛ. 3
наты угловой точки. Если угловая точка вырожденная, то она
может обладать несколькими базисами. В самом деле, если z/i>>
>0, ...,г/^>0 (А: < r = rang^), а остальные координаты v'
угловой точки V равны нулю, то, как видно из доказательства
теоремы 1, в базис такой точки обязательно войдут столбцы
Aj^^ ...^Aj^, а остальные базисные столбцы Ajf^_^-^, ..-T-^jr^ вхо~
дягцие в представление E), могут быть выбраны, вообгце говоря,
различными способами.
Пример 1. Пусть и =-{и = {и\ и^, и\ и^)^Е^: i^^^O,
7 = 1, ..., 4, и' + и' + 3и' + и' = 3, u'-u' + u' + 2u' = i}.
Обозначим
^i = [l], Л = [-4 ^3 = [lJ. A = [2j, ^ = [ij-
Нетрудно видеть, что точки Ui = B, 1, О, 0) и W2 = @, 5/3, О,
4/3) являются невырожденными угловыми точками множества
С/, причем точке Ui соответствует базис Ai, Az, а точке Uz —
базис Az, Ас, угловая точка ггз = @. О, 1, 0) вырожденная и ей
соответствуют базисы А^, Аз или Az, Аз или Аз, Ас точка и^ =
= E, О, О, —2) не является угловой для множества С/, так как
Поскольку из п столбцов матрицы А можно выбрать г
линейно независимых столбцов не более чем Сп способами {Сп —
число сочетаний из п элементов по г), то из теоремы 1 следует,
что число угловых точек множества C) конечно.
Кроме того, как увидим ниже (см. теоремы 6.1, 6.2), если
1]Ф^ и inf<c, 1^>> — оо,то эта нижняя грань достигается хотя
V
бы в одной угловой точке множества C). Это значит, что
каноническую задачу A.14) можно попытаться решить следующим
образом: 1) найти все угловые точки множества C)—для этого
можно, например, рассмотреть С\ систем вида E) и проверить,
будут ли выбранные столбцы ^j^, ...,4j^ линейно независимы
и будут ли соответствующие решения системы E)
неотрицательными; 2) вычислить значение функции /(u)=<c, и> в
каждой из угловых точек, число которых, как мы знаем, конечно,
II определить наименьшее из них. Однако такой подход к
решению задачи A.14) практически не применяется, так как даже
в задачах не очень большой размерности число угловых точек
может быть столь большим, что простой перебор всех угловых
точек множества C) может оказаться невозможным за разумное
время даже при использовании самых быстродействующих ЭВМ.
Тем не менее идея перебора угловых точек множества
оказалась весьма плодотворной и послужила основой ряда методов
решения канонической и других задач линейного
программирования. Одним из таких методов является так называемый силт-

§ -6] СИМПЛЕКС-МЕТОД ЦЗ
лекс-метод. Название этого метода связано с тем, что он впервые
разрабатывался применительно к задачам линейного
программирования, в которых множество U представлял собой симплекс в
Е'^: и = lu=={u^j ,.., и'^): и^О, ^и^ ~ in затем метод был
обобщен на случай более обгцих множеств С/, но
первоначальное название за ним так и сохранилось; в литературе этот
метод также называют методом последовательного
улучшения плана.
Оказывается, с помогцью симплекс-метода можно осуществить
упорядоченный (направленный) перебор угловых точек
множества C), при котором значение функции <с, иУ убывает при
переходе от одной угловой точки к другой, и при этом, рассмотрев
лишь относительно небольшое число угловых точек, удается
выяснить, имеет ли задача A.14) решение, и если имеет, то найти
его. Кроме того, как увидим ниже, симплекс-метод может быть
использован также и для определения угловой точки
множества C).
§ 3. Симплекс-метод
1. Перейдем к описанию симплекс-лютода для решения
канонической задачи A.14):
<с, u>->inf; и^и^Ы^Е"": и>0, Аи=^Ь}. A)
В A.14) предполагалось, что матрица А имеет размер тХп,
Тогда г = rang А < min {т; п). Предполагая, что из системы
{Аи)' = Ь' (i = l, ..., т) исключены линейно зависимые
уравнения, можем считать, что матрица А имеет размер гХп, где
г = rang А. Тогда г<п. Если г = п, то система Аи = Ь будет
иметь единственное решение и и множество U будет либо
пустым (если не соблюдается ограничение и'^0), либо будет
состоять из одной точки (если а ^ 0)—в этом случае задача мпни-
мизации функции J (и) на U становится малосодержательной.
Поэтому будем считать г<п. Тогда система Аи = Ь запишется
в виде
ttiiU^ + ... + ainU"" = b\
B)
ariU^ + ... + urnU'^ = й"",
где г = rang А <п.
Пусть известна некоторая угловая точка v = {v\ ..., v"")
множества и. Перенумеровав при необходимости переменные, без
умаления общности дальнейших рассмотрений можем считать,
что столбцы Ai, . .., Ar матрицы А являются базпсом точки и,

114 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
а переменные и\ ..., W — базисными переменными. Обозначим
=-[1'} '-['у] ''[у]''''[''!;]
В = \ \ = {А,...Аг).
Тогда систему B) можно переписать кратко так:
AiU^ + ... + ArW + Ar+iU'-^' + + AnW" =
= Ви+ Ar+iU'-"' + ... + AnU"" = Ь. C)
Поскольку столбцы -4i, ..., Ar линейно независимы, то detB=7^0
и, следовательно, сугцествует обратная матрица В~\ Кроме того,
согласно теореме 2.1 небазисные координаты v""^^, ..., v"^ угловой
точки V равны нулю, так что ^ = л кгде v^O, Тогда из C)
следует, что базисные координаты v удовлетворяют системе Bv = b,
откуда имеем v = B~^b ^ 0.
Учитывая последнее равенство, умножим систему C) на В~^
слева и получим следующее соотношение между базисными
переменными и и небазисными переменными и
г + 1
и'Ч
и+ ^ B-^AkU^ = B-4 = v^0,
D)
Обозначим: (J5-"*^ft)^ ='Ysh —s-я координата вектор-столбца В'^А^
E = 1, ..., г, fe = r+l, ..., п). Тогда уравнение D) можно
записать в покоординатной форме
+ Y2,r+ii^^+^ + ... + Y2nW^ = i;2.
E)
Перенося в D) и E) слагаемые с небазисными переменными
вправо, получаем выражение базисных переменных через
небазисные в векторной форме:
h=r+l
F)

§ 3] СПМПЛЕКС-МЕТОД 115
п соответственно в покоординатной форме:
"... Ifln^ ?
G)
ц1 = у! - Yj ,.^^г^^+1 _ ..
U^^V'-^i^r+iU'+'-..
U^^V^- If г. r+iU'+' - . .
. - YlA^'' - . .
. - Ъ^и"" -..
..-ТгЛ^''-.
, . - tinW'
• '^in^^ ?
.. - Ък^"
Подчеркнем, что системы C) — G) являются эквивалентными
переформулировками исходной системы B). Заметим также, что
если заранее знать номера базисных переменных, то для
получения из B) соотношений G) можно воспользоваться
известными методами [4, 54] (например, схемой Жордана). О том, как
определить угловую точку п номера ее базисных переменных и
как привести систему B) к виду G), будет рассказано в § 5.
Пользуясь соотношениями F) пли G), функцию / (i^) =
п
= <с, г^> = 2 ^г^^ можно выразить через небазисные пере-
г=1
менные:
/(t^)=/c, г;- 2 B-4iU^+ S
г=г-1-1
п
= <c,vy- У, ({c,B-'Ai}-Ci)u\
i=T+l
Поскольку <с, ?> = <с, i;> =J{v), то
J{u)=J(v)- i Aiu\ (8)
где
г
Ai = (с, B-'Ai) - Ci = 2 с,7,г - a. (9)
Кстати заметим, что величины Ai имеют смысл и при i = 1, ...
..., г; тогда Аг = <Сг, е^) — с^ = О, так как по определению
обратной матрицы B~^Ai = ei (i = l, ..., г), где ei—i-u столбец
единичной матрицы порядка гХг.
Входяш;ие в E), (8) величины 'у^й, v\ Аг удобно записать
в виде табл. 1, которую принято называть симплекс-таблицей^
соответствующей угловой точке у. Для дальнейшего полезно
заметить, что величины у5й = E~М^)% Аг = <с, B~^Ai> — Ci
полностью определяются заданием А, с ж базиса угловой точки и
не зависят от Ь.
Таким образом, каноническая задача A) может быть теперь
сформулирована в равносильной форме через небазпсные
переменные: минимизировать функцию (8) при условиях F) (или
G)) и, кроме того, и^О. Конечно, от такой переформулировки

116
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
задача A) проще не стала, но в новой ее формулировке,
оказывается, легче проследить за тем, как изменяется функция J {и)
при изменении небазисных неременных, и можно попытаться
выбрать эти переменные так, чтобы в новой точке w ^ U было
J{w)<J{v). Однако если мы начнем изменять все небазисные
Таблица 1
Базисные

переменные
и'
и'
и''
Функция
wi
1
0
0
0
0
и^
0
1
0
0
0
и^
0
0
1
0
0
и^
0
0
0
1
0
ur+i
^1, г+1
Уг, г + 1
Vs, г + 1
Уг, г+1
\ + 1
и^
Ущ
Угк
Узк
Угк
Ч
иО
Уц
Уг}
1^-
и^
У1П
Угп
Узп
Угп
к
Свободные
члены
J(v)
переменные снизу, то вряд ли сможем проследить и за
изменением функции J (и) и за соблюдением ограничений а^О.
Поэтому мы попробуем изменить лишь одну из небазисных пере^
менных, скажем, переменную и^ (г+ i^k^n), а остальные
небазисные переменные положим равными нулю. Тогда из
соотношений G) получим
Ifsft^ ? • • •
U'=-V'- ^ij,u\ . . ., и' = V' - ^ikU^, ...,u'-
w = v^
¦ bhu"", u'^' ¦
... = u'
^-1 ^ ,,ft+l ^
u^ = 0, A0)
или короче
ц==г;-(Б-^Л)^', ^^ = 0, /=:r+l, ..., w, ]Фк, (И)
a функция (8) запишется в виде
J{u)=^J{v)-^gJ^. A2)
Наша ближайшая задача: выбрать номер к {r+i^k^n) и
величину а^ ^ О так, чтобы новая точка w, у которой fc-я
координата равна и^, а остальные координаты определяются
равенствами A0), удовлетворяла требованиям Aw==b (w;>0), J{w)^
<J{v) (будет егце лучше, если удастся получить J{w)<J{v)).
Что касается первого требования Aw = b, то как видно из
соотношений G), равносильных B), оно будет выполняться при
любом выборе и^. Анализируя знаки величин А^, ^sk, нетрудно
выяснить можно ли удовлетворить оставшимся двум требова-

§ 3] СИМПЛЕКС-МЕТОД цу
ниям: w>0, J{w)<J{v)^ и указать правило выбора нужного
номера к п нужной величины и^>0. А именно, рассмотрим
следующие три взаимоисключающих случая I—III.
Случай I. Справедливы неравенства
Аг = <с, B-'Ai> - с, < О, i = r+i, .,., щ A3)
т. е. в нижней строке симплекс-таблицы 1 все А^
неположительны. Как видно из A2), тогда невозможно добиться неравенства
J{u)<J{v) при взятом выше специальном способе изменения
переменных A0) ни при каких к {г+Кк<п) и i^^>0.
Однако это обстоятельство не должно огорчать нас, так как,
оказывается, при выполнении условий A3) рассматриваемая точка
является решением задачи A). В самом деле, для любой точки
и^и = {и: и>0, Аи = Ь} с учетом представления D) и нера-
г п
венств A3) имеем J (и) = {с, и} = ^CiU^ + 2 CiU^^{c, и} +
+ S (c,B'^Ai}u^ = (c, и+ ^ B-^Aj,u') = ic, v} = J{u).
Таким образом, J{u)> J{v) при всех u^U, т. е. v — решение
задачи A).
Случай II. Существует номер к {г+Кк^п) такой, что
А,>0, Тг,<0, i = l, ..., г, т. е. Б'^Л^О. A4)
Это значит, что в симплекс-таблице 1 в к-м столбце, где
находится Aft > О, нет ни одного положительного числа уг^. В этом
случае при всех и^^О точка и, определяемая формулой A0)
(или A1)), будет иметь неотрицательные координаты и,
следовательно, будет принадлежать множеству С/. Тогда, как видно
из A2), J{u) = J{v)'-AkU^-^—^ при u^->oo. Это значит, что
inf <с, и} = — оо, т. е. задача A) не имеет решения.
и
Случай III. Существуют номера к, i {г+ i^k^n, l<i<
< г) такие, что
А,>0, Тг,>0. A5)
Это значит, что в к-ж столбце симплекс-таблицы 1, где
находится Aft > О, имеется хотя бы одно положительное число ^ш,
В этом случае множество индексов Ik = U: l<i<r, ^ik'>0}
непусто. Тогда для точки и, координаты которой определяются
формулами A0), согласно A2) при любом и^>0 будем иметь
J{u) = J{v) —AhU^ <J{v). Остается лишь позаботиться о
выполнении условия и>0. Как видно из формул A0) при уг^^О, т. е.
i ^ Д, будем иметь и' = v' — ^^ф^ ^ у' ^ О при любом выборе
vr^Q. Если же Yi/i-^ О, т. е. i^Ifi^ то при слишком больших
значениях и^, а именно, при и^ > min i;VYife величина u' = v^ —
— '^ikU^ станет отрицательной хотя бы для одного номера точек,

118 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
определяемых формулами A0), нужно и^ взять так, чтобы 0^
:^ а^ ^ min rVVife. Пусть
min v^lyiu = vyysk, s e 4. A6)
Поскольку множество Д непусто и конечно, то хотя бы один
такой номер 5 существует. Величину fsk, где номера к, s
определяются из A5), A6), называют разрешающим элементом
симплекс-таблицы 1.
Зафиксируем один пз разрешающих элементов "fsk и в
формулах A0), A2) положим u^^Vs/'ish- Получим точку w =
= {w\ ..., w"") с координатами
S S S
u;i = i;i —Y,^Z-, ..., wi=:=v' — yik^, ..., w;^-i = r^-i —Ys-i,fe—,
Ysk ^sk fsk
s s s
IV' =v'~-ysh^ = 0, W'+^^V'^rl — y^j^^^^^ ...^t^r_ ^r_Y,fe:^,
w;r+i=. 0, ..., i^-^-i - 0, W^ = —, W^^+^ - 0, . . ., li;^ == 0 A7)
И с соответствующим значением функции
J{w)==<c, w> = J{v)-Aj,v'/^sK<J{v). A8)
В силу формул G), A0) и условия A6) ясно, что w^U.
Покажем, что W — угловая точка множества U с базисом
Лх, ..., As-i, As+i, ..., Ar, Ah-, A9)
получающимся из базиса точки v заменой столбца As на А^.
Учитывая, что w^ = w""^^ ==... = w^~^ = w^'^^ = ... = w;" = О,
условие Aw = b можно записать в виде A^w^ +,., + As-iW'~^ +
+ As+iW''^^ + ,.. + ArW'' + AkW^ = b, Согласно теореме 2.1 остается
показать, что система векторов A9) линейно независима.
Пусть для некоторых чисел ai, ..., as-i, as+i, ..., ar, а^
оказалось, что
aHi + ... + as-iA,-i + as+iAs+i + ... + агАг + a^A^ = 0. B0)
г г
Поскольку А}^ = BB~^Aj^ = 2 ^г E"^А)^ = S Угк^и то из
г=1 г=1
B0)следует
т г г
2 аИг + CXfe 2 Угк^г = 2 (^-1 + ^feVife) ^i + (ХкУакА = 0.
i=i,27^s г=1 i=l,ij^s
Но система ^i, ..., Л^, ..., Л^ является базисом точки v и,
следовательно, линейно независима. Тогда последнее равенство

§ 3] СИМПЛЕКС-МЕТОД цд
возможно лишь при ai + afe'Yi& = 0 (j = l, ..., г, i?=s, ak^sk^^O).
Но ^sh>0, как разрешающий элемент, поэтому аь = 0. А тогда
все остальные аг = 0 (t = l, ..., г, i^s). Таким образом,
равенство B0) возможно лишь при ai == ... = oCs-i = a^+i == .. •
... = аг = ад = 0, т. е. система A9) линейно независима. Тем
самым показано, что м; —угловая точка множества С/, причем
система A9) является ее базисом, а и\ ..., i^^~"\ и'"^^ • • •> ^"^i и^—
ее базисными переменными.
Пользуясь соотношениями G), нетрудно выразить новые
базисные переменные i^\ ..., 1г^"\ и^'*'^ ..., и", и^ через остальные
небазисные переменные. Для этого из s-ro уравнения системы
G) нужно выразить переменную и^:
„. = j[:l_^u'_ y^ui B1)
Uh
У$к i=r+i ^^
(здесь и ниже 2 означает, что суммирование ведется по всем
/ = г+1, ..., тг, исключая j = k) и затем подставить ее во все
остальные уравнения этой системы. С учетом равенств A7)
получим
п
3=r+l
п t n \
«;*¦
S)"-j;(v«-^:v.)- B2)
ДЛЯ всех 1 = 1, ..., 5 — 1, S + 1, ..., г.
Аналогично, подставляя выражение B1) для v!^ в (8),
функцию ](\i) также можно выразить через новые небазисные
переменные:
^<»>=^<">-,|.>^"'-*'fe-i"*-J'.5"')=
_^H-(-^)--J;(a,-a.|)»'; ,23)
здесь мы учли равенство A8). Таким образом, базисные
переменные угловой точки W и значение функции J (и) выражаются
через небазисные переменные этой точки по следующим

120 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
формулам:
U^ = W^ — y[sU' — y[,T+lU''^^ — ... — y[,k-lU^'^ —
' fe+l ' ^
— Ti.ft+i« — ... — Ути ,
i г ' s ' r+l ' k—1
и =W —yisU —Yi,r+l^ —--'—yi,k-lU —
' fe+i ' n
— Уг,к+1^ — ... — yinU ,
' fe+i ' ^
^ Ys-i,fe+i^ — ... — Ys-i.nW- ,
и ==W^ — ys+i,sU — Ys+l,r+l^ — ... — Ys+l,fe-l^ —
— Ys+i,ft+i^ — ... — Ys+i,^^ у
r r ' s ' r+1 ' , h — 1
и = W -^ yrsU — Yr,r+1^ — ... — yr,k-lU —
7/^+1 л/ 7/''
k k ' S ' r-rl ' fe —1
г^ = г^ — Yfes?^ — Y/t,r+i^ — ... — Y/i,fe-i^ —
— Tfe,/t+i^ — ... — YfenW- r
J{u) = J (w) — A'sU — ArJ^i^u'^^ — ... — Ah-iu^"^ —
где w\ ..., i^'-\ i^'+\ ..., w\ w^ П /(w;) определяются
формулами A7), A8), a yij, A] получаются из B1) —B3)
приравниванием коэффициентов при соответствующих неизвестных:
7is = -r^, г = 1, ...,s —l,s+l, ...,г, yks= — ; B4)
yij = yij — ':^ysj, i = l, ...,5—1, 5+ 1, ..., Г, Yfej=rr-» B5)
fsfe Ysk
j = r + 1, ..., fe—1, A; + 1, ..., w;
A;^A,-~A,J^, 7:^r+l, ...,fe-l, A:+l, ...,^. B6)
Табл. 2 представляет собой симплекс-таблицу новой угловой
точки W. Таким образом, один шаг симплекс-метода,
заключающийся в переходе от одной угловой точки v множества U к
другой угловой точке w, описан. Этот шаг формально можно
истолковать как переход от одной симплекс-таблицы 1 к следующей

§ 3] СИМПЛЕКС-МЕТОД 121
симплекс-таблице 2 по формулам A7), A8), B4) —B6), в
которых разрешающий элемент ^^л определяется
условиями A5), A6).
Эти формулы перехода были получены в предположении, что
базисные переменные угловой точки v имеют номера 1, ..., г.
Нетрудно видеть, что если базисные переменные точки и имеют,
скажем, номера ]\, ..., /V A ^/i < ... < Д ^ гг), то можно
выписать формулы
uH = i;H___ S yikU^, i = i, ...,г, J(u) = J{v)— 2 ^kU^,
выражающие базисные переменные и функцию J {и) через
небазисные переменные и аналогичные формулам E) — (9). Здесь
Iv = (/i, ..., /r), Ък = {В-'А^)\ i = 1, ..., г, к^и,
5 = (Л,.^...Л,д, v^^ = {B''b)\ ^ = 1, ...,г;
г
Да = 2 (^нЪк — Ч, кф 1^; А^ = 0, i^ 1^;
табл. 3 представляет собой симплекс-таблицу точки v. Как и
выше, здесь нужно рассмотреть три случая.
Случай I.
А,<0, k^h. A30
Случай П. Существует номер k^Iv такой, что
А,>0, В-'А,<0. A40
Случай III. Существуют номера k^h, Ji^h такие, что
А.>0, {В-'А,У==и>0. A50
Как и выше, нетрудно убедиться, что в случае I точка v
является решением задачи A), в случае II — inf <с, и} = — оо и
задача A) не имеет решения, а в случае III можно выбрать
разрешающий элемент ^sft из условий
Afe > О, min u'^/yik = v^'/ysk, hk = {i- U ^ h, yik > 0}, A6')
аналогичных условиям A5), A6), и затем осуществить переход
к следующей угловой точке w по формулам, аналогичным
формулам A7), A8), B4)-B6).
2. Итак, описаны правила перехода от одной угловой точки
V множества U к другой угловой точке w, в которой J{w)^J{v).
Возникает вопрос, когда J{w) = J{v) и когда J{w)<J{v)'}
Учитывая, что поскольку по определению номеров s ж к согласно
A5), A6) Аа>0, '^sk>0, а у'^О из-за v^U, то из
соотношений A8) нетрудно усмотреть, что J{w) = J{u) тогда и только

Таблица 2
Базисные
переменные
и1
Функция
и1
1
0
0
0
0
0
1
СО
3
0
1
0
0
0
0
us
Уи
У'в-Ьв
Ys+i,s
Yrs
У'т
As
+
CO
! з
0
0
1
0
0
0
...
\иГ
0
0
0
1
0
0
ur+l
y'l.r+1
Ys-i,r+i
Ys+i,r+i
Vr,r+1
Yfe,r+l
Ar+1
• »*
ttfc-1
Th.fc-i
Ys-i.fe-i
Ve+i,ft-i
Vr.fc-1
Vftfft-i
*;-i
u*
0
0
0
0
1
0
uft+l
Ъ-l.fe+i
Ys+i.fc+1
Yr,fe+l
Afc+1
un
•8—1,71
f
Ys+i,n
Yrn
д;
Свободные
члены
"'1
wr
wk
J(w)
Базисные
переменные
и?1
н
и
h
и
и
1 Функция
и1
Уи
Tii
Уаг
Уп
Ai
...
...
ujl
1
0
0
0
0
иН
0
1
0
0
0
uk
Уш
Угк
Увк
Утк
*k
...
ujs
0
0
1
0
0
...
ui
Vii
Yij
V.i
Yrj
д;
...
...
...
...
...
...
Jr
0
0
0
1
0
...
T
un
Yin
Yin
Ysn
Yrn
An
а б л и ц a 3
Свободные
члены
iA
Ж
vJs
л
/(*) 1

§ 3] СИМПЛЕКС-МЕТОД 123
тогда, когда и' = О, т. е. угловая точка v вырожденная. Таким
образом, среди канонических задач имеет смысл выделять
задачи вырожденные и невырожденные.
Определение 1. Задача A) называется невырожденной,
если все угловые точки множества U невырожденные. Если хотя
бы одна угловая точка множества U вырожденная, то задачу A)
называют вырожденной,
В том случае, когда задача A) невырожденная, все базисные
координаты угловой точки v будут положительны. В частности,
тогда z;'> О п согласно A8) J{w)<J{v). Далее, из формул A7)
видно, что следующая угловая точка w уже имеет п — г нулевых
координат: w^ = u;""^^ = ... = w^''^ = w^'^^ = ,, ,= w"" = 0, Поэтому
в невырожденной задаче все остальные г координат точки w,
являющиеся базисными, должны быть положительными. А тогда
для всех i^h {i=^s) из формул A7) будем иметь w'=^
=-"{ih{v'/'iih—v'/'^sk)>0, vV'{ik> v'/'^skf так что минимум в левой
части A6) достигается на единственном номере ^^Д. Это зна-*
чит, что если номер к из условий A5) зафиксирован, то номер
переменной и% которая выводится из числа базисных
переменных, и разрешающий элемент ^зь симплекс-таблицы в
невырожденных задачах определяются однозначно.
Итак, мы выяснили, что в невырожденной задаче с помощью
симплекс-метода можно осуществить переход от угловой точки,
не являющейся решением задачи A), к другой угловой точке
со строгим уменьшением значения функции J{u)=<c, иУ,
Учитывая, что число угловых точек множества B.3) конечно,
заключаем, что случай III (условие 15') бесконечно повторяться
не может и процесс закончится тем, что на каком-то шаге
симплекс-метода либо реализуется случай II (условие A4')) и
выяснится, что inf <с, и) = — сх) —задача A) не имеет решения, либо
реализуется случай I (условие A3')), означающий, что
рассматриваемая угловая точка является решением задачи A).
Таким образом, показано, что если в невырожденной
канонической задаче известна какая-либо угловая точка множества, то,
отправляясь от нее, с помощью симплекс-метода за конечное
число шагов можно выяснить, разрешима ли эта задача, и если
разрешима, то найти ее решение.
3. Перейдем к рассмотрению вырожденных задач A).
Посмотрим внимательнее, к чему молчст привести применение
симплекс-метода, если V — вырожденная угловая точка. Если в этой
точке реализуется случай I или II, то выводы останутся
прежними: в случае I v — точка минимума функции <с, и> на U,
а в случае II inf <с, i^> = — оо; в обоих случаях процесс
прекращается. Остается рассмотреть случай III. Конечно, и в
случае III может оказаться, что базисные координаты точки v с
номерами i^h будут положительными, и тогда, как видно из фор-

124 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
мулы A8), симплекс-метод приведет к новой угловой точке w
со значением функции J{w)<J{v), Однако здесь возможна и
худшая ситуация, когда ^sk > О, v' = 0. Ясно, что тогда s ^ h п
минимум в A6) или A6') будет достигаться именно на этом
номере 5. Из формул A7), A8) в этом случае получим w==u,
J{w) = J{v), Это значит, что в результате применения симплекс-
метода мы оказались в прежней же угловой точке и лишь
заменили один ее базис Ai, ..., Ar другим базисом A9).
Возникает вопрос: не приведет ли дальнейшее применение
симплекс-метода к бесконечному перебору базисов угловой
точки и? Поскольку угловая точка имеет конечное число базисов,
то при фиксированном правиле выбора разрешаюгцего элемента
(например, часто выбирают разрешающим элементом ту
величину Ysfe? У которой номера к, s являются наименьшими среди всех
номеров, удовлетворяющих условиям A5), A6) или A6')) это
привело бы к так называемому зацикливанию, т. е. к
бесконечному циклическому перебору базисов точки и. Оказывается,
действительно существуют примеры задач A), в которых возможно
зацикливание (см. ниже упражнение 6.7). Можно ли избежать
зацикливания? Каким для этого должно быть правило выбора
разрешающего элемента?
Любое правило выбора разрешающего элемента, с помощью
которого можно избежать зацикливания в задаче A), назовем
антициклином. К счастью, имеются достаточно простые анти-
циклины. Остановимся на одном из них. Пусть v^ — некоторая
угловая точка множества B.3) с базисом Aj^, ...,Л^^. К
симплекс-таблице точки Vq добавим еще г столбцов ei, ..., Ст
единичной матрицы порядка г X г и в результате придем к табл. 4.
На каждом шаге симплекс-метода вновь добавленные столбцы
будем преобразовывать по тем же правилам, по которым
преобразовываются столбцы небазисных переменных, остающихся
небазисными и на очередном шаге симплекс-метода (см. B5),
а также D.11)).
Пусть уже сделано несколько шагов симплекс-метода с
расширенной симплекс-таблицей и найдена очередная угловая
точка Vi, пусть в результате преобразований в дополнительных
столбцах первоначальных ei, ..., вг появились столбцы di, ..., dr,
где dj имеет координаты dij, ..., d^j (/ = 1, ..., ^). Пусть табл. 5
представляет собой расширенную симплекс-таблицу точки Vi —
в ней для простоты изложения предполагается, что базисом Vi
являются столбцы ill, ..., Ar (как уже отмечалось, этого всегда
можно добиться перенумерацией переменных). Пусть Аа>0,
Образуем множество Jki=h: s ^ Д, min v'^/yij^ = v^/yskl- В не-
I i^ik j
вырожденной задаче, как было замечено выше, множество /ы
всегда состоит из единственного номера s, В вырожденных за-

Таблица 4
Базисные
переменные
и*1
и
1 Or
и
Функция
U*
Vii
Vrl
Al 1
u*
Vrk
A*
Js
0
1
0
о 1
un
Tin
Vsn
Угп
к
Свободные
члены
J(v) 1
et
1
0
0
es
0
1
0
er
0
0
1
Таблица 5
Базисные
переменные
и1
и{
us
ur
Функция
u1
1
0
0
0
0
u*
0
1
0
0
0
...
us
0
0
1
0
0
...
ur
0
0
0
1
0
u'+l
Vl,r+1
Vi,r+i
VS,r + i
Vr,r+1
Ar+1 '
иЛ
Tift
Tsfe
Yrfe
\
u™
Yin
Yi„
Ys„
Yrn
A„
Свободные
члены
z;1
17*
vs
vr
J(v)
dt
d1±
dii
dsl
drl
d2
<*12
di2
ds2
dr2
dm
d\m
dim
dsm
drm
dr \
dlr
dir
dsr
drr |

126 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
дачах это не всегда так, и множество hi может состоять из двух
и более номеров. В последнем случае образуем множество /^2 ==
s= [s\ s^ Iku ^1^ diilyik = dsi/ysk]' Если уже определено множе-
ство Ikm {m>2) и OHO содержит не менее двух номеров, то
образуем множество
^ft,m+i = fs: 5 е Ikm, min dimlyik = ^sm/Vsft].
Ниже будет показано, что в конце концов мы получим
множество 1ы A</<г+1), состоящее из единственного номера s,
причем все предыдущие множества Iki {i = i, ..., I— i) будут
содержать не менее двух номеров.
Выведем переменную с полученным таким образом номером
S из базисных и вместо нее в базисные введем переменную и^.
Оказывается, применение на каждом шаге симплекс-метода
описанного правила выбора номера s позволяет избежать
зацикливания, и в результате через конечное число шагов
симплекс-метода с расширенной симплекс-таблицей процесс закончится
реализацией случая I или П. Антициклин для задачи A) описан.
Строгое обоснование этого антициклина дается в § 4.
Следует заметить, что хотя среди прикладных задач
линейного программирования вырожденные задачи встречаются
довольно часто, но зацикливание бывает крайне редко. Кроме того,
использование антициклина на каждом шаге симплекс-метода
приводит к заметному увеличению машинного времени ЭВМ,
требующегося для решения задачи. Поэтому на практике чаще
всего пользуются упрощенным правилом выбора номеров к и s
из условий A5), A6) или A6'), причем если выбор здесь
неоднозначный, то берут наименьшие номера, удовлетворяющие
указанным условиям. И лишь в том случае, когда обнаруживается
зацикливание, принимают описанный выше или какой-нибудь
другой антициклин, а после того, как зацикливание будет
преодолено, снова возвращается к упрощенному правилу выбора
разрешающего элемента. Любопытно отметить, что длина циклов
в задачах линейного программирования меньше шести не бывает.
§ 4. Антициклин
1. Как было выше замечено, с практической точки зрепия проблема
зацикливания, по-видимому, не представляет особой важности. Но с
теоретической точки зрения указание хотя бы одного правила выбора
разрешающего элемента, позволяющего избежать зацикливания, принципиально
важно для полного обоснования симплекс-метода для канонической задачи
J (и) =<с, u>->inf; ue С/= {гге?'": и^О, Ли = Ъ}. A)
Покажем, что описанное в конце § 3 правило выбора разрешающего
элемента в самом деле является аптициклином. С этой целью рассмот-

§ 4j АНТИЦИКЛПН 127
рим так называемую возмущенную каноническую задачу
j{u)=(c, иУ-^Ы; и^и^= lu^E'^: и-^О, Au = h {г) =b+ ^ е^вЛ,
B)
получаемую из задачи A) возмущением правой части уравнения Аи = Ь.
Здесь 8'" — г-я степень числа е > О, Ri — i-й столбец какой-либо
невырожденной матрицы R порядка г X г; как и в § 3, предполагаем, что А —
матрица размера гХп (г = rang Л < п). Ниже мы покажем, что при малых
8 > О и удачном выборе матрицы R множество Ue будет непустым, а
задача B) — невырожденной. Затем исследуем задачу B) при малых 8 > О с
помощью симплекс-метода и на основе этих исследований выработаем анти-
циклин для задачи A).
Лемма 1. Пусть матрица R невырожденная и выбрана так, что
множество Ue непусто при всех е (О ^ 8 ^ ео, ео >• 0). Тогда найдется число
8i (О <: 8i ^ 8о) такое, что: 1) при всех г (О <; 8 <; 8i) задача B)
невырожденная; 2) если v{'f) == (v^(^)i ..., г;^G))—какая-либо угловая точка
множества U^ (О <. '^ <. 8i) с базисом А- , ..., -4^ , то условия
А- i;^*i + ... + А-У'' = 6(8), i;^ = О, гф]^, / = 1, ..., г, C)
при всех 8 @^8<:8i) однозначно определяют угловую точку v{&) =
= (v^{?), ..., v^(e)) множества Us с тем же базисом; в частности^ при
Е = 0 из C) получим угловую точку v = v@) множества B.3) с базисом
Доказательство. Возьмем произвольную линейно независимую
систему столбцов Л^,...,Л. , где г = rang Л. Обозначим через В =
•'1 •'г
= (А- »''А- \ квадратную невырожденную матрицу. Тогда система Аи ==
= Ь(е) определяет единственную точку и == и(е) = (и^ (8), ... и^{г)) с
координатами и''(е)=0 при i=f^ji (Z = l, ь.., г), а остальные коюрдинаты
и (г) = (г^*^^ (е), .•., и^ {г)) определяются равенствами и ^ (е) = {В~Ч) +
г
4- 2 ^^ (^~^^ У (^ = 1» •••» г) и представляют собой многочлены пере-
г=1 '^
менной 8 степени не выше г; последние равенства можно записать в
векторной форме
г
и (8) = В-Ч (8) = В-Ч + 2 г'В-^Л.,
г=1
Поскольку det Я =7^ О, detB=f^ О, то det (В-Щ = delB-^ - delR^ 0. Это
значит, что все строки матрицы В-'^В ненулевые. Поскольку именно
элементы Z-й строки (B-^Bi)\ ..., (В-^Вг)^ этой матрицы служат
коэффициентами многочлена и (г), то ясно, что ни один из многочленов и ^ (е)
(Z = 1, ..., г) не является тождественным нулю. Тогда каждый многочлен
j J
и (г) имеет не более г положительных корней или же таковых вовсе не
имеет. Пусть г\ — наименьший из всех положительных корней всевозхмож-
ных многочленов и ^ (8), построенных по всевозможным линейно
независимым наборам Aj , ..., А- столбцов матрицы А. Поскольку таких
многочленов конечное число, то величина г\ имеет смысл и т] > О, если хотя
бы один из этих многочленов имеет хотя бы один положительный корень;
если же ни один из этих многочленов не имеет ни одного положительного
корня, то положим Г) = оо.

128 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
Возьмем произвольное е (О < 8 < 8i = min {ео*, rj}) и произвольную
угловую точку v{e) множества Us с базисом А^ , ,..,А- . Тогда базисные
координаты и (г) = {v ^ (г), .,, ,и ^ {г)) точки i;(8), определяемые
условиями А^ v^{e) +,,,-{- Aj V ^(г) = Bv(г) = b (г), представимы в виде
г
у (8) = В-Ч (8) = В-Ч + 2 ^' (^~^^г)
г=1
и, следовательно, принадлежат рассмотренному выше множеству
многочленов, а небазисные координаты, как им и полагается, равны нулю. Из
того, что и(г) е Us, следует, что v{e) ^0. Но тогда в силу выбора 8 из
О <; 8 <: 8i имеем i;(8) >» О, т. е. i;(8) —невырожденная угловая точка
множества Us. Отсюда следует невырожденность задачи B) при всех 8
(О < 8 < 8i). Утверждение 1) леммы доказано.
Пусть и('^)—какая-либо угловая точка множества U-j (О <; 7 < ^i) с
базисом А. , ,,,, А. , т. е,
где В = (A^ ... A^ V i;^^) = f y^i (Y), ..., v"^ (y)J. По доказанному выше
2^(Т) > О- Покажем, что точка i?(8), определяемая условиями C), является
угловой точкой множества Us при каждом 8 @^ 8 < 8i). Для этого!
прежде всего заметим, что условия C) означают, что ^i;(8) = 6(8) при О ^ 8 <
< 8i. Перепишем условия C) в виде
i;(8) = ^-i6+ 2 еЧ^"'^г)' ^'(8) = о, 1ф]^, Z = l, ...,г. D)
Отсюда и из определения 8i видно, что ни одна из координат вектора v(z)
не может обратиться в нуль ни при каком 8 (О < 8 < 8i). Но нам уже
известно, что г;(у) > 0. С учетом непрерывности г; (8) тогда заключаем, что
v(z) >0 при всех 8 @<_8<8i). Отсюда и из D) при 8->+0 имеем
Иш V (8) = В~Ч = ? @) = i; > 0.
8^+0
Таким образом, показано, что точка v{z), определяемая условиями C),
при всех 8 (О ^ 8 << 8i) имеет неотрицательные координаты. Следовательно,
v(z)^iUs @^8<8i). Из C) с помопдью теоремы 2.1 заключаем, что
v(z) —угловая точка множества Us с базисом А^ , ..., ^j при каждом 8
@^8< 8i).
2. Предполагая, что условия леммы 1 выполнены, рассмотрим
подробнее один шаг симплекс-метода для задачи B) при фиксированном 8
(О < 8 < 8i). Пусть i;(8) = (f^(8), ..., i?'*(8)) — какая-либо угловая точка
множества Us. Без ограничения общ;ности можем считать, что столбцы
Ах, ..., Ат являются базисом, а координаты (f^(8), ..., ^^(z)) =г;(8)
—базисными координатами этой точки. Согласно лемме 1 задача B)
невырожденная при О < 8 < 8i, поэтому
V{Z) > О, i;^+l(8),l= ... = 1?^(8) = 0.
Обозначим 5 == (^1 ... Ат). Поскольку Av{z) =Bv(e) = Ь(г), то г;(8) =
= В-^Ь (г) > 0. Умножая уравнение Аи = Вй-{- А^._^^и^^^ + ... + А^и'^ =
г
= 6 (8) == 6 + 2 ^^-^i па В-^ слева, получаем следуюп];ее соотношение

§4]
АНТИЦИКЛИН
129
между базисными переменными и = (ц^, ..,, и^) и небазисными
переменными tt^+^ ..., и^ точки v(e):
и+ ^ B-^j^U^ = 5-1 6 (8) = ; (8) = В-Ч + 2 8^" E-1Л.), E)
в-м
Обозначим
Угк]
, d. = B-^R.=
v = B-
¦¦-[;} ча-
Тогда соотношение E) можно переписать в следующей покоординатной
форме:
"^ + Vi,r+i«'+' + ... + Yift"'' + . • • + Ym"" = ^'^ + ^^118+ ... + d^X,
»' + Y. ,+,«'+' + ... + Y^ft^ft + ... + Y,„"" = t'' + "^«б +...+ d^y,
F)
«'+ Vr.r+i"'+' + ... + Yrft«4 ... + Vrn""= ''" + V + • • • Ч-'^гХ.
r
a для базисных координат v (e) = В'^Ч -{- 2 8^ (В~'^ЛЛ получим
j=i
G)
Далее, по аналогии с C.8), с помощью равенств F) или G) нетрудно
выразить функцию J (и) = <с, u> через базисные переменные:
J(u) = J(v(E))^ 2 VS А^ = <с,5-М.>~с.. (8)
i=r+l
Учитывая, что А^=<с, 5~М<>—С{ = 0 при г = 1, ..., г, на основе
представлений F), (8) выпишем симплекс-таблицу для угловой точки и(г),
выделив в ней для векторов di, ..., dr дополнительные столбцы. В
результате получим табл. 6.
Заметим, что точка v == (v^, ..., i;^) = v@) согласно лемме 1 является
угловой для множества U с тем же базисом Ai, ..., Ar, что и точка ^(е).
Ясно также, что выражения C.5), C.8) базисных переменных м =
= (»S ..., и^) угловой точки V и функции J (и) через небазисные
переменные и^+^ ..., и"^ получаются соответственно из F), (8) при 8 = 0. Это
значит, что выписанная ранее табл. 5 является симплекс-таблицей точки у,
расширенной дополнительными столбцами du ..., dr, кстати, теперь
выясняется, что элементы du, ..., dir i-я строки табл. 5 представляют собой
коэффициенты многочленов G).
Опираясь на симплекс-таблицу 6, сделаем один шаг симплекс-метода
из угловой точки i;(8) для задачи B) и посмотрим, чему это будет
соответствовать в задаче A). Как и в § 3, рассмотрим три случая.
Случай I. В нижней строке симплекс-таблицы 6 величины Д< ^ О
при всех г = г + 1, ..., п. Тогда, как и в § 3, нетрудно показать, что
и(г) — решение задачи B), т* е. <с, v (е)У = inf <с, w> > — оо. Теперь

Базисные
переменные
Функция
u*
1
0
0
0
0
•»•
...
...
vS
0
1
0
0
0
: «••
...
...J
u*
0
0
1
0
0
•••
...
...
ur
0
0
0
1
0
ur+l
Vl,r+1
V«,r+1
Ув,г+1
Vr,r+1
Лг+1
,**.
...
—i
yk
Vifc
Yifc
YSfc
Vrfe
\
Таблица 6
...
...
...
u"
Tin
У&П
Yrn
Л"
Свободные
члены
/We))
di
dt
dV2
di2
ds2
dT2
?••
...
dm
dim
dim
dsm
drm
**•
...
<»r
<*lr

§ 4] АНТИЦИКЛИН 131
заметим, что в нижней строке симплекс-таблицы 5 угловой точки и = и{0)
находятся те же величины Ai ^ О (i = г + 1, ..., w). Следовательно,
V = v{0) — решение задачи A), т. е.<с, и} = inf <с, и} > —оо.
Случай П. Существует номер к (г -{- 1^ к ^п) такой, что Лл >
> О и 7ift ^ О при всех 1 = 1, ..., г. Тогда,^ как и в § 3, нетрудно показать,
что im<c,uy = — оо. Поскольку в симплекс-таблице 5 угловой точки
V = v{0) в столбце переменной »* находятся те же величины Аа >• 0|
Ififc^O (г = 1, ..., г), то и в задаче A) будем иметь inf <с, и> == — оо.
Таким образом, в случае II задачи A) и B) не имеют решения.
Случай III. Существуют номера к^ i (г -\- i^k ^п, 1 ^ i ^ г*1
такие, что Ал > О, Yift > О» Тогда множество Ik== {i: 1 ^ г ^ г, "Yi^ > 0)
непусто и из условия
f^-^ = -^' *"'^' ^'^
где иЦг) задано выражением G), определяем номер s. Поскольку задача B)
невырожденная, то номер s и, следовательно, разрешающий элемент ft*
из (9) определяются однозначно. Тогда, рассуждая так же, как в § 3,
выведем из чпсла базисных переменную ц*, а переменную и^ введем в число
базисных и придем к следующей угловой точке ш(е) = (ш^(8), ..., w^{e))
с координатами
т* (8) = v' (е) - Ji .' (е) = 1>Ч У d^^e^ ~ J^ Г' + 2 ^'i^' ="
A0)
Ш* (s) =0, i = 5, г + 1, ..., A: — 1, A: + 1, ..., n.
Таким образом, в симплекс-таблице угловой точки w(b) в столбце
свободных членов будут находиться числа
а в /-M дополнительном столбце c^j (/ = 1, ..., г) появятся величины
,/.. = ^..^ —^^., i = l, ...,5-1,^+1,...,г, ^&i = ^. A1)
Это значит, что дополнительные столбцы di симплекс-таблицы в задаче B)
преобразуются по тем же правилам^ по которым преобразуются столбцы,
соответствующие небазисным переменным, остающимися небазисными н

132 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ, 3
на следующем шаге симплекс-метода (ср. с C.25)). Далее, из (8), A0)
следует, что
у'(г)
/ {W (8)) ^Jiv (8)) ~ А^^ -^ <J(u (8)).
Наконец, исходя из равенств F) и пользуясь формулами, аналогичными
C.21) — C.23), нетрудно показать, что остальные элементы 'у^-, Aj симплекс-
таблицы 6 при переходе к следующей угловой точке w(e) преобразуются
по прежним же формулам C.24) ¦— C.26). Описание одного шага симплекс-
метода в задаче B) закончено.
Теперь вернемся к задаче A). В угловой точке и==и{0) в качестве
разрешающего элемента выберем тот же элемент 'у,^, который обеспечил
выше переход от точки и (г) к точке ш{г). Такой выбор разрешающего
элемента в задаче A) вполне возможен, так как в симплекс-таблице 5
угловой точки и = v@) в столбце переменной и^ находятся те же величины
Да > О, "iih > О при i е /а, "iik ^ О при i ф Д, что и в симплекс-таблице 6.
Кроме того, ниже в лемме 2 будет показано, что для того же номера s^
который был однозначно определен из условия (9), справедливо
равенство C.16).
Конечно, в отличие от условия (9) в условии C.16) минимум может
достигаться и на некоторых других, не совпадающих с s номерах из Л»
поскольку невырожденность задачи A) мы здесь не предполагаем. С
выбранным разрешающим элементом 'у.л сделаем один шаг симплекс-метода по
формулам C.17), C.18), C.24) — C.26) и из точки г; = г;@) придем к
следующей угловой точке ш. Сравнение формул C.17) и A0) показывает, что
ш = и7@); ясно также, что расширенная симплекс-таблица угловой точки
W = W @) может быть получена из симплекс-таблицы точки w (8) при е = 0.
Отсюда следует весьма важный для дальнейшего вывод: если в
возмущенной задаче B) с помощью симплекс-метода совершается переход от угловой
точки у (8) к другой угловой точке ш(8) с помощью разрешающего
элемента 'Yeft из (9), то в задаче A) при выборе того же разрешающего элемента
'Y«ft произойдет переход от угловой точки v = v{0) к угловой точке ш = ш@).
Рассмотрение случая III закончено.
3. Теперь уже нетрудно дать обоснование антициклина, изложенного
в конце § 3. Пусть ^^ = (^i* •• •» ^i) —некоторая угловая точка множества U
с базисом А- , .,,, А^ , Обозначим В = {А. ,,. А- V i^i = (^/» • • •» ^[У
Согласно теореме 2.1
Av^^A.y^+..,+A-J'' = B\ = b, 4 = 0, ]Фц, / = !,...,г,
так что ^1 = В~^Ъ ^ 0.
Рассмотрим следующую возмущенную задачу:
<с, м>-> inf; MS ?/g= м: м> О, Лгг = 6 (е) = 6-f 2 ^^^j-f'
A2>
получающуюся из задачи B) при R — {А^ •••-^j ) =^» Возьмем точку
i;J (8) = ( yj (е), ..., у^ (8)) с координатами
4Ч8) = 4' + ^^ 4(^)=^' i^h^ i = l, ...,г.
Напоминаем, что здесь ив A2) г^ — i-я. степень числа в > 0. Поскольку
v\ ^ О, то ясно, что v\(8) ^ О, причем у^ (е) = (у ^ (е), ..., у '* {г)) > О при

§ 4] АНТИЦИКЛИН 135
всех 8 > 0. Кроме того,
Ли^ (8) = 2 A.,v[' (8) = 2 л.. (J' + еО = Ь + 2 Л-| «' = ^ («)•
г=1 г=1 1=1
Следовательно, ^i (е) е C/g при всех 8 > О, причем согласно теореме 2.1
yj(e) —угловая точка множества С/е с тем же базисом Л. , ..., Л- , что и
^1 ^'^
точка Уь Полезно также заметить, что ui = ui{0).
Таким образом, множество Ue, образованное из множества U с по-
мош;ью невырожденной матрицы R = В, непусто при всех 8 > 0. Согласно
лемме 1 тогда задача A2) невырожденная при каждом 8 (О < 8 < 8i).
Применим к задаче A2) симплекс-метод, беря в качестве начальной угловой
точки множества Us введенную выше точку ^[(б) и считая, что О < е < 8ь
В силу невырожденности этой задачи мы получим конечную
последовательность угловых точек vi{e), ..., Vm(e) из множества Ub со значениями
функции /(yi(8)) > ... >/(z;m(8)), причем в последней точке реализуется
либо случай I, либо случай II.
Из проведенного выше исследования следует, что если применить
симплекс-метод к задаче A), беря в качестве начальной точки i^i и выбирая
на каждом шаге те же разрешаюп];ие элементы, которые в задаче A2)
привели к последовательности vi{e)y ..., Ут(8), то получим последовательность
угловых точек v\=:vi@), ..., Vm = Vm@), причем в последней точке Vm
будет реализовываться соответственно либо случай I, либо случай П. Выше
было выяснено, что в случае I i^m(8) — решение задачи A2), а Ут = Vm{0) —
решение задачи A), а в случае II задачи A2) и A) не имеют решения.
Тем самым показано, что если задачу A) решать симплекс-методом,
выбирая на каждом шаге разрешающий элемент с помощью возмущенной
задачи A2) указанным выше способом, то зацикливания не будет и за
конечное число шагов этого метода выяснится, имеет ли задача A)
решение, и если имеет, то оно будет найдено.
4. Однако изложенный способ, позволяющий избежать зацикливания
и имеющий принципиальное значение для обоснования симплекс-метода,
пока что не слишком удобен для практического использования, поскольку
требует рассмотрения возмущенной задачи A2) при достаточно малых и
заранее неизвестных 8 > 0. Нельзя ли все-таки определить разрешающий
элемент на каждом шаге симплекс-метода, явно не прибегая к возмущенной
задаче A2)? Оказывается, можно.
Чтобы понять, как это делается, вспомним,, как выбирается
разрешающий элемент 'у,А в задаче B) (или A2)): сначала фиксируется номер к
небазисной переменной с величиной Лл > О (если таких к несколько,
то можно из них выбрать наименьший), а затем из условия (9)
однозначно определяется номер s и тем самым находится разрешающий
элемент '^ан. Важно заметить, что коэффициенты многочленов v^e),
определяемые формулами G), можно узнать, явно не привлекая возмущенную
задачу B),— эти коэффициенты расположены в столбце свободных членов
и дополнительных столбцах расширенной симплекс-таблицы (см. табл. 4, 5).
В частности, для начальной точки ui с базисом А , ..., Л^ в силу выбора
1
Зг
матрицы R = (^Aj ... А.^'^ — в имеем dj = jS-^^j = ej, что и отражено
в табл. 4, а в дальнейшем при переходе от одной угловой точки к
следующей величины /-Г0 дополнительного столбца преобразуются по формулам
A1), аналогичным формулам C.25).
Таким образом, коэффициенты многочленов
на каждом шаге симплекс-метода могут быть определены без явного
привлечения возмущенной задачи по формулам: Сго == v^'^ih, сц = dijl'^ih

134 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. S
(ISS3 1, ..., г). Заметим, что все эти многочлены различны. В самом деле,
если бы fi{e) з/т(е) при 1фт^ то коэффициенты {с<^} и {cmi) были бы
равны: cijs=^Cmj или dis =^ dmjtihhmk (/==1, ¦.., г). Это значило бы, что
пропорциональны i-я и т-я строки в матрице D = {di ... dr) из
дополнительных столбцов расширенной симплекс-таблицы. Однако это невозможно,
так как на каждом шаге матрица D невырожденная — она является
произведением невырожденных матриц вида tA. ••. А- ^"*^нa R,
Таким образом, приходим к следующей задач©: задано конечное число
различных многочленов /i(e) == i;^(8)/Yift (i^h) и требуется найти
min ff (г) при достаточно малом, но заранее неизвестном 8 > О, Здесь нам
будет полезна
Лемма 2. Пусть дано множество многочленов
fiie) = do + Сие+ ... + СггЪ\ О < 8 < ei, ie6'o,
степени не выше г, среди которых нет совпадающих; Sq — конечное множе-
ство номеров. Тогда существует число 82 (О <С 82 ^ 8i) такое, что min /, (е)
будет достигаться на единственном многочлене, номер которого не зависит
от 8 (О •< 8 <С 82). Для определения номера этого многочлена нужно
рекуррентным образом строить множества Sq,S^ = Is: s^S^ с^^ = шш C|qL ,,,
• • • I «^m+l = I *• * ^ -^m» ^sm ~ }^^^ ^im [» • • • ^^ ''^^ ^^P^ пока не будет обна-
ружено множество Si (O^i^^r+1), состоящее из единственного номе*
ра S, который и будет искомым номером.
Доказательство. Если множество Sq состоит из единственного
Е0мера 5, то утверждени© леммы тривиально. Если же S^ состоит более чем
из одного номера, то перейдем к рассмотрению множества Su Из
определения множества «S'l следует, что все многочлены /, (8) с номерами s ^ Si
имеют один и тот же младший коэффициент с^^ = min с^^. Возможно, что
Si sss So, Тогда положим 8oi = 8i и заметим, что min /. (8) = min /. (е) при
всех 8 (О < 8 < 8oi). Если ^i #iiS'o, т. е. Sq\Si Ф 0, то положим
^01 = ^^^(l5 ^v Yc[i^l\s^'^'~'''} '^^i}^ ^'
где с == max У\ I е.. I. Тогда для всех s ^ Su р ^ Sq\SuO < в < 8oi имеем
^,(8) ^ Со + с8 < сро — C8I :^ /р(8), Т. е. /,(8) < /р(8). Это значит, что
min /, (е) при всех 8 (О < 8 < 8oi) может достигаться лишь на многочленах
с номерами s е ^i, т. е. min /^ (е) = min /. (8) < /^, (8) при всех 8 (О < е <S
< 801) и всех р ^Si,B частности, если Si состоит из единственного номера *,
то этот номер будет искомым для всех 8 (О < 8< 8oi == 82) и лемма буде^
доказана. Если же Si состоит более чем из одного номера, то перейдем к рас--
смотрению множества S2 и т. д.
Пусть уже рассмотрены множества Sq^Si^ ... э 5'^ A ^ m ^ г),
найдено число вот > О и показано, что: 1) min /. (8) = min /, (е) < /„ (8) для
всех 8 @<с< Вот) и всех p^Sm] 2) все многочлены /.(е) с номеранж

i 4] АНТИЦИКЛИН 135
i ^Sm имеют одинаковые коэффициенты при степенях е®, е', • ¦., в*»-';
3) Sm состоит более чем из одного номера.
Рассмотрим множество S^^^ = is: s е S^, с^^ = min с^Л Отсюда с
учетом индуктивного предположения 2) заключаем, что все многочлены
/.(е) с номерами s^Sm+\ имеют одинаковые коэффициенты при степенях
е', &\ ..., 8"». Возможно, что ^m+l == «S'to. Тогда положим во, «1+1 = Вот > О
и с учетом индуктивного предположения 1) заметим, что min/|(8)=*
min /| (8) < / (е) при всех О < 8 < во. щ+ь Р ^ 5^+1.
Если же Sm^x Ф Smj то положим
Тогда для всех s е ^m+i, p^Sm\ Sm+h о < 8 < 8о, m+1 имеем
/.(8) < Со + C,i8 + ... + с, w-l8"*-^ + 8"»(Cm + 8С) <
< С,о + С18 + .. * + с. w-i8"»"-^ + е"^(Срт — 8С) = Сро + Cpi8 + ...
• .. + Ср. m.l8"*~» + Cpm8"» — 8"*+*С ^ /р (в),
Т. е. /.(е) < /р(е). Это значит, что min fs (е) при всех 8 (О < 8 < 8о, m+i)
может достигаться лишь на многочленах с номерами s е Sm+u т. е.
min /. (е) = min /, (е) < /„ (е) при всех в (О < е < во, m+i) и всех
р ^ Sm+l-
Если Sm+l состоит ИЗ единственного номера s, то он и будет искомым
номером для всех 8 (О < 8 < 8о, m+i = 82) и лемма будет доказана. Если
же Sm+l состоит более чем из одного номера и m < г, то переходим к
рассмотрению множества Sm+2 и т. д. В самом худшем случае мы доберемся
до последнего множества ^r+i = /*• *^ «^г» ^sr ~ ^^^ ^гЛ» ^^^^^ ^^
min /i (8) = min /. (8)</Je), p ф Sr+ъ О < e < 8o, r+i» и что все много-
члены /«(e) при 5 e ^r+i имеют одинаковые коэффициенты при степенях
8°, 8!^ ..., 8^. Однако по условию леммы среди многочленов {/{(е), I^Sq}
нет двух одинаковых. Следовательно, множество St+\ будет состоять из
одного номера 5. Остается принять 82 = 8о, г+ь
Если в лемме 2 взять fi{z) = u^{e)/'^ih {i^Ih = So) и применить
изложенное в ней правило определения номера s, на котором достигается
min у* (вIУи^^ то мы получим именно тот самый антициклин, который был
описан в конце § 3. Этот антициклин в литературе часто называют
лексикографическим правилом выбора разрешающего элемента. Поясним это
название.
Определение 1. Вектор а = (а^, ..., а"*) называют лексикографиче^
ски положительным и пишут а )> О, если афО и первая из отличных от
нуля координат вектора а положительна. Вектор а^Е^ называют
лексикографически большим вектора Ь е Е'^ и обозначают а )> 6, если а — & )> 0.
Другими словами, а > & означает, что а^ > Ы или же а^ = 6', но а^ > Ь^
или же а* = Ы, а^ = Ь^^ но а^ > 6^ и т. д. Для любых а, b ^Е^ выполнено
одно и только одно из соотношений: а )> Ь, Ь )> а или а = Ь, Ясно, что если
а)> Ъ^ ЬУ* с^ то а )> с. Упорядочение множества векторов в их
лексикографическом убывании вполне аналогично упорядочению слов в словарях^ что

136 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
И объясняет присутствие слова «лексикографический» в приведенном
определении.
Нетрудно видеть, что в лемме 2 с помощью цепочки множеств So^Si^
э ^.. ^«^тЭ ... ^Si приводится лексикографичвскоб упорядочение
векторов {с{ = (cio, Ciu ..., Cir), i e ^o}: Cp > a для всех i^Sm, рф Sm, a
вектор Cf с номером s из одноэлементного множества Si представляет собой
лексикографический минимум на множестве {с<, i е Sq}, т. е. Ср >- с, для
всех ре 5о, рф s. Таким образом, сотласно лемме 2 минимум конечного
числа различных многочленов при всех достаточно малых положительных
значениях аргумента достигается на том многочлене, вектор из
коэффициентов которого является лексикографически наименьшим среди всех
векторов из коэффициентов рассматриваемых многочленов.
§ 5. Выбор начальной угловой точки
Выше при описании симплекс-метода для канонической
задачи
/(гг)=<с, u>-^mi\ и^и^Ы^Е'^: и>0, Аи=^Ь} A)
мы предполагали, что нам уже известна некоторая угловая точка
множества U и что система Аи = Ь уже записана в виде C.5),
где г = rang4. Возникают вопросы: как узнать, не пусто ли
множество
и=^{и^Е\ и>0, Аи==Ь}, B)
где А — матрица размера тХп, Ь — вектор из E'^f Если это
множество непусто, то имеет ли оно хотя бы одну угловую
точку и как найти ее? Как исключить из системы Аи = b линейно
зависимые уравнения и привести ее к виду C.5)? Ниже будут
даны ответы на все эти вопросы. Замечательно то, что для ответа
на них может быть использован симплекс-метод.
1. Можем считать, что Ь>0, так как если 6**<0 при
некотором i {Ki<m), но соответствующее i-e уравнение {Аи)'='Ь^
из B) можно умножить на ~1. Наряду с основными
переменными и = {и^^ ..., и"^) введем вспомогательные (искусственные)
переменные w=^{u''^\ ..., м'**"*) и в пространстве Е""^"^
переменных z = {u\ ..., и'^, ..., и'"^'^)=={щ w) рассмотрим следующую
каноническую задачу линейного программирования:
Jilz) = и'^-^^ + ... + 1^"+"*-^ inf;
Z е Z = {z: z=[4 е JSr^^"*, z-^O.Cz^Au + w^ b\. ^^^
Систему Cz^Au+w = b перепишем в покоординатной форме
ЛцИ* + . . . + UinU^ + и"^"^^ = Ь\
a2iU' + ... + a^nW" + гг"+' = Ь^ D)
«mlW* + . , , + amnW" + U'^'^'^ = Ь"*.

§ 51 ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ 137
При U'*''** = ... = г^"^"* = о система D) очевидно равносильна
системе Аи = Ъ, Множество Z непусто: оно содержит, например,
точку Zo = @, b)>0. Более того, нетрудно видеть, что точка z^
является угловой точкой множества Z с базисом из последних
т столбцов в1, ..., вт матрицы С = D, ?), где Е —единичная
матрица размера тХт {т = rang С > rang Л = г). Важно также
заметить, что из системы D) легко выразить базисные
переменные w = {u'^'^\ ..., гг'»+"») угловой точки Zq через небазисные:
w = b — Au^b — AiU^ —... — AnW*,
Таким образом, задача C) уже записана в форме, удобной для
применения симплекс-метода с начальной угловой точкой Zo.
Поскольку /i (z) > О при всех z е Z, то случай inf/^ (z) == — оо
Z
здесь невозможен. Поэтому, взяв в качестве начальной точку Zq^
с помощью симплекс-метода, описанного в § 3, за конечное
число шагов найдем угловую точку Zjj. = (у^, w^) множества Z,
являющуюся решением задачи C): v^ = (v\, ,.., v^), w-^ = (i?i"*"\,,«
,. .,1;Г-*-"*Х inf/i(z) = /i(zj = i;^^ + ... + i;^->0.
z
Имеются две возможности: или /i(Z:j.)>0, или /^ (z,^) = О*
Если /i (Zj^) > О, то Wi?=0 и, оказывается, множество [7,
определяемое условиями B), будет пустым. В самом деле, если бы
существовала хотя бы одна точка u^U^ то точка z = {щ 0)
принадлежала бы множеству Z и, кроме того, мы имели бы /(z) = 0,
что противоречит тому, что J(z)'^J{z^)>>О при всех z^Z.
Таким образом, при /i (Z:^) > О множество U пусто и задача A) не
имеет смысла.
Пусть теперь Л (z^) = vl'^^ + ... + z^i"*""* = 0. Тогда w^ =з
= (i^i"'"^, ..., ^i"*""*) = 0, z^ = (i;i, 0). Кроме того, по построению
Н = (^1> 0)~~ угловая точка множества Z. Покажем, что тогда v^ —
угловая точка множества B). Прежде всего ясно, что из z^^O
следует Ух^О, а из Cz^ = b имеем 4i;i = &. Это значит, что
Рассмотрим представление
yi = aai + (l —a)z^2, 0<а<1, Ui^U, Uz^U, E)
и покажем, что оно возможно лишь при i;i = i^i == Uz. Точки Zi =»
= {Ui, 0), Z2==j[z^2, 0), очевидно, принадлежат Z. Тогда E) можно
переписать в виде z^ = az^ + A — а) Zg (О < а < 1). Но z^
—угловая точка множества Z. Поэтому последнее равенство для z^
возможно лишь при Z;^^ Zi== Z2. Отсюда следует, что i;i == Mi = Ut^
Таким образом, yi —угловая точка множества С/. Тем самым до-»
казана важная
Теорема 1. Если множество B) непусто, то оно имеет а?о-
тя бы одну угловую точку.

138
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
2. Итак, исходная угловая точка Vi множества U найдена.
Для того чтобы, отправляясь от этой точки, можно было решать
задачу A) с помощ;ью симплекс-метода, остается еще найти
rang 4, указать базис точки Vi и записать систему Аи = Ь в
виде, аналогичном C.5), т. е. выразить базисные переменные через
небазисные. Как это сделать? Обратимся к симплекс-таблице 7
точки z^, которая получена при решении задачи C) симплекс-
методом.
Поскольку m = rangC^rangi4, то в базис точки z^ могут
входить не только столбцы матрицы 4, но и столбцы матрицы Е
(кстати, при m>rangi4 в базис обязательно войдут столбцы
матрицы Е). Не ограничивая общности можем считать, что базисом
точки z^ являются столбцы -4i, ..., Ar, Ci, ..., вт-^г матрицы С =
= (Л, Е)^ соответствующие основным переменным и\ ..., и'' и
вспомогательным переменным i^""^S ..., гг'»+"»--'' — именно эта
ситуация отражена в симплекс-таблице 7. Подчеркнем еще раз, что
из 2^ = {vi, 0) следует, что v^ =
V
п+т
О
¦ эти равенства
также нашли отражение в столбце свободных членов табл. 7.
Нижняя строка симплекс-таблицы 7, содержащая величины
Ai^O, /1B*) = О, характеризующие решение z^ задачи C),
опущена— это обстоятельство не повлияет на дальнейшие
преобразования табл. 7. Рассмотрим возможные здесь случаи.
Случай I. В табл. 7 отсутствуют строки, соответствующие
вспомогательным переменным и^^\ ..., гг"+"*, т. е. г = т^п и
столбцы ill, ..., Ar составляют базис точки z^ = (у^, 0). Тогда
согласно правилу составления симплекс-таблиц /-й строке табл. 7
Базисные

переменные
"'
"J
иГ
U»
1
0
0
0
0
0
ff**
...
...
tiJ
0
1
0
0
0
0
• ••
иГ
0
0
1
0
0
0
иГ+1
Vl.r+1
Vi.r+1
• • •
Vr.r+1
• • •
Vn+i,r+l
Vn-fm—r.r+1 3^
tt»
...
...
ufe
Vift
Vn+i.ft
Vn+i,ft
Vn+m—r,ft
•••
...
...
u"
Yin
Угп
Vn+i.n
Vii+i,n
Уп+т^г,п

«5]
ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ
139
будет соответствовать уравнение
F)
Пользуясь этим уравнением, исключим вспомогательные
переменные »**+*, ..., 11'*+'" из дальнейших рассмотрений. Для
этого заметим, что система F) является другой равносильной
формой записи системы D)—система F) может быть получена из
Аи + W = b умножением слева на матрицу S""*, обратную
матрице jB=Di, ..., Ar). Поэтому, положив в уравнении F)
и'*"^^ ==... = ц'*"^"* = О, придем к системе
и^ + yj^r+iu'"^\+ ... + Узии"" = 1^1, / = 1, ,.., г = тп^ G)
которая также может быть получена из Аи = Ь умножением
слева на В"^ и поэтому равносильна системе 4и = Ь. Это
значит, что угловая точка v^ имеет своим базисом столбцы Л1, ...
,.,, Аг (г = rang4 = m), а система Аи^Ъ уже записана
в виде G), удобном для применения симплекс-метода.
Резюмируя, можно сказать, что если в табл. 7 отсутствуют строки,
соответствующие вспомогательным переменным, то для получения
симплекс-таблицы угловой точки v^ нужно вычеркнуть из
табл. 7 все столбцы для и'*^*, ..., »'*+"* и добавить нижнюю
строку из Ai
= Ar = О, А{ = 2 c^i — Си I = г -Ь 1^ t«•
Таблица 7
+
Is
0
0
0
1
0
0
«•»
...
...
+
Is
0
0
0
0
1
0
•>f
...
...
!
+
3
0
0
0
0
0
1
^n+m-r+l
Vi,n+m-r+l
Vj,n+m—r+1
Vr,n+m—r+l
Vn+l,n+m—r+l
Уп-\-т—г^п-^т—г-\-1
•et
...
...
уП+т
Vi,n+m
• • •
Уз^п+т
Уг^п+т
Уп+itn+m
Уп+т—г^п+т
Свободные 1
члены
vl>0
• • • 1
* * * 1
vl+^ = 0
i;J+* = 0
рП+m ^ 0

140 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
Случай п. В табл. 7 имеются строки, соответствующие
вспомогательным переменным, т. е. г < т, и среди
коэффициентов 'in+p.i (р == 1» • • •> тп — г^ у =. г + 1, ..., п) имеются
положительные. Пусть, например, '\n+i,h>0 (l^i^m — г, г + 1=^
^ Л < тг). Тогда
Д = {/: К;^^ или м+К/^м+т-г, 'У;А>01=5^0.
Поскольку vi/yjk'^0 для всех j^Ik, а v^'^^/yn+i^k=^i то
min yi/vift = ^I'^Vvn+i.ft = 0.
Это значит, что любой коэффициент 'in+i,h>0 {Ki^m — r^
r+ Кк<п) можно взять за разрешающий элемент симплекс-
таблицы Тис его помощью вывести вспомогательную
переменную 1^""^^ из базисных и вместо нее ввести в базисные основную
переменную и^. Из формул преобразования, аналогичных
формулам C.17), C.24), C.25), нетрудно увидеть, что из-за i^i"^* =^
= 0 в результате такого преобразования симплекс-таблицы мы
останемся в той же угловой точке z,^^ но ее базис Ai, ..., 4г,
ei, ..., вт-г заменится новым базисом Ai, ..., Ar, ei, ..., е»-!,
ег+1, ..., вт-г, Ah, Если и в новой симплекс-таблице,
соответствующей новому базису точки z^^ на пересечении столбцов
и''^\ ..., и^-^^ и^'^\ ..., и"^ со строками, отвечающими
вспомогательным переменным, еще останутся положительные
коэффициенты, то, взяв любой из них за разрешающий элемент, можно
вывести из базиса еще один из вспомогательных столбцов
^1, ..., ei-i, в|+1, ..., вт^-г и заменить его столбцом исходной
матрицы Л и т. д.
Может оказаться, что за конечное число таких операций нам
удастся вывести из базиса точки z^j. все вспомогательные
столбцы в1, ..., вт-г — это будет означать, что после упомянутых
операций мы пришли к симплекс-таблице, соответствующей
рассмотренному выше первому случаю при т = тащА, Может,
однако, получиться и так (при rangi4<m так это и будет), что
в очередной симплекс-таблице на пересечении столбцов
основных переменных, не являющихся базисными для точки z^, со
строками, соответствующими вспомогательным базисным
переменным, не найдется ни одного положительного коэффициента,
и тогда описанный процесс вывода столбцов {ej из базиса
оборвется. Это будет означать, что реализовался случай 1П,
к рассмотрению которого мы сейчас переходим.
Случай III. В табл. 7 имеются строки, соответствующие
вспомогательным переменным, т. е. г < т, но "in+pj < О при
всех /? = 1, ..., тп — г, / = г + 1, ..., п. Согласно правилу
составления симплекс-таблиц строке переменной и^ (/ = 1, ..., г)

§ 5] ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ 141
В табл. 7 соответствует уравнение
и^ + yj^r+iU""^^ + ... + УзпП^ + . . . + 7i,n+m-r+l U^+'^-^'+l + . . .
. . . + Ti.n+m^^^-*-"* = г4,: ;=1,...,Г, (8)
а строке переменной и'''^' — уравнение
... + Tn+i.n+m^^^"^"* = 1^1+'= О, i = U...,m^r. (9)
Заметим, что система (8), (9) может быть получена из
Аи + W = b умножением слева на матрицу, обратную матрице
), где Ai, ..., Лг, в1, ..., ^т-г —базис
точки z^, поэтому системы D) и (8), (9) равносильны. С
другой стороны, напоминаем, что при а"""*"* = ... = а"""*""* = О система
D) превращается в систему Аи=^Ь. Поэтому, полагая в (8),
(9) и'''^^ = ... = 1^""*""* = О, получаем систему
и^ + yj r+i ^""^^ + ... + yjhU^ + ... + yjnu" = i4, 7 = 1,...,^,
A0)
"in+i.r+iW"^'+ ... + ^n+i.ku'^ + ... + ^n+i.nW" = О, 1 = 1, ..., m —г,
A1)
которая также равносильна системе An == b.
Заметим, что в рассматриваемом случае в A1) все "{п+и^О
(/ = г+1, ..., п, г = 1, ..., m — r). Возможно, что в некотором
из уравнений (И), например, в n + i-u уравнении ^n+u^O при
всех 7 == г + 1, ..., п. Ясно, что такие уравнения будут
тривиально удовлетворяться при всех и^Е"" и их можно без ущерба
вычеркнуть из системы A0), A1). Поэтому можем считать, что
в каждом из уравнений A1) имеется хотя бы один
отрицательный коэффициент.
Пусть в ^ + г-м уравнении (И) Yn+i.. < О, ..., 1fn+i.«g < О,
а остальные коэффициенты равны нулю. Тогда это уравнение
запишется в виде
7п+г.в^гг ^ + . . . + Уп+USqU ^ = О,
Поскольку и'^>0 для всех u^U, в. 7n+i.e^. <0 (/=» 1, ..., д),
то последнее уравнение будет удовлетворяться только при и =
= 0, ...,и'^ = 0.
Координату v} (r+i<:k^n) назовем отмеченной, если
^n+i,k < О хотя бы для одного номера i {К Km —г). Таким
образом, показано, что у системы A0), (И) и, следовательно,
у равносильной ей исходной системы Аи = Ь возможны лишь
такие неотрицательные решения, у которых отмеченные
координаты равны нулю. Поскольку отмеченные координаты уже од*

142 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. Э
позначно определены (они равны нулю), то их можно
исключить из дальнейшего рассмотрения. Для этого в A0), (И)»
а также в A) нужно вычеркнуть все коэффициенты q, ^fj, if.j,
которые умножаются на отмеченные координаты. Кстати,
после исключения отмеченных координат все уравнения (И) в
рассматриваемом случае превратятся в тривиальные тождества,
и их также следует вычеркнуть.
В результате вместо исходной задачи A) получим новую
каноническую задачу линейного программирования:
минимизировать функцию
i] аи^ + S CiU A2)
при ограничениях
и'>0, ..., и'-^О; и'>0, 1^1, A3)
и^+ ^yjuu^'^vl ;=1,...,г, A4)
где / — множество номеров тех из координат гг'"*'\ ..., и"*,
которые не являются отмеченными. Задача A2) —A4) уже
приведена к виду, удобному для использования сихлшлекс-метода:
исходная угловая точка (v\, ..., ^ii ^i = О (j е /)) известна, г—
ранг матрицы ограничений A4), базисные переменные и\,..,и''
легко выражаются из A4) через небазисные.
Решая задачу A2) —A4) симплекс-методом, можно найти
ее решение и\, •..,^¦,^1 {i^I). Добавив сюда нулевые
значения отмеченных координат, получим решение исходной
задачи A).
Рассмотрение всех трех возможных случаев закончено.
Заметим лишь, что хотя каждый из этих случаев формально
охватывает возможность г==п^т, следует ее выделить особо. Из
симплекс-таблицы 7 при г = п, полагая а"""*"* = ... = и'^'^'^ = О,
получаем и^ = vl, ..., гг^ = Vi. Это значит, что при г'=п
множество и состоит из одной точки u = Vi ж задача A) становится
малосодержательной.
Из приведенного анализа вытекает следующее полезное
правило заполнения симплекс-таблиц задачи C): если в процессе
применения симплекс-метода к этой задаче какая-либо
вспомогательная переменная ц"""*"* перешла в небазисные, то в
дальнейшем из столбца и'^'^' разрешаюш;ий элемент брать не следует;
более того, поскольку в дальнейшем все равно будет принято
^"+г = Q^ j,Q ясно, что столбец для и'^'^' не окажет никакого
влияния на окончательную таблицу с основными переменными и
поэтому его можно сразу же вычеркнуть из симплекс-таблицы.
Кстати, в табл. 7 столбцы для вспомогательных переменных
^n+m-r+i^ ..., и'"'*""* приведены лишь для пояснения дальнейших

f 5] ВЫБОР НАЧАЛЬНОЙ УГЛОВОЙ ТОЧКИ 143
преобразований — их нужно было вычеркивать по мере того,
как соответствующая вспомогательная переменная переходила
из базисной в небазисную. Заметим, что в симплекс-таблицах
столбцы, соответствующие базисным переменным, также часто
вычеркивают, так как в каждом таком столбце всегда находится
одна и та же заранее известная информация: в строке, номер
которой равен номеру базисной переменной, находится единица,
а все остальные элементы такого столбца равны нулю.
Таким образом, метод построения начальной угловой точки
и ее симплекс-таблицы для канонической задачи описан.
Симплекс-метод для решения таких задач полностью обоснован.
Существуют и другие методы поиска начальной угловой точки.
3. Для иллюстрации изложенного выше приведем один
пример.
Пример 1. Минимизировать функцию
J {и) ^и' + Зи' + 2и' + и' - Sii' A5)
на множестве ?7, определяемом условиями
и'>0, ..., и'>0\ A6)
и' - iu' + 2и' - Ъи' = 6, A7)
-^2и'-'Ъи' + Ъи'+ и' =3.
Для определения начальной угловой точки множества U
введем вспомогательные переменные и^ а\ и^ и в пространстве
Е^ переменных z = (ii\ ..., и^) рассмотрим задачу:
минимизировать функцию
/,(z)-ii« + ii^ + ii« A8)
на множестве Z, определяемом условиями
u'>Q, ..., u^>Q\ A9)
и' - ^и' + 2и' - Ъи' + а' = 6, B0)
'-2и'-Ъи^ + Ъи'+ и' +ii« = 3.
Заполним симплекс-таблицу 8 для угловой точки Zq =
= @, О, О, О, О, 3, 6, 3) множества Z; в этой таблице столбцы,
соответствующие базисным переменным и^, ii\ u^, опущены;
в нижней строке выписаны коэффициенты функции A8) после
замены базисных переменных li^ и'^ и^ через небазисные
согласно равенствам B0)—эти коэффициенты, очевидно,
получаются суммированием величин в соответствующих столбцах
небазисных переменных и*, ..., и^ точки Zq. В табл. 8 в качестве
разрешающего элемента возьмем величину 2 из столбца и^ и
совершим симплекс-преобразование (см. C.17), C.18), C.24) —
C.26)). После такого преобразования переменная ii* нереиде!

144
ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
[ГЛ. 3
В базисные, а переменная и' станет небазисной, и, как было
замечено выше, в следующей симплекс-таблице столбец для и^
можно вычеркнуть.
В результате получим табл. 9. Из этой таблицы видно, что в
полученной угловой точке Zi = (О, О, О, 3, О, О, О, 0) множества
Таблица 8
Базисные
переменные
ив
и''
функция
иЛ
1
1
—2
0
U»
1
0
-5
—4
U»
-4
—4
8
0
и*
1
2
1
4
U»
—3
—5
0
-8
Свободные
члены
3
6
3
12
Базисные
переменные
и^
и^
и^
функция
U»
1/2
1/2
—5/2
-2
и*
1
0
—5
—4
и*
—2
—2
10
8
Т
U*
-1/2
—5/2
5/2
2
абл ица 9
Свободные
члены
0
0
0 1
Z значение функции /i(zi)=0. Поскольку Ji{z)>0 при всех
zeZ, а /i(zi)=0, то ясно, что inf/j (z) =/^ (zi) = О, т. е. вспо-
Z
могательная задача A8) —B0) решена.
Тогда точка Vi = (О, О, О, 3, 0) является угловой для
множества и. Для получения базиса точки Vi вспомогательные
переменные 1г^, и^ в табл. 9 нужно вывести из числа базисных,
В строках переменных li^ и^ на пересечении со столбцами
небазисных переменных имеются положительные величины,
любую из которых можно взять в качестве разрешающего
элемента для вывода одной из вспомогательных переменных из числа
базисных. Возьмем, например, величину 1/2 из столбца и^ и
строки и^ разрешающим элементом и осуществим
симплекс-преобразование табл. 9. Получим табл. 10. В этой таблице в строке
для и^ все величины равны нулю. Как было замечено выше,
такую строку без ущерба можно вычеркнуть из симплекс-табли-
ды. В результате получим табл. И. В ней строки переменных
и\ и^ соответствуют системе уравнений
и' = -2а' + 4»^ + и\ и'=^и^ + 2и' + 3,
B1)

6]
ОБ УСЛОВИИ РАЗРЕШИМОСТИ КАНОНИЧЕСКОЙ ЗАДАЧИ
145
которая эквивалентна системе A7). В нижней строке табл. 11
представлены коэффициенты, полученные подстановкой выра*
жений B1) для базисных переменных и\ и^ в A5):
J (и) = 2ii' + 6ii' + 3 = — (—2) и^ — (-6) и' + 3.
Таким образом, табл. И является симплекс-таблицей угловой
точки (О, О, О, 3, 0) для задачи минимизации функции A5)
Базисные
переменные
и^
и^
и^
Базисные
переменные
функция
и*
2
—1
0
U*
2
—1
—2
U»
-4
0
0
и*
—4
0
-6
Таб.
и*
—1
—2
0
Таб
U»
—1
—2
0
лица 10
Свободные
члены
0
3
0
лица 11
Свободные
члены
0
3
3
при ограничениях A6), B1) (ср. с задачей A2) —A4)). Оста-
ется решить эту задачу симплекс-методом. Впрочем, в данном
случае из табл. 11 сразу видно, что в нижней строке нет
положительных величин — реализовался случай I (см. C.13')). Эта
значит, что щ = (О, О, О, 3, 0) — решение задачи A5) — A7).
§ 6. Об условии разрешимости канонической задачи
Как показывает теорема 5.1, с помош;ью описанного выше-
симплекс-метода можно не только численно решать задачи
линейного программирования, но и можно доказывать основные
факты теории линейного программирования. Приводим еще два
такие теоремы.
Теорема 1. Для того чтобы каноническая задача A.14)
была разрешима, т. е. существовала точка u^^U такая, что
(jc, и^у = inf <с, гг> > — оо, необходимо и достаточно, чтобы:
и
1) множество и было непустым; 2) функция J{u)=ic, иУ была
ограничена снизу на U.
Доказательство. Необходимость очевидна. Докажем
достаточность. Из того, что и ?= 0, но теореме 5.1 следует суще-

146 ЭЛЕМЕНТЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. 3
€твование угловой точки множества U, Принимая эту точку за
начальную, будем решать задачу A.14) с помош;ью симплекс-
метода. Поскольку по условию inf/Aг)> —- ОС, то случай II
и
(условие C.14)) здесь невозможен, и за конечное чпсло шагов
симплекс-метода процесс завершится отысканием точки щ^^
являющейся решением задачи A.14).
Теорема 2. Если задача A.14) разрешима^ то среди ее
решений найдется хотя бы одна угловая точка множества U.
Доказательство. По условию теоремы U?=0 и суще*
ствует точка v^^iU такая, что <с, v^} = inf <с, u> >> — оо.
и
По теореме 5.1 тогда множество U имеет хотя бы одну угловую
точку. Отправляясь от одной из этих угловых точек, с помощью
симплекс-метода за конечное число шагов придем к угловой
точке и^, являющейся решением задачи A.14),
На этом заканчиваем изложение симплекс-метода для
решения и исследования канонической задачи A.14). Учитывая
связь между общей задачей линейного программирования A.5)
и задачами A.14) и A.15), установленную в § 1, можно
сказать, что симплекс-метод является универсальным методом
решения задач линейного программирования. Однако это не
значит, что симплекс-метод выгодно применять во всех случаях.
Существуют и другие общие методы, а также ряд частных
методов, приспособленных для решения специальных классов
задач линейного программирования, лучше учитывающих
конкретные особенности задачи. Например, для транспортных
задач, у которых матрица А в ограничении Аи = Ь имеет ряд
особенностей, разработаны специальные методы.
Отметим, что известен пример задачи линейного
программирования с п переменными и 2п ограничениями, для решения
которой требуется не менее 2'' — 1 итераций симплекс-метода
и, следовательно, количество необходимых вычислений
оценивается экспоненциальной функцией параметров задачи. Это
значит, что существуют задачи линейного программирования не
слишком большой размерности, решение которых
симплекс-методом невозможно за обозримое время. Однако вопреки этому
пессимистическому выводу в практических задачах симплекс-
метод показывает поразительную эффективность, и число
необходимых итераций отнюдь не растет экспоненциально с ростом
размерности. Причина этого удивительного явления пока еще
не выяснена. Хотя и в последнее время появились методы [313],
в которых объем вычислений при решении задач линейного
программирования выражается полиномом от параметров
задачи, тем не менее сихмплекс-метод по-прежнему остается
основным методом в линейном программировании.
В заключение подчеркнем, что всюду выше предполагалось,
что исходные данные задачи линейного программирования —

§ 6] ОБ УСЛОВИИ РАЗРЕШИМОСТИ КАНОНИЧЕСКОЙ ЗАДАЧИ 14?
матрица А, векторы 6, с — известны точно и, кроме того, все
промежуточные вычисления в симплекс-методе проводятся без
погрешностей. Такая идеализация позволила нам дать строгое
обоснование симплекс-метода, доказать ряд важных теорем
линейного программирования. Однако на практике исходные
данные задаются, как правило, неточно, промежуточные
вычисления проводятся с округлениями и применение симплекс-метода
или других методов в конкретных задачах линейного
программирования может привести к большим погрешностям, неверным
выводам. В частности, наличие погрешностей может сделать
задачу линейного программирования некорректной, и для ее
решения могут понадобиться специальные методы регуляризации
[6, 22]. К задачам линейного программирования мы еш;е
вернемся в § 4.9.
Упражнения. 1. Минимизировать функцию и^ — и^ — п^ — и*-Ь 2и^
при условиях w^ ^ О (f = 1, ...., 5), и^ + Ъи^ + и^ -|- и* — 2и^ = 10, 2и^ +
+ 6и2 + и^ + Зи* — 4и5 = 20, Зи^ + 10и2 + цз + би* — 7»5 = 30.
2. Максимизировать функцию и^ — 4^2 + Зи^ + 10»* при условиях
и* ^ О (i = 1, ..., 4), и^ + и^'-и^ + п^ = О, и^ + 14и2 + Юи^ — lOw* == И.
3. Минимизировать функцию и^ + 2и^ — 2и^ + Би* при условиях и* ^ 0^
(f = 1, ..., 4), и^ + 2и2 — u^ — u^=i, —и^ + 2и2 4- ЗцЗ -|- и* ^ 2, и^ + 5и^ +
+ иЗ — и* = 5.
4. Минимизировать функцию и^ + и^ + и^ при условиях и^ ^ О, и^'^0^
и» ^ О, И^ -Ь «2 ^ 1^ „1 _ „2 ^ 1^ ЗЦ» — «2^3.
5. Минимизировать функцию и^ + 2^2 + Зи^ + 4и* при условиях и* ^ О
(г = 1, ..., 4), и^ + и^ + и^+и^^ 1.
6. Минимизировать функцию и^ + и^ + и^ + и* при условиях и** ^ О
(i = 1, ..., 5), w^ — w2 ^ Q^ tt^ -|- «2 — цЗ _|_ ц,4 — ц5 ^ 1. Рассмотрвть эту же
задачу при дополнительном ограничении 1 ^ и^ ^ 2.
7. Минимизировать функцию и^ — и* + и^ — и^ при условиях и* ^ О
(i = 1, .. , 7), ц^ -Ь цЗ — 211* — Зцб -Ь 4иб = 0, «2 + 4иЗ — Зи* — 2и^ + и^ = 0,
«3 + ц4 ^ jj5 _(_ цб _f. jj7 __. 1^ Показать, что в этой задаче можно получить
зацикливание, если с помощью симплекс-метода организовать перебор
базисов в следующем порядке: (Лз, Лг, Aj) -> (Лз, ^4, ^т) -> (-^s, ^4» ^7) -^
-> (^5, Лб, ^7) -^^ (^ь ^6, Aj) -^ (Ль Лг, Л?) -> (Лз, ^2, А7). Применить для
решения этой задачи симплекс-метод с антициклином, изложенный в
конце § 3.
8. Обобщить симплекс-метод на случай задачи
<с, и> -^ inf; и е С/ = {гг: и е jE''^, Аи= Ь, а< ^ и* ^ Р», i = 1, ..., п},
где а<, Pi — заданные величины, а< ^ Pi (i == 1, ..., п) (возможно,
некоторые из ttf = оо и некоторые из Pj = 00).
9. Пусть и = {и: и^Е'^, <at, иУ^Ь\ j = 1, ..., m}, т^п. Показать,
что точка и ^ и является угловой для U тогда и только тогда, если в
точке и обращаются в точные равенства не менее чем п из неравенств <а<, у) :^
^ Ь\ среди которых есть п линейно независимых.
10. Исследовать возможность обобщения теорем 5.1 и 6.1, 6.2 на случай
задач A.5), A.15).
И. Требуется составить наиболее дешевую смесь, содержащую не
менее b^ единиц i-ro вещества (i = 1, . *., т) при условии, что для
изготовления смеси имеется п видов продуктов, причем в одной единице /-го
продукта содержится ttij единиц г-го вещества, а цена одной единицы Jf-ro
продукта равна Cj рублей (задача о смесях). Сформулировать эту задачу
в виде задачи A.15).

Глава 4
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
Прежде чем переходить к рассмотрению задач, более сложных, чем
задачи линейного программирования, остановимся на элементах выпуклого
анализа — области математики, в которой изучаются свойства выпуклых
множеств и выпуклых функций, и которая играет фундаментальную роль
ш теории и методах решения экстремальных задач [1, 2, 7, 8, И, 12, 15—19,
21, 24, 33, 41, 52, 66, 67, 92, 132, 137, 144, 146, 156, 166, 167, 195, 197, 255, 264,
283,290,321, 337,338,341].
§ 1. Выпуклые множества
1. Начнем с рассмотрения конкретных примеров выпуклых
множеств. Сначала напомним
Определение. 1. Множество U называется выпуклым,
если для любых и, v^U точка Ua = v + a{u — v) = au +
+ A —a)i; принадлежит U при всех а (O^a^l). Иначе
говоря, множество и выпукло, если
отрезок [у, и] = {iia: Ua^V +
+ a{u—v), O^a^l),
соединяющий любые две точки щ v из С/,
целиком лежит в и (рис. 4.1).
Все пространство Е'^, очевидно,
образует выпуклое множество.
Пустое множество и множество, состо-
р^^ ^^ ящее из одной точки, удобно
считать выпуклыми. Тогда из
определения 1 непосредственно следует, что пересечение любого числа
выпуклых множеств является выпуклым множеством. Приведем
другие примеры выпуклых множеств.
Пример 1. Шар
iS(iio, R)={u: u^E'^, \и — щ\<:В)
A)
радиуса Д > О с центром в точке Uq является выпуклым
множеством. В самом деле, если щ v^S{uq^ /?), то, пользуясь нера-

§ 1] ВЫПУКЛЫЕ МНОЖЕСТВА 149
венством треугольника, имеем
\аи + {1 — а)и — Uo\ = \а(и — ио) + {1 — а) {v—'Uq)\<
<a\u'-Uo\+{i-a)\v'-Uo\<aR + {l-a)R=^R,
т. е. Ua = au + {i — a)v^S{uo, R) для всех а ^ [О, 1].
Пример 2. Гиперплоскостью в Е^ называется множество
Г = Г(с, ^)=^Ы: и^Е\ <с, и>=^}, B)
где с = (ci, ..., Сп) =7^ О — вектор из Е"^, «у — действительное
число. Это множество всегда непусто: если, например, С{ФО, то
точка щ с координатами u'^'^/ci, и^ = 0 (/ = 1, ..., п, j'^i)
удовлетворяет равенству <с, щУ = 7, т. е. щ ^ Г. Если щ —
какая-либо точка из Г, т. е. <с, иоУ= if, то гиперплоскость Г
можно представить в виде
Г = Г(с, Uo)={u: и^Е'^, <с, и — щУ^О).
Напоминаем, что два вектора а, b ^ Е"^, называются ортого-
налънымщ если <а, ЬУ= 0. Предыдущее представление для Г
означает, что гиперплоскость состоит из тех и только тех точек
ег, для которых вектор и — щ ортогонален вектору с. Вектор с
называют нормальным вектором гиперплоскости Г.
Возьмем произвольные точки щ i; е Г, т. е. <с, ii>=<c, 1;>=='у.
Тогда <с, аи + {1 — a)vy= а<с, ii>+(l —а)<с, i;>='y при всех
а е [О, 1]. Следовательно, Г — выпуклое множество.
Пример 3. Пусть Г ={и: <с, ц>= 7}—некоторая
гиперплоскость. Тогда множества
Г+ = {и: <с, иУ > y), г- == {и: <с, иУ < 7}
называются открытыми полупространствами, а множества
Г+ =={ц: <с, иУ> Y^ Г- ={и: <с, иУ< «у)
называются замкнутыми полупространствами. Нетрудно видеть,
что Г"*", Г", Г"*", Г" — выпуклые множества. Например, если
щ 1;еГ+, то <с, аи + {1 — a)vy=a<c, а>+A —а)<с, i;>>aY +
+ A — а) Y = Т для всех а ^ [О, 1].
Пример 4. Множество Mi={u^ Е"^: и = aw+ {i — a)v =^
==v + a{w — v), а^ R] называется прямощ проходящей через
точки V, W, V Ф W, Прямую в Е"^ можно задать также и в виде
Mi={u^Е"^: u = v + td, t^R}, где вектор йФО называют
направляющим вектором прямой, v — фиксированная точка из i?**.
Множество Ml = {и^ Е'^: и = v + td, t^O] называют лучом,
выходящим из точки V в направлении вектора d?=0. Нетрудно
видеть, что прямая и луч — выпуклые множества.
Пример 5. Важным примером выпуклого множества
являются аффинные множества (или линейные многообразия).
Определение 2. Множество М из Е"^ называется аффин-
ньщ если аи + A — а)уеЛ/ при всех щ v ^ М, а ^ R, т. в«

150 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
прямая, проходящая через любые две точки и, i; е Л/, целиком
лежит в М.
Все пространство Е"^ является аффинным множествОхМ.
Пустое множество и множество, состоящее из одной точки, удобно
считать аффинными. Любое подпространство пространства Е'^
представляет собой аффинное множество. Множество М =
= L + Wo, получаемое сдвигом подпространства L на
произвольный фиксированный вектор щ, также является аффинным.
Верно и обратное: всякое аффинное множество М может
быть получено сдвигом некоторого подпространства L на
некоторый вектор щ, В самом деле, возьмем произвольную точку
щ^ М ж положим L = М — Uq. Ясно, что L — аффинное
множество, причем О е L. Тогда для каждого и^ L имеем аи = аи +
+ {i — a)-O^L при всех a^R. Кроме того, если щ v ^ L, то
(и + v)/2 = и/2 + A — 1/2) V ^ L и, следовательно, и + v ^
== 2((ii + i;)/2)e L. Таким образом, сумма двух векторов из L
и произведение вектора из L на любое число принадлежат L,
т. е. L — подпространство.
Убедимся, что подпространство L = М — щ не зависит от
выбора точки Uo^M. В самом деле, пусть Li = M--iii, где
щ е М, Возьмем любую точку и^ L. Поскольку щ — щ^ L, то
и + {щ — ио)^Ь и, следовательно, и^ L ^{щ —Uq) = {L + Uo) —
— Ui= М — Ui= Li. Это значит, что L с= Li. Обратное
включение Li с: L доказывается совершенно так же.
Следовательно, Li = L.
Таким образом, всякое аффинное множество М из Е"^ пред-
ставимо в виде
М = L + lio, C)
где L — подпространство, однозначно определяемое множеством
М, Uq — произвольная точка из М, Подпространство из этого
представления называют параллельным аффинному
множеству М.
Опираясь на полученное представление C), можно дать
алгебраическое описание аффинных множеств из Е"^. Как
известно из линейной алгебры [93, 164], всякое подпространство L из
Б" представимо в виде L={iie?^: Аи = 0}=={и^ Е"^: iai, и>=
= 0, г = 1, ..., т}, где А — некоторая матрица размера тХщ
ai — i-я строка матрицы А (например, в качестве векторов а<
(i = 1, ..., т) можно взять базис ортогонального дополнения к
L в Е"^). Отсюда и из C) следует, что всякое аффинное
множество из Е"^ может быть задано в виде
М=^{и^Е'^: Аи=-0} + щ = {и^Е": и = ^о + у, Лу == 0} ==
Ми е?^: А{и — щ) = 0)={и е ?^: Аи = Ь}==
={ц е ?^: <а^, ii>= bi,i-=i,..., m), D)
где b = i4iio=(b\ ..., Ь""). Нетрудно проверить, что верно и
обратное: всякое множество вида D) является аффинным, В са-

§ 1] ВЫПУКЛЫЕ МНОЖЕСТВА 151
мохМ деле, если щ v^M, т. е. Аи = Ъ, Аи = Ь, то А{аи +
+ {i — a)v) = аАа + {1--a)Av = b или, иначе, au + {i — a)v^
^ М при всех а ^ R. Таким образом, множества вида D) и
только они являются аффинными.
Согласно теореме Кронекера — Капелли [93, 164] множество
D) непусто тогда и только тогда, когда матрица А и
расширенная матрица В={А, Ъ) имеют один и тот же ранг. Если
rang А < rang В (например, Л = О, ЬФО), то Л/ == 0. Если
^ = О, 6 = 0, то М = Е"^. Рассмотрим случай А?= О, rang А =»
= rang В = г. Тогда множество D) состоит из тех и только тех
точек, которые представимы в виде [93, 164]
П—'Г
u = Uq+ 2 huu E)
где Uo — какое-либо частное решение неоднородной системы
линейных алгебраических уравнений Аи = Ь, а щ, ..., Цп-г ~
линейно независимые решения однородной системы Аи = 0; ti, ...
..., tn-r — действительные числа. Векторы Ui, ..., Un-r образу*
ют базис подпространства
L=={u^E'': Аи = 0] = L^E'': и= ^ ищ, U^Rl
так что размерность L равна п — г, С помощью введенного
подпространства L равенство E) можно переписать в виде М =^
= Uo + L — мы снова пришли к представлению C).
Размерность аффинного множества М по определению
принимается равной размерности подпространства L, параллельного
М, Таким образом, размерность аффинного множества D)
равна п — г^ где г = rang А = rang В. Аффинное множество
размерности р часто называют гиперплоскостью размерности р.
В тех случаях, когда нужно подчеркнуть размерность р
аффинного множества М и соответствующего параллельного подпрост-
ва L, будем писать Л/р, Ьр. В частности, если в D), E) г = п,
то Lq ={0} и Д/о ^{щ} состоит из одной точки. Если г = п — 1,
то Mi ={и е ?^: и = Uo + tui, t е R}— прямая (см. пример 4).
Далее, гиперплоскость B) также является аффинным
множеством: в этом случае в D) нужно принять Л = с, & = у.
Поскольку сФО, то rang Л = rang D, Ь)=1 и, следовательно,
гиперплоскость имеет размерность п — 1. Согласно E) тогда Г =:
Un-i —
= Afn-i = ш е ?"": u = Uq+ 2 ^гЩ, ^г ^ R[? где iii,
базис параллельного подпространства Ln-i = {u^E''\ ic, 1г> = 0}.
Как видим, вектор с ортогонален к Z/n-i и является базисом
ортогонального дополнения к L„-.i до ?", а векторы iii, ..., i^^-i,
с образуют базис в Е"^.

152 ЭЛЕМЕНТЫ ВЬШУКЛОГО АНАЛИЗА [ГЛ. 4
Заметим, что пересечение любого числа аффинных множеств
само является аффинным множеством и, следовательно, пред-
ставимо в виде D).
Определение 3. Пересечение всех аффинных множеств^
содержащих множество U из ?", называется аффинной
оболочкой множества U и обозначается через aff U\ подпространства
L, параллельное aff С/, называется несущим подпространством
множества U и обозначается через Lin U,
Таким образом, aff U представляет собой минимальное
аффинное множество, содержащее U. Пользуясь C)-~E),
нетрудно показать, что:
1) aff С/ = Но + Lin С/, где щ — произвольная точка из U\
2) если О е С/, то aff U = Lin U;
3) и = V — w ^ Lin и для всех v, w ^ aff U, в частности,
для и, w^ U;
4) если с е Lin U, i; е aff С/, то u = v + ec^ aff U при
всех 8 е R.
Определение 4. Размерностью произвольного множества
и из J?" называется размерность его аффинной оболочки;
размерность множества U обозначают dim U,
Согласно этому определению отрезок [гг, v] ={ua. = v +
+ а (it — у), О < а < 1}, соединяющий две точки и, у е jB«
{u?=v), имеет размерность 1, так как его аффинной оболочкой
является прямая Т ={w: w = v + t{u'-v), —оо<^<оо}.
Размерность шара A) равна п.
Пример 6. Множество U=={u^E'': Au^b), где А —
заданная матрица размера тХп, Ъ — заданный вектор из ?"",
выпукло. Это множество называют многогранным множеством
или полиэдром. Напоминаем, что неравенство Аи<,Ъ означает,
что iai^ иУ = {АиУ <,V при всех i = 1, ..., ттг, а^ — i-я строка
матрицы А. Тогда для любых u^v^U имеем A{au+{i — a)v)=^
= aAu + {i — a)Av < b при всех а е [О, 1].
Пример 7. Множество U = {и = {и\ ..., и'^): o^<u*<:^i,
г = 1, ..., л}, где аи ^i — заданные величины, at < Pi
(возможно, что некоторые из а^ = оо и некоторые из Pi = °o), выпукло
и имеет размерность п. В частности, неотрицательный ортант
пространства Е"" — это множество Е^ = {и: и^ Е^, и'^0] —
выпукло, причем dim Е'^ = п. Если в определении множества U
величины ai, ^i конечны при всех г = 1, ..., п, то это множества
называют п-мерным параллелепипедом.
Пример 8. Множество С/={it =(ii*, ..., и^): и^ > О, i^I;
Аи < &, Аи = Ь}, взятое из общей задачи линейного
программирования C.1.5), выпукло. Это нетрудно проверить, исходя из
определения 1. Впрочем, выпуклость U следует также из того,
что и является пересечением множеств С/о ={и: и^ > О, is /},
Ui ={и: Аи ^ &}, С/г ={и: Аи = Б), каждое из которых
выпукло. Очевидно, и — многогранное множество. Аналогично прове-

f 1]
ВЬШУКЛЫЕ МНОЖЕСТВА
15а
ряется выпуклость множеств из основной и канонической задач
линейного программирования C.1.14), C.1.15).
2. Выше было отмечено, что пересечение любого числа
выпуклых множеств выпукло. Нетрудно видеть, что объединение
двух выпуклых множеств, вообще говоря, невыпукло (рис. 4.2).
Посмотрим, как влияют на выпуклость другие операции над
множествами: сложение, вычитание, умножение множества на
число, замыкание и т. п.
Определение 5. Суммой множеств А
im, • • .,
называет-
Рис. 4.2
, + ^
ся множество А = А-^ + .. • + ^ш = 2 ^г, состоящее из тех и
только тех точек а, которые представимы в виде а = 2 cii{(ii^
^Ai, i = l, ..., тп). Разностью
двух множеств А ж В
называется множество С = А — В,
состоящее из тех и только тех точек с,
которые представимы в виде с =
'=а—Ь {а^А, Ъ^В),
Произведением множества А на действительное
число 'к называется множество В =
*=ЯЛ, состоящее из всех точек
вида Ъ = %а {а^А).
Теорема 1. Если Ai, ..., Am,
А, В — выпуклые множества, то множества С = Ai +
С==А — В, С ^%А выпуклы.
Доказательство. Проведем его, например, для
множества С = А — В. Пусть Ci, Сг — произвольные точки из С = А — В.
Это значит, что существуют ai^A, bi^B такие, что Ci = ai--bi
(i = 1, 2). Из выпуклости А и В следует, что aa. = aai +
+ {i — а)а2^А, ba== abi + {i — a)b2^B при всех а ^ [О, 1].
Тогда Са = aCi +A — а)с2 = a(ai — bi)^(l — а) (ag — Ьг)^
'= аа, — Ьа, так что Са^С при всех а ^ [О, 1]. Выпуклость С =
= Л — В доказана. Аналогично доказывается выпуклость
множеств С =^ Ai + ... + АтЖ С = Ы.
Определение 6. Замыканием множества U называется
множество, являющееся объединением множества U и всех его
предельных точек. Замыкание множества U будем обозначать
через и.
Для любой точки V и любого множества U из Е"" имеет
место одна и только одна из следующих трех возможностей.
1. Найдется е-окрестность точки у, которая целиком
принадлежит множеству и — тогда точка v называется внутренней
точкой множества U. Совокупность всех внутренних точек
множества и будем обозначать через int U. Множество U, все
точки которого являются внутренними, называют открытым
множеством.

154 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Примером открытого множества является открытое
полупространство из примера 3.
2. Найдется е-окрестность точки у, которая не содержит ни
одной точки множества U — такая точка называется внешней
по отношению ко множеству U,
3. Любая 8-окрестность точки v содержит как точки из U^
так и точки из E'^\U — тогда точка v называется граничной
точкой множества U, Совокупность всех граничных точек
множества и будем обозначать через Гр U,
Всякая внутренняя точка множества, очевидно, является его
предельной точкой. Однако не всякая граничная точка
множества будет его предельной точкой — исключение здесь
составляют изолированные точки множества. Точку v ^ U называют
изолированной точкой этого множества, если существует
е-окрестность этой точки, не содержащая ни одной точки множества
и, отличной от V, _
Таким образом, замыкание U множества U состоит, вообще
говоря, из точек четырех типов: 1) внутренние точки
множества U; 2) изолированные точки множества U; 3) предельные
граничные точки множества С/, принадлежащие U; 4)
предельные граничные точки множества U, не принадлежащие U.
Отсюда ясно, что замыкание любого множества является
замкнутым множеством.
Очевидно, выпуклое множество не может иметь
изолированных точек.
Шар A) замкнут и его замыкание состоит из внутренних
точек intS'(^o, R)={u: \u—Uo\<R} и граничных точек
TjpS{uo, R)={u: \u—Uo\=R}. Множество U ={и={х, у)^Е^:
0<д;<1, 0<1/<1, х + у < 1} выпукло, но не замкнуто ¦—
точки прямой х + у == i при О <>х, у ^ i являются предельными
граничными для С/, но не принадлежат U; U ={и=={х,у):0 <х,
y<i, x + y<i}. Множество U ={и={х, у)^Е^. —-К х < i,
1/= 0} выпукло и не имеет внутренних точек; U ^{и = {х, у):
— 1^д:^1, 1/ = 0}.
Для любого аффинного множества М из JS" имеем М =^ М,
так что М — замкнутое множество: это видно, например, из
представления D) аффинного множества; для множеств из
примеров 6—8 также U^ U, В частности, aff U = aff С/, откуда будет
следовать, что aff U = а.Ии для любого множества U из ?"".
Теорема 2. Если А — выпуклое множество^ то его замы-
кание тоже выпукло.
ДoкaзaJeльcтвo. Пусть а и b — произвольные точки
множества Л, Поскольку выпуклое множество не имеет
изолированных точек, то точки а ж b будут предельными для А.
Тогда существуют последовательности {aj, {bf)^A, сходящиеся
соответственно к а, Ь. Возьмем произвольные а s [О, 1]. В силу
выпуклости А тогда с* = аа,^ + A — а) 6^ ^ Л. Отсюда при к-^ оо

s и
ВЬШУКЛЫЕ МНОЖЕСТВА
155
получим lim с^ =з с^ =з аа + A -^ а) Ь. Таким образом, точка Са,
ft->oo
является предельной для А и, следовательно, принадлежит Л
при любом а S [О, 1].
Теорема 3. Пусть U — выпуклое множество и iniU Ф 0*
Пусть щ е int С/, v^U, Тогда Va,^ и + a{uQ — v)^mtU при
всех а (О < а < 1). Если u^iniU^ у^ int i7, y^U, то Wx ==
^и + Х{у — u)^U при всех Я > 1.
Доказательство. Поскольку точка щ е int f/, то
найдется ее б-окрестность 0{uo, 6)={u: \и — ао\<8}, целиком
принадлежащая и. Сначала рассмотрим случай, когда v^U, Возь-^
мем произвольное а @<а<1). Покажем, что окрестность
Рис. 4.3
0{va, а8)={и: \u—Ua,\<a6} точки Va принадлежит U. С этой
целью возьмем произвольную точку и^ 0{Va,, аб) и положим
а = Uo+(гг — Уа)/^ (рис. 4.3). Поскольку \а —Uo\ = \и —Va\/a<
< ба/а = б, то a^O{uo, б)с= С/. Из определения точки а имеем
представление ц= Уа + а(а — Uo)=^ v + a{uQ'— v)+ а{а — Uo) =
^ aa + {i — a)v, где a, v^U и 0<а<1. Тогда u^U в силу
выпуклости и. Тем самым показано, что произвольная точка и
из 0{va, аб) принадлежит U, Следовательно, ^(Усь, аб)с: U, т. е,
Va — внутренняя точка_С/.
Пусть теперь v^U\U. Поскольку v — предельная точка U^
то найдется точка w ^ U такая, что li; — м;| < аA — а)~^б*
Возьмем точку Wa,= w + a{uo — w) (рис. 4.4). В силу только
что доказанного точка Wo, принадлежит множеству U вместе со
своей окрестностью 0{Wo,, аб). Но l^a — Wa,\ = \v + а{ао — v) —
-— w — а{ао— w)\ =(i — a)\v— w\ <{l — a)a{i — a)~^h == аб.
Следовательно, Уа ^ 0(ша., аб)с: С/. Нетрудно видеть, что
окрестность 0{vai Р) (Р = ба—\va,'—Wa.\) ТОЧКИ Va такжо принадлв-

156
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
ЖИТ и. В самом деле, если u^O{va, Р), то |iz —^«1^
<\u — Va\ + \Va'-Wa\<^+\Va—Wa\=8a, Т. 8. 0{Va,^)^
Наконец, пусть w^ = u + K{y — и) (X > 1), где u^iniU,
y^intU, y^U. Допустим, что Wx^U при каком-либо Х>1.
Из представления для Wx имеем у = и + {wx — гг)Д = i^x +
^{i — i/K){u—Wx)=Wx + a{u — Wx), где а = 1 —1Де@, 1),
Рис. 4.4
Wx^U, u^iniU. По доказанному выше тогда y^iniU, что
противоречит условию. Следовательно, Wx^U при всех Я > 1.
Теорема 4. Если U — выпуклое множество, то int U тоже
выпукло.
Доказательство. Пусть щ у ~ произвольные точки из
int С/. В теореме 3 было показано, что Ua = аи + {1 — a)v ^
^ int и при всех а (О < а < 1). Это и означает выпуклость int U.
3. В тех случаях, когда рассматриваемое множество U невыпукло, часто
бывает полезно расширить его до выпуклого множества. Посмотрим, как
это делается.
Определение 7. Точка и называется выпуклой комбинацией
точек щ,..., Umi если существуют числа ai ^ О,..., а»» ^ О, ai + ¦.. + am = 1
такие, что и = aiiii + ... + ащит*
Теорема 5. Множество выпукло тогда и только тогда, когда оно
содержит все выпуклые комбинации любого конечного числа своих точек.
Доказательство. Необходимость. Пусть U — выпуклое
множество. Тогда по определению 1 множество U содержит выпуклые
комбинации любых двух своих точек. Сделаем индуктивное предположение: пусть
множество и содержит выпуклые комбинации любых т — 1 своих точек.
Рассмотрим выпуклую комбинацию «iizi + ., • + «шИт произвольных т
точек из и. Можем считать, что tti > О (i = l, ..., т). Поскольку
«1 + . • • + ctm = 1» то О <С ai <С 1 (i = 1, ..., т). Следовательно, точка
т—1
V = 2 ^i (^ "~ ^т)~^ ^i является выпуклой комбинацией точек iii ..., Wm-i
i=l

f 1] ВЫПУКЛЫЕ МНОЖЕСТВА 15?
И ПО предположению индукции принадлежит U, Однако и =»
т—1
'=(!¦- °^т) 2 «i A - «rrt)""^ Н + ^ш'^т = A - «т) ^ + ^^m^m ^ ^ » СИЛу
зыпуклости f/.
Достаточность. Если множество С/ содержит все выпуклые ком*
бинации любого конечного числа своих точек, то оно содержит^ в
частности, выпуклые комбинации любых двух своих точек и, следовательно,
выпукло.
Определение 8. Пересечение всех выпуклых множеств, содержа--
щих множество ?/, называется выпуклой оболочкой множества U и обо*
значается через со U.
Ясно, что со и, как пересечение выпуклых множеств, является
выпуклым множеством. Кроме того, со U содержится в любом выпуклом
множестве, содержанием С/. Так что со С/ — это минимальное выпуклое множество,
содержащее U.
Теорема 6. Выпуклая оболочка множества U состоит из тех и толь-'
ко тех точек, которые являются выпуклой комбинацией конечного числа
точек из и,
Доказате/йьство. Пусть W — множество всех точек, являющихся
выпуклыми комбинациями любого конечного числа точек из С/. Нам нада
показать, что со С/ = И^. Поскольку ?/ ^ со С/ и со t/ — выпуклое множество,
то по теореме 5 со t/ содержит все выпуклые комбинации точек из со U
и, в частности, точек из U. Следовательно, ТУ cz: со ?/.
Покажем, что W — выпуклое множество. В самом деле, пусть iz, у е FT,
т. е. iz = ociizi + ... + arnUm (izi е С/, а* ^ О, i = 1, ... тгг, ai + ... + am = 1)^
i; = Pii;i+ ... +ppi;p {Vi^U, P^ ^ 0, t = 1, ..., /?, P^ + ... + ^^ = 1).
m p
Тогда Wqj = aw + A — a) у = 2 ^^i^i + S (^ "~ ^) Pj^i' ^Д® ^^i ^ ^^
i=l j=l
m p
A — a) pj > 0, 2 ^^i + 2 A — a) pj = 1 для каждого a e [0, 1]. Сле-^
i=l j=i
довательно, iza является выпуклой комбинацией точек иь • • •» Ит, уь • •.» ^v^
е С/ и принадлежит ТУ при всех ае [О, 1]. Таким образом, ТУ — выпуклое
множество, содержащее U, Но со U по своему определению принадлежит
всем выпуклым множествам, содержащим С/, и поэтому со С/ ^ ТУ.
Сравнивая с ранее доказанным включением ТУ cz со С/, заключаем, что со С/ = ТУ^
что и требовало'сь.
Заметим, что выпуклая оболочка двух точек на плоскости
представляет собой отрезок, выпуклая оболочка трех то'чек, не лежащих на одной
прямой,— треугольник. В общем случае выпукая оболочка конечного числа
точек на плоскости образует выпуклый многоугольник, а в пространстве —
выпуклый многогранник.
Определение 9. Выпуклая оболочка множества точек щ, щ, ^. •
..., Um из Е^ таких, что система векторов {ui — uo, г = 1, ..., т} линейно
независима, называется симплексом, натянутым на эти точки, и
обозначается через Sm= Sm(uo, Ml, ..., Um)' Точки uo, uu ..., Um называются
вершинами симплекса.
В случае ттг = О, 1, 2, 3 симплекс представляет собой соответственно
точку, отрезок, треугольник, тетраэдр.
Согласно теореме 6 симплекс Sm представим в виде
(т т \
и: и = ^ a^i^l, а^^О, i = 1, ..., т, 2 «^ = 1 .
i=0 i=0 J
По теореме 6 любая то'чка выпуклой оболочки множества U является»
выпуклой комбинацией конечного, но, быть может, довольно большого

158 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
числа точек из U, Замечательно, однако, то, что в Е^ для получения
множества со и достаточно ограничиться рассмотрением выпуклых
комбинаций не более чем п + i точек из U, Точнее, верна
Теорема 7. Пусть U — произвольное непустое множество из Е^.
Тогда любая точка и ^ со U представила в виде выпуклой комбинации не
более чем тг + 1 точек из U,
Доказательство. Согласно теореме б любая точка и е со С/ пред-
ставима в виде и = aiizi + ... + amUmj где щ ^ U, ai "^ О (i = 1, ..., т),
<Xi +... + о^т = 1. Пусть m > тг + 1 и все а^ < О (если а{ = О, то число т
может быть уменьшено). В тг + 1-мерном пространстве рассмотрим векторы
щ = {ui, 1) (i = 1, ..., т). Поскольку ттг > тг + 1» то эти векторы линейно
зависимы, т. е. существуют числа "уь • • •» Тт, не все равные нулю и такие,
что "{т + ... + '^тйт = 0. Это равенство эквивалентно следующим двум
равенствам:
Ъ^1 + .. . + tmUm = 0, «Yl + • • • + Tm = 0.
Тогда точка и представима другими выпуклыми комбинациями тех же точек
7П 771 ТП
"!»•••' "т- 2 i^i — ^Vi) г^| == 2j '^i^i — ^ S Vi^i = "• S самом деле,
{=1 i=i {==1
здесь «i > О и, следовательно, ai — ^y* ^ ^ (i = 1, .(.., т) при всех
догм т ш
статочно малых t и, кроме того, 2 (^г ~ ^Vi) ~2 ^i~~^2 '^i'^ ^*
Поскольку не вс@ v^ равны нулю, но ^i + »¦. + Tm = О, то среди {^i}
найдутся положительные.
Пусть ^eVr^ ~ ^^^ ^^iVr^» Положим f = а^ТГ*» При таком выборе t
Vi>0
все аг — t^i останутся неотрицательными, причем а, — Ща = 0. Это
значит, что точку удалось представить в виде выпуклой комбинации меньшего
числа точек wi, ..., We-i, Мв+i, ..., Um- Ясно, что, последовательно применяя
описанный прием далее, число точек, участвующих в выпуклой
комбинации, можно уменьшить до п -{¦ i.
Теорема 8. Если U — замкнутое ограниченное множество из Е^, то
<50 и замкнуто и ограничено.
Доказательство. По условию существует число R "> О такое, что
|w| ^/? для всех и G и, т. е. U^S@, R) —шар радиуса R с центром в
точке 0. Но шар — выпуклое множество. Согласно определению 8 тогда
со и ^8@, Л), так что |м| ^/? для всех w е со С/, Ограниченность coU
доказана.
Докажем замкнутость со U, Пусть и — предельная точка со t/, {uk} е
^ со С/ и Иш и^ = и. Согласно теореме 7 существуют точки Uhi s t/, числа
tihi>0 (i = 1, ..., тг + 1), ал1 -h ... + «ft, n+i = 1 такие, что Uk = akiUki + ...
,.. + «ft, n+iUk, n+u Заметим, что | iz^i | ^ Л, 0 ^ a^i ^ 1 при всех
I = 1, ..., тг -j- 1 и всех A; = 1, 2, . *. Пользуясь теоремой Больцано — Вейер-
штрасса, сначала из {uki}, {аы} выберем подпоследовательности 1и^^ ^j,
l^ft lb сходящиеся соответственно к некоторым щ, «Г, затем из \и^^ ^j,
|а^ 2} "~ подпоследовательности {"д 2) "^ ^2' i ^ft г] "^ S ^ '^' ^'^ наконец,
п+1
{»»„+in+il-«n+i.{«ft„+,n+i}-««+!• Тогда ИЗ ",„^^=2 «ft„.i%+,i
i=l
|^X+ii^^«^^n+ii>^» ^ = 1,...,.г + 1, S^/.n+ii = lj
«+l /
переходом при^^^^^-^оо получим и=* 2j ^г^г p^i^^»
i-i \
пред(
п+1
2«:
i=l

§ 1] ВЫПУКЛЫЕ МНОЖЕСТВА 15^
где Ui ^ и (i = 1, ..., W + 1) в силу замкнутости U, Следовательно, п<^
теореме 6 ц е со С/, что и требовалось.
Заметим, что требование ограниченности множества U в теореме 8
существенно. Например, множество С/ = {iz = (ж, у) ^Eh х'^0, у = Ух)
замкнуто, но со С/ = (iz == (ж, z/): а; ^ О, О < ^ < Ух} незамкнуто. Если
и — выпуклое замкнутое множество из Е^, то со U будет замкнутым и без
требования ограниченности U, поскольку в этом случае в силу теорем 5, S
coU=U=U = coU.
Теорема 9. Пусть А — произвольное непустое множество из Е^с.
Тогда
sup (^с, а} = sup_ <с, а} = sup {с, а} = sup {с, а> У/с е Ё^,
^^^ а^А as со А а=соА
Доказательство. Поскольку А а А, то sup (с, «>< sup <с, д)*^
л А
С другой стороны, для любого а^А существуют ал е Л, {ал} -> а. Поэтому
из (^с, а^ ^ sup <с, а> при А: -> оо получим <с, а> ^ sup <с, а> для всеж
__ А А
а^ А, Следовательно, sup <с, а>^ sup <с, а>, так что sup <с, а> = sup <с, а>»
А ^ А ^
Отсюда же имеем sup <с, а> = sup <с, а>. Далее, так как Аасо А, то
со А со А
sup <с, а> ^ sup <с, а>.С другой стороны, для любого аесоЛ согласно
А со А
теореме б найдутся а» е Л, «i ^ О (i = 1, ..., г), ai + «,» + аг = 1 такие^
г
что л = 2 ^i^i' Поэтому
г г
<с, а> = 2 °^i <^» '^i) < 2 °^i ^^^Р <^' ^> = ^"Р <^» ^>
{=1 1=1 asA А
для каждого аесоЛ. Следовательно, sup <с, а> ^ sup <с, а>, так что
со А А
sup <с, а> = sup <с, а>.
соА А
4. Приведем условия существования внутренней точки выпуклого
множества.
Теорема 10. Пусть U—непустое выпуклое множество из Е^^. Для
того чтобы int U Ф 0, необходимо и достаточно, чтобы dim U =: п.
Доказательство. Необходимость. Пусть int U Ф 0. Тогда
для любой внутренней точки v множества U существует е-окрестность
О (у, 8)= {гг: \u — v\<. е}, также принадлежащая U, Отсюда вытекает, что
минимальным аффинным множеством, содержащим множество U и,
следовательно, шар О (у, е), является все пространство Е^, Это значит, что
aff и = ?;^, dim С/ = тг.
Достаточность. Пусть dim U = п. Тогда aff U = Е"^ ж найдутся
точки мо, uu ..., Un^ и такие, что векторы щ — Ио, ,.., Un — щ линейно
независимы. Натянем на эти точки симплекс
( п п \
6'^= иеЕ^ W =2 ^i'^i* «i>0, i = 0, 1, ..., тг, 2 «1 = 1 •
I i=0 i=0 J
Согласно теореме 5 iSn cz С/, a по теореме 6 Sn выпукло.

160 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ, 4
Рассмотрим систему линейных алгебраических уравнений
п
S ("i~%)^i = "-%» weJS;^ F)
Матрица этой системы А = {щ — uo, ..., Пп — щ), столбцами которой
являются линейно независимые векторы щ — щ (г = 1, ..., /г), имеет
размеры п X п и невырождена. Поэтому система F) для каждого и ^ Е^ имеет
ж притом единственное решение х == х{и) = {х[{и), ..., Хп(и)), Из
известных формул Крамера [93, 164] видно, что функции Xi(u) непрерывно
(и даже линейно) зависят от и.
Опираясь на это свойство репхений системы F), покажем, что любая
п
точка ш = 2 ^i^i симплекса Sn при а^ > О (i = О, 1, ¦.., тг) является
г=о
внутренней точкой Sn. В самом деле, для такой точки w имеем w — и^ =
п п п
~ ^ ^г^г ~~ 2 ^i% ~ 2 °^г ("г"~ %)• Сравнение с F) показывает, что
i=0 г=о г=1
Ui==Xi(w) (i == 1, ..., тг). В силу непрерывности Х{(и) тогда Х{{и) >0
{i = 1, ..., п) для всех и е 0(ш, е) = {iz: \и — и;| < е}, где е > О — доста-
п
точно малое число. Функция ^^^{и) = 1-- 2 ^i (^) также непрерывна,
г=1
п
причем X (w) = i — 2 ^i~%^^' Взяв 8 > О достаточно малым, можем
1=1
считать, что хо{и) > О для всех и ^0(w, е).
Таким образом, для каждой точки иеО(ш, е) в силу F) имеем пред-
п п
ставление " = ^г^ + 2 ^i (^) ("i ~ "о) "" 2 ^i (") ^i» ^^^ ^i (") > О
п
2 л;| (гг) = 1. Это означает, что 0{т, г) а Sn. Следовательно, w^intSn»
i=o
Отсюда и из включения SnCzU следует, что 0{w, e)czU, т. е. w^intU
и 1п1иф0.
5. Выпуклое множество U = {и = {х, у, z) е Е^: х^ + у^ ^ i, z = 0},
представляющее собой единичный круг в плоскости Г == {и = {х, у, z) е
^Е^: z = 0}, не имеет внутренних точек. Кстати, здесь плоскость Г
представляет собой аффинную оболочку множества U. В то же время, если это
множество и рассматривать лишь относительно плоскости Г (т. е не
«признавать» точки Е^, лежащие вне Г), то С/ —единичный круг —конечно же,
имеет внутренние точки. Приводимая ниже теорема 11 показывает, что это
не случайно. Для ее формулировки нам понадобится
Определение 10. Точка v ^ U называется относительно
внутренней точкой множества С/, если существует 8-окрестность О (у, е) = {и е
^Е^: \и— v\ < е} точки v такая, что пересечение О (и, г) П aff U целиком
принадлежит U, Множество всех относительно внутренних точек
множества и обозначается через riU (иногда обозначают теНпШ),
Например, если U = {и = (ж, г/, z) е Е^: х^ + у^ ^ i, z = 0}, то ri С/ =
:= {iz = (х, у, Z) е Е^: x^+y^<Uz = 0}.
Если множество U ^Е^ имеет размерность тг, т. е. dim aff С/ == тг, то
понятия внутренней и относительно внутренней точки для множества U
совпадают и ri С/ == int U, Нетрудно указать множества U (например,
множество, состоящее из двух различных точек ?""), у которых п U = 0,
Однако для выпуклых множеств верна

§ 1] ВЫПУКЛЫЕ МНОЖЕСТВА 161
Теорема И. Если U — непустое выпуклое множество из Е^, то ri С/
непусто, выпукло. При этом если uq^ ri С/, v^ U, то Va= v + а{щ— y)e ri С/
при всех а @<а^1). Если u^iiU, у^тШ, y^U, то шя, =
=zu + Х{у — и) фи при всех X > 1.
Доказательство. Можем считать, что точка Ое С/, так как в
противном случае вместо множества U мы рассмотрели бы множество
и — {v} = {w ^ Е"^; w = u — v, u^U}, где i; — какая-либо точка из U.
Тогда О е aff С/ = Lin U — подпространство в Е^. Пусть множество U имеет
размерность dim U = m(i ^ т <, п) (в случае m = О, когда U состоит из
единственной точки, утверждения теоремы тривиальны; случай т = п
рассмотрен в теоремах 3, 4, 10). Тогда найдутся такие точки щ, izi, ..», Um ^ U,
что векторы ei = щ — щ, ..., вщ = Um — щ линейно независимы и образуют
базис aff и. Можно дополнить систему ei, ..., вт векторами ет+ь • • ч сп до
базиса Е'^, причем можно считать, что <ег, е^> = 0 (г = 1, ..., т, j ==
= т +1, ,.,., п). В этом базисе rU U = {и = (и\ ..., и"^) ^ Е'^: m^+i =
= <ет+и и> = 0, ..., к^ = <еп, иУ = 0} = {и = (х, iz^+i = О, ..., и^ == 0):
X е Е^}, так что aff U можно отождествить с пространством Е^. Повторив
в этом пространстве соответствующие рассуждения из доказательств теорем
3, 4, 10, убеждаемся в справедливости утверждений доказываемой теоремы.
Теорема 12. Пусть U—непустое выпуклое множество из^Е^ и
у^и, y^viU. Тогда существует последовательность {ун} {укфи, ук^
е aff С/, А; == 1, 2, ...), сходящаяся к у.
Доказательство. Возьмем какую-либо точку iz ^ ri U. Согласно
теореме И тогда wj, = и + Х{у — и) фи при всех Л > 1. Кроме того,
поскольку aff и = aff С/, то и, у ^ aff U и, следовательно, wj, е aff С/. Тогда
^k ~ ^Къ ~ ^ + ^fe B/ — ^)| где Xk > 1, {ik} -> 1,— искомая точка.
Заметим, что если множество U не является выпуклым, то утверждение
теоремы 12 может оказаться неверным. Например, пусть U — множество
точек на числовой оси Е\ имеющих рациональные координаты. Тогда
aff и = Е\ и любая точка у ^ Е^ является граничной для U. Таким
образом, и = Е^, и последовательности {уь) ф U, сходящейся к у, здесь не
существует.
Теорема 13. Пусть U— выпуклое множество из Е^. Тогда ri С/ = ri С/,
и = тПГ.
Доказательство. Возьмем любую точку у е ri С/. Согласно
определению 10 тогда существует такое 8 > О, что О (г, е) П af f С/ = О (у, е) П
П aff С/ CZ С/ CZ С/. Это значит, что у е ri С/. Следовательно, liU а nU.
Докажем обратное включение. Возьмем ш е ri С/. Тогда существует такое 8 > О,
что 0(w, 8) naff C/czC/.
Возьмем какую-либо точку v^tiU и положим wk = w + X{w — v)
(А, е R). Поскольку и J ш е af f С/ = aff U, то wk е aff U при всех Я. е R.
Кроме того, существует такое Я.о > О, что wx^O{w, г) для всех А,(|А,| ^
^Хо). Следовательно, w%^0{w, г) {\ diil U а U {\Х\ ^ Х^), Из выражения
л
для W}, следует, что ш = ш^^ + — (v — w^. Возьмем здесь | X \ столь малым,
1 — X
чтобы —А,о< А, < О и а= {—X)l(i — X) =| Х\1{\_+ \Х\) е (О, 1).
Согласно теореме И тогда ш е ri СТ;. Это значит, что ri C/cz ri U. Тем самым
установлено, что ri С/ = ri и. __ _
Далее, так как nU а U, то nU cz U. Возьмем любую точку iz е С/ и
у е ri С/. По теореме И Ua = и + a{v — и) ^ п U при всех а е (О, 1],
причем UoL-^u при а-^0. Следовательно, rz ^ ri t/. Это значит, что U cztIU,
Таким образом, показано, что U = liU,

162 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Некоторые другие свойства выпуклых множеств будут
рассмотрены ниже. _
Упражнения. 1. Пусть_ U — некоторое множество из ^^, U —
замыкание множества U, Если U выпукло, то можно ли утверждать, что U
также выпукло?
2. Существует ли невыпуклое множество, удалив пз которого одну
точку (или несколько точек), можно получить выпуклое множество?
Рассмотреть пример и = {и= {х, у) ^Е^: х^О, у^О, х + у <С i} {] {{О, 1)} (J
и {A,0)}.
3. Показать, что равенство riU = riU для невыпуклых множеств,
вообще говоря, неверно (рассмотреть круг с^ыколотым центром).
4. Доказать, что если А а В, то А а В, int Л cz int В, но, вообще говоря,
не будет включения liAczTiB даже для выпуклых А и В. Рассмотреть
пример В — куб в Е^, А —- одна из его граней.
5. Если А—выпуклое множество из Е^, то aff Л = aff(riЛ).
Доказать.
6. Доказать, что размерность множества U совпадает с максимальной
размерностью симплексов, содержащихся в U. _ __
7. Если А, j9 —выпуклые множества из Е^, то Л + j9 с: Л + j9, ri^-f-
+ rij9 = г1(Л + j9), Ti{XA)=XviA для любых действительных чисел Л.
Доказать.
8. Доказать, что если А, j9 —выпуклые множества пз Е^, riA f\TiB^
Ф0, то viA{\viB = ri {А{\В). Существенно ли здесь требование viA {]YiB Ф
ф 0? Рассмотреть пример А = {и = (х, у) ^Е^: х "^ 0}, В = {и =
= {х, у) ^Е-: х^ 0}.
9. Если и — открытое множество, то со U открыто. Доказать.
10. Доказать, что со {А -f ^ = со Л + со j9.
И. Доказать, что со С/= со С/, где со С/— пересечение всех выпуклых
замкнутых множеств, содержащих U.
12. Доказать, что вершины щ, щ, ..., Пщ т-мерного симплекса Sm =
= Sm{uo, wi,..., Um) являются его угловыми точками (см.
определения 9, 3.2.1).
13. Доказать, что аффинная оболочка множества U состоит из точек
вида aiui + ... + amUm при всевозможных ui, ..., Um^ U, tti —
действительные числа (i = 1, ..., т), ai + ... + а^ = 1, и только из них.
14. Пусть Л, j9 —выпуклые замкнутые множества из ?^^, причем хотя бы
одно из них ограничено. Доказать, что тогда А -\- В — выпуклое замкнутое
множество. Будет ли Л + ^^ замкнутым, если Л, j9 не ограничены?
Рассмотреть пример А = {а = {х, у, z) ^ Е^: х = z = О, у ^0}, В = {Ъ =
= {X, у, Z) е Е^: х^ + у^^ 2yz, у ^ 0}.
§ 2. Выпуклые функции
1. В гл. 2 были рассмотрены некоторые свойства выпуклых
функций одной переменной. Здесь мы продолжим изучение
свойств выпуклых функций многих переменных.
Определение 1. Функция J (и), определенная на
выпуклом множестве С/, называется выпуклой на этом множестве, если
J(au + {i~-a)v)<aJ{u) + {i-a)J{v) A)
при всех и, v^U, всех а @<а<1). Если в A) при и Фи
равенство возможно только при а = 0 и а = 1, то функция J {и)
называется строго выпуклой на U, Функцию J {и) называют

§ 2] ВЫПУКЛЫЕ ФУНКЦИИ 163
вогнутой {строго вогнутой] на выпуклом множестве С/, если —J(u)
выпукла [строго выпукла] на U,
Если множество U пусто или состоит из одной точки, то
функцию на таком множестве нам будет удобно считать
выпуклой (или вогнутой) по определению. Подчеркнем также, что
всюду, если не оговорено противное, будем рассматривать лишь
функции, принимающие конечные значения во всех точках
области определения.
Примерами выпуклой функции на всем пространстве Е""
служат линейная функция J{u)=<c, иУ и норма J{u)= \и\. Кстати,
линейная функция J{u)={c, и> одновременно является и
вогнутой на Е"^.
В теореме 1.5 было показано, что выпуклое множество U
corn /
держит выпуклые комбинации 2 ^-i^^i I ai^О, i = 1,..., ттг,
г=1 \
2 осг = 1 I любых своих точск z^i, ..., Um при любых ттг = 2, 3, ...
Пользуясь индукцией по той же схеме, какая была использована
при доказательстве теоремы 1.5, нетрудно показать, что для
любой выпуклой функции ]{и) на выпуклом множестве имеет
место неравенство Иенсена
G71 \ m
2 ЩЩ < 2 ^iJ i^i) B)
г=1 ! г=1
для любых 7?г = 1, 2, ..., любых щ^Т], ai>0 (i = l, ..., rn),
т
2^1= 1.
i=l
2. Как и в случае выпуклых функций одной переменной,
выпуклые функции многих переменных на выпуклом множестве
не могут иметь локальных минимумов. Точнее, верна
Теорема 1. Пусть U—выпуклое множество, а функция
J {и) определена и выпукла на U. Тогда всякая точка локального
минимума J {и) одновременно является точкой ее глобального
минимульа на U, причем множество
и.^ = fu: u^:U, J (it) = /:{- = inf / {u)\
выпукло. Если J {и) строго выпукла на С/, то U^ содержит не
более одной точки.
Доказательство. Пусть и^ — точка локального
минимума функции J [и) на множестве С/. Это значит, что существует
окрестность 0{и^, г) = {и: \u — u^\<Z е} точки и^ такая, что
J{u.^)^J{v) для всех и^О{и^, г) f] U. Возьмем произвольную
точку и^и я число а > О, столь малое, что ос\и — и^\<С.^-
Тогда и^ + а{и — и^)^0{и^, e)nt^j п с учетом выпуклости функции
J {и) имеем J {U:^)^J{u^ + ее {и—u^))^J{u:^) + а {J {и) —J {и^))

164 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
ИЛИ О ^ а (/ (гг) — / (t^«)). Сокращая на а > О, отсюда получаем
J{u)^J{и^) при любом и^и. Следовательно, u^^U^.
Пусть теперь и, v^ С/^, т. е. J (и) = J (v) = /^ {и, и е U).
Тогда
/^ < / (агг + A — а) i;) < а/ (i^) + A — а) / (i;) - /^, C)
т. е. J(аи + A — a)v)=J^ при всех а (О^а^ 1).
Следовательно, аи + A — а) у е С/^ (О ^ а ^ 1). Выпуклость U^ доказана.
Если u?=v^ то для строго выпуклых функций неравенства
C) не могут обратиться в равенства при 0<а<1.
Следовательно, строго выпуклая функция может достигать своей
нижней грани на выпуклом множестве не более чем в одной точке.
Примеры 1.11.1, 1.11.3—1.11.5 показывают, что у выпуклых
функций множество U^ может быть пустым, может содержать
одну или бесконечно много точек.
3. Прежде чем переходить к формулировке критерия
оптимальности для выпуклых функций, остановимся на одном
характеристическом свойстве гладких выпуклых функций.
Теорема 2. Пусть U—выпуклое множество, функция
J{u)gC^{U), Тогда для того чтобы J {и) была выпукла на С/,
необходимо и достаточно выполнения неравенства
J{u)^J{и) + </' (^), U-V} y/u,v^ и. D)
Доказательство. Необходимость. Пусть J {и)
выпукла на и. Перепишем неравенство A) в виде
J(v + a{u-v))-J{v)^a[J{u)-J{v)l O^a^l, и, u^U.
Применяя к левой части формулу конечных приращений B.3.2),
имеем
a<r{v + Qa{u-u)), и-иУ<а[1{и)-J{u)l O^G^l.
Деля обе части этого неравенства на а > О и устремляя а -^ +0,
с учетом гладкости функции получим требуемое неравенство D).
Достаточность. Пусть для некоторой гладкой функции
на выпуклом множестве выполняется неравенство D) при всех
и, v^U. Покажем, что тогда J {и) выпукла на С/. Возьмем
произвольные точки и, и^и ж число а (O^a^l). Положим Ua =
= (xu + {i — а)и. Из D) получим
J{u)—]{u^)>i]'{Ua), U—Ua),
J{v)-J{Ua)><r{u^), V-иаУ.
Умножим первое из этих неравенств на а, а второе — на 1 ~ а
и сложим. Получим aJ{u) + {i — a)J{u) —J{Ua,)> W{Ua), Ua>,
что равносильно неравенству A).
Неравенство D) имеет простой геометрический смысл. Как
известно [10, 160, 165, 233], гиперплоскость Г = {Aг, '^)е?"-**
гг+1.

§ 2] ВЫПУКЛЫЕ ФУНКЦИИ 165
и^Е""^ ^ = J{u)+ О'{v), u — v}} является касательной
плоскостью к графику функции '^ = J{u) в точке v. Поэтому
неравенство D) означает, что график выпуклой функции лежит не
ниже касательной плоскости к этому графику в любой точке
v^U (ср. с теоремой 1.8.4).
4. Следующая теорема, называемая критерием оптимальности
для выпуклых функций, дает необходимые и достаточные
условия минимума гладких выпуклых функций на выпуклом
множестве.
Теорема 3. Пусть U—выпуклое множество, J{u)^C^{U)
и пусть и^ — множество точек минимума J (и) на U, Тогда в
любой точке и^ е C/jj. необходимо выполняется неравенство
<ГЫ,и-и^}^0 У/и^и, E)
а в случае i/^eintC/ неравенство E) превращается в
равенство J' {и^) = 0. Если, кроме того, J {и) выпукла на U, то
условие E) является достаточным для того, чтобы и^ е U^.
Доказательство. Необходимость. Пусть и^ е U^.
Тогда при любых и^ U я а^[0, 1] с помош;ью формулы B.2.1),
определяющей градиент функции, имеем 0^/(^:5. + а (z^—i^^))—
— / {и^) = а </' (^55.), и — и^у + о (а) или
0<</'([г^), wu^y + о{а)/а, 0<а<1.
Отсюда при а-^+0 получим условие E). Если w^ е int С/, то
для любого е^Е"" найдется 8о>0 такое, что и =и^ + ге^и при
всех 8 (lel^eo). Полагая в E) и=^и^ + ге, получаем
8</'(гг^), е>^0 при всех 8 (|8|^8о), что возможно только при
</' {и^), е> = 0. В силу произвола е отсюда имеем /' {и^) = 0.
Заметим, что если и^ — граничная точка множества U, то
равенство /' {и^) = О может выполняться, может и не выполняться.
Например, если J{u) = u^, U = Ы^Е^: Ки<2}, тои^==1,
J' (и^) = 2 и условие E) в точке и^, конечно, выполняется. Если
ту же функцию J{u) = u^ рассматривать на отрезке U = {и^Е^:
0<и<2}, то и^ = О, /' (и^) = О, хотя и^ = О —граничная
точка и. Таким образом, условие E) является естественным
обобщением условия стационарности B.2.5) на задачи минимизации
гладких функций на выпуклых множествах U?=E''.
Достаточность. Пусть функция J{u)^C^{U) является
выпуклой на и, пусть для некоторой точки u^&U выполнено
условие E). Тогда из неравенства D) ji^iiv =^и^ получим
J {и) — J(и^) ^ </' {и^), и — и^у ^ О или J{u)'^J (и^) при всех
и^и, т. е. и^ е и^.
5. Сформулируем и докажем два критерия выпуклости для
гладких функций.
Теорема 4. Пусть U — выпуклое множество, J{u)^C^{U).
Тогда для выпуклости функции J {и) на U необходимо и доста-

166 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
ТОЧНО, чтобы
{Г {и) — /' (и), гг - г;> > о У/щ v^ U. F)
Доказательство. Необходимость. Пусть J (и)
выпукла на и. Тогда для любых и, v^U имеет место
неравенство D). Поменяв в D) переменные и л v ролями, получим
]{v)>J{u\+a'{u), v-иУ.
Сложив это неравенство с D), придем к условию F).
Достаточность. Пусть для некоторой функции /(и)s
^C^{U) выполнено условие F). Тогда с помощью формулы
конечных приращений B.3.2) для любых и, уеС/ и а^[0, 1]
имеем
а/ (и) + A — а) / (i;) — / {аа + A —- а) у) =
= a[J{u) — J (аи + A — а) v)] +
+ A — а) [J{v) — J{au + {i — ol) v)] =
1
== a J </' {au + A — a) i^ + t{u — au — A — a) i;)), и — au —
0
— A -- a) i;> dt + {i — (x)\ </' {au + {i — a)v + t {v — au—
0
— A — a) u)), v — au^{i — a) v} dt =
1
= a A — a) j </' (агг + A — a) i; + ^ A — a) {u — v)) —
0
— /' {au + A — a) i^ + ta {u — u)), и — v} dt,
или
a/ {u) + A — a) / (v) — / (агг + A — a) u) =
1
= a A - a) j </' (zi) - /' (z,), z, - z,} -^ dt, G)
0
где Zi = au + {i — a)v + t{i —a) {u — v), Z2 == au + {i — a)v +
-\-ta{u~-u). Из условия F) имеем О'{Zi) —J'{Z2), Zi — z^y^O
при всех t {0<t^l), Это значит, что правая часть G) и,
следовательно, левая часть G) неотрицательна при любом выборе
и, v^U, ае[0, 1], т. е. J {и) выпукла на U.
Заметим, что для функций одной переменной неравенство F)
равносильно неубыванию производной J'{u). Это значит, что
доказанная теорема 4 является естественным обобщением
теоремы 1.8.8 на случай гладких функцш! многих переменных.

§ 2] ВЫПУКЛЫЕ ФУНКЦИИ 167
Следующий критерий выпуклости обобщает теорему 1.8.9.
Теорема 5. Пусть U—выпуклое множество из Е"", J{u)^
^C^[U), Тогда для выпуклости J {и) на U необходимо и
достаточно, чтобы
а"{иI,1У>о (8)
при всех и^и и всех ^ = (^, ..., ^"), принадлежащих
подпространству L = Lin С/, параллельному аффинной оболочке
множества и {в частности, если iniU?=0, то (8) выполняется при
всех l^E"^^).
Доказательство. Необходимость. Пусть J (и)
выпукла на и. Пусть aff U = {и^ ?": Аи = 6}, где А — некоторая
матрица размера тХп, а Ь^Е"" (см. прил1ер 1.4). Тогда
подпространство L, параллельное aff С/, ил1еет вид L = {5&?": 4g =
= 0}. Далее, согласно теореме 1.10 YiU?=0, Возьмем
произвольные 1^/^, u^riU, Тогда А{и +г'^) = Аи +eA'g = Au = b, т. е.
гг + 8| е aff 4 при всех е.
По определению 1.10 относительно внутренней точки
множества найдется такое число 8о > О, что и + 8| ^ С/ при всех е
(lei ^8о). Поскольку для гладкой выпуклой функции
справедливо неравенство F), то из него с учетом формулы B.3.4) имеем
<Г{и + Е1) -Г(и), |>8 = </"(гг +981I, |>8'^0, O^G^l, или
</"(i^ + 98|)|, 1>>0 для всех 8 @<|8|^8о). Отсюда,
пользуясь непрерывностью ]" {и), при 8-^0 получим условие (8)
для всех u^iiU. Если и е C/\ri С/, то, как следует из
теоремы 1.10, существует последовательность {uJ^riC/, сходящаяся
к и. По доказанному iJ" {и^)\, |>^0 при всех |^Ь. Отсюда
при /с -> оо получим неравенство (8) и для точек и ^ C/\ri U.
Достаточность. Пусть J{u)^C^{U) и выполнено
условие (8). Возьмем произвольные точки и, v^U, Тогда \ = и —
— v^L. Пользуясь формулой B.3.4) и неравенством (8) при
I = 1г — у, получим
{Г (и)-Г (и), и ^ и} =
= {J"{v + Q{u — v)) {u — v),u — vy'^0 У/и, V ^: и.
Таким образом, для функции J (и) выполняется условие F). Из
теоремы 4 следует выпуклость J {и) на U.
Замечание 1. Если mtU?'0, то Ь = Е'' и условие (8)
должно выполняться при всех | ^ Е"", Следующий пример
показывает, что при int и = 0 условие (8) может и не выполняться
при каждом ^ е ?¦".
Пример 1. Пусть J{u) = x^ — y^, и = {и = {х, у)^Е^-: у = 0}.
Ясно, что J{u) выпукла на С/. По условие </''(ii)?, ^> = 2(|*)^—
~-2{1^^У>0 не выполняется, например, для | = @, 1). Здесь
intC/ = 0, aff C/=C/ = L.
Однако если требовать, чтобы условие (8) выполнялось лишь
для тех g, которые принадлежат подпространству, параллельному

168 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
affC/ (а не для всех g^^""), то теорема 5 остается
справедливой для любых выпуклых множеств t/^?". В этом случае
доказательство необходимости проводится по той же схеме, что и
выше, нужно лишь сначала рассмотреть точки и^тШ, а для
точек и ^ U\ri U воспользоваться последовательностью Ыт) ^
^ ri С/, сходяш;ейся к и. Доказательство достаточности остается
без изменений, так как вектор | = гг — i; при любых и, v ^U
принадлежит подпространству, параллельному aff U.
Замечание 2. Условие (8) представляет собой условие
неотрпцательности квадратичной формы
.^^ Я/у* Я/уУ
г,;=1
на ?". Имеется следующий простой алгебраический критерий
неотрицательности квадратичной формы [105]: для того чтобы
п
<4g, g> = 2 «ii§T > о при всех I = {1\ ..., ^^), необходимо и
достаточно, чтобы все главные миноры матрицы А = [aij] были
неотрицательны.
Напоминаем, что главными минорами матрицы А = [aij]
называются всевозможные определители
Ai„Au = det
1
где i^ii<i2<»».<ik^n (fe = l, ..., п). Симметричную
матрицу А называют неотрицательно определенной, если она
является матрицей неотрицательно определенной квадратичной
формы, и обозначают А^О, Отметим также, что неотрицательность
квадратичной формы О''{и)'Е,, |> равносильна тому, что
собственные числа 'ki{u), ..., Хп{и) матрицы J'' {и) (т. е. решения
уравнения det [/'"{и) —^/| = О, / — единичная матрица размера
пХп) неотрицательны при всех u^U.
Учитывая замечание 2, можно сказать, что условие (8)
является достаточно удобным средством проверки выпуклости
дважды гладких функций небольшого числа переменных.
Пример 2. Определим, при каких а, 6, с функция
J{u) = x^ + 2аху + Ъу^ + cz^
будет выпуклой на Е^, Здесь
Г (и) =
2 2а О
2а 2& О
О О 2с
]
Условие неотрицательности всех главных миноров этой матрицы
дает искомые условия на а, 6, с: 6 — а^ > О, с ^ 0.

§ 2] ВЬШУКЛЫЕ ФУНКЦИИ 169
Пример 3. Пусть
/ (и) = 1- {Ащ и} - <Ь, и), и G Е\ (9)
где А — симметричная неотрицательно определенная матрица
размера пХп, Ь е Е"". В частности, если Л = 2/ — единичная
матрица, 6 = 0, то J{u\= <м, иУ = \и\^.
Приращение функции (9) нетрудно записать в виде
J{u + h)'-'J{u) = {Аи — Ь, й> + у <'^'^' ^^ (^^^
при любых и, h^E"". Из A0) имеем
Г{и) = Аи-Ь, J''{u) = A.
По условию А>0. Отсюда и из теоремы 5 следует выпуклость
J {и) на Е'^, Согласно теореме 3 для того, чтобы функция (9)
достигала своей нижней грани на Е'^ в точке и, необходимо и
достаточно, чтобы и^ являлась решением линейной
алгебраической системы Аи = Ь, Указанная связь между задачей
минимизации функции (9) на Е"" и системой Аи = 6 с матрицей А'^0
лежит в основе ряда численных методов линейной алгебры
[4, 13, 54].
Пример 4. Пусть
J{u)=^\Au-b\\ и^Е^, (И)
где А — матрица порядка тХп, Ь е Е"". Покажем, что такая
функция выпукла на Е'^, Для этого вычислим ее производные.
Пользуясь следующей просто проверяемой формулой
<Ах, уУ = <х, А'^уУ, х^Е"", у^ ?^,
где А"^ — матрица, полученная транспонированием матрицы А^
нетрудно представить приращение функции A1) в виде
J{u + h) — J{и) = 2{A'^{Au — b), h) + •jBA^Ah, h}
при всех щ h^E"". Отсюда имеем
Г{и) = 2АЦАи-Ь), J''{u)==2A^A.
Но 0''{u)l, |> = 2<Л^Л|, |> = 2<Л|, А1У = 2\А1\'>0 при всех
^^?'^ в силу теоремы 5 функция A1) выпукла на Е"".
Согласно теореме 3 для того, чтобы функция A1) достигала
своей нижней грани на Е"^ в точке и, необходимо и достаточно,
чтобы и удовлетворяла системе линейных алгебраических
уравнений
А'^Аи^А^'Ь.

170 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
6. Посмотрим, как влияют на выпуклость сложение,
умножение на число и некоторые другие операции над выпуклыми
функциями. Легко доказывается
Теорема 6. Если функции Ji{u) (i = l, ..., 7п) выпуклы
на выпуклом множестве, то функция
J{u)=^aiJi{u)+ ... + amJm{u)
выпукла на этом множестве при любых ai'^O (^^l, . •., ^).
Теорема 7. Пусть Л-{и) {t^I) — произвольное семейство
функций, выпуклых на выпуклом множестве С/, пусть
J (и) = sup Ji {и), и е и.
г=1
Тогда функция J {и) выпукла на U,
Доказательство. Возьмем произвольные точки и, v^U
и числа ае[0, 1], 8>0. Положим Ucx. — au + {l —a)v. По
определению верхней грани найдется индекс i = i{E, а)^1 такой,
что J{Ua) — s^Ji{uo,). С учетом выпуклости Ji{u) тогда имеем
J{u^) < Л(гга)+ 8 ^ aJi{u) + {i - a)Ji{u)+s <
<aJ{u) + {i-a)J{v)+s
или J{ua)<aJ{u) + {i —a)J{v)+г при любом 8 > 0. Отсюда при
8-^+0 следует выпуклость J (и), что и требовалось.
Следствие 1. Пусть функция g{u) выпукла на выпуклом
множестве U. Тогда функция
g'^{u) = mdLx{g{u); 0)
выпукла на U,
Теорема 8. Пусть функция (p{t) одной переменной
выпукла и не убывает на отрезке [а, Ъ\ {возможность а = —оо или
b = оо здесь не исключается), пусть функция g{u) выпукла на
выпуклом множестве U^E"", причем g{u)^{a, Ъ\ при всех u^U,
Тогда функция
/(ц) = ф(^(и))
выпукла на U.
Доказательств о. Возьмем произвольные и, v^U и а&
^ [О, 1]. Тогда
J{au + {i — a)i;) =
=-q){g{au + {l~-a)v))^(p{ag{u) + {i~a)g{v))^
<a^{g{u)) + {i-a)^>{g{v)) = aJ{u) + {i-a)J{v),
что и требовалось.
Иногда удобнее пользоваться другим вариантом этой
теоремы: если функция ф(;^) выпукла и не возрастает на отрезке
[а, Ь], а g{u) вогнута на выпуклом множестве U^E"", g{u)^
*s[a, b] при u^U, то функция J{u) = q){g{u)) выпукла на С/.

ВЫПУКЛЫЕ ФУНКЦИИ
171
Следствие 1. Если функция g{u) выпукла и
неотрицательна на выпуклом множестве С/, то функция
H'^)-ig{u)y
выпукла на U при всех р ^ 1.
Следствие 2. Если функция g{u) выпукла на выпуклом
множестве С/, то функция
J{ul={msix{0; g{u))y = {§Ци)У
выпукла на U при всех р ^ 1.
Следствие 3. Если функция g{u) выпукла на выпуклом
множестве t/, причем g{u)<0 при всех u^U^ то функции
j{u) = ~l/g{u), /(i^) = max{-ln(-g(i^)); OK р>1,
выпуклы на и.
Как увидим ниже, функции, указанные в следствиях к
теоремам 7, 8, будут использованы при описании различных
методов минимизации (например, в методах штрафных и барьерных
функций и др.).
7. Выпуклые функции являются удобным средством задания
выпуклых множеств. Это связано с тем, что надграфик всякой
выпуклой функции является выпуклым множеством.
Определение 2. Надграфиком (или эпиграфом) всякой
функции J{u)^ определенной на множестве U^E""^ называется
множество (рис. 4.5)
epi/=={(i^, ^)^Е^^': u^U, ^>J{u)}.
Теорема 9. Для того чтобы функция J {и), определенная
на выпуклом множестве С/, была выпуклой на С/, необходимо и
достаточно, чтобы ее надграфик был
выпуклым множеством.
Доказательство.
Необходимость. Пусть функция J {и) выпукла на
выпуклом множестве С/. Возьмем две
произвольные точки Zi=-{Ui, ^i)? ^2 = (i^2, Ъ)^
^ epi J и составим их выпуклую
комбинацию Za = azi + A — ее) ^2 = {aUi + A —
— a)u2, aYi +A — 0^O2) @<a^l). Из
выпуклости и следует, что Ua = aui +
+ (i — a)u2^U, Из выпуклости функции
J {и), учитывая, что Zi, ^2^ epi/, имеем
— a)J{u2)^ aYi + (l — аO2. Следовательно,
а^[0, 1]. Выпуклость epi/ доказана.
Достаточность. Пусть epi / — выпуклое множество.
Возьмем произвольные Ui, Uz^U и а ^ [О, 1]. Тогда z^ =
= (ui, /(z/i)), Z2 = {u2, /(u2))^epi/. В силу выпуклости epi/
(Надграфик)
J{ua) <aJ{u,) + A-
Za ^ epi / при всех

172 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
точка Za = aZi + {i — a)z2^ei^iJ. Это значит, что а1{щ) +
+ {l — a)J{u2)<J{aUi + (i — a)u2). Выпуклость J{u) доказана.
Теорема 10. Пусть U — выпуклое множество^ а функция
J{u) выпукла на U, Тогда множество М{с) = {и: u^U, J{u)^
^ с} выпукло при любом с.
Доказательство. Возьмем произвольные и, v^M{c),
а^[0, 1]. Используя выпуклость множества U и функции J {и),
имеем J{au + {l—a)v)^aJ{u) + {i — a)J{u)^c, т. е. а1г + A —
— a)v^M{c), что и требовалось.
Заметим, что обратное утверждение здесь неверно: из
выпуклости множества М{с) при любом с, вообще говоря, не следует
выпуклость функции J{u\, Например, множество М{с) = {и: и^
^Е\ и^^с} выпукло при любом с, а функция J{u) = u^
невыпукла на Е^ (см. упражнение 33).
Теорема 11. Пусть Uq — выпуклое множество, функции
gi{u) {i = i, ..., т) выпуклы на С/о, а gi{u)=iai, иУ — Ъг {i^
= m + l, ..., s), где ai — заданные векторы из Е"", bi — заданные
числа (i = m + 1, ..., s), Тогда выпукло множество
и={и: и^ С/о, gi{u)<0, j= 1, ..., т; gi{u) = 0,
i==m+l, ..., 5}. A2)
Доказательство. В силу теоремы 10 множество Ui =
= {и: u^Uq^ gi{u)<,0} выпукло при всех i=l, ..., т. Выпукло
также множество М = {и^ Е"": ia^ иУ — bi = 0, i = m + i, ..., s} —
см. пример 1.4. Тогда множество A2), являющееся пересеченпем
выпуклых множеств C/i, ..., С/^г, М^ само будет выпуклым.
8. Рассмотренное в теореме 3 условие оптимальности сформулировано
для непрерывно-дифференцируемых функций. Однако аналогичное
условие можно получить при гораздо меньших ограничениях на функцию,
используя лишь суш;ествование производных по направлениям. Напоминаем,
что производной функции J (и) в точке и по направлению е (\е\ =1)
называется чпсло
dJju) __ j.^ J{u+te)~J{u) ^^2j
de f-»+o i
Заметим, что для определения производной по направлению в точке и
нужно, чтобы и -\- te принадлежало области определения J (и) при О ^ ^ ^ fo
хотя бы при малом to > 0.
Определение 3. Пусть U — некоторое множество из Е^, пусть
и ^ и. Направление е Ф О называется возможным в точке гг, если суш;ест-
вует число fo > О такое, что u-\-te^U при всех ^ (О ^ f ^ ^о). Иначе
говоря, достаточно малое перемеш;ение из точки и по возможному
направлению не выводит за пределы множества U.
Очевидно, если и е int С/, то любое направление е Ф^ является
возможным в этой точке. В граничных точках множества возможное
направление может и не сущ;ествовать.
Пример 5. Пусть U = {х = (х, у) ^ Е^: д; ^ О, х^ ^у ^2х'^}.
Нетрудно видеть, что в граничной точке (О, 0) нет ни одного возможного
направления.
Для выпуклых множеств С/, содержащ;их не менее двух точек,
приведенная в примере 5 ситуация невозможна: в любой точке и такого выпук-

§ 2] ВЫПУКЛЫЕ ФУНКЦИИ 173
лого множества U имеется хотя бы одно возможное направление, причем
направление е Ф^ будет возможным в точке и тогда и только тогда,
когда существуют точка v ^U {v Ф и) и число f > О такие, что е = 'у(у — и).
Таким образом, если функции J (и) определена на множестве С/, а
направление е(\е\ =1) является возможным в точке u^U, то функция
f(t) =J{ii + te) определена на отрезке [О, to], где fo > О, и dJ[u)lde =
== Г(+0) —правая производная f(t) в точке t = О,
Заметим, что если функция J (и) определена в некоторой Е-окрестно-
сти точки и и дифференцируема в этой точке, то J (и) имеет производные
по всем направлениям, причем
dJ (и)
-^ = </'(^), е>, \e\ = i A4)
(ср. с B.3.1) при t-^ + 0). Однако обратное неверно: из того, что
функция в некоторой точке имеет производные по всем направлениям, вообще
говоря, не следует ее дифференцируемость в этой точке, и более того,
нельзя гарантировать даже ее непрерывность.
Пример 6. Пусть
[о, и = (О, 0) = 0.
Возьмем произвольное направление е = (cos а, sin а). Тогда
JiO + te) — J @) 1 cos^ а sin а
7 ^-г J (t cos а, t sin a) = —о 1 о—, i > 0.
t t t cos a + sin 06
Отсюда имеем
dJ (Q) j cos^ g/sin ОС, sina=H=0,
_ (cos" cc/sina,
lo,
de [0, sincc = 0.
Однако эта функция разрывна в точке гг = 0. В самом деле, устремим точку
и = (х, у) к нулю по параболе у = х^. Тогда J(x, х^) ^ 1/2 ¦/>¦ 7@, 0) = 0.
Таким образом, требование существования производных по
направлению существенно менее жесткое, чем требование дифференцируемости.
В связи с этим представляет интерес получить условия оптимальности в
терминах производных по направлению.
Теорема 12. Пусть U — выпуклое множество, U^—множество
точек минимума функции J (и) на U, пусть в точке u^^U функция J (и)
имеет производные по всем возможным направлениям. Тогда необходимо
выполняется условие
dJ (uj)
4ir>^ A5)
для всех возможных направлений е(\е\ =1) в точке и^. Если, кроме того,
функция J{u) выпукла на U, то условие A5) достаточно для того, чтобы
и^ ^ и.
Доказательство. Необходимость. Пусть щ ^Uж е (\е\ =
= 1) — возможное направление в точке и^. Тогда J (и^ + te) "^ J (и^) или
(J (и^+te) — J {u^))/t'^0 при всех достаточно малых ^ > 0. Отсюда при
/-> + 0 получим условие A5).
Достаточность. Пусть 7(гг) — выпуклая функция на U, пусть в
некоторой точке гг^ е С/выполняется условие A5). Возьмем любую точку
и ^и (иф и^) и положим е = (и — i^^)/| и — и^\. Направление в —
возможное в точке W;j:, так как u^-{-te^U при всех t (p^t^t^ = \и—и^\,
t^ > 0). Из условия A5) тогда имеем f (+0) ^ О, где f {t) = J (и^ + te).

174 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Ниже в теореме 13 будет показано, что f(t) выпукла на [О, to]. Из
неравенства A.8.5) тогда следует,что f(t) —/@) ^f(-\-0)t или f(t) ^/@) при всех
/ е [О, to]. В частности, при t = t^ = \u^u^\ отсюда имеем J (и)"^/ {и^),
что и требовалось.
В частности, если в точке щ существует градиент J' {и^), то для е~
= {и — и^)/\ и — и^\ (и ^Uy ифи^) согласно формуле A4) имеем
/ (u^)lde = </' (щ), и — и^}/\ и — и^\, ив этом случае условие A5)
превращается в условие E). Таким образом, теорема 12 является
обобщением теоремы 3 на существенно более широкий класс функций. Более того,
условие A5) является наиболее естественным для класса выпуклых
функций. Дело в том, что, оказывается, всякая выпуклая функция в любой
внутренней точке множества имеет производные по всем направлениям. Это
вытекает из следующих двух теорем.
Теорема 13. Пусть U—выпуклое множество, функция J (и)
определена на и. Для того чтобы J{u) была выпуклой на U, необходимо и
достаточно, чтобы для любой точки и ^ и и любого возмооюного направления е
в точке и функция f(t) = J(u -{- te) одной переменной t была выпукла на
отрезке [а, Ь], где а = iiii{t: u + te^U}, Ь = sup{f: и + te ^ U} {ясно,
что а ^ О < й; если и -\- ае ^ U или и-\- Ъе фТ!, то функцию g(t) не
следует рассматривать соответственно при t = а или t = b).
Доказательство. Необходимость. Пусть J(u) выпукла
на и. Возьмем произвольную точку и ^U, какое-либо возможное
направление е в этой точке и составим функцию f(t) = J (и -\- te) (а ^ г ^ Ь). Пусть
fi, ^2 — произвольные точки из [а, Ь] и ае[0, 1]. Тогда f(at\ + A—а) ^2) =
= J(a{u-}- tie) + A —a)(i^ + t2e)) ^ aJ{u-\- tie) + A — a)J(u + tie) =
= af{ti) + A — a)/(^2), что и требовалось.
Достаточность. Пусть для всех и ^ U и всех возможных
направлений е в точке и функция f(t) =J(u-\-te) выпукла на соответствующем
отрезке [а, Ь]. Возьмем любые точки и, v ^U и положим е = и — и — это
возможное нанравление в точке и, так как и -\- t{u — и) ^ U при О ^ ^ ^ 1.
Тогда из выпуклости f{t) = J{u -f te) получим J(av -f A — a)u) = /(a) =
= /(a.l+ A —a)-0) <a/(l) + (l~a)/@) = aJ(u) + (i — a)J(u) при
всех a e [0, 1].
Теорема 14. Пусть U—выпуклое мнооюество, функция J(u)
выпукла на и. Тогда в любой точке и ^viU функция J {и) имеет производные по
всем направлениям е е Lin U. В частности, если int U ф 0, то в точке и е
е int и существуют производные функции J(u) по всем направлениям е ^
e^^ \е\ = 1.
Доказательство. Зафиксируем какое-либо направление е ^
е Lin С/ (|е| = 1) и точку и^тШ. Согласно определению 1.10
существует 8-окрестность О {и, г) = {v ^ Е^^: \v — u\ < е} точки и такая, что
пересечение О {и, г) П af f С/ целиком принадлежит U. Учитывая, что —е также
принадлежит Lin С/, можем сказать, что u + te^U для всех t {\t\ ^to,
0<^о<е). Это значит, что функция j(t) =J{u-{-te) определена на
отрезке {—to, to] и согласно теореме 13 она выпукла на этом отрезке.
Поскольку ^ = О — внутренняя точка отрезка [—^о, ^о], то по теореме 1.8.2
существует
/' (+ 0) = lim /(^)-/W _ ип, J{u+te)~J(u) _ dJ{u) ^
t^+o t f^+o i de
Если и ^:U \y\U, to в такой точке у выпуклой функции производные
по возможным направлениям могут и не существовать — об этом
свидетельствует пример 1.8.2.
9. Приведенный выше пример 6 показывает, что существование
производных по всем направлениям не гарантирует непрерывности функции.
Но для выпуклых функций такая ситуация, оказывается, невозможна.

§ 2] ВЫПУКЛЫЕ ФУНКЦИИ 175
Теорема 15. Пусть множество U выпукло и iniU ф 0, Тогда
выпуклая функция J(u) во всех внутренних точках множества U непрерывна.
В частности^ функция^ выпуклая на всем пространстве Е^^ непрерывна во
€сех точках.
Доказательство. Возьмем произвольные u^miU и 8 > 0. По
определению внутренней точки существует число б >» О такое, что и +
-\-h^U, u + nh'ei^U для всех h= (h\ ..., /i^), \h\ < бДг; здесь ei =
= (О, ..., О, 1, О, ..., 0) (i = и ..., п) —базис в Е"", Поскольку по
теореме 14 функция J(u) в точке и имеет производные по направлениям е^, то
она непрерывна в этой точке по направлениям а (i = 1, ..., п). Поэтому
можно взять число б столь малым, чтобы \J(u + nh^ei) — J(u)\ <8 при
всех h (\h\ < 6М, 1 = 1, ..., п). Тогда, пользуясь неравенством B),
получаем
J(u4-h) — J(u) = j\ J- У (и-\-пК^еЛ \ — J(u)^
[u + h)-~J(u) = j[ 1-2 {u + nh^e.)\-J{u):
<^^^{j{u-\-nh'e.)~J(u))<:,z A6)
ДЛЯ всех h (I/гI < б/'/г). В частности, для —/г, удовлетворяющих
неравенству |—^1 < бМ, из A6) следует J(u — h) —J(u) < 8. Но в силу
выпуклости 1(и) имеем J(u) = J((u +h)l2+ (и —h)l2) ^(J(u-\-h)+J{u — h))l2,
поэтому J (и) —J(u-\-h) ^J(u — h) —J(u) < 8. Отсюда и из A6) следует
\J{u + h) — J(u) I < 8 при всех h (\h\ < б/и).
Заметим, что если int С/ = 0, то, рассматривая лишь точки из aff U,
аналогично можно доказать непрерывность выпуклой на U функции во
всех точках и ^viU. В качестве базиса {ef}, участвующего в
доказательстве, в этом случае нужно взять базис подпространства Lin U. В точках и е
е и\т1 и выпуклая функция может терпеть разрыв — об этом говорит
пример 1.8.1.
10. Рассмотрим выпуклые функции на выпуклом множестве U,
принадлежащие классу C^'^{U) (см. определение 2.3.3), т. е. гладкие выпуклые
функции, градиент которых удовлетворяет условию
\J' (u) — J' (v)\^L{u~v) y/u,v^U, L = const >0. A7)
Для таких функций имеют место неравенства
0<</'(гО —^'(У), u-~vy^L\u — vf У/и, v^U, A8)
В самом деле, левое неравенство следует из теоремы 4, а правое — из
условия A7). Оказывается, эти два неравенства можно записать в виде
одного равносильного неравенства [29], полностью характеризующего класс
выпуклых функций из C^'^(U) с данной постоянной L ^ 0.
Теорема 16. Пусть U—выпуклое множество из Е^. Для того
чтобы функция J (и) из класса C^{U) была выпуклой и удовлетворяла
условию A7) с постоянной L, необходимо и достаточно, чтобы
1 /' {и) — /' {V) 1^ < L </' {и) —J' (V), и— V} \/и, V е и. A9)
Из A9) следует неравенство
</' {и) — /' (у), u—wy^-jL\u—wf yfu, v,w^U. B0)
Доказательство. Достаточность. Если выполняется
неравенство A9), то из него, во-первых, следует, что {Г{и) —/'(у), и — г;> ^ О
(и, v^U),H выпуклость J (и) гарантируется теоремой 4, и, во-вторых,
применяя к правой части A9) неравенство Коши — Буняковского и деля на

176 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
iJ'(u) —r(v)\, получаем условие A7). Из выпуклости 7{и) и условия A7)
имеем неравенства A8). Таким образом, из A9) следует A8).
Кроме того, из A9) имеем
</' (и) — Г (у), у - ш> == </' [и) - /' (у), U -- ш> — </' {и) - /' (у), и — y><
< </' (^) - /' (г), ^ - ш> - -^ I /' (^) - /' (^) 1^ = - I ^"'^' («^^ С^)-"^' (^))-
4-i^'^'(^-
W)
2 1 1
Неравенство B0) установлено.
Необходимость. Пусть функция J (и) выпукла и удовлетворяет
условию A7). Тогда, как было показано выше, справедливы неравенства
A8). Остается из A8) получить A9). Сначала рассмотрим случай, когда
Ыи= 0 и 1(и) G СЦи), Тогда
О < <Г (и) g, ^>< L II f Wu^U B1)
при всех I е Е^, В самом деле, из неравенств A8) с помощью формулы
B.3.4) в случае и е int U имеем
О < {Г{и + г1) ~ Г (и), €?> = г\Г(и + вгЩ, |> ^ ЬЩЧ^
или 0^ <ГAг + ее|)|, gXL|g|2 (О < О < 1) для всех 8 (|е|<ео,
ео>0). Отсюда при 8->+0 получим B1) для точек u^intU. Если и^
е Гр С/, то оценка B1) доказывается с помощью предельного перехода от
внутренних точек так же, как это делалось при доказательстве теоремы 5.
Далее, пользуясь формулой B.3.5), имеем
1
J' {u + h) — J' (u)-^Ah, А=^ J'' {u+th)dt, h=u—u, B2)
о
Разумеется, матрица А зависит от м, у, но эту зависимость мы для
краткости не будем явно указывать. Согласно B1) О ^ </''(i^ + ^Д)|, |>^L|||2
(О ^ ^ ^ 1), откуда, интегрируя по t, получаем
0<<Л|, g><L|||2, 1^Е\ B3)
Таким образом, симметричная матрица А неотрицательно определена.
Тогда существует симметричная неотрицательно определенная матрица А^^^
такая, что (А^^^)^ = А [93, 164]. Пользуясь оценкой B3) при ^ = A^^^h,
с помощью формул B2) имеем
\Г(и)—Г(и)\'-= {Ah, Ah} = <ЛЛ1/2Д, ^1/2д> ^L\A^^4i\^ =
^ L{Ah, h} =Ь{Г(и)—Г(и), u—vy.
Неравенство A9) доказано при дополнительных предположениях mXU Ф 0
и J{u) ^СЦи).
Наметим схему доказательства для случая, когда int U ф 0, ио 7(и) ^
^0{U). Построим последовательность функций {Jk(u)} (и ^ U) и
последовательность {Uk} строго внутренних и выпуклых подмножеств
множества и таких, что и — и U^, Uk с: Uk+\ (/с = 1, 2, ...). Для всех ^ ^ 1 и
всех т^к функция Jrn{u) выпукла на Uk, Jm(u) ^ C^(Uh), \^т(^)~
— «^m (^) 1 ^ ^ 1^ ~ ^ 1 Д*^^ любых и, и^ С/^, lim /^ (и) = / (и), lim /^ (и)=:
= /' (и) при всех u^Uk.B силу доказанного тогда | /^ {и) — /^ (v) р ^
< L ^/^ (и) — J^n^^)^ ^ ~~ ^) °Р° ^^^^ и, и ^Uk я всех т'^к. Отсюда при

§ 2] ВЫПУКЛЫЕ ФУНКЦИИ 177
m->cx> получим неравенство A9) на множестве Uk. Далее, при к-^оо
убеждаемся в справедливости A9) для всех и, v ^ int U. Наконец, для
граничных точек множества U неравенство A9) доказывается с помощью
предельного перехода от внутренних точек.
Как построить упомянутые последовательности {Uh} и {Jh(u)}l В
качестве {Uh} может быть взята последовательность подмножеств всех
внутренних точек множества С/, удаленных от границы U на расстояние не
менее чем Збй, где lim б^ = О, 6а > fi^+i > О (А; = 1, 2, ...). В качестве Jh(u)
могут быть взяты средние функции Стеклова — Соболева [233], например,
^h (^) ""У ("^) ^k ("^ ~~ ^) ^"^' ^h (") = б^''>«""^оз (I и 1 б^^),
где (о(г) = ехр{—1/A — г^)} при |г| < 1, (о(г)=0 прп |г| > 1, х =
1
= I со (г) ^г и функция J {и) вне U доопределена тождественным нулем.
—1
Если int и = 0, то аналогичные построения надо провести в ri U.
11. Остановимся на одном замечательном свойстве выпуклых множеств,
задаваемых ограничениями g(u)^c, где g{u)—выпуклая функция.
Теорема 17. Пусть Uo — непустое выпуклое замкнутое множество из
Е^, функция g(u) выпукла и полунепрерывна снизу на C/q, пусть
М(с) = {и: U G С/о, g{u) ^ с}.
Тогда для ограниченности множества М(с) при каждом с необходимо и
достаточно, чтобы при некотором а множество М{а) было непустым и
ограниченным.
Доказательство. Необходимость. Она очевидна.
Достаточность. Пусть М{а)Ф0 и это множество ограничено.
Поскольку М(с) CZ М(а) при всех с ^ а, то М{с) ограничено при всех с ^ а
(пустое множество ограничено по определению). Остается рассмотреть
случай с '> а. Предположим, что при некотором с >> а множество М(с) не
ограничено. Заметим, что М(с) выпукло и замкнуто, что следует из
леммы 2.1.1 и теоремы 10.
Покажем, что существует вектор е ^ О такой, что и-\- te ^ М{с) при
всех f^O ж всех и^ М(с) (такое направление, задаваемое вектором е,
принято называть рецессивным направлением неограниченного выпуклого
множества).
Поскольку множество М{с) не ограничено по предположению, то
существует последовательность {uk}^M(c) такая, что \uk\-^ оо при к-^оо.
Возьмем какую-либо точку й^М(с) и построим вектор ek=iuk — u)y^
У, \uk — u\~^ (к = i, 2, ...). По теореме Больцано — Вейерштрасса из
последовательности {ей} можно выбрать подпоследовательность [^fe^},
сходящуюся к некоторому вектору е (|е| = 1).
Возьмем произвольное f < 0. Поскольку О <Z t/\uk — й\ < 1 при всех
к ^ ко, то в силу выпуклости М{с) имеем
u-\-te.= 1 =rr и.+ 1 — j =q- ]Z^M (с), к > к ,
Отсюда при кщ-^ оо получим й -\- te ^ М{с), так как М{с) замкнуто. В силу
произвольности ^>0 заключаем, что u+teciM(c) прп всех ^^0.
Теперь возьмем любую точку и е М{с) и покажем, что и-{- te ^^ М{с)
при каждом f^O. По доказанному й-{-\ке^М{с) (jx^O). В силу
выпуклости М(с) тогда _
L{u-\-\ie) + ii-L\u=u+te+ ^i^~-^) е М (с)

178 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
при всех II >t. Отсюда при |i->oo с учетом замкнутости М(с) получим
и + te ^М{с) при каждом t ^ 0.
Зафиксируем какую-либо точку v е M{a)czM{c). В силу построения
вектора е тогда и -\- te ^ М(с) (f^O). По условию множество М{а)
ограничено, поэтому луч {v + te, f^O} пересекает границу выпуклого множества
М{а) в некоторой точке, или, точнее говоря, найдется число ^о =
= sup{^: и + te ^М(а)} такое, что и + ге^ЛЦа) при всех ^ > ^о- Это
значит, что и + te ^Uo, но С^ g(v + te) > а"^ g{v) для всех t > ^о-
Зафиксируем какое-либо t > to. Тогда, пользуясь представлением
v+te=x(v+Le\ + {i-K)v, О < Ж 1,
И выпуклостью функции g(u), имеем giu + te) ^^Xgiv + (tlX)e)+
+ A - K)g(v), или g(v + (tlX)e):^ (g(v + te) -g{v))f% + g{u) @ < Я, <1).
Поскольку g(u + te) > g(u), то при К-^ + 0 отсюда получим g(v +(^Д)е)->
-^ оо. Тогда найдется число Я,о > О такое, что g{v + it/X)e) > с при всех Х
(О < Я < Я,с). С другой стороны, по построению вектора е имеем у-f-
+ (t}l)e ^М(с) пли g(v+ (tlK)e) < с при всех X (О < А, < 1).
Полученное противоречие доказывает теорему.
Отметим, что требование полунепрерывности снизу функции в
теореме 17 существенно (см. ниже упражнение 21).
12. Наконец, получим оценку снизу скорости роста выпуклой функции
для случая, когда множество точек ее минимума ограничено.
Теорема 18. Пусть J (и) — выпуклая функция на U = Е^, J^ =
= inf / (гг) >> — сх>, С/^ = (гг е Е^: J (и) = /^} Ф 0, причем U^ — ограни-
ценное множество, т. е, существует такое число Л >> О, что U^ а S^ =
= {м е Е^: \ и — и^\ <i Л/, где и^ — какая-либо фиксированная точка из U^,
Тогда lim / (гг) = оо и, более того, верна оценка
J{u)^\u-u^\'^*^~'^* +J^ Vu^S», B4)
где J^fi= inf / {и) > /*, T^f S^ = {и ^ E"^: \u--u^\ = В).
* usrps*
Доказательство. Возьмем любую точку и^ S^. Поскольку
v=u^ + ^ ''""''*. = т —г ^ + f 1 —г 1 W* е Гр 5*,
I ^ — "* I \и—и^\ V \и—и^\]
то с учетом выпуклости J (и) имеем
J^R < J И <^ ^—Т / (^) +( 1 - , ^-—\ J (^*).
Отсюда сразу получаем требуемое неравенство B4). Согласно теореме 15
функция J {и) непрерывна на Е"^, и в силу теоремы 2.1.1 на замкнутом
ограниченном множестве Гр S^n она достигает своей нижней грани хотя бы
в одной точке. Отсюда и из того, что замкнутые множества ?7* и Грб'* не
пересекаются, следует, что/^д>/^. Тогда из оценки B4) имеем, что
lim J (и) ~ оо.
Отметим, что для функции J (и) = \и\ {и ^ Е"") неравенство B4)
превращается в тождественное равенство. Это значит, что оценка B4) на
классе выпуклых функций является точной.

§ 2] ВЫПУКЛЫЕ ФУНКЦИИ 179
Некоторые другие свойства выпуклых функции и множеств будут
рассмотрены ниже.
Упражнения. 1. При каких а, Ь, с функция Ли) = ах^ + 2Ъху -\-
+ с7/- неременных и = (х, у) ^ Е^ будет выпуклой на Е^7 Вогнутой на Е^?
2. Найти области выпуклости и вогнутости функций J{u) =
= sin {х-\- у + z), J (и) = sin(a;2 -{- у^-{- z^).
3. При каких /?, q функция J (и) = х^уя. будет выпуклой (или вогнутой)
на множестве U = {и = (х, у) ^ Е^: х "> О, у > 0}? Аналогичное
исследование провести для функции J {и) == x^y'^z'' на U = {и = (х, у, z): х> О,
I/ > О, Z > 0}.
4. Если функция J (и) выпукла, то будет ли выпуклой функция |/(i^)|?
5. Если функция JLv) выпукла на Е^, а Л—матрица размера тУ^п,
то функция g(u) = J{Au) выпукла на Е^. Доказать.
6. Если /i(u), J2(u) выпуклы, то будет ли их произведение выпуклой
функцией? Рассмотреть пример Ji(u) = и, 72{и) = и^. Что изменится, если
от функций Ji(u), J2{u) потребовать неотрицательности? Или
монотонности?
7. Пусть функции Jh{u) выпуклы на выпуклом множестве U при всех
;^; = О, 1, ... и пусть существует предел lim J^{u) = J (и) или сходится
со
ряд 2 Jii(y) — J{^) при всех и^и. Доказать, что функция J (и) вы-
пукла на U.
8. Выяснить, когда в неравенстве B) возможно равенство, если J (и) —
строго выпуклая функция.
9. Доказать неравенства:
в) (^^+... + ^^)(a:-l+...+^-l)>;г.^ о:^ > О, ..., ^^ > 0.
Указание: воспользоваться неравенством B) для выпуклых
функций J (и) = —In и (м > 0); J(u) = w^ (и^О, n^i); J (и) = и-^ (и > 0).
Выяснить, при каких условиях в этих неравенствах возможно равенство.
10. Пусть функция J{u) (и^Е^) такова, что J(au + A — a)v) ^
^ а!(и) + A — a)J(v) при всех и, v ^ Е^, а ^ R. Проверить, что аффинная
функция 1(и) = <а, и} + b (а^Е"^, Ъ^Е^) удовлетворяет этому
неравенству. Существуют ли другие функции, обладающие этим свойством?
11. Для того чтобы функция J {и) была строго выпуклой на выпуклом
множестве С/, необходимо и достаточно выполнения неравенства D) (а в
случае J {и) ^C^{v) —неравенства F)), которое может обратиться в
равенство лишь при и = V. Доказать.
12. Доказать, что если С/ —выпуклое множество, J{u)^C^(U) и
неравенство (8) является строгим при всех | е Lin С/ A=7^0), то функция
J (и) строго выпукла на U. Верно ли обратное утверждение? Рассмотреть
пример J(u) = и^ (и^Е^),
13. Пусть ?7 —выпуклое множество, функция J (и) выпукла на U,
J (и) ^C^(U). Доказать, что тогда критерий оптимальности E) равносилен
неравенству </' {и), и — и^} ^ О при всех и ^ U,
14. Пусть J{u) —выпуклая функция на выпуклом множестве С/, J(u) е
^СЧи) и /* = inf / Aб) > — оо. Доказать, что для того чтобы некоторая
и
последовательность {uh} е U была минимизирующей, т. е. lim J (ii^A = J*,
необходимо и достаточно выполнения условия lim <^J' {uj^y и — Uj^y ^ О
при всех и^и (ср. с теоремой 3).

180 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
15. Пусть строго выпуклая функция 7(и) достигает на Е"^ своей
нижней грани. Доказать, что тогда lim J {и) = со.
Указание: воспользоваться теоремами 1, 18.
16. Пусть функция 7(и) выпукла и полунепрерывна снизу на
выпуклом замкнутом множестве U из Е^, /* > — «>, С^* =й= 0, причем U^ cz б'* =
= [ugU: \u— u^\<, R), где u^ —какая-либо фиксированная точка пз U^.
Тогда
J(u)'^\u-u^\ *R~'^*_j,/^ У/и^и, иф8^,
Н
ще / R = inf / (и) > /#, TipS^=={uGU: \и— и^\ = Л}. Доказать, поль-
* rps*
зуясь схемой доказательства теоремы 18.
17. Выпуклая функция, отличная от постоянной, может достигать своей
верхней грани на выпуклом множестве лишь в его граничных точках.
Доказать.
18. Для того чтобы функция 9(^jU)= ini \u — v\ была выпуклой
на Е^, необходимо и достаточно, чтобы замыкание множества U было
выпуклым. Доказать.
19. Пусть и — ограниченное множество из Е^, Доказать, что функция
6 (с, U) =^ sup <с, иу переменной с ^ Е'\ называемая опорной функцией
множества С/, выпукла на Е^.
20. Пусть и — выпуклое множество из Е^, О е int U, Доказать, что
функция fi {и, U) = inf а, Аи = {а: а > О, uja е t/}, называемая функ-
цией Минковского, выпукла на Е^,
21. Пусть и^ = {и= (X, у): о; > О, у^0} = Е"_^, Показать, что функция
.._р, ^>0, у>0 или 0<^<1, у==0,
U —1, 2:>1, у = 0,
выпукла и полунепрерывна сверху, но не является полунепрерывной
снизу на Uq. Убедиться, что множество М(с) = {и ^ Uq: g(u) ^ с} ограничено
при с = О и не ограничено при всех с "> О (ср. с теоремой 17). Показать,
что М(с) не замкнуто при каждом с '> 0.
22. Множество Uc = {и^Е"": gi{u) < с, i = 1, ..., m}, где gi(u)
—выпуклая функция на Е^, будет ограничено при любых с тогда и только
тогда, когда Uc ограничено хотя бы при одном значении с = cq. Доказать.
23. Пусть и — неограниченное замкнутое множество из Е^, Доказать,
что:
1) для любой точки и^и существует ненулевой вектор в такой, что
луч {и = и + te, t^O} ^ U;
2) если луч {и = V -\- te, f^O} ^U при некотором v ^U, то луч
{и = W -{- te, t "^0} ^ и при всех w ^ U. Показать, что требование
замкнутости и существенно для обоих утверждений, рассмотрев множество
и = {и= (х,у):0<х<1}[} {(О, 0)}.
Указание: воспользоваться рассуждениями из доказательства
теоремы 17.
24. Доказать, что функция
Ли)
10, г/ = о,
выпукла на множестве U = {и = (х, у): [/> 0} U {(О, 0)} и
полунепрерывна снизу на и. Убедиться, что J (и) не является полунепрерывной
сверху в точке Uq = (О, 0), и, более того, показать, что для любого числа Л ^ О

§ 3] сильно ВЫПУКЛЫЕ ФУНКЦИИ 181
существует такая последовательность {uk} е U, {uk} ->0, что lim J (иЛ =
= А.
25. Пусть и = {и ^Е'^: Аи ^ Ъ} — многогранное множество, функция
J (и) выпукла на U. Доказать, что J (и) полунепрерывна сверху на U,
26. Пусть функция J (и) выпукла и ограничена сверху на Е'^ =
= {и = {и^, ..., и^)^Ё^\ 1г^>0, ..., и^'^О}, Доказать, что J (и)
монотонна и не возрастает на Е^ по каждой переменной.
27. Доказать, что если выпуклая функция J (и) на Е'^ ограничена
сверху, то J (и) постоянна.
28. Пусть J (и)—выпуклая дифференцируемая функция на открытом
выпуклом множестве W из Е^. Доказать, что тогда градиент J (и) =
= (dJ(u)/du\ ..., dJ(u)/du'^) непрерывен на W,
29. Пусть J (и) —выпуклая функция на выпуклом множестве U из Е^.
Доказать, что J (и) удовлетворяет условию Липшица на каждом
ограниченном множестве F, замыкание которого принадлежит ri U.
30. Пусть J (и) —выпуклая функция на открытом выпуклом множестве
W из Е"^, Доказать, что J (и) почти всюду на W дифференцируема.
31. Пусть Uq — выпуклое замкнутое множество из Е^, g{u) —выпуклая
функция на Uq, и = {и^ Uq: g{u) ^ 0}. Пусть {ик} е Uq, {g{uk)}-^0.
Можно ли утверждать, что {p{uk, ?/)}->О? Рассмотреть пример Uq = {и =
= (х, у) ^Е':х^ 1}, g(u) = yVx, и^ = (к, Vr) (А: = 1, 2, ...).
32. Пусть f/ —выпуклое замкнутое множество из Е'^, J (и) —выпуклая
непрерывная функция на U, /*> — со, и^^Ф 0. Пусть ^и^^ е С/, |/ (^;^)}->-
->/:,?. Можно ли ожидать, что {р (^^, С^*))-^0? Рассмотреть пример U ==
=={и= (х,у)^Е-. x^i},J(u) =у^1х, Uf^=(k,Yk) (^- = 1, 2, ...).
33. Функция J (и), определенная на выпуклом множестве U,
называется квазивыпуклой на U, если /(au-j- A — а)г;) ^max{/(w); J(v)} прп всех
и, V ^ и, а ^ [О, 1]. Доказать, что J (и) квазивыпукла на U тогда и только
тогда, когда множество M(u)={u^U: J(u)^J{u)} выпукло прп всех
V ^ и (ср. с теоремой 10).
§ 3. Сильно выпуклые функцпп
1. Непрерывная выпуклая функция на выпуклом замкнутом
множестве может не достигать своей нижней грани на этом
множестве. Например, если J{u) = l/u, U = {u^E^: u^i), то Z^: =
= inf/(u) = 0, но ]{u)'>Q при всех u^U, Однако можно
выделить подкласс выпуклых функций, для которых подобная
ситуация невозможна.
Определенпе 1. Функция J{u)^ определенная на
выпуклом множестве U, называется сильно выпуклой на С/, если
существует постоянная х > О такая, что
J{au + {i^a)v)<aJ{u) + {i-a)J{v)-a{i-a)K\u-v\' A)
при всех и, v^U ж всех а @=^а^1). Постоянную х называют
постоянной сильной выпуклости функции ] {и) на множестве U,
Очевидно, сильно выпуклая на U функция будет выпуклой и
даже строго выпуклой на U. Примером сильно выпуклой функ-

182 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
ции на всем пространстве Е"" может служить функция
Для этой функции неравенство A) превращается в
тождественное равенство с постоянной х = 1:
\аи + {i- a)v\^ =^ a\uV + {i- a)\vV - а{\- a)\ii-vV B)
при всех и, v^E"", а^[0, 1]. Линейная функция J{u)={c, и>
выпукла на ?"", но не сильно выпукла. Упомянутая выше
функция J{u)=i/u при ц^1 выпукла, но не сильно выпукла при
u>i.
Нетрудно видеть, что сумма двух сильно выпуклых функций
на выпуклом множестве U будет сильно выпуклой функцией на
и с топ же постоянной к. Если J {и) сильно выпукла на С/ с
постоянной X, то g{u) = cJ{u) при любом с = const > о будет
сильно выпуклой на с/ с постоянной с>с.
Теорема 1. Пусть мнолсество U выпукло и замкнуто,
а функция J {и) сильно выпукла и полунепрерывна снизу на U,
Тогда:
1) множество Лебега
M{v)^{u: и^и, J{u)^J(v)}
выпукло, замкнуто и ограничено при всех v ^ U;
2) J^ = inlJ{u)> — оо, множество U^=^{u: u^U, J {и) =^
и
= /:j.} непусто и, более того, состоит из единственной точки и^;,
3) имеет место неравенство
у/\и — u^\-^J {и) — J {и^) Уи^^и; C)
4) любая минимизирующая последовательность {и^\ и^^Ь\
ft = 1, 2, ..., lim J {и^) == /jj,, сходится к точке и^.
Сформулированная теорема является обобщением теоремы
Веперштрасса 2.1.1. В отличие от теоремы 2.1.1, здесь на
функцию накладывается более жесткое ограничение, но зато от
множества и не требуется ограниченности. В частности, в теореме 1
возможно и^Е"".
Доказательство. Если множество U ограничено,
замкнуто, т. е. и компактно, то все утверждения теоремы 1, кроме
неравенства C), следуют из теорем 2.1.1, 2.10. Поэтому пусть
и — неограниченное множество. Возьмем произвольную точку
V ^и л рассмотрим шар
S^S{v, l)={u: u^U, \u-v\^i}.
Из теоремы 2.1.1 следует, что inf / (и) =/^s > — оо^ так что
S
J{u)>J^s = J{v)-v Угг е 5, V = / {v) - J^s>0. D)

§ 3] сильно ВЫПУКЛЫЕ ФУНКЦИИ 183
Возьмем произвольную точку u^U\S, т. е. w^U, \и — v\ > I,
Тогда
0<ao = l/k-i;|<l. E)
При а = ао из A) получаем
aoJ{и)> J{V + ао{и - V))-{i - ao)J{v) + ао{1 - ао)к\и- v\\ F)
В силу E) аок —i;|=l, поэтому v + ao{u — v)^S, Согласно
D) тогда/A; + ао(г^ —i^))^/(i;) — v. Учитывая эту оценку, из F)
получаем
ао1{и)> aoJ{v) — v + ао{1 — ао)к\и — и\^.
Отсюда, сокращая на ао > О п вспоминая определенпе E)
величины ао, получаем
J{u)>J{v) + {i-ao)x\u-v\'-v/ao =
= J{v)+7i\u-v\'-{\u-v\yK){U + v/yK).
Применяя к последнему слагаемому неравенство аЬ <(а^ + Ь^)/2,
будем иметь
J{u)>J{v)+x\u-v\y2-ii^ + v/W/2 G)
для всех u^U\S, Нетрудно видеть, что неравенство G)
справедливо и_при u_^S. В самом деле, если u^S, т. е. |гг —i^l ^1, то
V < (Ух+ v/yx)V2 —х|гг —1^172. Отсюда и из D) следует
справедливость G) и для и^ и.
Таким образом, неравенство G) имеет место для всех u^U,
Для любых и ^ М{v) из G) следует
к\и - vVI2-{1% + vl1%yi2 < J{u)-J{v)^0
или
I w — i; к 1 + v/x \/u^M {v).
Ограниченность M{v) доказана. Выпуклость M{v) следует из
теоремы 2.10, а замкнутость M(i;) —из леммы 2.1.1. Из теоремы 2.1.2
имеем /:{:>—-оо, [7^=7^ 0. Поскольку сильно выпуклая функция
строго выпукла, то в силу теоремы 2.1 множество U^ состоит из
единственной точки и^.
Докажем неравенство C). Учитывая, что J (u^)^J (и) при
всех и^и, из A) имеем O^J (аи + {I — а)щ) — J {и^)^
< а (/ (гг) —• / (и^)) — a{i -- а)к\и — щ\^, или а A —- а) х | гг —
— u^\^^a{J(и) — /(щ)) при всех а^[О, 1] и u^U. Деля на
а>0 и устремляя сб->-+0, отсюда получаем неравенство C).
Наконец, пусть {ггJ е ?/, limJ{uj^) = J^. Полагая в C) i^ =
fe-»oo
= Uu, получаем х | ^^ — гг^ Р < / {щ) — /* (/с = 1, 2, .. .)• Отсюда
при /с -^ оо следует, что | г^^ — щ\-^0.

184 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Замечание 1. При выполнении условий теоремы 1
утверждение о /*> —оо, и^ф0 остается верным для любого
замкнутого (необязательно выпуклого) подмножества ТУ^С/ —
это следует из замкнутости и ограниченности M(v) — {u\ u^W,
]{u)^j{v)} и теоремы 2.1.2.
2. Укажем критерии сильной выпуклости для гладких
функций, аналогичные теоремам 2.2, 2.4, 2.5. Сначала докажем одно
вспомогательное утверждение.
Лемма 1. Пусть U—выпуклое множество. Функция J (и)
сильно выпукла на U с постоянной сильной выпуклости % > О
тогда и только тогда, когда функция g{u) = J{u)—K\u\^
выпукла на и.
Доказательство. Необходимость. Пусть функция
J (и) сильно выпукла на С/, т. е. выполнено неравенство A).
Умножим равенство B) на % > О и почленно вычтем получившееся
равенство из A). Будем иметь неравенство, которое с помощью
функции g(u) можно записать в виде
g {аи + A —• а) уХ ag(и) + A — а) g(и) У/и, v^U, ее е [0^ 1].
(8)
Это значит, что g(u) выпукла на U.
Достаточность. Пусть функция g(и) выпукла на С/,
т. е. выполняется (8). Сложив (8) с равенством B),
умноженным на >с>0, придем к неравенству A). Это значит, что J {и)
сильно выпукла на U,
Теорема 2. Пусть U—выпуклое множество, J(u)^C^{U),
Тогда для того чтобы функция J (и) была сильно выпуклой на U,
необходимо и достаточно существования такой постоянной % > О,
что
J{u)^J{v) + {Г (и), u — v} + yi\u — v\^ У/и, v^U, (9)
Доказательство. Заметим, что для сильно выпуклой
функции Q(u)==\u\^ неравенство (9) превращается в легко
проверяемое тождественное равенство с постоянной % = 1:
\u\^ = \v\^ + {2v, u^vy + \u — v\^ y/u,v^U. A0)
Теперь нетрудно доказать, что условие (9) равносильно
неравенству
g{u)>g(v) + ig' {v), u-vy y/u,v^ U, A1)
где g{u)==- J {и) — kWV, g' {u) = J'{u) — 2'ku, В самом деле, если
умножить равенство A0) на % и сложить с A1), то получим
неравенство (9). И обратно: вычитая из (9) равенство A0),
умноженное на к, приходим к (И). Из равносильности неравенств
(9) и (И), из леммы 1 и теоремы 2.2 следует утверждение
теоремы.

§ 3] сильно ВЫПУКЛЫЕ ФУНКЦИИ 185
Теорема 3. Пусть U — выпуклое множество, J(u)^C^U).
Тогда для сильной выпуклости функции J {и) на U необходимо
и достаточно существования такой постоянной ji > О, что
</' {и) — Г {v), u^vy-^iilu — vW y/u,v^U. A2)
Доказательство. Легко проверить, что неравенство A2)
равносильно неравенству
(§' (и) -— g' (и), u — vy^O У и, v^U
для функции g{u) = J{u) — K\u\^, где % = [х/2. Отсюда и из
леммы 1, теоремы 2.4 следует утверждение теоремы.
Теорема 4. Пусть U — выпуклое множество из JS", J{u)^
^C^(U). Тогда для сильной выпуклости функции J{u) на U
необходимо и достаточно существования такой постоянной [х > О,
что
0"{u)l,l>>ii\l\' A3)
при всех и^и и всех |=(|\ ..., I""), принадлежащих
подпространству L = Lin С/, параллельному афинной оболочке
множества и (в частности, если ijilU?=0, то A3) выполняется при
всех l^E"").
Доказательство. Для функции ^(гг) =/(гг) —>с1гг|^ ее
вторая производная равна g" {и) = J" {и) — 2%1, где / —
единичная матрица. Отсюда ясно, что неравенство A3) с [х = 2>с
равносильно неравенству
<g"{u)l,ly>^ Уи^и, n^L.
Отсюда и из леммы 1, теоремы 2.5 следует справедливость
теоремы.
Замечания. 1. Если intU?=0, то L^E"" и условие A3)
должно выполняться при всех I^E"". Пример 2.1 показывает,
что при miU = 0 условие A3) может и не выполняться при
каждом ^ е Е"",
2. Для функций одной переменной неравенство A3) имеет
вид /'' (li)^ [х>0 при всех u^U. Отсюда нетрудно вывести, что
функция J{u) = u^ при любом /?>1 будет сильно выпукла на
множестве Ue = iu^E^: и>г} при всех 8 > 0; если здесь 8=^0,
то такая функция сильно выпукла лишь при р = 2. Функция
J (и) = sin и сильно выпукла на С/е = [—я + 8, —8] при всех 8
(О < 8 < я/2), но не сильно выпукла на [—я, 0].
3. Условие A3) в теореме 4 не может быть заменено
условием
<Г{ы^IЛ>>0 "iu^U, V^eL, 1фО, A4)
Например, для функции J{u) = e''{u^U = Е^ = L) имеем
<^'' {^)Ь V = ^"^ > О при всех и^и, l^L, 1?=0, но эта
функция не является сильно выпуклой. Однако если int U ?= 0,
/"" (гг) = Л = (а^Д — постоянная матрица, то условие A4),
означающее положительную определенность квадратичной формы

186 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
{А1, 1} = S <^ijS^S^ влечет за собой условие Ы^, ^>^[х||И
(^е?"), где~11= inf {Al, Е>>0.
111=1
Как известно [93, 164], для положительной определенности
квадратичной формы <Л^, |> необходимо и достаточно, чтобы
все угловые миноры
r^ii--^ii]
Аг =det , г = 1, ..., ?г,
были положительны. Пользуясь этим условием, для функции
J (и) = x^^ + 2аху + by^^ + cz^ из примера 2.2 находим, что J (и)
будет сильно выпукла на Е^ тогда и только тогда, когда b — а^>
> О, с > 0.
Далее, для функции
7{и)==<Ащ 1г>/2-<Ь, и), и^Е\
из примера 2.3 сильная выпуклость на Е"" будет тогда и только
тогда, когда А — положительно определенная матрица.
Аналогично для функции
J{ii)==\Au-b\'
из примера 2.4 сильная выпуклость на Е"" будет тогда и только
тогда, когда матрица А^А — невырожденная.
3. Рассмотрим сильно выпуклые функции J (и) из класса
C^'^{U), т. е. гладкие сильно выпуклые функции, градиент
которых удовлетворяет условию
\r{u)-r{v)\^L\u-v\, и, v^U. A5)
Полезно установить связь между постоянными %, [х, L из A),
(9), A2), A3), A5). Из условия A2) с помощью неравенства
Коши — Буняковского и условия A5) имеем \х^Ь. При
доказательстве теорем 3, 4 было показано, что [х = 2>с. Поэтому 2х =^ L,
Из определения 1 видно, что если неравенство A) имеет
место при некотором х, то оно будет иметь место и для всех
меньших положительных значений х. Можно поставить вопрос
об определении самой большой, точной постоянной к в A).
Очевидно, такой постоянной в A) будет
aJ {u) + (i — a) J (v) — / (ai^ + A — a) v)
Xn = inf inf о .
o<a<iu,t?=C7 a{i~a)\u — vr
Аналогично самые большие постоянные в A2), A3)
соответственно имеют вид
_ . f <Г{и)-Г{у), и-иу
u.v^U \и — v\
111 = inf inf -^^ ^ ^о .

§ 3] сильно ВЫПУКЛЫЕ ФУНКЦИИ 1S7
Из доказательства теорем 3, 4 следует, что jXo = M^i = 2хо, причем
для функций из С*'* (С/) все эти постоянные не больше L,
Заметим, что для функции Q{u)=\u\^ на Е"" имеем iio = M'i = 2xo =
= L = 2.
4. Продолжим рассмотрение сильно выпуклых функций J {и) ^€^'^A1),
Для таких функций из A2) и A5) имеем неравенства
\1\и-г\^^{Г{и)-Г{и), u-vy^Llu-vl^ щи^и. A6)
Оказывается, как в теореме 2.16, два неравенства A6) можно записать в
виде одного равносильного A6) неравенства [29], полностью
характеризующего класс сильно выпуклых функций из C^'^(U) с данными
постоянными L, \i (L ^ [,1 > 0).
Теорема 5. Пусть U—выпуклое множество из Е^ и J(u) ^C^(U).
Тогда для того чтобы функция J(u) была сильно выпуклой с постоянной
X = [i/2 > О м удовлетворяла условию A5) с постоянной L > О,
необходимо и достаточно^ чтобы
\J'{u)-J'{v)r- + Lvi\u-v\^^{L + yiH'{u)-r{v), u-vy A7)
при всех и^ и ^ и.
Доказательство. Необходимость. Пусть J (и) е C^'^{U) и
эти функции сильно выпуклы на U. Тогда справедливы неравенства A6).
Введем функцию
g{u) =J{u)-ix\u\V2, u^U,
Имеем g'{u) =Г{и — \1и). Тогда из левого неравенства A6) следует
<g' (и) — g' {v), u — vy= </' (и) — /' (v), u — v}~\i\u~v\^^0,
yfu, V ^Uy
a из правого неравенства A6) получим
<g' (") — g' (^), u~vy^(L--\i)\u — u\^ Vu, у e U,
Объединяя оба полученных неравенства, имеем
О < <g' (и) — g' {v), u~vy^{L — ]x)\u~v\^ У/и, и G и.
Таким образом, функция g{u) удовлетворяет неравенствам вида B.18).
Согласно теореме 2.16 эти два неравенства равносильны одному неравенству
I g' {и) - g' (v) Р < (Ь - \i) ig' [и) - g' (i;), u-vy y/u,v^ U.
Подставляя сюда g'{u) = J{u) —\iu, после несложных тождественных
преобразований получаем неравенство A7).
Достаточность. Пусть некоторая функция J{u)^C^(U) и
удовлетворяет неравенству A7). Покажем, что тогда функция J (и) сильно
выпукла с постоянной к = ii/2 и удовлетворяет условию A5) с L, где fx, L
взяты из A7). С помощью неравенства Коши — Буняковского из A7) имеем
\r{u)-riv)\' + Lii\u-v\^^ (L + ii\r{u)-r{v)\-\u~u\.
Приняв х= \J'(u) — Г{и)\, последнее неравенство можно переписать
в виде х^ — (L -{- \х)\и — г;|х4-^М'1^ — г;|2^0. Квадратный трехчлен в
левой части этого неравенства имеет корни xi = \х\и— v\, Х2 ^^ L\u — v\.
Поэтому ici ^ л; ^ Х2, т. е.
^ 1 li — у К I /' (м) — J'(v) К L I гг — у I У/и, vgU, A8)
Тогда {У{и)~Г(и), U —y> ^ L|m —у |2— правое неравенство A6)
получено.

188 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Используя левое неравенство A8), из A7) имеем \i'^\u--v\^-{-
+ L\i\u— и\^^ (L-{-li) О'i^i') — ^Ч^^) 1 u — v}. Поделив обе части этого
неравенства на L + М'> Q' придем к левому неравенству A6). Таким
образом, из A7) получили неравенства A8) и A6). Левое неравенство A6)
согласно теореме 3 означает сильную выпуклость J {и) с постоянной к =
= р,/2, а правое неравенство A6) (или A8)) дает условие A5).
Из A7) вытекает неравенство
1 Lii
<Г {u)~r(v),v-wy^-^(L + \x)\u~w\^- -^:j^ \u-v\^ Уи,и, w^U.
Оно доказывается так же, как и подобное неравенство B.20).
Упражнения. 1. При каких а, 6, с функция J (и) = ах^ + 2Ьху +
+ су^ переменных и = (х, у) е Е"^ будет сильно выпукла на ЕЧ
2. Найти области сильной выпуклости функций J (и) = siii{x + у -\- z),
J (и) = sin(a:2+г/2 + 2^).
3. Можно ли утверждать, что сильно выпуклая функция обладает
более лучшими дифференциальными свойствами по сравнению с выпуклыми
функциями? Рассмотреть функцию J (и) = {и, u} + g{u), где
g(i^)—выпуклая функция.
4. Доказать, что функция J (и) сильно выпукла на выпуклом
множестве и тогда и только тогда, когда функция g(t) =J{v-{-t(u — v))
переменной t (О ^ i ^ 1) является сильно выпуклой на [О, 1] с одной и той же
для всех и, V ^ и постоянной сильной выпуклости.
5. Пусть функция J {и) сильно выпукла и дифференцируема на
выпуклом множестве U. Доказать, что:
а) Г (и) Ф Г{и) (и, и^и,иф и)]
б) I W — i; К — I /' (^) Р при всех и е M(v) = {u^U: J(u) < J{v)},
в) o</(i^)-/*<^|/'(^)P, l^-^*l<-^U'WI (u^U).
6. Для того чтобы симметричная матрица А порядка п'Хп была
положительно определенной, необходимо и достаточно существования
постоянных L, \1 (О <: \х ^ L) таких, что
\Ae\^ + L\x\e\^^(L + [i) (Ае, е} Ve е Е"".
Доказать. Убедиться, что в приведенном неравенстве в качестве ^д, можно
взять минимальное собственное число матрицы Л, в качестве L —
максимальное собственное число.
7. Пусть С7 —выпуклое множество, 7{и) ^C^{U). Показать, что для
того, чтобы функция J (и) была сильно выпуклой и удовлетворяла
условию A5), необходимо и достаточно выполнения неравенств A8) при
каких-нибудь постоянных L, [i (О <. \х ^ L),
§ 4. Проекция точки на множество
1. При описании и исследовании некоторых методов
минимизации ниже нам понадобится понятие проекции точки на
множество.
Определение 1. Пусть С/ —некоторое множество из ^^
Проекцией точки и из Е"" называется ближайшая к и точка w
множества С/, т. е. точка w^U, удовлетворяющая условию
[гг — w;| = inf li^ —i;|.

§ 4] ПРОЕКЦИЯ точки НА МНОЖЕСТВО 189
Проекцию точки и на множество U будем обозначать через
Поскольку р(и, U) = inf \и — v\ — расстояние от точки и до
множества 17, то из определения 1 следует, что
р(и, U) = \u-^u{u)\<,\u-v\ y/v^U, ^u^E"",
Если u^U, то, очевидно, всегда ^и{и) = и. Однако проекция
на множество суш;ествует не всегда. Например, если U = {и^
^Е"": lul < 1} — открытый единичный шар в -Е^ то ни одна
точка иФи не будет иметь проекции на это множество. Однако
если множество U замкнуто, то любая точка и^Е"^ имеет
проекцию на и — это было доказано в следствии 1 к теореме 2.1.3.
Проекция точки на множество может определяться неоднозначно
^*с^
Рис. 4.6 Рис. 4.7
(рис. 4.6). Однако, как показывает следуюш;ая теорема, для
выпуклых множеств такая ситуация невозможна (рис. 4.7).
Теорема 1. Пусть U — выпуклое замкнутое множество из
?^ Тогда:
1) всякая точка и^Е"" имеет, и притом единственную,
проекцию на это множество]
2) для того чтобы точка w^U была проекцией точки и на
множество и, необходимо и достаточно выполнения неравенства
(см, рис, 4.7)
<г^__и, i;—м;>>0 y/v^U. A)
При этом если U — аффинное множество (см, пример 1.4), то
вместо A) можно писать
<^w-'U,v — w} = 0 Уи^и, B)
Доказательство. Рассмотрим функцию g{v)=\u — и\^
переменной v^E"" при произвольной фиксированной и^Е"",
Поскольку g{v) сильно выпукла на Е'^, то по теореме 3.1 эта
функция достигает своей нижней грани на С/ в единственной точке
w^U, Это означает, что \v — u\^> \w — u\^^ или \v-'U\> \w — и\
при всех v^U, причем равенство здесь возможно только при
V = W. Остается принять ^и{и)= w.

190 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Докажем второе утверждение теоремы. Согласно теореме 2.3
для того, чтобы функция g(v) достигала минимума на С/ в точке
W, необходимо и достаточно, чтобы <g'(w), u — w> = 2<w — u,
V— wy^O при всех i;^ С/, что равносильно неравенству A).
Наконец, пусть U = {ii^ Е"": Аи = 6} — аффинное множество.
Поскольку это множество выпукло и замкнуто, то неравенство
A) сохраняет силу и здесь. Аффинное множество обладает еле-
дуюидим замечательным свойством: если у, Vq^U {v?^Vo), то и
2i;o — v^ и, что проверяется непосредственно. Поэтому если
здесь взять Vo = ^и(и) = w^U, то 2w — v^U при любом выборе
v^U, Подставим в A) вместо v точку 2w — v, Получим {w — щ
2w—V —ьиУ = <w— и^ w — vy^O при всех v^U, Сравнивая
полученное неравенство с A), приходим к равенству B).
Покажем, что оператор проектирования на выпуклое
множество обладает сжимающим свойством.
Теорема 2. Если U — выпуклое замкнутое множество из
?'", то
I ^и (w) — ^иИ\<\и-^'\ Vz^, г; е Е"". C)
Доказательство. Из неравенства A) имеем
Поменяв ролями точки и и v в последнем неравенстве, получим
Слоящим эти два неравенства. Имеем
C^u{u)-u-^u{v)+v,^uiv)-^u{y)>>0.
Отсюда следует
I ^и {^)- ^и (^) I' < <-^и (и) - SP^ {vl и-и}^
Разделив на \3^и (и) — ^и (v) I Ф О, получим требуемое
неравенство C). Если \^u{u)-^uiv)\ =0, то C) очевидно.
2. Приведем примеры множеств, проекция на которые может
быть выписана явно.
Пример 1. Пусть U==S{uo, Д)=={гг^?": \и-щ\<Ю —
шар радиуса i? > О с центром в точке щ. Из геометрических
соображений (рис. 4.8) ясно, что проекцией точки u^U является
точка
W =^Uo + R{u — Uq)/\u — Uq\.
Для строгого доказательства этого факта достаточно проверить
выполнение неравенства A). Имеем
<ю — щ v — wy={R/\u — UQ\ — i){iu — u^^ v — щУ —
-Щи-щ\)У>{),

§4]
ПРОЕКЦИЯ точки НА МНОЖЕСТВО
191
так как \u — Uq\>R, а (и — щ, и — щУ <\и~щ\ - \v — Uo\ ^
<\u — Uo\R в силу неравенства Копти — Буняковского для всех
Пример 2. Пусть U = T = {u^E'': <с, u> = i}
—гиперплоскость; здесь с^Е"", сФО, 'у = const. Пользуясь
геометрическими соображениями (рис. 4.9), проекцию точки u^U nsi U
Рис. 4.8
будем искать в виде w = и + ас. Определяя число а из условия
W ^и, имеем
w = u + {^~ <с, иУ)с/\с\^,
Поскольку <w — u, v~-wy={^~<c, иУ)/\с\^ • <с, v~-wy = 0 при
всех v^ и, то согласно теореме 1 найденная точка w
представляет собой проекцию точки и на U,
Пример 3. Пусть U = {и^Е'': <ai, иУ = Ь\ г = 1, ..., т]—
аффинное мноя^ество; здесь йг^Е"", Ь'= const (J = l, ..., ш).
Можем считать, что векторы ai, ..., dm линейно независимы и
т<п (если т = п, то U будет состоять из одной точки).
Проекцию точки и на множество U будем искать в виде
W
а+2
;=1
ajttj.
D)
Из требования w ^U имеем систему линейных алгебраических
уравнений
2 aj <(ii, а^У = Ы — {аи и}, t = 1, ..., т.
E)
3=1
для определения коэффициентов Определителем этой
системы является определитель Грама [54, 93, 164], который для
линейно независимых ai, ..., Um будет отличным от нуля.
Поэтому искомые cci, ..., am существуют и однозначно определяются
из системы E). Для точки w из D) будем иметь
т т / т \
{w — u,v — wy= ^ aj {aj, i; — u> —- 2 o^i I 2 o:j {a^ щУ = 0
д=1
3 = 1

192 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
ДЛЯ всех v^U. Следовательно, по теореме 1 найденная из D),
E) точка W будет проекцией точки и на множество U. Если
ввести матрицу А, строками которой являются векторы Ui (i = 1, ...
..., m), то точку D) можно записать в виде
w = u-A^AA^)-'{Au-b).
Предлагаем читателю провести проверку того, что такая точка
W принадлежит С/, т. е. Aw = b, и выполняется условие A).
Пример 4. Пусть U^Ы^Е"": <с, w> ^ i) — замкнутое
полупространство, определяемое гиперплоскостью <с, иУ = 1. Пусть
и^и, т. е. <с, и> >'у. Как и в примере 2, попробуем
представить проекцию точки 1г на f/ в виде
m; = u + (i —<с, иУ)с/\с\^.
Имеем <w — u, у — w;> =('у — <с, и>)|с|-^(<с, у) —'у)^0 при всех
v^U. Следовательно, точка w — искомая проекция.
Пример 5. Пусть U = {u = {u\ ..., и^)^Е'^: ai^u'^^i,
f = l, ..., /г} —-/г-мерный параллелепипед, где аг, Р» {oLi<^i)—^
заданные числа, i = 1, ..., п. Пусть u^U. Положим w = {w^^ ...
..., W''), где
и^ > Pi,
ai ^ 1г^ ^ Pi, t = 1, ..., /г.
Тогда (м;' — и') {v' — w') > О для всех у* (а» =^ у' ^ р*, ^ = 1, . • •
..., п). Отсюда, суммируя по i от 1 до /г, получаем iw — щ v—
— wy^O для всех v^U. Следовательно, построенная точка w
является проекцией точки и на множество U.
Пример 6. Пусть и ^ Е'^ = {и = {и^, ...,и'^): w^>0, i =
= 1, .,.,/г}—неотрицательный октант пространства Е"^, Легко
проверить, что проекцией точки и на f/ является точка W^ ==
= (AгО+,..., Aг")+), где (i^0+= тах{0; w1 (j = l, ..., w).
3, Критерий оптимальности, сформулированный в теореме 2.3,
с помощью оператора проектирования может быть
переформулирован следующим образом.
Теорема 3. Пусть U — выпуклое множество, J{u)^C^{U),
и^— множество точек минимума функции J {и) на U, Если
и^ ^ f/^, то необходимо выполняется равенство
w^ = ^^(гг^ —а/'Aг^)) Va>0. F)
Если, кроме того, J (и) выпукла на С/, то всякая точка и^,
удовлетворяющая уравнению F), принадлежит U^,
Доказательство. Согласно теореме 1 равенство F)
эквивалентно неравенству (ji^ — {и^— а/' (^*))? ^ — ^*> ^0 (у s
еС/), откуда имеем а</'(и^), v — u^y^O {v^U). Поскольку
а>0, то отсюда получим неравенство iJ' {и^), v — u^y^O при

§ 5] ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ 193
всех V ^и. Таким образом, условия F) и B.5) эквивалентны.
Отсюда и из теоремы 2.3 следует утверждение теоремы 3.
Таким образом, если ввести отображение Л из JE" в Е^ по
формуле
Аи =^^u{u-aJ'{u)), а> О,
то условие F) перепишется в виде и^ = Аи^, т. е. и^ —
неподвижная точка отображения А. Ниже мы увидим^ что при
некоторых условиях на функцию J (и) отображение будет
сжимающим и для определения точки и^ могут быть использованы
свойства сжимающих отображений [54, 179].
Упражнения. 1. Найти проекцию точки и^Е^ на множество
и = {и^ ?;«: <ai, w> :^ b\ <а2, w> < Ъ^}.
2. Найти проекцию точки и^Е^ на множество
и = {и= {и\ ..., и^): а< < W* < р<, i = 1, ..., п}
(здесь «г ^ Рг, причвм ВОЗМОЖНО, ЧТО «< = р<, ИЛИ aj = —оо, или Pft = оо
при некоторых i, /, А:).
3. Выяснить геометрический смысл равенства B).
4. Будут ли верными неравенства A) или равенство B), если U —
невыпуклое множество?
5. Охарактеризовать все множества U из Е^, для которых существует
точка и^и такая, что ^и(и) = v для всех и ^17,
6. Для того чтобы точка w ^U была проекцией точки и на выпуклое
множество и, необходимо и достаточно, чтобы {и — и, и — ш>^0 при всех
V ^и. Доказать. Выяснить геометрический смысл этого условия.
7. Доказать, что для любого замкнутого множества U имеет место
неравенство 111* — ^и (и)\ — \v — ^и (у) I г =^ IW — у I для всех и, и ^U (ср. с
леммой 2.1.2).
8. Пусть и — выпуклое замкнутое множество из Е^, Доказать, что тогда
9. Пусть J (и) = |Ли—Ь|2, где Л —матрица порядка шУ^п, Ь^Е^
(см. пример 2.4). Доказать, что
и^ = [и^ ?^: / {и) = inf / {и) = /Д Ф
I Е'^ J
0.
Указание: взять проекцию точки Ъ на множество U^{v^E^\
V = Ащ и^Е"^} и показать, что J{u) =^ \Аи-'^и{Ь)\^+{b — ^uWW
/^ = 1 & _ ^j^ (&) |2; замкнутость U см. в лемме 9.3.
§ 5. Отделимость выпуклых множеств
1. В теории экстремальных задач важную роль играют
теоремы, называемые теоремами отделимости. Основное содержание
этих теорем сводится к тому, что для некоторых двух множеств
А ж В утверждается существование гиперплоскости такой, что
множество А находится в одном из открытых или замкнутых
полупространств, определяемых этой гиперплоскостью, а множе-*

194 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
ство В —В другом открытом или замкнутом полупространстве
(см. пример 1.3), т. е. гиперплоскости, которая отделяет эти два
множества.
Определение 1. Пусть А и S —два множества из ?"*.
Говорят, что гиперплоскость <с, иУ = ^ с нормальным вектором
сФО отделяет (разделяет) множества А ж В, если <с, а> ^ ^
при всех а^А и <с, Ь)^^ при всех Ь^В, или, иначе говоря,^
выполняются неравенства
sup <с, ЬХ Т < inf (с, а}. A)
ЬеБ а=А
Если sup<c, bXinf <с, а>, то говорят, что множества А я В
сильно отделены. Если <с, Ь> < <с, а> при всех а^Л, Ъ^В^ то
говорят о строгом отделении этих множеств. Если выполнена
A), причем существуют такие точки а^^А^ Ьо^В, что <с, &о> <
< <с, ао>, то говорят, что множества А, В собственно отделимы.
Понятие собственной отделимости введено для того, чтобы
исключить из A) вырожденный случай, когда оба множества
А, В лежат в разделяющей гиперплоскости и, возможно, даже
имеют общие относительно внутренние точки.
Заметим, что в определение 1 множества А и В входят
несколько несимметрично. Однако симметрию здесь нетрудно
восстановить: нужно лип1ь взять вектор —с вместо с, постоянную^
—у вместо 7 и записать уравнение отделяющей гиперплоскости
в виде <—с, 1г> = —'у. Очевидно, если гиперплоскость <с, иУ = ^(
отделяет множества Л и S, то гиперплоскость <\хс, и> = ix'^ при
[хФО также отделяет эти множества. Поэтому при необходимости
можно считать, что |с| = 1.
На рис. 4.10—4.14 изображены случаи, когда два множества
собственно отделимы, на рис. 4.13 — сильно отделимы, на
рис. 4.14 — строго отделимы. Однако ясно, что не всякие два
множества можно отделить гиперплоскостью (рис. 4.15). Ниже
приводятся теоремы об отделимости выпуклых множеств.
Теорема 1. Пусть X — непустое выпуклое множество из ?"".
Тогда для любой точки уФтхХ существует гиперплоскость
<с, иУ = Y, собственно отделяющая множество X и точку г/, или^
точнее,
Если точка у не принадлежит X — замыканию X, то множества
X (а также и X) сильно отделимо от у. _
Доказательство. Сначала рассмотрим случай у^Х.
Напомним, что если X — выпуклое множество, то X также
выпукло (см. теорему 1.2). Согласно теореме 4.1 тогда
существует проекция Z = ^_ (у) точки у на множество Z, причем
<z — y, X — zy >0 для всех х^Х. Положим с = z — у. С учетом

§ 5J
ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
195
Рис. 4.10
Рис. 4.11
Рис. 4.12
Рис. 4.13
Рис. 4.14
Рис. 4.15

196 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
предыдущего неравенства будем иметь <с, ж — г/> = <z — г/, а: — 2> +
+ <2_1^^ z-yy> |с|^>0 или <с, хУХс, уУ+ кРХс, уУ (же
^Х). Это значит, что гиперплоскость <с, иУ = <с, 1/) = ^ сильно
отделяет точку у от множества X и, тем более, множества X.
Нетрудно видеть, что такая гиперплоскость не единственна.
Например, гиперплоскость <с, иУ = <с, 2> = -у также сильно
отделяет Z и г/, так как <с, x — zy>0 при всех х^Х, <с, i/ — z> = <z —
-г/, ^~z>=-|c|^<a
Теперь пусть у^Х, y^riX. Согласно теореме 1.11_тогда
существует последовательность iyj-^ у: Уи^Х, y^^SiiiX {к = 1у
2, ...). По доказанному гиперплоскость <Сл, иУ = <с^, УЫ>, где
Cft = (Zft-i/fe)/l2ft-yftl> Zh = ^-^{yk)t сильно отделяет Z и г/„,
так что <Ck, хУ > <Cft, г/л> при всех х^Х, По теореме Больцано —
Вейерштрасса из последовательности {cj (кл1=1) можно
выбрать подпоследовательность, сходящуюся к некоторому вектору
с (к1 = 1). Без умаления общности можем считать, что вся
последовательность {cj -^ с. Переходя к пределу при к-^ оо в
неравенстве <с^, хУ^ <с^, у^У {х^Х), получаем <с, ж> ^ <с, г/> =
= 7 для всех х^Х. Отсюда следует первое из неравенств B).
Далее, возьмем любую точку a:eriX. Согласно определению
1.10 существует такое 8>0, что 0{х, 2г)^г.ИХ^Х, Тогда и^ =
= x — ECk^O{x, 28)Па!1Х {к = 1, 2, ...). Ясно, что {uj-^u^
= х — гс. Покажем^ что и^х — гс^тгХ. Поскольку Zk =
= ^^ЫеХс:а!!Х = а!!Х, i/.^affX, то z^-y.^LinX^
подпространство, параллельное aff X. Тогда с^ = (z^ — г/^) / U^ —
— Ун\ ^LinX. Поскольку LinZ замкнуто в Я", {cj-^ с, то се
eLinX Отсюда следует, что и = х — гс^ SiiiX, Кроме того, так
как luk — х\ = г {k = i, 2, ...), то при к-^оо имеем \и — х\=г,
так чт:о_и==х-'гс^О{х, 2г). Следовательно, и = х — гс^т{Хс1
^Х<=^Х. Тогда Y == ^^? уУ^<с, w> = <с, х — гсУ = <с, хУ — г<
< <с, хУ, или 'i< <с, хУ для каждой точки ж^пХ, т. е. riX и ^
строго отделимы.
Теорема 2. Пусть А и В-— непустые выпуклые множества
из Е'^, пЛПпВ = 0 {например, ЛПВ = 0). Тогда существует
гиперплоскость <с, 1г> = 'у, строго отделяющая множества riA и
riB, собственно отделяющая множест^ва А и В, а также их
замыкания А, jB, причем если А и В имеют общую граничную
точку у, то '^ = <с, уУ. Верно и обратное: если два выпуклых
множества А и В собственно отделимы, то Т1А[]пВ = 0.
Доказательство. Введем множество X = TiA—тгВ = {х^
^Е"": х = а'-Ъ, а^тхА, Ь^ЛВ). По теоремам 1.1, 1.10
множество X выпукло^Поскольку ri Л flri В = 0, то О^Х. Возможно
два случая: О^Х или О^Х. Если 0^^, то согласно теореме 1
точка О и множество X сильно отделимы, т. е. существуют такие
сФО,г>0, что <с, хУХс,ОУ + г = г при всех х^Х. Если О ^ X,
Of^X, то по той же теореме 1 найдется такой вектор сФО, что

§ 5] ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ 197
<с, х>>0 для всех ж^Х, причем <с, а:>>0 при x^iiX. Таким
образом, в обоих случаях существует такой вектор с^О, что
<с,д:>>0 \fx^X, (с,х}>0 yfx^viX. C)
Из первого неравенства C) с учетом определения множества
X имеем
{с, а)>{с, Ь> VaG ri Л, be riВ. D)
Далее, по теореме 1.10 тхХФ 0, Это значит, что существуют
ао^пЛ, Ьо^пБ такие, что о^о = ао —Ьо ^riX. Из второго
неравенства C) тогда имеем <с, х^У = <с, «о — Ьо^ ^ О, или
<с, ао> ><с, Ьо>, UQ^TiA, bo^TiB. E)
Неравенство D) остается справедливым для всех предельных
точек множеств пА, тгВ, т. е^для всех a^viA, Ь^тхВ. Но по
теореме 1.12 TiA=A, пВ = В, так что <с, а>><с, Ь> при
любых а^А, Ъ^В. Отсюда inf <с, a>^sup<c, Ь>. Возьмем гипер-
плоскость <с, 1г> = Y? где ^ — произвольное число,
удовлетворяющее неравенству inf^ <с, а> ^ у ^ sup <с, Ь>. Тогда
<c,a>>YXc,b> Vael, Ье5. F)
Из E), F) следует собственно отделимость множеств Л и Л и,
тем более, множеств А и В, Если у^А^В, то ^ = ^<^» 2/^-
Покажем, что построенная гиперплоскость <с, г^> == ^ строго
отделяет множества г1Л и тхВ. Из E), F) следует, что либо
<с, ао> > 7» либо <с, Ьо> < Т« Пусть <с, ао> > у, (случай <с, &о> <
<Y рассматривается аналогично). Возьмем произвольную точку
a^viA. Тогда а —ао^ЬшЛ, а +8(а —ао)^ aff 4 при всех 8^R
и по определению относительно внутренней точки найдется такое
8>0, что Ь = а +8(а —ао)^пЛ. Отсюда а = аа^ + {\ — а)Ъ (а =
= 8/A + 8)^@, 1)). Умножим неравенство <с, ао>>'у на а,
<с, Ь> > 'Y на 1 — а и сложим. Получим а<с, ао> + A — а) <с, Ь> =
= <с, а>>'у. Таким образом, <с, а> > у при всех a^ri^. Отсюда
и из F) следует, что множества т\А и т\В строго отделимы.
Докажем вторую часть теоремы. Пусть множества А ж В
собственно отделимы, но пусть тем не менее viA [\т\ВФ0. Возьмем
какую-либо точку и^тхА П ri 5. Тогда при достаточно малом
8>0 имеем аг = и — г(а^ — и)^т\А, Ье = и —г{Ьо — и)^т1В^ где
tto, Ьо взяты из E). В силу D) <с, агУ = <с, i^>(l + е)—8<с, аоУ >
> <с, Ьг> == <с, иУ{1 + г)— г<с, Ьо>. Отсюда получаем <с, сцУ ^
< <с, Ьо>, что противоречит E). Следовательно, г14Пг1В = 0.
Приведем одну теорему о сильной отделимости двух
выпуклых множеств.
Теорема 3. Пусть А и В — два выпуклых замкнутых
множества, не имеющие общих точек, причем хотя бы одно из этих
множеств ограничено. Тогда множества А и В сильно отделимы.

198 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА 1ГЛ. 4
Доказательство. Введем множество Х^А—В.
Покажем, что оно замкнуто. Пусть х — некоторая предельная точка
множества X, пусть последовательность {х^ е X сходится к х.
Поскольку Xh^X, то найдутся а^^Л, Ъ^^В такие, что х^ = а^ —
— bk (/v = l, 2, ...). По условию одно из множеств А или В
ограничено. Пусть для определенности ограничено множество А.
Тогда последовательность {аJ е А ограничена. По теореме Боль-
цано — Вейерп1трасса найдется подпоследовательность {^fe^],
сходящаяся к некоторой точке а. В силу замкнутости А точка а
принадлежит А. Тогда bf,^ = cij^^—-Xk^-^b = а —х при К -^ «>,
причем Ь^В в силу замкнутости В. Таким образом, для точки х
получили представление х = а—Ь, где а^А, Ь^В. Это значит,
что х'^Х. Замкнутость X доказана.
Далее, по условию множества А и В яе имеют общих точек.
Поэтому 0^Х = X, По теореме 1 тогда существует
гиперплоскость <с, гг> = 0 такая, что <с, хУ> к1^>0 для всех х^Х.
Отсюда имеем <с, а — Ь>>\с\^, или <с, аУХс, ЬУ + \с\^ для всех
а^А, Ъ^В. Следовательно, inf <с, а> ^sup<c, Ь> + | ^р. Любая
гиперплоскость <с, иУ = ^, где sup<c, fc>^ Y<inf <с, а>, будет
be Б аев
сильно отделять множества А и В, что и требовалось.
Заметим, что требование ограниченности хотя бы одного из
множеств в теореме 3 не может быть ослаблено (см. рис. 4.14).
2. Теоремы отделимости являются одним из важных интрументов
исследования свойств выпуклых функций и множеств, экстремальных задач.
Ряд приложений этих теорем будут даны в последующих параграфах. Здесь
же мы воспользуемся ими для получения представления любого выпуклого
замкнутого множества из Е^ в виде пересечения некоторого семейства
полупространств.
Определение 2. Гиперплоскость Т = {и^Е^: <с, w> = "у}
называют опорной к множеству X, если <с, а;> ^ «у при всех ^е X и <с, i/> = «у
для некоторой точки у ^ X. Опорную к X
гиперплоскость Г называют собственно опорной
к X если X не содержится в Г, т. е. <с, жо>>
> Y при некотором хо е X. Вектор с,
являющийся нормальным вектором опорной [соб^
ственно опорной] к X гиперплоскости,
проходящей через точку у^^Х, называют опорным
[собственно опорным] вектором множества
X в точке у (рис. 4.16).
Отметим, что через любую граничную
р ,лп точку у выпуклого множества X из Е^ мо-
^^' жет быть проведена хотя бы одна
опорная к X гиперплоскость. В самом__ деле,
если int X Ф 0, то граничными для X будут только точки ^ е X, уф
ф int X, и согласно теореме 1 через каждую такую точку у можно
провести собственно___опорную к X гиперплоскость^ Если int X = 0, то
aff X ф ?'^, Гр X = X, и через каждую точку у ^ X можно провести
гиперплоскость Г: <с, х — у}=0, где с — любой ненулевой вектор из
ортогонального дополнения к Lin X. Тогда Z с: aff X с: Г, так что Г — опорная

§ 5j ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ 199
К X гиперплоскость^ не являюпдаяся собственно опорной. Теорема 1
уточняет, что если у ^ X, у ^YiX, то среди опорных к X гиперплоскостей, про-
ходяпдих через точку у, можно найти собственно опорную.
Заметим, что выпуклое множество с непустой внутренностью не
может ил1еть опорных гиперплоскостей, не являющихся собственно опорными.
Это вытекает из следующего несколько более общего утверждения.
Теорема 4. Пусть X — выпуклое множество из Е^, intХФ 0. Пусть
вектор с ФО и число 'Y таковы^ что <с, л;> ^ ^ при всех х ^ X, Тогда
<с, :г>>7 V:reintX.
Доказательство. Допустим противное: пусть существует такая
точка а:о е int X, что <с, а:о> = Т- По определению внутренней точки
найдется такое 8о > О, что z = xq — <ес/|с| е X при всех s (О < s < Sq). Тогда
•Y^ <с, z} = <с, хоУ — г\с\ == "{ — г\с\ < 7. Получилось противоречивое
неравенство, из которого и следует утверждение теоремы.
Следствие 1. Пусть X—выпуклое множество из Е^, т1ХФ0,
Тогда любая гиперплоскость <с, х—у} =0, опорная к множеству X в
какой-либо точке г/еГрХ, является собственно опорной к X, или, точнее,
<с, ж — г/> > О V:r е int X.
Доказательство. Из определения опорной гиперплоскости к X
в точке у следует, что ic, х} > <с, у} = inf <с, х} = inf_ <с, ху = у при всех
X ^ X. В силу теоремы 4 тогда <с, :г>>7=<с, уУ для любой точки
X е int X.
В следующей теореме показывается, что выпуклое замкнутое
множество полностью характеризуется своими опорными гиперплоскостями.
Теорема 5. Всякое непустое выпуклое замкнутое множество X из
Е^ (X Ф Е^) является пересечением замкнутых полупространств,
образованных всевозможными опорными гиперплоскостями к множеству X,
содержащими X.
Доказательство. Поскольку X Ф Е^. то Гр X =7^ 0. Возьмем
любую точку г/ е Гр X. Множество всех опорных векторов множества X в
точке у обозначим через Су. Выше было замечено, что Су Ф 0 при всех у е
е Гр X. Обозначим Л= П П {^: <^, ^ —^>^0}. Нам надо пока-
y~TvX с^Су
зать, что А == X. Если х ^ X, то для всех i/ е Гр X п всех с ^ Су имеем
<с, X — уУ ^0, т. е. X ^ А. Следовательно, X с: А.
Докажем обратное включение А cz X. Допустим противное: пусть
существует точка а^А, а^Х. Поскольку X — замкнутое множество, то по
теореме 1 множество X и точка а сильно отделимы. Точнее, при
доказательстве теоремы 1 было показано, что гиперплоскость {cz, и — 2> = О^где
Z = ^х(а), Cz = Z — а, такова, что <Cz, х~ zy "^0 при всех ж е X = X, а
(^Cz, а — 2> <: 0. Это значит, что Cz^Cz (zeFpX), и поэтому для точки
а^А должно бы быть <Cz, а — z> ^ О в силу определения А. Полученное
противоречие показывает, что А cz X, Требуемое равенство Л = X
доказано.
Согласно теореме 5 выпуклое замкнутое множество характеризуется
системой неравенств <с, хУ ^ <с, уУ (х^Х), которые можно записать в
виде inf <с, ху = <с, г/>, с е Ct/, 2/ е Гр X. Если заменить с на —е, то эти ус-
X
ловия приводят к равенствам sup <е, :г > == <е, г/ >, е е —Су, i/ е Гр X.
Таким образом, всякое выпуклое замкнутое множество X характеризуется
значениями функции д (в, X) = sup <е, х), называемой опорной функцией мно-
X
жества X (здесь возможны значения б(е, X) = оо для некоторых е^Е"^),
Это обстоятельство отражено также и в следующей теореме.

200 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА (ГЛ. 4
Теорема 6. Пусть для двух множеств А, В ив Е^ известно^ что
sup <е, аХ sup<е, Ь> Vee^, |el = l.
Тогда со Л cz со i5; в частности, если Л, В выпуклы и аамкнуты, то А аВ.
Если
sup <е, а} = sup <е, Ь> Ve е ^, I в I = 1,
го со Л = со В; в частности, если А, В выпуклы и замкнуты, то А = В,
Дока 3 а т е л ь с т в о^ Допустим, что со Л 9^ со В. Тогда существует
точка floe со Л, но ао^соВ. По теореме 5Л множество coi5 и точка ао
сильно отделимы, т. е. существуют такое во^Е^ (|ео| =1), во >• О, что
<ео, ЬУ^^во, аоУ — 8о при всех &есо5. Отсюда, пользуясь теоремой 1.9,
имеем <е^, by < sup <«^, ау — е^= sup <(е^, ау — е^ при всех & s со J5,
аесоА оеА
так что sup <(е by = sup <е &> < sup <(в , а) — е < sup <в^, а). При-
ь=^ Ь=соВ °^^ °^^ ^
гпли к противоречию с условием теоремы. Следовательно, со Л с: со 5.
Если Л, В выпуклы и замкнуты, то в силу теорем 1.5, 1.6 Л = со Л = Л =
= со Л, со В = i5, и поэтомуЛ с В, Справедливость последнего
утверждения теоремы следует из того, что равенство б(е, Л) =б(б. В)
эквивалентно двум неравенствам б(е. Л) ^б(е. В), б(е. В) ^6(б, Л) (ве^Б**).
3. Теорему 2 можно истолковать как необходимое условие пустоты
пересечения двух выпуклых множеств Л и 5; если А (] В = 0, А и В
выпуклы (тогда г1ЛПг1^==^), то необходимо существуют вектор с^Е^
(с ФО) и число "Y такие, что <с, а> ^ y при всех а е Л и <с, &> < Y при
всех b ^В. Положим ci = с, С2 = —с, fi = Т^ Тг = —Т- Тогда приведенное
необходимое условие пустоты пересечения двух выпуклых множеств Л и 5
может быть записано в следующей симметричной форме:
<<^1» 1^> >У1 Vu G Л,
Cl + C2=0, «^, + ^2 = 0,
где хотя бы один из векторов ci или сг не равен нулю.
Следующая теорема обобщает это утверждение и дает необходимое
условие пустоты пересечения любого конечного числа выпуклых
множеств [52].
Теорема 7. Пусть непустые множества Ло, Ai, ..., Am из Е^ выпук^
ли и Ло П ^1 П • • «П ^т = 0. Тогда необходимо существуют векторы со,
ci,..., Cm е i^^", не все равные нулю, и числа 'Yo, Ti» •••> Tm такие, что
<Ci,">>Yi Vl*eЛi, i = 0,l т. G)
Co + c, + ...+ Cm = 0, (8)
То + Т1 + ... + Тт = 0. (9)
Для доказательства этой теоремы нам понадобится прямое (декартово)
произведение конечного числа множеств, а также прямое произведение
евклидовых пространств. Напомним соответствующие определения.
Определение 3. Пусть А\, ..., Am — какие-либо множества.
Множество Л, состоящее из всевозможных упорядоченных наборов (точек) а =
= (di, ..., dm), где ai = Ai (i = 1, ..., /ri), называется прямым
произведением множеств Ai, ..., Am и обозначается через Л» X ... X Am == Л.

§ 51 ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ 201
Пусть L ^, ...,L "* —вещественные линейные пространства. Положим
L = L ^X.,.XL ^. Для элементов (точек) а= (а^ ..., am), b =
= (bu ,,,, bm) gL определим сумму a + & = (ai + Ьь ..., 0» + bm) и про^
изведение на вещественное число аа = {ааи ...» <хат)» где под ai + 6,- и
aai понимаются соответствующие операции в 2^^» (i = i, ..., т),В
результате получим вещественное линейное пространство Д называемое прямым
произведением линейных пространств L ^, ...,L ^, Если L ^ = Е * —
евклидовы пространства размерности тг^ (i = 1,..., ттг), то в прямом
произведении Е = Е ^Х.,,ХЕ "* также можно ввести скалярное произведение
<а, b>==<ai, bi> + ...+ <aw, bm> и норму |а| = <а, а>>/2 = (|ai|2 +...
...+ |am|^V/^ где <а<, ЬО и |а<|—соответственно скалярное
произведение и норма в^ *. Полученное евклидово пространство Е называют
прямым произведением евклидовых пространств Е , ,,,,Е *'*; размерность
пространства Е равна wi + ... + тгщ. Например, само евклидово пространство
Е^ является прямым произведением п одномерных евклидовых пространств:
Е'^ = Е^Х--'ХЕК Параллелепипед {и = {и\ ..., w^): «i ^ w^ < Р<, i =
= 1, ..., тг} представляет собой прямое произведение отрезков [а*, Pi]
(i=l, ..., тг).
Прямое произведение выпуклых множеств, очевидно, само выпукло.
Доказательство теоремы 7. Пусть jB = Е** X... X ^'^ —
прямое произведение т тг-мерных евклидовых пространств. Тогда А = Л1 X...
...ХАт^Е. Введем в Е «диагональное» множество В = {& = (&i, ..., bm)i
m
bi =:.,,=: bm = ао, ao e Aq}, Нетрудно видеть, что пересечение П -4^ пу-
i=o
сто тогда и только тогда, когда Л П -^ пусто. Далее, А и В — выпуклые
множества. По теореме 2 множества А л В отделимы, т. е. существует с =
= {си ..., Cm} е Е, не все Ci равны нулю и <с, а} ^ <с, &> при всех а е Л,
b ^ В, или
m т у т \
2 <^i, «i> > 2 <^i» bi> =< 2 ^i' % > ^H^^v i = 0,1, ..., m. A0)
i=l i=i V=i /
Положим Co = —(ci + ...+ Cm), так что равенство (8) будет
выполнено. Тогда неравенство A0) принимает вид
m
S<^i'^i>>^ Va.e^^, i = 0,l,...,m. (И)
i=o
Если в этом неравенстве зафиксируем какие-либо а< = а<еЛ<_при всех
i = О, 1, ..., т, кроме i = &, то получим ^с^, a^^) ^ ~~ 2 <^i» ^i) "^ const
для всех ЛА е Ah. Следовательно,
<с,^, M)>Yft= 1^^ <^ft'^>^"~°° ^"^-^ft» Aj = l,...,m. A2)
Положим
To = ~(Ti + -.. + Tm). A3)
Тогда, переходя в (И) к нижней грани по всем ai^Ai (t = 1, ,.., m),
m
получаем <c^, a^> + 2 '^i ^ <^o' %У ~" Yq > ^ для каждого ao e Ло, или
Be© соотношения G)—(9) получены.

202 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
При некоторых дополнительных ограничениях на множества Л о, А^ ...
..., Лт теорема 7 обратима. А именно, верна
Теорема 8. Пусть Л о, Ли ..., Ащ — непустые выпуклые
множества из Е^, пусть все эти множества, кроме, быть может, одного, открыты.
Тогда для того чтобы Ло П ^i П • • • П Ащ = 0, необходимо и достаточно,
чтобы существовали векторы со, ci, ..., Сщ^ Е^, не все равные нулю, и числа
То, Ть .-•» Тт, для которых выполнены соотношения G) — (9).
Доказательство. Необходимость доказана в теореме 7.
Достаточность докажем, рассуждая от противного. Допустим, что условия G) —(9)
m
выполнены, но тем не менее существует точка у е П ^|. Поскольку не
г=о
все а равны нулю, то из (8) вытекает существование по крайней мере двух
векторов Сг, Cj {i?=i)i отличных от нуля. По условию все множества Aq,
Аи ..., Am, кроме, быть может, одного, открыты. Поэтому можем считать
а Ф О, Ai — открытое множество, т. е. Ai = int Л,-.
Согласно условию G) <Сг, и) ^ '\\ при всех u^l Ai. В силу теоремы 4
тогда <сг, w> > Т» для всех и^:Аг=^ш\Аи В частности, для точки
m
V ^: П Л' а А^ также имеем <с,-, v} > ^г. Кроме того, для всех остальных
3=0
номеров / Ф i также v ^Aj и в силу G) <Cj, у> ^ Ti- Сложим все эти
неравенства. С учетом равенства (9) получим <со, i^> + <ci, i^> + ... + <Сш, t;> >
> То + Ti + • • • + Tw = О, т. е. <со + ci -Ь ... -Ь Сш, у> > 0. Однако это
невозможно в силу равенства (8). Полученное противоречие показывает, что
m
П А. = 0.
1=0 ^
Приведенное выше доказательство теоремы 7 принадлежит В. И.
Плотникову. Оно привлекает своей простотой и тем, что позволяет убедиться в
справедливости теоремы 7 и в бесконечномерных гильбертовых (и более
общих) пространствах — ее доказательство при этом остается неизменным,
нужно лишь уточнить ссылки на соответствующие теоремы отделимости в
бесконечномерных пространствах.
4. С помощью теорем 7, 8 можно получить условия совместности или
несовместности систем неравенств [321, 324]. Приведем некоторые из них.
Л е м м_а 1. Пусть А = {и^ Е^: <е, м> <; [х} — открытое
полупространство, А = {и^ Е^: <е, гг> ^ jx} — замыкание А; здесь е^Е^ (ефО),
[X е R. Тогда для того чтобы линейная функция <с, м> была ограничена
снизу на А (или А), т. е.
<с, u>^Y> —оо У/и^А {или У/и ^ А), A4)
необходимо и достаточно, чтобы существовало такое число Я ^ О, что
с = —Хе, т ^ —^JA- A5)
Доказательство. В силу теоремы 1^ ограниченность функции
<с. м> на А следует из ее ограниченности на А, и наоборот. Поэтому
лемму достаточно доказать для множества А.
Необходимость. Пусть выполнено A4). Если с = О, то из A4)
следует, что у ^ О и в A5) можно взять Я = 0. Пусть с Ф 0. Возьмем ка-
кую-либо точку Wo ^А, <е, щ} = \х. Прямая "t ^ % + М —jF^ — cUt^ R)
— <с» б>
принадлежит А, так как (^е, и^у = <^е, и^у -)- ^"]—[F ^^» ^> "~ ^^^» ^> —
=<e,i^^> = jx (^^R). В силу A4) <c,i^^>-<c,w^>+^<?l?|!_|c|4>v
при всех ^ е R. Разделим это неравенство на i > О и перейдем к пределу
при *->-оо. Получим |с|2 ^ <с, е>2/|е|2. С другой стороны, в силу неравенст-

§ 5] ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ 203
ва Коши — Буняковского <с, е}^ ^ \с\^\е\^. Отсюда и из предыдуш;его
неравенства следует равенство | <с, е>| = |с|-|е|. Однако при с Ф О, ефО
в неравенстве Коши — Буняковского равенство возможно лишь тогда, когда
векторы с, е коллинеарны, т. е. с = ае {аФО), Покажем, что а < 0.
Возьмем луч ut = uo — te (f^O). Поскольку <е, vt} = <e, uoy — t\e\^=
= \х — ^|ер^[х при всех f^O, то луч принадлежит А, Согласно A4)
тогда ^ ^ <с, vt} = <ае, vt} = a]x — at\e\^ (f^O). Разделим это неравенство
на ^ > О и перейдем к пределу при ^-^оо. Получим 0<—а|ер, что
возможно только при а < 0. Положим Я = —а, _так что с =—Хе (Я > 0).
Тогда <с, и} = —Я<е, и} ^ —Xix при всех и ^ А, причем при и = uq здесь
достигается равенство. Следовательно, in? <с, и} = — Х\х. Переходя в
и^А
A4) к нижней грани при и ^ А, получаем ~Kix — inf <с, м> ^ Y» т. е.
Y ^ —Я^х. Соотношения A5) получены.
Д_о статочность. Пусть выполнены условия A5). Тогда для любых
и ^ А имеем <с, и} = —Я<е, и} ^ —Я^х ^ -у» т. е. выполняется
неравенство A4).
Теорема 9. Пусть заданы открытые или замкнутые полупространств
eaAi = {uGE'': {ей гг> < jXi} или Ai=.{u^E^: {ей иУ ^уц) (t = О,
1, ..., т)\ пусть Ло П ^1 П •. • П Агп = 0. Тогда необходимо существуют та-
кие числа Яо, ^i, ..., Ят, что
т 7п т
\>0, Х^>0,...Лт>0< 2Xj>0, SVj = 0, 2XiHi<0. A6)
г=0 г=о г=0
Доказательство. Поскольку пересечение выпуклых множеств
Л о, Ai, ..., Am пусто, то согласно теореме 7 сущ;ествуют векторы со, ci, ...
..., Cm, не все равные нулю, и числа 'уо, Ть • • м Tw, для которых
справедливы соотношения G) —(9). Согласно лемме 1 условия G) могут
выполняться тогда и только тогда, когда С{ == —KiCi, ^i ^ —h\Xi при некоторых %{ ^
^ О (г = О, 1, ..., ттг). Поскольку ei ф О и не все а равны нулю, то не все
т
Xi равны нулю. Далее, из (8) следует, что ^ Х^^^ ==0, а из (9) имеем
i=0
т т
— 2 ^г^г ^ 2 Уг~^' "^^^ соотношения A6) получены.
i=0 i=0
Теорема 10. Пусть Ai = {u^E'4 <ei, w> < fXi} (i = 1, ..., m),
a Ло = <w e E"^: <eo, w> < \Xo} или Aq = {и ^ E'^: <eo, м> ^ jxo}. Гог^а для
m
того чтобы A= П Aa^= 0^ необходимо и достаточно существования таких
г=о
чисел Хо, Яь ..., Яш, которые удовлетворяют соотношениям A6).
Доказательство. Необходимость доказана в теореме 9.
Достаточность докан^ем, как и в аналогичной теореме 8, рассуждая от противного.
Пусть выполнены A6), но пусть тем не менее существует точка и^А.
Поскольку не все Xi равны нулю, ei Ф О (t = О, 1, ..., w), то из условия
т
2 Я|^| = О следует существование по крайней мере двух чисел Xi, Xj > О
г=0
(ъф]). Тогда либо г # О, либо /=7^0. Для определенности пусть г > 0.
Из условия V ^ А тогда следует, что v ^^ Ai, т. е. <ег, у> < [Хг. Для
остальных / Ф i имеем <е^, у> ^ [xj (впрочем, равенство здесь возможно лишь
при / = 0). Умножая эти неравенства на соответствующие Xj ^ О и сумми-
руя ПО 7 = О, 1, ..., т, получаем 2 ^i <^i» ^> =\ 2 ^Л» ^ /< 2 ^iH-i^ ^»
i=0 \г=0 / г=о

204
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
[ГЛ. 4
m
что противоречит равенству 2 ^i^i ~ ^' Следовательно, Л = 0, что и тре-
i=o
бовалось доказать.
Нетрудно видеть, что в теоремах 9, 10 говорится об условиях
несовместности систем линейных неравенств вида <е<, w> ^ уа или <ei, w> < [li.
Например, из теоремы 10 следует, что для несовместности систем неравенств
<ei, w><Hi, е<#0, i = 0, 1, ..., 7Л A7)
(в A7) одно из неравенств может быть нестрогим), необходимо и
достаточно выполнения соотношений A6).
Опираясь на теорему 10 и рассуждая от противного, нетрудно
доказать следующий критерий совместности системы A7).
Теорема 11. Для того чтобы система неравенств A7) была
совместной (или, иначе, пересечение множеств Aq, Аи ...» Am иа теоремы 9 было
непустым), необходимо и достаточно, чтобы для любых чисел Яо ^ О, Xi"^
т
^0, ..., Яш^О, не все из которых равны нулю, из равенства 2j ^i^^ "^ ^
i=o
m
следовало неравенство ^ ^il^i ^ ^*
i=0
5. Переформулируем теоремы 7, 8 для случая, когда Aq, Ai, ..., Am
являются выпуклыми конусами в Е^.
Определение 4. Конусом (с вершиной в нуле) называется
множество К, содержащее вместе с любой своей точкой и и точки Хи при всех
Я > 0. Если множество К выпукло, то К называют выпуклым конусом,
если К замкнуто — замкнутым конусом, если К открыто — открытым
конусом.
Рассмотрим множество
Я* = {с е Е'^: <с, м> > О Vi^ е К}. A8)
Это множество всегда непусто, так как О е К*, Далее, если с е К*, то для
Хс при любом я > О имеем <Яс, и) =Я<с, и) ^ О для всех и^К, т. е.
1?1С е jRT*. Следовательно, К* — конус.
Определение 5. Конус ^*, определенный посредством A8),
называется двойственным {сопряженным) конусом к конусу К (рис. 4.17).
Например, если К = {и ^Е^: <а, и} = 0} —гиперплоскость, то К* =
=={се^Б**: с = Яа, ЯеК}; если ^={ме^**: <а, м> ^ 0} — замкнутое
полупространство или К = {и^Е^:
<а, и) < 0} — открытое
полупространство, то К* = {с ^ Е^: с = —Яа,
Я ^ 0}; если ^ = j^^, то ^* = {0};
если К == {0}, то Z* = Е^; если
К= {и^Е'^: и^ 0}, то ^* = {с е
е ?'^: с ^ 0}.
С помощью двойственных
конусов удобно переформулировать
теорему 7 для случая, когда
множества Ао, Ai, ..., Am являются
конусами.
Теорема 12. Пусть Ко, ^i,..,
..., Km — непустые выпуклые кону"
сы из Е^ (с вершиной в нуле), пусть ^о П ^i П . • • П ^т = 0. Тогда
необходимо существуют векторы cq, ci,
1, .,., m), м такие, что
Со + ci + ..
Рис. 4.17
.., Cm, не все равные нулю,с^ <
. + Cm = 0.
.к;
A9)

§ 5] ОТДЕЛИМОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ 205
Доказательство. Согласно теореме 7 существуют векторы со,
Си ..., Cm, не все равные нулю, и числа -уо» Ь^ • • •, Ym, удовлетворяющие
условиям G) —(9). Воспользуемся тем, что рассматриваемые множества ^о,
Ки ..., Km являются именно конусами, и покажем, что тогда fo = Yi = • ••
... = V = 0. В самом деле, если <с<, и> ^ fi °P^ всех и е ^i, то <Ci, Яи) ^
^"Yi или <сг, w>^fiA для любых А, > О и ueJ^i. Отсюда при А,-> + 0
получим <Ci, м> ^ О при всех и е Я"», т. е. с^ е Я* (^ = О, 1, ..., т).
Кроме того, если и ^ Ki, то, взяв в неравенстве <Ci, иУ^О вместо и
точку Хи при малых Я. > О, получим сколь угодно малые значения
функции (Ci, и} на Ki и придем к равенству inf /е., и\ = 0. Согласно A2)
это означает, что все величины ^i (i = 1, ..., wi), участвующие в
неравенствах G), равны нулю. Из A3) тогда имеем уо = 0. Таким образом, если в
теореме 7 множества Ло, Аи ...» Am являются выпуклыми конусами, то
условие (9) выполняется тривиально, так как все Yi = О (i = О, 1, ..., т),
условия G) означают, что q s Я* (i = О, 1, ..., wi), а из (8) следует A9).
При некоторых дополнительных ограничениях на конусы Ко, Ки ...
..., Km теорема 12 обратима. А именно верна
Теорема 13. Пусть Kq, К\, ..., Km — непустые выпуклые конусы ив
Е^ (с вершиной в нуле), пусть все эти конусы, кроме, быть может, одного,
открыты. Тогда для того чтобы ^о П ^i П ... П ^т = 0, необходимо и
достаточно^ чтобы существовали векторы cq, ci, ..., Ст, не все равные нулю,
с\ ^ К^ (t = О, 1, ..., т), и такие, что
C0+Ci + ...+ Cm = 0. A9)
Доказательство. Необходимость доказана в теореме 12.
Достаточность вытекает из теоремы 8, если заметить, что условие с. е i^^
равносильно неравенству <^Ci, иУ^О (ue^i), и отсюда и из A9) следуют
условия G)—(9) при "Yo == Yi = • • • = Ym = 0.
Упражнения. 1. Пусть А и В — выпуклые множества, не имеющие
общих внутренних точек. Можно ли утверждать, что Л и В отделимы?
Рассмотреть пример А = {и = (х, у): у = О, \х\ < 1}, В = {и = {х, у):
х = 0, \у\ <1} вЕ2.
2. Пусть X — выпуклое множество из Е^, int X = 0. Доказать, что
любая гиперплоскость, опорная к X и проходящая через точку у е ri X,
содержит X, т. е. не является собственно опорной.
3. Пусть А — выпуклое множество из Е^, причем А {] int Е'^ = 0.
Доказать, что существует такой вектор с = (ci, ,.,, Сп) Ф О (ci ^О, ...
..., Сп'^0), что <с, а> ^ О при всех а ^ А,
4. Пусть А — выпуклое множество из Е^, М — аффинное или
многогранное множество из Е^. Для того чтобы А и М были собственно отделимы,
необходимо и достаточно, чтобы М []т1А = 0, Доказать.
5. Пусть д{А, В) = ini inf | а — & | — расстояние между множест-
вами А и В. Доказать, что два непустых выпуклых множества А, В из Е^
сильно отделимы тогда и только тогда, когда р{А, В) >• 0.
6. Доказать, что всякое выпуклое замкнутое ограниченное множество
из Е'^ имеет хотя бы одну угловую точку (см. определение 3.2.1).
7. Пусть С/-—выпуклое замкнутое множество из ?^. Доказать, что U
имеет хотя бы одну угловую точку тогда и только тогда, когда U не
содержит прямых (см. пример 1.4).
8. Доказать, что выпуклое замкнутое ограниченное множество А из Е^
является выпуклой оболочкой своих угловых точек. Показать, что без
требования ограниченности множества А это утверждение неверно.
Рассмотреть пример Л = {а = (х, у) gE^: у^ |а;|}.

206 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА 1ГЛ. 4
9. Если Аи ,.,, Am — выпуклые множества из Е"^, причем П п ^^ ?= 0^
г=1
ТО
г=1
т \ т ( т
П А, = .П 3,; ri (. П^ 4,j = .П^ (ri Л,); aff ^.П^ 4,j = .П^ (aff А,)
Доказать.
10. Пусть К — произвольный конус из Е'^. Доказать, что конус К* —
замкнутый и выпуклый.
И. Доказать, что если К — выпуклый конус, то К* = (К)*.
12. Доказать, что если К — замкнутый выпуклый конус, то (Z*)* = К.
13. Пусть К — выпуклый конус. Доказать, что для ограниченности
снизу линейной функции <с, м> на К необходимо и достаточно, чтобы с ^ К*.
14. Пусть ^-—выпуклый конус, \тАКФ 0. Тогда <с, м> > О для всех
м е int Z при любом выборе с ^ К* {с Ф 0). Доказать.
15. Доказать, что (^ + ... + АГ^)* = ^* П ... П ^^, где К^ ...,Кт-
конусы из Е^,
16. Пусть Ки ^2 —выпуклые замкнутые конусы. Доказать, чта
17. Пусть Ко, Ki, ..., ^тп —выпуклые конусы, пусть ^oflint^in..»
П КЛ =А:* + Л:*+ ...+А:*. Доказать.
*~ /т \*
18. Пусть Ко, К\, ..., Km — выпуклые конусы. Тогда либо П ^^ =
\г=0 /
= К^ -{• К^-{- ... -\-К^, либо существуют не все равные нулю векторы
С| е ^1 (t = О, 1, ..., тп) такие, что со + ci + ... + Сш = 0. Доказать.
19. Для того чтобы выпуклые конусы -^о, Кх были неотделимы,
необходимо и достаточно, чтобы О е int(Zo —Zi). Доказать.
20. Доказать, что два выпуклых конуса Kq, К\ неотделимы тогда и
только тогда, когда одновременно выполнены два условия: ri Zq П ri ^i =7^ 0»
Lin Ко + Lin K2 = ?'^.
21. Множество Л* = {с e Е'^: <с, мХ 1 Угг е Л} называется полярой
множества А, Найти поляры множеств А, если А = {0}; А = [а, &] czE^;
А = {и^Е"": и = te, О < ^ < 00, е ^ 0}; А = {и ^ Е'": <с, м> < у}; Л —
шар; А — конус с вершиной в нуле. Выяснить связь между полярой
конуса и двойственным конусом.
§ 6. Субградиент, Субдифференциал
1. Для выпуклых дифференцируемых функций на выпуклом
множестве выше было доказано неравенство (см. теорему 2.2)
/ (и) > / {V) + </' (у), u — vy У/и^и. A)
К сожалению, выпуклая функция может не быть дифференцируемой даже
на внутренних точках множества, и в этом случае полезное во многих
случаях неравенство A) не будет иметь смысла. Тем не менее, оказывается,
для выпуклых функций это неравенство можно сохранить, если
надлежащим образом обобн];ить понятие градиента.
Определение 1. Пусть функция J (и) определена на множестве U
из Е'^. Вектор с = с{и) ^ Е"^ называется субградиентом функции J(u) в
точке у е С/, еслп
J(u)'^J {v) + <с (v), u — v} У/и ^U. B)

6]
СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ
207
Множество всех субградиентов функции J{u) в точке и называют
субдифференциалом этой функции в точке v и обозначают через dJ(v),
Неравенство B) имеет простой геометрический смысл и означает, что
график функции ^ = J{u) (u^U) в пространстве переменных (щ -у)
лежит не ниже графика линейной функции у = J(v) + <с(у), и — у) (м е U),
причем в точке и = v оба графика
пересекаются (рис. 4.18).
Для гладких выпуклых
функций, как показывает неравенство A),
субдифференциал непуст и
градиенты этих функций являются их суб-
граднентами. Во внутренних точках
множества гладкая функция,
оказывается, других субградиентов, кроме
градиента, иметь не может. В самом
деле, пусть v^intU, c{v) ^ dJ(v).
Поскольку J(u) ^C^(U), то J(u) =
= J(v) + {r(v), u-vy+o(\u^v\)
(u^U). Отсюда и из B) следует,
что 0'{v) —c(v), u — vy^o(\u — v\) (u^U), Поскольку u^intU, то
и — V — &(Г{и) — c(v)) ^U при всех 8 (О < е < 8о). Подставив эту точку
в предыдущее неравенство, получим —г\У(и) —c(v)\^^ о(е) (О < е < 8о).
Деля на 8 > О и устремляя 8-^ + 0, отсюда будем иметь —\Г(и)—с(и)\^'^
^0, т. е. c{v) = Г{и),
Тем самым показано, что для гладкой выпуклой функции dJ{u) =
= Vi^)) при всех v^intU. Существуют функции, которые не
дифференцируемы в точке, но тем не менее субдифференциал в этой точке непуст.
Пример 1. Функция J (и) = \g(u)\ (u^U) в точке у, где g(v) =0,
всегда имеет субградпент c(v) =0, так как \g(u)\ — \g{u)\ = |gr(w)|^
^ О = <0, u — v} для всех и ^ U. В то же время в точках и, где g{v) Ф О,
эта функция может быть недифференцируемой и не имеющей субградиента.
Пример 2. Пусть J (и) = |м| (и^Е"^), В точке у = О эта функция
недпфференцируема, но для нее верно соотношение
Рис. 4.18
J(u) —/@) = \и\ ^ <с, гг —0> = <с, и},
:j^^
для всех с (|с|<1). Это значит, что д{\и\)\и=о = dJ{0) = {с ^ Е"^:
Icl^l}—единичный шар с центром в нуле. Если v ф О, то дЦи) =
= {ul\v\ =/'(^)}.
Заметим, что в примере 2 функция J (и) = \и\ выпукла на Е^,
Оказывается, если совсем отказаться от выпуклости функции, то даже гладкая
функция может не иметь субградиента ни в одной точке. Например, для
функции J (и) == и^ на Е^ суб дифференциал пуст во всех точках. В то же
время эта функция J{u) — и^ на множестве U = {и^Е^: м ^ 0} выпукла
и во всех точках v ^U имеет на U непустой субдифференциал. Ниже
увидим, что это не случайно.
2. Следующая теорема показывает, что понятия субградиента и
субдифференциала являются естественными для выпуклых функций.
Теорема 1. Пусть U—открытое выпуклое множество на Е^ (напри-
мер, возможно, и^Е^). Тогда для того чтобы функция /(м), определен-
ная на и, имела непустой субдифференциал во всех точках С/, необходимо
и достаточно, чтобы 1{и) была выпукла на U.
Доказательство. Необходимость. Пусть для некоторой
функции J (и) суб дифференциал dJ(u) Ф 0 при всех и ^U, Покажем, что
J{u) выпукла на U. Возьмем произвольные и, u^U, ае [О, 1] и положим
и^ = аи+ (i — а) и. Пусть с = c(ua) е dJ(ua). Тогда
J{u) — J(Ua) "^ {с, и— Wa>, J(v) — J{Ua) "^ {с, U — Ма>.

208 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Умножим первое из этих неравенств на а, второе на 1 — а и сложим.
Получим aJ(u) + {i—a)J(v) —/(гга) ^ <с, Ма— "«> = О при всех щ u^U,
ае [О, 1]. Выпуклость J (и) на U доказана.
Достаточность. Пусть J (и) выпукла на открытом выпуклом
множестве и. Пусть у — произвольная точка на U, Покажем, что dJ(v) Ф 0,
Возьмем некоторый единичный вектор е. Поскольку V — открытое
множество, то v-\-te^V при всех t (О ^ ^ < ^о, ^о > 0). По теореме 2.14
существует производная dJ(v)lde по направлению е.
В пространстве Е^^^ переменных (м, -у) введем два множества
А = {(и, у) S E'^+h u^U,y>J (и)},
Нетрудно показать, что множество А выпукло —это делается так же, как
доказывалась выпуклость надграфика выпуклой функции в теореме 2.9
(кстати, в данном случае А = int (epi/)). Множество В является отрезком
прямой в Е^-^^ и тоже выпукло. Покажем, что множества А и В ие имеют
общих точек.
В самом деле, пусть (щ -у) ^ А. Имеются две возможности: 1) иФ и +
+ te при всех t (О ^ i < io) — тогда заведомо (и, -у) 9§ В; 2) при
некотором t (О ^ * < ^о) оказалось, что и = v + te — тогда с учетом неравенства
A.11.5) и 'i>J(u)==J{u + te) имеем Ч~-Ци) :> J(v + te) — J(v)-^
^ tdJ(v)/de, т. е. f > J{u) + tdJ(v)/de, и снова (и, -у) §^ В.
Итак, множества А и В выпуклы, А []В = 0, По теореме 5.2 тогда
существует гиперплоскость с нормальным вектором (d, v) Ф О, отделяющая
А и В, т. е.
/ dJ (v) \
id, uy + ^y^id.v + tey + vyj (v) + t —^j
C)
при всех 7 > /(м), u^U, О ^t < to, В частности, при и = v, t = О из C)
имеем v('Y—/(у)) ^0 для всех t^* J{v). Отсюда следует, что v ^ 0.
Допустим, что V = 0. Тогда из C) имеем <d, м> ^ <rf, у + te} для всех
и^и, О ^ f < fo. Положим здесь и = v + zd, t = 0 — так можно делать,
ибо V+ Bd^U при всех 8 (О < 181 < во) в силу открытости и. Получим
<rf, V + Edy ^ id, у>, или &\d\^^0 при всех е (О < |8| ^ 8о), что
возможно только при d = 0. Однако (S, v) фО по построению. Полученное
противоречие показывает, что v = О не может быть.
Итак, V > 0. Поделим C) на v > 0. Обозначая с = —d/v и устремляя
'i-^J(u) +0, из C) получаем
J{u)-J{v) + t<c,eyXc, u-vy + t^^^ D)
при всех и^и ж всех t (О ^t < to). Полагая здесь ^ = О, будем иметь
J (и) —J (v) Хс, и + vy У/и е и.
Это означает, что с е dJ(u), т. е. dJ(v) Ф 0.
В следующей теореме изучаются некоторые свойства
субдифференциала выпуклой функции.
Теорема 2. Пусть U — открытое выпуклое множество из Е^ (
например, и = Е^), J (и) — выпуклая функция на U. Тогда субдифференциал
dJ{u) при всех V ^ и является непустым выпуклым замкнутым и
ограниченным множеством.
Доказательство. Непустота субдифференциала доказана в
теореме 1. Покажем выпуклость dJ(v), Пусть ci, сг е dJ{v), т. е.
J{u) — J (и) > <ci, и — у), J(u) — J(v) ^ <С2, м — у), и^и.

§ 61 СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ 209
Возьмем ае [О, 1]. Умножая первое неравенство на а, второе на 1 —а и,
складывая, получаем J (и) —J(v) ^ (aci + A—а)с2, и —и} при всех и^
е и. Это значит, что aci + A — а)с2е dJ(u) для любых ае [О, 1].
Выпуклость dJ(u) доказана.
Пусть с —предельная точка множества dJ{v), пусть {ck} е dJ{v) и сл->-
-> с при А; ->- оо. Из сл е dJ(u) следует, что /(м) -— J(v) ^ <са, u — vy
(u^U). При А;-> оо отсюда получим с ^dJ{u), Замкнутость dJ(u) доказана.
Покажем ограниченность dJ{u). Возьмем любой вектор с^дЦи). По-*
скольку С/ —открытое множество, то S{u, е) = {и^Е^: \u — v\ ^e}czU'
при достаточно малом в > 0. Далее, в силу теоремы 2.15, функция J {и}
непрерывна на U, поэтому sup / {и) = J* (S) < оо, Положим в неравен-
S(i?,e)
стве B) и = и + BcJ\c\ ^S(u, е). Получим |с| ^ (Н^ + вс/\с\) —J{v))Ie <Z
< {J*(^) —/(у))/8< оо при всех c^dJ(v),
3. Теоремы 1, 2 не дают конструктивного описания субдифференциала
выпуклой функции. Такое описание удается получить лишь в немногих
случаях.
Пример 3. Пусть / (и)= max м\ и == {и\ ..., w**) ^Е"^, I = {1,..., п}.
Согласно теореме 2.7 функция J (и) выпукла на Е^, Покажем, что
dJ(u) = {с= (си ..., Сп): Ci^O, i^I{v), Ci = 0, i^I(v)\
C1 + ... +Cn = 1}, E>
где / {v) = fi ^ I: max iP = иЛ, Множество, определяемое правой частью
I jei I
формулы E), обозначим через А (и). Пусть с^А(и). Умножим
неравенство J (и) — J (и) = max и^ — v^ ^ и* — у», верное при всех i е /(у), и^Е^
на Ci ^ О и сложим по всем i^I{u), С учетом равенств Ci = О при гф
^/(у), ci + ... + Cn = l получим J(u) —J(v) ^ {с, u — vy (ие^Б^), т. е.
с е dj{v). Это значит, что A(v) с: dJ(v),
Докажем включение dJ(v) с: Л (у). Пусть c^dJ{v), т. е.
J (и) — J (и) == mdix и'^ — mdiX и'^ ^ {с, и — иу Ум е J?^. F)
Возьмем в F) u = u±=(v^dbi, ..., y'^zhl). Тогда /(а±)—/(у) =
п
= ±1 и из F) получим ± 1^ <с, и, — у) = ± 2 С|, что возможно лишь
i=l
п
при 2 ^г ~ ^* Д^лее, в F) возьмем Ме = (и*, ..., м^), где м^ = у^ — е при
i=i
некотором i е /, и^ = v^ при / =5^ г, в > 0. Тогда /(ме) ^ -^(у) и из F)
получим О ^ <с, Ме — У> = Сг (—е), так что Ci ^ О (i = 1, ..., тг).
Далее, пусть i^I{v), Тогда у* < /(у) и можно выбрать е > О так, что
у* + 8<7(у). Положим W8=(wS ..., и^), где и* == у» + е, и^ = у^' при
i Ф i. Тогда /(у)=/(м8), и из F) получим О ^ <с, ме —y> = 8Ci, т. е.
Ci^^O (i9^/(y)). Сравнивая это неравенство с уже доказанным с< ^ О,
получаем Ci = О (i^/(y)). Это значит, что c^A(v), так что ^/(у) с= Л(у),
Равенство E) установлено.
4. Установим связь между производными по направлению и
субдифференциалом выпуклой функции.
Теорема 3. Пусть U — открытое выпуклое множество из Е^, J (и) —
выпуклая функция на U. Тогда во всех точках v ^U производная функ^
ции J (и) по любому направлению е {\е\ =1) существует, причем
Щ±=^ max ic.ey. G>

210 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Доказательство. Существование производной dJ(v)lde
установлено в теореме 2.14 Докажем формулу G). Из B) имеем (J(v + te)~-
— Hv))lt'^ <с, е> при всех c^dJ(v) и всех достаточно малых ^ > 0.
Отсюда при t-^ + O получим dJ{v)lde ^ <с, е> для любого c^dJ(v), так что
dj(v)/de ^ sup <с, е>. С другой стороны, при доказательстве теоремы 1
CGdJ(v)
был построен специальный субградиент с, для которого выполняется
неравенство D). Полагая в D) и= v, будем иметь dJ{v)/de ^ {с, е} (с ^
^dJ(v)). Сравнивая это неравенство с предыдущим, приходим к
формуле G). Попутно показали, что максимум в правой части G) достигается
именно на том субградиенте, который был построен в теореме 1.
Формула G) обобщает известную формулу dJ{v)/de = </'(i^), е> для
гладких функций.
5. С помощью субдифференциала можно сформулировать критерий
оптимальности, обобщающий теорему 2.3 на случай негладких выпуклых
функций.
Теорема 4. Пусть J (и) — выпуклая функция на открытом выпук-
.лом множестве W из Е^, U — выпуклое подмножество множества W.
Тогда для того чтобы функция J(u) достигала своей нижней грани на
множестве и в точке W* е и, необходимо и достаточно, чтобы существовал суб-
градиент с^ =^ с (и^) е dJ (и^) такой, что
<с*, W—w,*>>0 У/и^и. (8)
Если Wjj. е int и, то в (8) с^ = 0.
Необходимость. Пусть w* е С/"* = /гг е U: J (и) — inf / (и) = /^>
> — оо|. В пространстве ?"^+1 введе^м множества
А= [а = (щ а^)^Е'^+^: u^W, а^-^ J (и) - J^},
B = {b = (v,b^): v^U,b^<0},
Вти множества не имеют общих точек.
В самом деле, пусть а = (м, ао) ^ А. Тогда возможно либо и ^ U, ли-
^0 м е W\U. В первом случае «^ ^ / (г^) — /* ^ О и заведомо а^ В. Если
u^W\U, то а^В по определенпю множества В. Выпуклость множеств
А ж В доказывается так же, как и выпуклость надграфика выпуклой
функции в теореме 2.9. По теореме 5.2 тогда существует гиперплоскость с
нормальным вектором g = (d, v) Ф О, отделяющая А и В — замыка_ние В, т. е.
<g", й> ^ Y < <^т by, а^А, Ъ ^В. Поскольку г/ = (w^, 0) е Л fj ^ и
согласно теореме 5.2 7 = iS-, УУ — id, и^у, то предыдущие неравенства
запишутся в виде
{d, иу + va < {d, и^у < {d, иУ + vb
(9)
Из правого неравенства (9) при b = (и^,—1) ^ В имеем v«(—1)^0,
т. е. V ^ 0. Если V = О, то из (9) получим {d, иу ^ (d, и^у, u^W, Однако
W — открытое множество и и == и^ -]- Ed ^ Wnpn всех 8 (О < |8| <. Bq).
Поэтому из предыдущего неравенства получаем <d, 8d> = 8|d|2^0 @<
< 181 < 8о), что возможно ЛИШЬ нри d = О, Однако это противоречит то-
му, что g == (d, v) Ф 0. Следовательно, v < 0.
Разделим (9) на v < 0. Полагая с^ = ~ rf/v, получаем
— <с*, W — w*> + я^ > О > — <с^, и~и^у + Ь^,

6] СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ 211
Отсюда при а = (w, а^ = / {и) — J (u^)'j имеем J (и) ~ J (и^) > <с^, и ~ и^}
при всех u^W, т. е. с* е dJ (и^). При 6 = (v, 0) (у е U) из A0) следует
неравенство (8).
Если и^ е int и, то i^ = 1г^ -[- 86?^ е и при всех е (О < |8| < во), и из
(8) получим <,с^, 8с^> = е I с^ 1^ > О (О < I 8 I < 8 ). Это возможно лишь при
с* = 0.
Достаточность. Пусть для некоторой точки u^^U выполнено^
неравенство (8) при каком-либо с^^ dJ {и^).1[.о определению
субградиента тогда J {и) — J (и^) '^ {с^, и— и^у ^ О при всех u^U, т. е. u^^U^.
Замечание. Как видно из доказательства теоремы 4, множества А^
В и, следовательно, вектор ^ = (cZ, v), а также и с^ = — div из (8) не
зависят от выбора w*e и^. Таким образом, в (8) для всех и^ е ?^* можно
выбрать один и тот же субградиент с^^ который, конечно, является общим
для всех ^/(w*), w#eC/;je. Это значит, что, в частности, когда J
{и)—гладкая выпуклая функция, в теореме 2.3 с^ = J' {и^) не зависит от и^ ^ U^,
Следующие примеры показывают, что субградиент с^ из (8) в общем
случае определяется неоднозначно.
Пример 4. Пусть J{u) = \и\ {u^W = E^). Если U = Е\ то
^* — W, dJ @) = [— 1, 1] и неравенство (8) выполняется лишь при с^ =0.
Если и = (и^ Е^: w ^ 0}, то U^ = {0} я (8) выполняется для всех с^ е
е[0, 1]с=^/@).
Пример 5. Пусть /(гг) = шах {гг; 0} {u^W = E^). Если U = Е\
то C/j,5 = @), ^/@) = [О, 1] и (8) имеет место лишь для ^„5 = 0. Если
и = {и^ Е^: и ^ 0}, то по-прежнему?^*={0}, но неравенство (8) здесь
выполняется для всех с^ е dJ @) = [О, 1].
6. Определение 2. Пусть Е^, Е^ — евклидовы пространства, W а
CZ Е^, UiE^) —множество всех непустых множеств из Е^. Говорят, что на
W задано многозначное отображение F: W->-11{Е^), если каждой точке
u^W поставлено в соответствие некоторое множество F{u) czIl(E^).
Определение 3. Многозначное отображение, которое каждой
точке и из открытого выпуклого множества W а Е^ ставит в соответствие суб-
дифференцпал dJ(u) некоторой выпуклой на W функции J (и), называется
субдифференциальным отображением и обозначается через dJ.
Субдифференциальное отображение обладает рядом замечательных
свойств [18, 21, 132, 255, 264]; на некоторых из них мы здесь кратко
остановимся.
Определение 4. Пусть W — множество из Е'^. Многозначное
отображение F: W-^JliE"^) называется:
1) компактным, если для любого компактного множества U aW
множество F (U) = и F W компактно;
2) монотонным, если <с(м)—с (и), и—у> ^ О при всех м, v^W,
c{u)^F(u), c(v)^F{v);
3) выпуклозначным, если F{и) —выпуклое множество при каждом и^
4) полунепрерывным сверху в точке у е И^, если из того, что {vn}-^ v
(vh^W) и {ch}-^c (ck^F{uk), /с = 1, 2, ...), следует c^F{v);
5) полунепрерывным снизу в точке v ^ W, если для всякого элемента
с ^F{v) и любой последовательности {vk} -^v{vk^ W) найдутся Ch е F(vk)
такие, что {ck} -> с.
Теорема 5. Пусть J (и) —выпуклая функция на открытом выпуклом
множестве W из Е^. Тогда субдифференциальное отображение dJ: W-^
->П(Е^) выпуклозначно, монотонно, полунепрерывно сверху, компактно.
Доказательство. Выпуклозначность отображения dJ следует из
теоремы 2. Возьмем произвольные и, v^^W, с(и)^д7(и), с{и)^д7{и).
Тогда согласно B) J(u) —J{v) ^ <c(v), и — v}, J{v) '-J{u) ^ <с(м), у —гг>.
Сложив эти два неравенства, получим <с(м) — с(г;), и—y> ^ 0. Монотон-

212 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Еость dJ установлена. Далее, пусть v^W, {vk}-^ v, Vk е W, пусть {ск} ->¦ с,
Ck^dJ(uk), Это значит, что /(и) —/(^л) ^ <сл, и — инУ при всех u^W.
Поскольку функция J (и) непрерывна на W (см. теорему 2.15), то,
переходя к пределу в этом неравенстве при А:->-оо, приходим неравенству B).
Это значит, что c^dJ(u), Полу непрерывность сверху отображения dJ
доказана.
Наконец, возьмем произвольное ограниченное замкнутое множество
и czW, Поскольку W — открытое множество, то все точки U являются
внутренними для W и поэтому найдется такое число б >> О, что
ограниченное замкнутое множество С/в = {м е Е'^: | w —• г;| ^ б, v ^ U},
представляющее собой б-раздутие множества U, принадлежит W,
В самом деле, если W = Е^, то Uc а Е'^ при любом б >> 0. Если же
W Ф Е"^, то граница Гр W выпуклого множества W непуста и р(г;, Гр РУ) =
= inf \v — w\> Q при всех и ^ U. В силу леммы 2.1.2 функция
p(y, Гр РУ) непрерывна на компактном множестве U и согласно
теореме 2.1.1 найдется такая точка у* е U, что inf р (у, Гр TF) = р (у*, Гр W) =
= 26 > 0. Это значит, что U&ciW. Функция J{u) непрерывна на компакт-
еом множестве Uc, поэтому sup / (м) = /g < оо.
Возьмем любые v^U, се dJ(u), В неравенстве B) положим и = v-\-
-\-6cl\c\ dUcdW, Получим \c\^IJ(v + M\c\)—J{u)]I8^2jI/6=M<oo
для всех c^dJ{v), V ^ и. Таким образом, sup sup \с\= sup |сК
ге и c^dJiv) c<=dJ{U)
^ М < оо^ т. е. множество dJ(U) ограничено. Докажем замкнутость dJ(U).
Пусть {ck}-^ с (ck^dJ(U)), Это значит, что существует такая точка Vk^.
е С/, что CftS ^/(ул). Поскольку U — компактное множество, то без
ограничения общности можем считать, что {vh}-^v<^U, В силу полунепрерывности
сверху отображения dJ тогда с ^ dJ(v) cz dJ(U), Следовательно, dJ(V)—
замкнутое множество. Компактность отображения dJ установлена.
Отметим, что субдифференциальное отображение dJ, вообще говоря, не
является полунепрерывным снизу. Например, функция J(u) = \и\, we
gW = Е\ имеет субдифференциал ^/@) = [—1, 1], но точки с е (—1, 1) е
^ ^7@) не могут быть получены как предел какой-либо
последовательности {cft}, еле dj(vk), где Ул s^ О, /с = 1, 2, ..., {uk}~^0.
Используя компактность отображения dJ, нетрудно получить
обобщение теоремы 1.8.3 на многомерный случай.
Теорема 6. Пусть J {и) — выпуклая функция на открытом выпуклом
множестве W из Е^. Тогда на любом ограниченном множестве G czW
функция J{u) удовлетворяет условию Липшица, т. е. существует такая
постоянная L = L(G)^0, что \J(u) —J{u)\ ^L\u^—v\, и, и ^ G.
Доказательство. Возьмем U = со G — это выпуклая оболочка
замыкания множества G. В силу теоремы 1.8 С/ — выпуклое компактное
множество и dW. Тогда /(и) — J{v) ^ ic{v), u — vy^ —L\u ¦— v\ (ц, v e U),
где L =sup I c| < cx) в силу теоремы 5. Поменяв здесь щ и местами, име-
dJiU)
ем J(v) — J(u) ^—L\u —и\ (и, v^U). Отсюда следует утверждение
теоремы.
Для получения интересных экстремальных свойств
субдифференциального отображения нам понадобится
Теорема 7. Пусть W — открытое множество из Е^^ многозначные
отображения А и В: \?-^П{Е^) таковы^ что А полунепрерывно сверху и
компактно, В монотонно, причем А{и) {\В{и) Ф0 при всех u^W, Тогда
со (В(и) с=соЛA1) (u^W).
Доказательство. Зафиксируем любые u^W и ее^^(|е| = 1).
Поскольку W — открытое множество, то iS = {у е?''*: \v — ii| ^ во} с: W'
при некотором 8о > 0. Возьмем последовательность {ел} ->-0 (О < 8а < во).

§ 6] СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ 213
Тогда vh = и + Eke а S с W, {vk} ->¦ и. По условию существуют ал е Л (ул) П
Л В(vk). В силу монотонности В для всех b ^В{и) имеем <ал — 6, Ул — и> ==
= <а/1—6, еле>^0 или Кан—Ь, е>>0. Поскольку отображение А
компактно, то множество А {S) является компактным. Поэтому, учитывая
включение ан ^ А (uk) а А {S), можем считать, что {ал}->-ао. В силу
полунепрерывности сверху отображения А тогда ао^А(и), Поэтому, переходя
к пределу в неравенстве iak—b, е>>0, получаем <ао--Ь, е> > О, или
<^, Ь> < <е, а \ < sup <е, а> при всех b^Biu). Отсюда sup <в, &> <
< sup <в, а>, и требуемое утверждение следует из теоремы 4.6.
а&А(и)
Теорема 8. Пусть J{u)—выпуклая функция на открытом
выпуклом множестве W из Е^, пусть F: W-^U.{E^) — какое-либо многозначное
стображение. Тогда:
а) если F монотонно, dJ(u)^F(u) при всех u^W, то dJ{u)=F(u)
(u^W), т. е. субдифференциалъное отображение максимально в классе
монотонных отображений',
б) если F полунепрерывно сверху, выпуклозначно и F(u) с dJ(u) при
€сех u^W, то dJ{u) = F{u), т, е. субдифференциалъное отображение
минимально в классе полунепрерывных сверху выпуклозначных отображений.
Доказательство. В случае а), пользуясь теоремой 7 при А (и) =
= dJ(u), В{и) =F(ii), получаем F{u) czcoF(ii) czcodJ(u) s= 57(а), так
что dJ(u) =F(ii) (u^W). В случае б) в теореме 7 возьмем А{и) =F(a),
В (и) = dJ{u), Нужно проверить компактность отображения F. Пусть U —
какой-либо компакт из W. Из включения F(u)cidJ(u) (u^W) следует
F(U) czdJ{U), В силу теоремы 5 множество dJ(U) компактно. Это значит,
что его подмножество F{U) ограничено.
Далее, пусть {са}->с(сле^(С/)). Тогда найдутся такие точки Uk^U,
^то ch^F{uk) (А: = 1, 2, ...). В силу компактности U можем считать, что
{ttft}->iieC/. Из полунепрерывности сверху отображения F следует, что
€^F(u) czF{U), т. е. F{U) замкнуто. Компактность F установлена. В
частности, взяв здесь одноточечный компакт ?/={»}, заключим^ что F(w)-—
компактное, т. е. ограниченное и замкнутое множество при каждом и ^W.
Отсюда и из теорем 1.5, 1.8 с учетом выпуклости F{u) имеем равенство
coF(u) = F{u), Из теоремы 7 теперь получаем со dJ{u) = dJ{u) cz coF(u) =
= F(k) (u^U). Отсюда и из включения F{u)czdJ{u) (u^W) следует
утверждение б) теоремы.
7. Субдифференциал для выпуклых функций играет роль, аналогичную
той, какую играет градиент для дифференцируемых функций. Как для
работы с градиентами полезно иметь некоторый набор правил
дифференцирования, так и для работы с су б дифференциалами нужно иметь некоторые
правила субдифференцирования. Предлагаем читателю самостоятельно
доказать следующие правила субдифференцирования 1—4:
1. Если g{u) == J(u + Ко), то dg(u) = dJ{u + Uq),
2. Если g{u) = XJ(u) (К > 0), то dg(u) = XdJ(u),
3. Если g(u) = J{Xu), TO dg(u) = KdJ(Xu),
4. Если функция J (и) выпукла на ?'^ а Л —матрица порядка пХщ
del А Ф Q, b ^ Е"^, то функция
g(u) =.J(Au+b), u^E^,
выпукла на Е"^, причем
dg{u) ^A'^dJ{v)U^Au+b.
5. Справедлива следуюп^ая теорема [21], обобщающая известную
теорему о производной сложной функции.
Теорема 9. Пусть 7i(tt), ,.., Jт{и) — выпуклые функции,
определенные на открытом выпуклом множестве W из Е^^ функция ^(х) =
= ф(а;^, ..,., х"^) —выпуклая функция на открытом выпуклом множестве X
из -Е"» причем J{u) == (Ji(u), ..., Jm{u)) еХ при всех u^W, ф(ж) моно-

214 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
тонно возрастает на X, т. е. ф(ж)^фA/) для всех х == (х^, ..., х^)^
у = (у\ ..., у"^) е X, х^ ^У\ г = 1, ..., т. Тогда функция Ф{и) = ф(/(ц)>
выпукла на W и ее субдифференциал имеет вид
дФ{и)= и 2 PidJi ("I и е W. (И)
Для доказательства этой теоремы нам понадобится
Лемма 1. Пусть Ai, , Am — выпуклые множества из Е^, Р—вы-
пуклое множество из Е^, тогда множество А= [} { Zj РаАЛ
+ p=(Pj....,p„)eP Ut-i *j
выпукло.
Доказательство. Возьмем произвольные ci, сг е Л, а е (О, 1) >
По определению А существуют такие р^ — (р^^, ..., Р|^)еР cz Е'^, а.^ е А^
т
(/ = 1, ...,m), что с^ = 2 ^ij'^ii (^ = 1,2). Тогда ас^ + A - «) с^ =
т
= 2 (^^ij'^ij + A ~~ ^) P2j^2i)' -^^ условию /?ij ^ 0. Обозначим через I мно-
жество всех номеров / = 1, ..., т, для которых р^ > О или р2} > 0. Тогда
ар,. + A-а)р,.>0, 7ccj = ccp,. + (l-«)/.2i ^ ^^'^^' ^'^ ^*
Положим а? = 7aj^ii + (^ ~" Уаз)% °Р^ / ^ -^» ^Т"^ '^li °Р^ J ^^-^ ^и-
лу выпуклости i4j точки а^ принадлежит А- (/ = 1, ..., ттг). Кроме того,
р^ = (р^, ..., р^) = ар^ + A — а) ^2 ^ ^ из-за выпуклости Р, причем здесь
pf = 0 при 7 ^ /. Тогда ас^ + A — а) с^ == 2 (^^ij'^ij + (^—^) P^ftj) =
= 2 («Pl^ + (!-«) P2i) (Va/ij + A - Vai) «2j) = S P"''" = 2 P"S-. ГД&
a^ e -4j G = 1, ..., An), p^ ^ P, Это значит, что aci + A — a)c2 e Л при
всех ae (О, 1), т. е. Л — выпуклое множество.
Доказательство теоремы 9. Из выпуклости функций 7,(и),
ф(ж) и монотонности Ц){х) следует выпуклость сложной функции Ф(и) =
= фG(гг)) на открытом выпуклом множестве TF —это доказывается так же,
как и теорема 2.8. Согласно теореме 2 тогда субдифференциал дФA1) при
каждом и ^W представляет собой непустое выпуклое компактное
множество.
f ^1 ]
Докажем формулу (И). Обозначим F (и) = [} { 2j Pi^"^г^^^\- ^^
редф(Л^)) и=1 1
теореме 2 субдифференциалы dJi{u), д(р(х) также непусты, выпуклы,
компактны II поэтому F{u) Ф 0 {u^W), Отметим, что ^ф [х) е Е'^ прп всех
ж е X. В самом деле, возьмем любые х = (ж\ ..., х'^) е X, р = (р\ ..., рт) е
е (9ф(ж). Поскольку множество X открыто, то при достаточно малом 8 > О
точка у = (у^ ..., 1/), где у^ = х^ — 8, у^ = х^ при / ф h принадлежит X.
С учетом М0Н01Т0НН0СТИ ф(ж) тогда 0^ф(г/) —ф(ж) ^ </?, у —ж> = рг(—е),
так что Рг ^ О (г = 1, ..., ттг). Следовательно, 5ф (х) g Е'^, По лемме 1
тогда множество F(u) выпукло при каждом ц е W.
Покажем, что F = F{u), как многозначное о(тображение W-^Il{E^),
полунепрерывно сверху. Пусть u^W, {uhj-^u, {cjt}->-c, Ch^F{uk)* Тогда

СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ 215
найдутся pk^d^(J(uh)), CihGdJi{uk) такие, что ^k~ ^ Pik^ik' ^О'
скольку сходящаяся последовательность {uh} ограничена, то найдется
компактное множество G CZ и, содержащее все точки и, щ, иг, ... Аналогично,
поскольку в силу непрерывности выпуклых функций Ji(u)
последовательность {xk = J(uk)} -^J{u) е X, то существует компактное множество 7 cz Z,
содержащее все точки J {и), J{ui), /A12), ... (можно взять У = /(С) =
= Ji(G) X .. .X Jm{G)). По теореме 5 множества dJi(G), ^ф(У) компактны.
Поскольку Cih^dJi{uk) czdJi(G), pk^ дц)A(ин)) е ^ф(У) (А: = 1, 2, ...), то
не теряя общности можем считать, что {сгл}->Сг, {ph}-^p. Из
полунепрерывности сверху отображений dJi(u), дц){х) имеем а е dJi(u), р е 5фGA1)).
т т
Переходя к пределу в равенстве с^ = 2 Pik^ik' получаем с = 2 /'Л» т« ^*
2=1 i=l
^eF(tt). Это значит, что отбражение F полунепрерывно сверху.
т
Возьмем любые u^W и c^F(u). Тогда с == ^ Pi^j при некоторых
i=l
€гес>/г(и), р = (/?1, ..., /?т) е ^ф(/(и)). Учитывая определбние субгра-
диеита и неотрицательность pi, получим
Ф {и) - Ф Ы - ф (/ (и)) - ф (/ (и)) > <р, / (г;) - / Aг)> =
m т
= 2 Pi(.^iW--^i(»))>2 Pi<^i. ^-"> =
i=l i==l
= \ ij ^i^i' ^ - " ^ = <^» ^ - "> ^^ ^
Это значит, что с е ^O(tt) и, следовательно, F(u) с: дФ(и) при всех и е PF.
Отсюда, пользуясь утверждением б) теоремы 8, заключаем, что дФ{и) =
= F(u) (и ^W). Формула (И) доказана.
G помощью теоремы 9 можно получить более сложные правила
субдифференцирования, дополняющие приведенные выше правила 1—4. Ниже
при ссылках на формулу A1) предполагается, что выполнены условия тео»-
ремы 9.
6. Если (р(х) —дифференцируемая функция, то д(р{х) = {ф'(^)} =
= {{дцIдх\ ..., 5ф/5ж^)}, dq>(J(u)) = {ф'(/(и))}, и из формулы (И) имеем
:W.
i=l Sx^
В частности, если Ji{u) дифференцируема и ^/^ (и) = [J^ (м)}, отсюда
получаем классическое правило дифференцирования сложной функции.
т
7. Если Ф (:г) = 2 ^i^' (^i > ^)' то ^ф (х) = ((а^, ..., а^)} е Е"^
i=l
т
И для функции ф (м) = 2 ^i'^i (") (^ ^ ^) ^^ A^) имеем ^Ф (и) =
m
i=l
8. Если ф (;г) = max х^, то согласно формуле E) д(р{х) =
Кг<т
= {р=(р1, ..., рт): Pi>0, iGl(x); Pi=0, i^I{x), pi + ... +/?m = 1},

216 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА (ГЛ. 4
где / (х) = (и 1< I < /тг, max х^ = хЧ {х s Е^). Отсюда и из (И) для
\ 1<з<т I
функции Ф (и) = max /^ (и) имеем
ККт
дФ (и) = (с: с = 2 Pi^'i^ ^i ^ ^-^i (")' Pi>0,iGl(J (и)),
[ iei(J(u))
2 />i = l| = cof и dJ.(u)], I{J(u))==
== ji: l<i<m, max /Л1*) = Л(и)), u^W. A2)
9. Если ф(ж) =max{0; x} (xgE^), to согласно A2) дц>{0) = {с: с =
= Pi • О + р2 • 1 = Р2, Pi + Р2 = 1, Pi>0, р2>0} = [О, 1], 5ф(х) = {1} при
а; > О, д(р{х) = {0} при а; < О, и для функции Ф(и) = тах{0; J (и)} {и е W}
из (И) имеем дФ{и) =pdJ{u) (O^p^l) при /(и) =0, дФ(и) = dJ(u}
при /jfw) > О, дФ(и) = О при J (и) < 0.
10. Если ф(а:) = (шах {0; а:})^ (р > 1, же^^, то д(р{х) = {ф'(а;) =
= р(тах {0; х})р-^} и для функции Ф{и) = (max {0; /(и)})^ (и е И^) имеем
^O(ii) =/7(тах{0; 7(ii)})P-^a7(tt), и е W, р > 1.
11. Приведем еще одну теорему, в которой дается обобщение
формулы A2).
Теорема 10. Пусть Л — компактное множество из Е^,
W—открытое выпуклое множество из Е^, функция G(u, а) определена на W \ А^
полунепрерывна сверху по а при каждом и gW, выпукла по переменной
и ^W при каждом а е Л. Тогда функция Ф (и) = maxG^ (и, а) выпукла
на W и ее субдифференциал имеет вид
дФ(и)=со[ и dG(u,a)V R(u) = {a: а^А, G(u, а) = Ф{и)}, u^W.
\a^R(u) J
A3)
Доказательство может быть проведено по той же схеме, как и теорема 9,.
и представляется читателю.
12. Если А — выпуклое замкнутое ограниченное множество из Е^, то
функция ф (м) = max <а, м> (м е EV') выпукла на Е^, причем, как еле-
дует из A3), при G(u, а) = <а, ц> имеем дФ(и) = {а: а ^ А, <а, ii> = Ф(ц)}..
Более подробно о перечисленных и других правилах
субдифференцирования, о различных свойствах субдифференциала, о различных обобщениях
понятий субградиента и субдифференциала, о применении этих понятий
для исследования и приближенного решения экстремальных задач см.,
например [2, 15, 18, 21, 27, 123, 132, 133, 148, 156, 166, 195, 214, 219, 235, 255, 264,
306,334].
Уп'ражнения. 1. Найти суб дифференциалы функций:
а) Ли) =
б) J(u) =
в) J(u) =
и —11 {и^Е^);
11-1 + 1и + 1| {и^Е');
, ./ ч .^ + 2/l + U-J/| (и==(х,у)^Е^);
г) 7(и) = max {1*2, к-1-2} (и^Е^);
д) Ли) =тах{|1г|; |i^-l|} (и^Е^);
е) 7(ii) = |<а, K> —Ь| {и^Е"^),
2. Пусть функции 7i(w), ..., Jm(u) {u^E^) непрерывно
дифференцируемы в некоторой окрестности точки v. Доказать, что тогда функция
/ (а) = max /^ (и) в точке v имеет производные по любому направ-»
ККтп

§ 6] СУБГРАДИЕНТ. СУБДИФФЕРЕНЦИАЛ 217
лению е (|е| =1), причем
^^ = ;^]f^^ {Л (< ^>' / (^) = {^: 1 < ^ < гп, /^ (V) = / Щ.
Установить связь между этой формулой и формулами G), A2).
3. Найти субдифференциалы функций J {и) = max \t^ + xt -{- у\^ J(u)=9
^mdix\xt^ -\-yt\, J (и) = max | a: + «i/l (u = (ж, y)^E^),
\t\<i ti<t<i
4. Пусть A — замкнутое ограниченное множество из jE"*, функция
g{u, а) непрерывна по совокупности переменных (и, а) на Е'^У.А вместе
с производной dg{u^ аIди. Доказать, что тогда функция / (w) =
= max g{u, а) во всех точках v^E"^ имеет производную по любому направ-
лению е, \е\ =1, причем
^= max ^M^Lil.e^, Л„(.) = (а:а^Л,^(..а)=/(.)}.
Установить связь между этой формулой и формулами G), A3).
5. Пусть J (и) —выпуклая функция одной переменной на отрезке [а, 6].
Доказать, что 57(ii) = [/'(к —0), /'(к + 0)] при всех и е (а, 6), где
/'(и — 0), 7'(и + 0)—левая и правая производные в точке и. Показать,
что в точках и = а или и = 6 субдифференциал может быть пустым
(рассмотреть пример/(и) = —yi —k2(|ii| ^1)).
6. Пусть J (и) —выпуклая функция на выпуклом мно^кестве U из Е\
Доказать, что при всех и е ri С/ множество dJ{u) непусто, выпукло,
компактно, причем —iiii. = max <с, е} для всех е е Lin U.
de csej(u)
7. Пусть функция J (и) определена на открытом выпуклом множестве
WczE^ и такова, что функция Ф(и) = \J{u)\ выпукла на W, Описать
множество дФ(и) (и gW),
8. Описать суодифференциалы функций p(k, U), б (с, U), \i{u, U) из
упражнений 18—20 к § 4.2.
9. Пусть J (и) — выпулая функция на открытом выпуклом множестве W
из Е^^ пусть субдифференциал dJ{u) в некоторой точке u^W состоит из
единственного элемента с. Доказать, что J (и) дифференцируема в точке к,
причем /'(и) = с.
10. Пусть выпуклая функция J (и) дифференцируема в каждой точке
открытого выпуклого множества W. Доказать, что ее градиент Г (и)
непрерывен на W.
И. Пусть /(и), G(к)—выпуклые функции на открытом выпуклом
множестве W из Е'^, причем dJ(u) — dG(u) при всех u^W. Доказать, что
тогда J (и) =G(u) + const {u^W),
12. Пусть функция J (и) выпукла на открытом выпуклом множестве W
из Е"^, Доказать, что для того чтобы J (и) была сильно выпуклой на W,
необходимо и достаточно, чтобы для каждой точки и gW существовал
субградиент c(v) е dj(v) такой, что
J (и) — J (v) > <с (у), u — vy + }i\u — u\^ Vm е PF, X = const > 0.
13. Пусть функция J {и) сильно выпукла на открытом выпуклом
множестве W из Е^, Доказать:
а) <c(ii) —с(у), u — v>'^2k\u — v\^ для всех Vm, i; е PF, с(и) е
^dJ(ii), с{и) ^dj(v);
б) dJ(u) П dJ(v) = 0 для всех и, v^W, иф v;

218 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
в) ДЛЯ любой точки и ^W справедливо неравенство | гг — у 1 ^
<— min \с\ для всех ц е Я (у) = {не С/: 7 (и) :^/(у)}.
X c~dJiv)
Опираясь на это утверждение^ доказать теорему 3.1 для любого
выпуклого замкнутого множества UcuW.
14. Пусть функция J {и) выпукла на открытом выпуклом множестве-
W CZ Е^ и сильно выпукла на выпуклом замкнутом подмножестве U czW^
Доказать, что тогда
O^J{u)~J^^-L min \с\\ \и-щ\^^ min \с\,
где щ — точка минимума J (и) па U, J^ = J (щ)-
15. Пусть функция J (и) сильно выпукла на Е"^, Доказать, что для
любого с ^ Е^^ суш,ествует такая единственная точка и(с)^Е'"\ чта
с е dJ{u{c)).
Указание: рассмотреть точку минимума функции g(u) = J (и) —
— <с, и} на Е'^.
§ 7. Равномерно выпуклые функции
1. Рассмотренный в § 3 класс сильно выпуклых функций
обладает замечательным свойством — для функций этого класса
имеет место теорема 3.1. Однако этот подкласс выпуклых
функций недостаточно широк и не содержит, например, такую
выпуклую функцию, как J{u) = u^ (и^Е^), которая, между прочим,,
достигает своей нижней грани на любом выпуклом замкнутом
множестве из Е\ причем в единственной точке. Хотелось бы
выделить такой подкласс выпуклых функций, для которого была
бы верна теорема типа теоремы 3.1 и который был бы шире
класса сильно выпуклых функций. Оказывается, таким классом
является класс равномерно выпуклых функций.
Определение 1. Функцию J (и), определенную на
выпуклом множестве С/, называют равномерно выпуклой на U, если
существует неотрицательная функция 6{t), определенная при
всех HO<^<diamC/-: sup \u — v]V б@)=0, б(^о)>0 при
некотором ^0 {0<to< diam U) и такая, что
J{аи + {1 - a)v)< aJ{и) + {1 - a)J(v)- а{1 - а)8{\и- v\) A)
при всех щ v^U, а^[0, 1]. Функцию б(^) называют модулем
выпуклости функции J (и) на U, а функцию
\i(t)= inf inf ^/ ju) + (i~a)J(v) — J (au + A — a) v)
o<a<i \u-v\=t,u,v^u a A — a)
ТОЧНЫМ модулем выпуклости J (и) на С/. Если равномерно
выпуклая функция имеет модуль выпуклости 8{t)>0 при всех t
(О < it < diam С/), то такую функцию называют строго
равномерно выпуклой на и [92].
Очевидно, всякая сильно выпуклая функция является строго
равномерно выпуклой с модулем 8{t) = xf. Сумма равномерно

§ 7] РАВНОМЕРНО ВЬШУКЛЫЕ ФУНКЦИИ 219
выпуклой функции с модулем б(^) и выпуклой функции будет
равномерно выпуклой с модулем 8{t). Если J (и) равномерно
выпукла с модулем б(^), то функция g{u)^cJ{u) при любом
с = const > О также будет равномерно выпуклой с модулем
€б(^). Если |х(^)—точный модуль выпуклости равномерно
выпуклой функции J{u) на и, то любая функция 8{t)<\i{t) @<
< ^ < diam U) неотрицательная, нетождественно равная нулю,
б@) = 0, будет модулем выпуклости функции J (и) на U.
Следуюш;ая теорема является обобш;ением теоремы 3.1.
Теорема 1. Пусть U — выпуклое замкнутое множество из
Е'^ {например, U = E''), а функция J (и) равномерно выпукла и
полунепрерывна снизу на U. Тогда:
1) множество Лебега lf([;)=={ii: u^U, J{u)^J{v)} выпукло,
замкнуто и ограничено при всех v е U;
2) /^ = inf / (гг) > — оо, C/jj. = {и: u^U, J{u) = J^} ф 0;
3) имеет место неравенство
Ы\и-и^\)^1 (и)^ J {и^) B)
при всех и^и, и^^: и^\
4) если, кроме того, J (и) строго равномерно выпукла на Е7,
го и^ состоит из единственной точки и^ и всякая минимизирую-
щая последовательность {uj: {uJ^U, lim J {Uk) = J^, сходится
к точке u^.
Для доказательства этой теоремы нам понадобятся следующие две
леммы о свойствах точного модуля выпуклости.
Лемма 1. Пусть [i{t) —точный модуль выпуклости равномерно
выпуклой функции J{u) на выпуклом множестве U. Тогда
[i{ct)^c^li(t) C)
для всех с ^ 1, it ^ О, О ^ ci ^ diam U.
Доказательство. Сначала рассмотрим случай 1 ^ с <С 2. По
определению [i(ct) для любого 8 > О суп^ествуют точки 111, U2^U и число а
{О < а < 1) такие, что |iii — иг] = cf и
а/ (иЛ + A — а) / (и\ — / (и„)
[X (ct) < ссA-_а) ^-^< *^ (^*) + е.
где Ua = oLu\ + A — а) Иг. Отсюда имеем
а1{щ) + (i—a)J(u2)—J(ua) ^a{i — a)\ji{ct) +аA-~а)8. D)
Можем считать, что О < а ^ 1/2, так как в противном случае в D)
точки щ и U2 можно поменять ролями. Тогда с учетом 1 ^ с < 2 можем
сказать, что О < а ^ас < 1. Кроме того, 1/2 < 1/с ^ 1, поэтому
1гз= (l/c)ui-г A —1/с)гг2е С/, причем (из — ггг] = |ui — K2|/c = f. Заметим
также, что »« = сисщ + A — ас) иг- Тогда
J {и,) < (l/cO(iii) + (i-ilc)J{u2) - (l/c)(l-l/c)^i(cO,
1(ца) ^ас7{щ) + (i — ac)J(u2) —ac(i — ac)\i{t).

220 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ, 4
Умножим первое из этих неравенств на ас и сложим со вторым.
Учитывая неравенство D), получаем
ac(ilc)(i-ilc)ii(ct)+ac(i'-ac)ii(t) ^
^aJ{ui) + (ас —aO(K2) — A—acO(tt2) —/(wa) ~
= a7(iii) + A —aO(tt2) —J{ua) ^a{i — a)ii(ct) +a(l —a)8
или
a(i — ilc)ii(ct) + ac(i — ac)ii(t) ^a(i — a)\i(ct) +a(l —a)8.
Поскольку здесь e >> О — произвольное число, то можем е устремить к +0.
Будем иметь
ас A — ас) jx (t) < (а/с) A — ас) ц (ct) или с^ (t) ^ \i (ct),
Неравенство C) для случая 1 :^ с < 2 доказано. Пусть теперь с ^ 1 —
произвольное число, О :^ с^ ^ diam U. Поскольку lim у/'с = 1, то найдет-
П-^оо
ся b A ^ 6 < 2) такое, что с = 6" при некотором натуральном п ^ 1.
Учитывая, что по даказанному n{bt) ^b^[i{t), получаем [i(ct) =ii(bH) ж=^
= [хF . b^-H) > b^ii(b^-H) ^ b*ll(b'^-Ч) ^ ... ^ 62^ц@ = с2[х@.
Лемма 2. Пусть n(t) — точный модуль выпуклости равномерно
выпуклой функции J (и) на выпуклом множестве U. Тогда:
1) ii(t) =0(^2) при «^+0;
2) \i{t) ^0 при О ^ t <Сх = int {t: \i(t):>0}, [i{t) строго монотонна
при % <а t ^ diam U;
3) если diam U-^oo, то lim |li (^) = с».
Доказательство. Из определения 1 следует, что \i(to) > О при
некотором ^0 (О < ^0 < diam U). Поэтому О ^ т < diam С/. Если т > О, то
[L{t) ~ О при О ^ f < т по определению т. Пусть т < i < а < diam С/. Тогда
с помоп^ью неравенства C) имеем \i(a) = \i((alt)t) ^ WOV@ ^1^@ "> О,
т. е. [1 (t) строго монотонна при т < f ^ diam U.
Далее, если т > О, то условие n{t) = 0(t^) при f->-+0 выполняется
тривиально. Поэтому пусть т == 0. Тогда, фиксируя какое-либо to (О < fo ^
^ diam С/), для всех О <С t < to имеем \i(to) = [i{{tolt)t) ^ (WOV@ ^ли
Ц @< Н- (^о) ^^/^0 "^ const-f^. Это и означает, что n(t) = 0(f2) при f-^ +0.
Наконец, пусть diam С/ --хх). Тогда ц (t) определена при всех f^O,
Пусть f ^ fo > т. Тогда [i{t) = \i(tlto)to) ^ (^/^о)^М'(^о) = const • ^2. Это
значит, что n{t) -^со при г-)- оо со скоростью не медленнее, чем tK
Заметим, что из неравенства О ^ 6(f) ^ |x(f),справедливого для любого
модуля выпуклости равномерно выпуклой функции, и из леммы 2 следует,
что условие 6(t) = 0(t^) при t-^+0 является необходимым для того, чтобы
некоторая функция b{t) могла служить модулем выпуклости для какой-
либо равномерно выпуклой функции.
Доказательство теоремы 1. Если множество U ограничено,
замкнуто, т. е. U компактно, то утверждения 1), 2) теоремы следуют из
теорем 2.1.1, 2.10. Остается рассмотреть случай, когда U — неограниченное
множество. Тогда diam С/ -> 00 и точный модуль выпуклости \i (t) функции
J {и) будет определен при всех t ^ 0.
Пусть fо > О и (Л (to) > 0. Возьмем произвольную точку и ^ U и
рассмотрим шар
S = S(v,to) =^{и: и^и, \u — v\^to}.
Из теоремы 2.1.1 следует, что inf / (м) = /^ > — с», так что
S
J(u)^jI=J(v)-v, v = /(i')-/s>0. E>
при всех в S 5. Возьмем произвольную точку п е f \ 5, т. е. [и — v\ > to.

§ 7] РАВНОМЕРНО ВЫПУКЛЫЕ ФУНКЦИИ 221
Тогда, учитывая доказанную в лемме 2 строгую монотонность [ji{t) при
f > т, имеем
О < «о = ([i{to)llii\u- i;|))»/2 < 1. F>
При а = ао из A) получаем
«о/И ^Jiv + Ooiu — u)) — A—ао)/(у) +аоA —ао)[х(|и —у|). G>
Из F) и леммы 1 следует [А (<^) = ag (| м — у |) = a^fx (A/а^) а^\и — и |)>
> fi (а^ 1 гг—у I) или jx(^o) "^ \i(<X'o\u —и\), В силу монотонности jx@ это
означает, что ао|и--у|^^о. Тогда и + ао(и — и)^8 и согласно E>
7(у + ао(и —у)) ^/(у) —-V. Учитывая эту оценку, из G) имеем
a^J(u) ^oto/(y) — v + ao(l—ao)fx(|w--i;|).
Отсюда, сокращая на oto > О и вспоминая определение F) величины ао^
получаем
J{u) ^J{v) + (l-ao)^i(|ii~y|)~v/ao =
= J(v)+ii(\u-v\)--^li(\^-v\){yii{to)+vliii(to)).
Применяя к последнему слагаемому неравенство аЬ ^ (а^ + &^)/2,
будем иметь
J(u)>J(v)+ii(\u^v\)l2- (yii(to) +vliii(to))V2 (8>
для всех иши\8. На самом деле, неравенство (8) имеет место для всех
и ^ и. Действительно, если и g 5, то \i(\u — i^|) ^ И-(^о), а тогда
v< (У[х(го) + v/y^x(to)yi2 — \i(\u — v\)/2. Отсюда и из E) следует
справедливость (8) и для и е 5.
Для всех иеЛ/(у) из (8) имеем ц{\и — у\I2— (У\1(к) +vlin{to))V2 ^
^J(u)—J(u)^0, т. е. \1{\и — и\) ^ (y\i(to)+v/in(to)y при любом
и^М{и), Поскольку n(t)-^oo при t-^oo и только в этом случае, то из
последнего неравенства следует ограниченность множества M(v),
Выпуклость M(v) следует из теоремы 2.10, а замкнутость M(v) —из леммы 2.1.1.
Из теоремы 2.1.2 имеем, что /* > — с», и^Ф 0,
Докажем неравенство B). Поскольку любой модуль выпуклости 6@ ^
^[х@, то неравенство B) достаточно доказать для [х@. Возьмем любую
точку и^ е и^. Тогда О < / (ам + A — а) м*) — / (м*) < а (/ (гг) — / {щ))—
— а A — а) И- A " — ^ I) или а A — а) fi (I гг — м,^ IX а (/ (м) — / (и^)) (О <
а < 1, ugC/). Деля на а > О и устремляя а->-+0, отсюда получаем
неравенство B).
Наконец, пусть функция J {и) строго равномерно выпукла на U, Тогда
она строго выпукла на С/ и согласно теореме 2.1 множество ?/* будет
состоять из единственной точки м*. Возьмем произвольную
минимизирующую последовательность {ил}. Полагая в B) и = ид и устремляя к-^оо^
получаем 6 A гг^^ — м* |) -> 0. Это возможно только при \и^ — и* | -> О, так
как J {и) строго равномерно выпукла.
2. Остановимся на некоторых необходимых, а также достаточных
условиях равномерной выпуклости функции.
Теорема 2. Пусть U — открытое выпуклое множество из Е"^, пусть
функция J (и) равномерно выпукла на U с модулем выпуклости 6(t), Тогда
необходимо выполняются неравенства
J(u)>J{v)+<c(u), u-u> + 6(\u-v\), (9)
<c{u)-c(v), u-v>^2b(\u-v\) A0)
при всех c{v) е dj(u), с(и) е dj(u) и всех и, v eU.

222 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Доказательство. Поскольку равномерно выпуклая функция
является и просто выпуклой, то из теоремы 6.1 следует, что dJ(u) Ф0 при
всех и ^ и. Возьмем произвольные и, и ^ U, с(и) е dJ(v). Из определения
€убградиента и из A) при всех а (О < а < 1) имеем
а<с(г;), u — v> + J{v) ^J(au+ A —а)?;) <
^aJ{u) + A—«)/([;) —a{\ — a)b{\u-'v\)
или {i — a)b(\u — v\) + {c{v),u—vy^J(u)—J{v), Отсюда при а->+0
получим неравенство (9). Поменян в (9) переменные и ш v ролями; будем
иметь
J{v) ^J(u) +<с(и), u — u> + 6(\u — v\), с(и) ^dJ(u),
Складывая это неравенство! с (9), приходим к A0).
Приведем одно достаточное условие равномерной выпуклости функции.
Теорема 3. Пусть U—выпуклое множество, J{u)^C^{U), и пусть
для некоторой непрерывной неотрицательной функции ^(t) (O^t^
^ diam С/), ^(t) =0(^J при t-^+0, |(i)^0, выполняется неравенство
<Г(и)-Г(и), u-v>^l(\u-v\) (И)
при всех и, и ^ и. Тогда функция J {и) равномерно выпукла на U с
модулем выпуклости б (^) = \ E (т^)/т) dx.
о
Доказательство. Из формулы B.7) и условия (И) имеем
а/ {и) + A _ а) / (у) _ / {аи + A _ а) у) =
1 1
О о
1
^ а {i - а) \1{х\и - v\) ^ = а {i - а) Ь {\и - v\), u^ugU, ае[0, 1],
о
что и требовалось
Доказанная теорема 3 может быть использована для установления
равномерной выпуклости конкретных функций.
Теорема 4. Функция J (и) = \и\^ строго равномерно выпукла на Е^
при всех р ^ 2.
Доказательство. Покажем, что
</' {и) - /' (у), U - у) > у min {l; 2^"^} \u — v\^, и, v ^ Е^. A2)
Здесь Г(и) =р\и\р-^. Тогда
<J' (и) — /' (и), U — V} = {p\u 1^-2 U—p\v р-2 V, U—v} =
= pl\u\^ + \v\^-{u,vy{\u\^-^ + \v\^-^)]=:=
= ili\uf-'~\v\P-^){\uf-\vf) + \u-v\4\ur-^^ + \v\^-^)]^
>Y\^-^\4\u\P-^+\vf-^), u.v^E''. A3)

§ 8] ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА 223
Покажем, что
к|р-2+|у|р-2^ [и —z;|P-2min{l; 2^-р}, щ у g ?'^ A4)
Рассмотрим функцию (р{х) = (х^ + 1I (х + 1)°^ при ж ^ 1, а > 0. Имеем
ф'(ж) = а(ж«-1 — 1) (ж + 1)-«-Ч Если а ^ 1, toi ф'(ж) ^ О, и ф(ж) ^ фA) =^
= 2^-« для всех ж ^ 1. Если О < а < 1, то ф'(ж) < О и ф(ж) ^ ф(о°) = 1
при всех а: ^ 1. Следовательно, ф(ж) ^^а = min {1; 2^'^} (х ^ 1), или
^а(а: + 1)«<а:« + 1, ж ^ 1, а > 0. A5>
Далее имеем \и—v\p~^ ^ (\и\ + \u\)p-^. Вез ограничения общности
можем считать \и\ ^ \v\. Тогда с помощью неравенства A5) получим
\u-v 1^-2 < 1 V р-2 (I u\l\v\ + 1)Р-2 < А-1^ ((I « 1/ U 1)^-' + 1) U1^"',
что равносильно A4). Из A3) и A4) следует неравенство A2). С помощью^
теоремы 3 отсюда заключаем, что функция J {и) = \u\p при р'^2
равномерно выпукла на Е^ с модулем 6(t) = t^ min {1; 2^-^}/2.
Более тонкие оценки показывают, что функция J (и) = \u\p при р^2
имеет точный модуль выпукло'сти \i(t) = t^l2P-^ (f^O).
Будет ли функция J (и) = \и\^ равномерно выпуклой на Е'^ при
1 < р < 2? Оказывается, не будет. Чтобы убедиться в этом, достаточна
показать, что функция ф(ж) = х^ одной переменной при 1 < р < 2 не
будет равномерно выпуклой на полуоси ж ^ О, поскольку функция 7(гг) =г
= |w|^ вдоль лучей u^=:te (|е| =1) ведет себя как функция ^р одной
переменной.
Если бы функция ф(д;) = д;Р A < р < 2) была равномерно выпуклой
при д; ^ 1 с некоторым модулем выпуклости b(t), то согласно теореме 2
необходимо выполнялось бы неравенство A0). В данном случае неравенство
A0) имеет вид
2^(t) ^tp[{x + t)^-'^ — x^-^], х^О, t^O.
С помощью формулы конечных превращений отсюда имеем
26@ ^t^p(p — i)(x+et)P-^^fp(p — i)xP-\ x^O.t^O.
Зафиксируем здесь произвольное f > О, а д; устремим к оо. Получим 6(t) ^
^ О при всех t :> 0.
Таким образом, функция J (и) = \u\p при 1 < р < 2 не является
равномерно выпуклой на Е^, Мон^но, однако, показать, что эта функция строго
равномерно выпукла на любом выпуклом ограниченном множестве иа
Е^ [92].
§ 8. Правило множителей Лагранжа
1. Пользуясь теоремами отделимости выпуклых множеств^
можно получить условия экстремума для более общих задач
на условный экстремум, чем задачи из § 2.2. А именно,
рассмотрим задачу
J{u)-^ini; и^и, A)
и = Ы^ С/о: gi{u)<0, j = 1, ..., т; gi{u)=^0, i = m + I, ..., s},
B)
где С/о —заданное множество из ?"*, функции J{u)^ ^i(^)? ...
• .., gs{u) определены на С/о и принимают конечные значения.

224 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Здесь не исключаются возможности, когда отсутствуют либо
ограничения gi{u)<:0 типа неравенств G7i==0), либо
ограничения gi{u)==0 типа равенств (s = m), либо оба вида ограничений
(/7г = 5 = 0, U=Uo). Разумеется, и само множество Uq здесь
может задаваться ограничениями типа равенств и неравенств.
При выделении множества Uq в B) обычно
руководствуются тем, чтобы Uo имело простую структуру, чтобы легко (без
трудоемкой вычислительной работы) можно было проверить
включение и е Uoy указать какую-либо конкретную точку из Uo,
чтобы легко было проектировать точку на Uo и т. д. В задачах
линейного программирования роль Uo обычно играет
неотрицательный o^tslrtEX. Часто множество Uo представляет собой
параллелепипед
Uo=={u=={u\ ..., и'')^Е'': ai<u'<^i, i = l, ..., s}, C)
где at, Pt — заданные числа, o^<^i (возможно, некоторые а< —
^= _-оо^ Pi==°°). Конечно, в B) не исключается возможность
^7o=?^ Здесь мы можем вспомнить теорему 2.2.1, в которой
с помощью функции Лагранжа было сформулировано
необходимое условие оптимальности для задачи A), B) в частном
•случае, когда Z/o = ?''*, т = 0. При исследовании задачи A), B)
в общем случае также важную роль играет функция Лагранжа
2'{и, K)=-XoJ{u)+Xigi{u)+... + Xsgs{u) D)
неременных и = {и\ ..., u^)^Uo,\=={%q, Я,1, ..., %,)^Е'-^\
Теорема 1. Пусть u^^iU —точка локального минимума в
задаче A), B) функции J{u), gi{u), ..., gm{u)
дифференцируемы в точке и^, функции gm+i{u), ..., gs{u) непрерывно
дифференцируемы в некоторой окрестности точки и^, Uo — выпуклое
множество. Тогда существуют числа ^о» ^i» • •.» ^s такие, что
Х* = (Яо, ...,>:) =^О, Яо*>0, ЯГ>0, ...,С>0, E)
<3^и{и^. X*), и-и^-у^О Wu^Uo, F)
^tgi{u^) = 0, i = l, ...,s; G)
здесь 3^u{u^, ^tl"^ ^^*^' (^*) + ^i^i(^*) + ...+ 'k^&g&iu^)— градиент
функции S{u, %*) переменной u^Uo в точке и = и^.
Числа 5^0» ^1» • • •» ^s называют множителями Лагранжа,
Согласно условию E) ^0 и множители, соответствующие
ограничениям типа неравенств, неотрицательны, а множители
^m+i, ...,Яв, соответствующие ограничениям типа равенств,
могут иметь любой знак.
Ограничение gi {и) <, О, где К i ^ ттг, называют активным
{пассивным] в точке и^, если g^{u^) = Q [^|(^*)<0]. Из
условий G), часто называемых условием дополняющей нежесткостщ

§ 8] ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА 225
следует, что множители Лагранжа, соответствующие пассивным
ограничениям типа неравенств, равны нулю.
Задачу A), B) называют регулярной {невырожденной) в
точке щ, если существуют множители Лагранжа Я* с
координатой Яо>>0; в противном случае задача A), B) называется
нерегулярной {вырожденной).
Простейший класс регулярных задач получается из A), B)
при 772 = 5 = О, и = Uq. в этом случав ограничения типа
равенств и неравенств в B) отсутствуют и нет необходимости
вводить множители Xi, ..., К, поэтому S'{u, X) = KoJ{u),
условия G) исчезают; кроме того, из E) следует, 4to^0>O, а
тогда неравенство F) превратится в условие </'(^*), ^ — щУ^О
{u^U), известное нам из теоремы 2.3. Регулярность задачи
A), B) гарантируется также и в том случае, когда Uo^E"^
и градиенты gi{u^)(i^: I = [i: 1 ^ i^5, g^(u^) = 0]) линейно
независимы.
В самом деле, для пассивных ограничений Х^ = О и условие
F) при и о =Е'^ будет иметь вид
Если бы здесь было Я^ = О, в силу линейной независимости
gi{u^) {i^I) получили бы '^1=0 для всех i^I, а тогда
?,* = Я^ = ... = Jis = О, что противоречит условию E). Другие
классы регулярных задач будут рассмотрены в § 9.
2. Из теоремы 1 следует, что в задаче A), B) с гладкими
функциями J {и), gi{u) на выпуклом множестве Uo для поиска
точек минимума (локального или глобального) нужно решить
систему
{\Г {и) + X^g[ {и)+...+ Kgs {и), и-^и}^0 Vz; е ?7o, (8)
Xigi{u)=0, 1 = 1, ..., т;
gi{u)==0, i = m+ i, ..., s; ^ ^
u^Uo, gi{u)<0, ..., gm{u)<0,
Яо>0, Xi^O, ..., Яж>0, 1фО, A0)
относительно n + s + i переменных (u*, ..., u^, Яо, ^i, ..., Xs) =
= {щ%).
Заметим, что если какие-либо {и, X) получены из системы
(8) — A0), то {щ 11%) при любом |1>0 также удовлетворяют
этой системе. Это значит, что множители Лагранжа из (8) — A0)
определяются с точностью до постоянного положительного
множителя. Поэтому множители Лагранжа можно подчинить како-

226 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА 1ГЛ. 4
му-либо дополнительному условию нормировки, например,
\l\' = Xl + Xl + ... + Xl = l. A1)
В регулярной задаче вместо A0) можно взять Хо = 1. Отсюда
следует, что систему (8) —A0) достаточно исследовать для двух
значений ко: при Ло = О и при Яо = 1.
Условия (8) —A0) вместе с условием нормировки (И) (или
Яо = 1 в регулярной задаче) дают «полную» систему
соотношений для определения основных переменных и^{и\ ..., и"")
и соответствующих множителей Лагранжа Я = (Яо, Xi, ..., Jis)»
Для пояснения сказанного рассмотрим возможность и = int U^
(это случится, например, при Uo = E'^). Тогда неравенство (8)
эквивалентно равенствам
?^%I) = 5t.^ + ^/i4^ + ...+ A,^:=0, ^ = 1,..., «.
A2)
Условия A2) вместе с (9), (И) представляют систему п +
+ 5+1 уравнений с n + s+i неизвестными (щ Я); решив ее
и отобрав среди решений те, которые удовлетворяют _неравен-
ствам A0) и включению i^^intC/o, получим набор {щ Я), удов-
летворяюш;ий необходимому условию оптимальности. Для
выяснения того, будет ли в отобранных точках в действительности
реализовываться локальный минимум, нужно провести
дополнительное исследование. Если же точка и принадлежит границе
Гр С/о множества J7o, то неравенство (8) вместе с условием и ^
^ Гр С/о, вообш;е говоря, также дополняют уравнения (9), A1)
до системы n + s + i уравнений. Так, например, если U^ = Е%^
то Гр^^. == {1г = (гг^, ..., ц^): 1г* = О, i е/i; 1г*> О, г е/g}, где
/iU/2=»{l, ..., п), Ii(\h = ^, /i=^^, и неравенство (8) при
и е Т^Е^ приводит к соотношениям
A3)
Если же Uq имеет вид C), то (8) равносильно условиям
1-J—.' = 0, ai < ц <; Pi; ^-^—¦' ^0, w = а^ > — оо;
A4)
^0, Ц* = Pi < ОО, J = 1, . . . , 72.
ди''
Для иллюстрации теоремы 1 приведем несколько примеров.
Пример 1. Пусть J{u) = z +Q^osy-^mi {u^U = {u==
^{x, l/)eC/o=?^• g{u)=--x<0}). Тогда S'iu, X)=^%,{x +
+ cosy) + X{'-x), 2'u=(S'„ 2'y) = (Xo —Я, —Kosiny). Для опре-

§ 8] ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА 227
деления подозрительных на минимум точек и = (х, у) и
соответствующих им множителей Я = (Хо, Я) согласно (9), A0), A2)
имеем систему
5'«: = Яо-Я = 0, 5'^ = -Яо8шу = 0.
Отсюда следует, что Ло = Я>0. Учитывая условия
нормировки вида (И), можем считать Яо = Я = 1. Тогда из предыдущей
системы получаем точки 1г = @, пк) (fc = 0, ±1, ±2, ...),
подозрительные на оптимальность. Поскольку теорема 1 дает
только необходимые условия оптимальности, то без дополнительного
исследования нельзя сказать, будут ли отобранные точки (О, пк)
точками минимума J (и) на U или нет. В данном случае такое
исследование проводится легко. Точки (О, п{2т+ I)) G7г==0,
гЫ, zfc2, ...) будут точками минимума, так как /(О, л:B7м +
+1))=^ —Кх + cosy при любых ж>0 и любых у, В точках
(О, 2пт) {т = 0, ±1, ±2, ...) функция J{x, у) не может
достигать ни глобального, ни локального минимума на U, так как
/(О, 2я"г)=1 >/@, y) = cosy для всех у (О < |1/ — 2ят| <2я).
Пример 2. Пусть J{u)== x-^mf{u^U=={u = (x, y)^Uo=^
= Е': g,{u)=^-x<0, g2{u)=^x^-y<0, g,{u)= y-2^ <0}).
Здесь 2" {и, Л) = ЯоЖ + Я1(-а:) + Я2(ж'-г/) + ЯзA/-2а:'), S'u=-
= E'x, 2'y) = {Xo — Xi + 2'k2X'-'AXsX, —Яг + Яз). Для определения
подозрительных на оптимальность точек и = (х, у) и
соответствующих им множителей Я = (Яо, ^i, Яг, Яз) из (9) — A2) имеем
систему
Яо>0, и>0, Яг^О, Яз>0, ХФО,
^х<0, х^-у^О, у-2х^<0,
Я1(~а:)=0, Х,{х'-у)^0, %^{у-2х') = 0,
Яо - Я1 + 2л:(Я2 - 2Яз)= О, -Яг + Яз = 0.
Отсюда ясно, что_если х>0, то Яо = Я1 = Яг = Яз = о, что
противоречит условию Я =7^ 0. Следовательно, о: = 0. А тогда у = 0,
так что на минимум претендует всего одна точка и^ = (О, 0).
Нетрудно видеть, что в ней и достигается минимум J (и) на U,
В рассматриваемой задаче множителями Лагранжа будут
любые Я = (Яо, Я1, Яг, Яз)^=0, лишь бы Яо==Я1^0, Яг==Яз>0.
Можно, например, взять Я = A, 1, О, 0) или Я = @, О, 1, 1)—это
линейно независимые наборы, их нельзя получить друг из друга
никакой нормировкой вида A1).
т
Пример 3. Пусть J{u) = ^\u — Ui\^--^mi(u^U = [u^
^Uq = Ё^: g (w) = I w P — 1 < 0}). Здесь i^i, ..., Um — заданные

228 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
точки из Е"", Эта задача рассматривалась в примере 2.2.4 и
решалась сведением к задаче с ограничениями типа равенств
путем введения дополнительной переменной. Применим к
ней теорему 1. Здесь 2" (иД) = Я^ S | ^ — ^i |^ + ^^ «^, ^> — 1)^
т
Su {и, ^) = 2\ ^{и-— щ) + 2Jia = 2\т {и — и^) + 2Xi^, щ =
т ^
т
Ш.
"^i^l
Из (9)-—A2) имеем систему
Яо^тг (а — Wo) + Яц = О, Я A1г р — 1) = О, 11^ К 1, Я^ > О,
Решением этой системы при lud > 1 является набор и = и^/\щ\^
^ = m(bol — 1), Ло = 1; если же li^ol ^ 1, то и = щ, Х = 0, Я.о = 1.
Как было показано в § 2.2, найденные точки действительно
являются точками глобального минимума J (и) на U.
Пример 4. Рассмотрим задачу линейного
программирования ){и)= --x—y-^iniiu^U = {и = {х, y)^Uo: g{u] = x — у =
=-0}), где Uo^{u^{x,j)^E': 0^д:<1, О ^ i/< 2} —
прямоугольник. Здесь 5"(и, Х) = Хо{-'Ос — у) + Х{х — у), S'x = —h + K
2"^=—Яо —Я. Из (8) —A0) с учетом A4) имеем
-Хо + Я = 0, 0<х<и '-Хо + Х>0, х = 0; ~Хо + Я,^0, х==1;
-%о-Х = 0, 0<у<2; -Хо-'к>0, 1/ = 0; ~Яо-Я,<0, i/ = 2;
о; —г/ = 0, 0<х<1; 0<г/<2; Я^^О, Я^ + Я^^^О.
При Яо = О, как нетрудно проверить, система не имеет
решения, поэтому можем положить Яо = 1. Последовательно
перебирая возможности 0<х = у < I, х = у = 0, X = у == 1, находим
единственную точку и=={1, 1), подозрительную на
оптимальность, и соответствующие множители Лагранжа Яо = 1, Я. = —1.
Легко проверить, что в точке и = {1, 1) функция J (и)
достигает минимума на U.
Пример 5. Задачу из примера 4 можно задать в
эквивалентной форме, заменив ограничение типа равенств двумя
ограничениями типа неравенств: J (и) = —х — у -^ iiif{u ^ U = {и =
= {х, у)^и,\ g,{u)=^x-y^O, g2{u)=-x + y<0}), где С/о ==
= {и = {х, у)^Е^: 0<х^1, 0<у<2}, Тогда S'iu, Я)==
= Ко{-ос-у) + К(х-'у) + Х^{-х + у), 2^х = -Я.о + Я1-Я2, S'y^
= —Яо —Я1 + Я2. с помощью (8) —A0) с учетом A4) придем

§ 8] ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА 229
к системе
-Яо + Я1~Я2 = 0, 0<л:<1; ~-К + К-'к2>0[^01 х = 0 [л: = 1];
~Яо~Л1 + Я2==0, 0<у<2; ~Яо-Я1 + Я2^0[^0], i/ = 0[y = 2];
зо — У<0, —х + у^О; \'^0, Ai>0, Яа^О,
Яо' + Я? + Я1^0.
При Яо = 0 этой системе удовлетворяют все точки и = {х, у)^
^и с множителями Лагранжа Л = @, Xi=X, Я,2 = Я), где Я.>0;
в этом случае теорема 1 не позволила сузить исходное
множество точек, подозрительных на оптимальность. При Яо = 1, как
и в примере 4, получаем единственную точку u = {i, 1),
подозрительную на оптимальность, но в отличие от примера 4 здесь
множителей Лагранжа много: Я = (Хо == 1, Xi = Я, ^2 = 1 + Я)
(Я>0).
В § 2.2 был приведен пример 2.2.3 нерегулярной задачи с
ограничением типа равенств. Приведем пример такой задачи с
ограничениями типа неравенств.
Пример 6. Рассмотрим задачу J{u)== —и-^ ini{u^U ='
= {и^и,\ g{u) = u''^0}), где Uo^{u^E': 0<и^а}, а>0 —
фиксированное число (возможно, а = оо). Здесь U = {0} =U^,
/* = О, S' {щ Я) =-XoU + Хи\ Su {щ Я) = -Яо + 2Я1г. Система
(8) — A0) запишется в виде
(— Яо + 2Я^) (у — ^) > О У/и^ [О, а],
Хи^ = 0, u2<0, Яо>0, Я>0, Я^ + Я2^0.
Отсюда видно, что и = 0. Тогда первое неравенство системы
дает —Яо^^ ^ О при всех О < i; < а, что возможно только при
—Яо ^ 0. С другой стороны, Яо > 0. Следовательно, Яо = О, т. е.
рассматриваемая задача не является регулярной. В качестве
множителей Лагранжа здесь можно взять Я == (О, Я) при
любом Я > 0.
3. Доказательство теоремы 1. Проведем его с
помощью принятого в [21, гл. 4, § 2] метода, простого и очень
изящного. Введем множество /^ = {г: 1 ^ г^^, ^^(гг^) — 0}
номеров активных в точке щ ограничений (возможность /^ = 0 не
исключается). Определим множества
А = [а^{а^; а^ i ^ 1^\ ^m+i, . • •» ^s): do = </' (^*), и — и^};
«г = {gi (г^*), и — щ), i^I^, i = m + 1, ... s; u^Ti C/qI,
В = {Ь = {Ь^; bi, i^I^\ &m+b ...,bs): &o<0' Ь|<0, i^I^\
&^+i = 0, ...,&з=--0}.
Нетрудно видеть, что эти множества выпуклы.

230 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Покажем, например, выпуклость А. Пусть aj = (aoj; а^, i^:I^\
am^ij, ..., а^з) (/ = 1, 2)—две любые точки из А. Это значит,
что существуют точки Ui, Uz^tiUa такие, что %i = </'(^*)»
щ — и^У, ai^=-{gi{u^), Uj — u^}{i^I^, i = m+I, .,,, s, j —
= 1, 2).
Возьмем любое a^[0, 1] и положим a» =aai + (l — a)a2, Wa =
= aui+ A — a)u2. Из выпуклости ri J7o (см. теорему 1.11)
следует, что Ua^vi Uq, Далее, из линейности функций </' (гг^), и —
— гг^>, {^И^*}»^ — ^*) переменной а имеем </'(a^), ц^ — ^*) =
= а </' (ц^), ixi— и^У + A •— а) </' (w^), 1^2— w^> -= aaoi + (l — ос)Х
Х^оз = ^оа; аналогично {g[ (щ), и^ — и^) = o:fl^ii + (l — а) ^^{2 = ^ia
(i = m, + 1, .. м s). Это означает, что о» ^^4. Выпуклость А
доказана. Аналогично доказывается выпуклость В,
Покажем, что Л П fi = 0. Возьмем несущее подпространство
L == Lin С/о множества Uq (см. определение 1.3). Пусть ei, ...
..., бр — базис подпространства L-*-, ортогонального Zr. Тогда
L === {h^ Е"": <ег, А> = О, 1=1, ..., /?}. Может оказаться, что
система векторов gm+i {щ), ..., §8{щ), ^i, . •., ^р линейно
зависима, т. е. существуют числа Я^+i, ...,^5, а^,, ...,ар, не все
равные нулю и такие, что
C+lgm+l {Щ) + . . . + Cgs (и^) + «i^i + . . . + «рбр = 0. A5)
Среди чисел Я^+i, ...,>vs найдутся отличные от нуля числа,
так как в противном случае из A5) следовала бы линейная
зависимость векторов ei, ..., вр.
Кроме того, из A5) следует, что
2 Я* (g[ (щ), fe> = - 2 cci {ей fe> = О Vfe е Lin U^.
i=m+l г=1
По LinC/o = aff f7o —w^, поэтому предыдущее равенство
можно переписать в виде
2 ^i {gi (Щ). U - 1г J = О y^u^U.cz aff и,.
Отсюда следует, что набор чисел 1* = (Яо == О, Я^ = О, ..., Я,п =
= О, )^т+ъ ..., ^s) удовлетворяет условиям E) —G).
Таким образом, равенство Л П 5 = 0 можем доказывать,
предполагая, что система векторов ^m+i(^*)» • • •» Ss{i^^), ^i, ..., ^р
линейно независима. Более того, можем считать, что эта система
образует базис в Е"", так как в противном случав дополним ее
до базиса каким-либо способом; тогда р = /г — 5 + ттг.

§ 8] ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА 231
Допустим, ЧТО А О В Ф 0. Это значит, что найдется такая
точка и^п Uo, что
«о = <J' (^*)^ гг —• гг^Х0; а^ = (gl (щ), и — щ}<0, i е /:„;
A6)
«г = (gi (Щ), и — и^) = 0, г = ттг + 1, ..., 5.
Обозначим h= и — и^; введем функции Д(г, ^)^^m+i(^* + ^'^ + ^)
(г = 1, ..., s-m), fi (г, t) = <е^«8+т, г> (г = 5 - w + 1, ..., ?г = р +
+ 5--т), /(г, t) = {fi{r, t), ..., /п(г, 0) и рассмотрим систему
п уравнений
А (г, 0=0, ..., /п(г, 0 = 0 A7)
относительно п неизвестных r = {r^, ..., г^).
Для исследования системы A7) воспользуемся известной
теоремой о неявных функциях [10, 160, 165, 233]. Прежде всего
заметим, что /,@, 0)=0, ..., /п@, 0)=0. Далее, функции
/г (г, t) непрерывно дифференцируемы в окрестности точки (О,
0), причем с учетом A6)
dfi (О, 0) / , , df. (О, 0) / , / ч г,\ п
г = 1, ..., s — m;
—gp—= ^i~5+m, ^^— = 0, г = 5 —m+ 1, ..., w.
Таким образом, якобиан 9(/i, ..., /n)/9(ri, ..., Гп) системы A7)
в точке (О, 0), представляющий собой определитель квадратной
матрицы 9/@, 0)/дг со строками gm+i {щ), ..., ^s (^:{:), ^i, ..., ^р,
образующими базис в ?'"', отличен от нуля.
Все условия теоремы о неявных функциях выполнены.
Согласно этой теореме существуют непрерывно дифференцируемые
функции r = r@ = (ri@» .-•» ^n{t)), определенные при всех
it(Ul^^o), где ifo — достаточно малое положительное число,
и удовлетворяющие системе
г@)=0, /(г@, 0-0, \t\<U.
Дифференцируя последнее тождество по f, получаем
^L^r'{t) + USL^)^Oi\t\^t,). Отсюда при * = 0 с
^/ (О, 0) л ^ df (О, 0) , ,л, ^
учетом равенства ^^ ¦ = О будем иметь ^^ ^ г @) = 0.
Однако матрица 9/@, 0)/9г невырожденная, поэтому г'@)=0.
Это значит, что r{t)=r(Q)+tr'@) +o{t)= o{t), т. е. limr(^)/^==
= 0. Таким образом, найдена вектор-функция г (О = (^i (О» • • •

232 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
..., Гп@) (U1 ^^о), ДЛЯ которой
g,{u^ + t{u-'U^) + r{t)) = 0, I == w + 1, ..., 5, {ei,r{t)y = 0,
A8)
i = 1, ...,p = Д —5 + m, I^K^o. limr{t)/t = 0.
Покажем, что по кривой u{t) = и^ + tiu — щ) + г(f)
можно двигаться, оставаясь в множестве U при всех it, 0<t<ti,
где ti — достаточно малое число. Вторая группа равенств A8)
означает, что r{t)^LmUo, поэтому u + r{t)/t^ slUUq.
Напоминаем, что u^riC/o, а поскольку limr{t)/t = 0, то и+ r{t)It^
е С/о при всех_ малых t. Тогда, учитывая выпуклость С/о, имеем
u{t) = ^ + t(u — u^) + r{t) = t{u + r{t)/t) + {i — t)u^^UQ при
всех малых t (О < i < 1).
Далее, первая группа равенств A8) означает, что gi{u{t)) =
= 0 {i = m+i, ..,, S, 0^t<to). Пусть Ki^m. Если ie/^^^
TO g;^{u^) = 0 и с учетом A6) имеем
Si (и (t)) = g^ (Щ) + {gi {Щ), t(u--'U^) + r (t)) + Oi {t) =
= t [{gi {U^). U-U^ + {g\ {Щ), r {t)lt) + Oi {t)lt\ < 0
при всех малых ^>0. 'Ео.лжЬф!^, i^i^m, то g^{u^)<iQ
и в силу непрерывности gi{u) неравенство gr^(г^@) = gi(г^:{:+
+ t{u — u^) + r{t))<:^0 сохранится при всех малых t Таким
образом, существует достаточно малое число ti (О < ^i <
<niin{fo; 1}) такое, что u{t)^U при всех t (O^if^^i).
Беря при необходимости ^i еще меньшим, с учетом A6)
имеем
J{u{t))-^J{u^) =
= t [</' {щ), и--щу + </' {и^), г {t)/ty + о {t)/t] < О, О < ^ < ^1.
Однако u{t)-^u^ при t-^O и u{t)^U {0<t<ti) и
последнее неравенство противоречит тому, что и^—точка локального
минимума в задаче A), B). Следовательно, АОВ = 0, По
теореме 5.2 тогда существует гиперплоскость <с, а> = у с
нормальным вектором с = (я*; Я*, i е /^; )^т+ъ • • •> ^*) =7^0, отделяющая
множества А ж В, sl также 4 и 5 = {fe = (Ьд; Ьи i е /*i ^m+i, ...
..., &s): Ьд^О; бг^О, ie /^j., Ът-^-i =0,..., 6s = 0}. Это значит, что
<с, Ь> = Хобо + 2 ^tbi + 2 Я* bi < Y < <^, ^> =
= яЯ + 2 J^t^^i + 2 J^l^i A9)
при всех as4, b^B.

§ 8] ПРАВИЛО МНОЖИТЕЛЕЙ ЛАГРАНЖА 233
Разделив A9) почленно на bj<0, где / = 0 или/е/^,
и устремив bj-^—оо при фиксированных остальных bi, а,
получим ?^* ^ О при 7 = 0 или }^ 1^. Далее, полагая в A9) а^= </' {щ)^
и — гг^>, ai == {giju^), и — щ) {i^I^, г = m + 1, ..., 5), где и ^
е ri С/о, Ь == О ^ Б, будем иметь
А'о <J' (^*)» гг — гг^> + 2 ^* (gl Mi и — щ) +
S
Отсюда, взяв Я^ = О при i^I^^^Ki^m, получим
<^Я*/' (гг^) + Ё ^igi (Щ), и — щУ'^0 \fu^TiUo.
Для получения неравенства F) здесь остается совершить
предельные переходы с учетом того, что Uq<=-Uq = ri Uq (теорема
1.13). Справедливость условий E), G) следует из определения
множества 1^, построения Я* = (Я^, Я^, ..., Яз), включения щ е
4. Заметим, что если функция ^{и, Я*) переменной u^Ui
выпукла на С/о, то согласно теореме 2.3 из условия F)
следует, что 2" {и, Я*) достигает своей нижней грани на Uo в точке
и^, и условия E) —G) можно переписать в виде
К^фО, Яо>0, ...,Я;^>0, 5^(гг^, Я*Х2^(гг, я*) У/и^и^;
B0)
ЯГ^.(гг^) = 0, 1 = 1, ...,5.
В § 9 будет показано, что для выпуклых регулярных задач A),
B) условия B0) являются необходимыми и достаточными
условиями оптимальности. Условия оптимальности (необходимые
и достаточные), использующие вторые производные функции
Лагранжа 2"{и, Я), рассмотрены в [21]. Различные обобщения
и модификации правила множителей Лагранжа см. в [1, 2, 8,
17, 21, 24, 29, 66, 67, 91, 116, 137, 146, 152, 156, 166, 167, 201,
219, 254, 255, 264, 278, 283, 290, 299, 308, 330, 341].
Упражнения. 1. Сформулировать правило множителей Лагранжа
для задачи g(tt)->sup (we С/), где множество U определено
посредством B).
Указание: рассмотреть задачу J (и) = —^(и) -> inf (и gU) и
воспользоваться теоремой 1.
2. С помощью правила множителей Лагранжа исследовать задачи:
а) J (и) = a;-^inf (иЩ U), где С/ == {и = {х, у) ^ Е^ = Щ: х^ + у^ ^ 1,
х^^у, х + у^О}, или и={и^Е^: x^+y'^^i, х^ + у^ = 1}, или
Z7 = {и е Е^: х^ + у^ ^ 1, —х^^у^ х^};
о

234 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
б) /(и) = |tt —a|2-^inf [->-sup] (иеС/),гдеС/={а= (tt\ ...,11") ^Е'^;
и^ + и^+ ... + w^ = 0}, или и == [uG Е^: | w |2 < 1} (д — заданная
точка из jE^);
в) J (и) = 2а;-2 + 4x^y-2^ij^f (^а^и={и= {х, у) е Е^: х > О, у > О,
г) J(u) =х+ i/-»2-i/2->inf (wе С/ = {tt = (х, у, z) ^Е^: х>0, у> О,
z>0, x-^y + x-^z^l}),
3. Исследовать задачи из примеров и упражнений к § 2.2, к гл. 3,
пользуясь правилом множителей Лагранжа.
4. Доказать равносильность условий A3) для Uq = Е^ и A4) для
Uq из C) условию (8).
5. Пусть в теореме 1 С/о — аффинное множество. Доказать, что тогда
условие (8) равносильно условию (^З'^ {и^, Я*), hy=0 при всех h е Lin Uq.
6. Пусть W* S С/" — точка локального минимума в задаче A), B).
С/о —выпуклое множество, м^ е int С/^; функции J(u), gi(u), ..., g§{u)
дважды дифференцируемы в точке и^; функции gi(u) (i е /** =
= U: l^i^s, gi(u^) = 0\) непрерывно дифференцируемы в некоторой
окрестности точки м^, причем градиенты g^ (и^) {i е /**) линейно
независимы. Доказать, что тогда необходимо {S'j^j^ (w*, "Я*) fe, fe)^Onpn
всех Я*, удовлетворяюпцих условиям E) — G), и всех h^ Н (и^) = {/г е Е^:
</'(^*), hy^O; (g[{u^), Л><0, iGl^ = {i: l<i</7i, g. (г^*)=0;
{д[(щ), h) = 0, i^m+i,..,,s} ([21, с. 143]).
7. Пусть в задаче A), B) функции /(и), gi(u), ..., ?,(») дважды
дифференцируемы в то1чке м# е С/, пусть для некоторого 'к* выполнены
условия E) — G) и, кроме того, <^itw(^*' X*)h, hy >0 для всех ненулевых
h^ К [и^) Г) Я (и^), где iiC (u^) — замыкание множества К (и^) = {fe е Е^\
h — X(u~u^), Я>0, 1^ е C/q}, Н (и^) определено в упражнении 6. Тогда
м*-—точка строгого локального минимума в задаче A), B) ([21, с. 141])*
§ 9. Теорема Куна — Таккера. Двойственная задача
1. Перейдем к рассмотрению условий оптимальности для
задач выпуклого программирования. Под выпуклым
программированием понимается раздел теории экстремальных задач, в
котором изучаются задачи минимизации (или максимизации)
выпуклых функций на выпуклых множествах. Точнее, под
задачей выпуклого программирования понимается следующая
задача:
/(ii)-^inf; и^и, A)
U = {u^Uo: gi{u)<0, i = i, ..., m;
gi{u) = 0, i = m+ i, ..., 5}, B)
где С/о — заданное выпуклое множество из Е"", функции J (и),
giWi ...» grn{u) определены и выпуклы на Uq, а gi{u)=^
= <af, иУ — 6' при г = m + 1, ..., s — линейные функции, 6* —
заданные числа, а< — заданные векторы из Е^. Здесь не
исключаются возможности, когда отсутствуют либо ограничения

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 235
gi{u)^0 тина неравенств (т = 0), либо ограничения gi{u)=0
типа равенств E = т), либо оба эти вида ограничений {т = $=^
= 0, U==Uo). При сделанных предположениях по теореме 2.11
множество B) выпукло.
Важное место в теории выпуклого программирования
занимает теорема о седловой точке функции Лагранжа, известная
в литературе под названием теоремы Куна — Таккера в честь
американских математиков Куна и Таккера, впервые
сформулировавших и доказавших некоторые варианты этой теоремы. Эта
теорема дает необходимое и достаточное условие оптимальности
в задаче A), B), т. е. условие принадлежности той или иной
точки множеству
U:i: =={и^ U: J {и) = inf / (и) = J^},
И выражает собой правило множителей Лагранжа для
регулярной задачи A), B). Для формулировки теоремы Куна —
Таккера введем функцию
L{u,X) = J{u)+ :EiXigi{u), C)
называемую в отличие от (8.4) регулярной функцией Лагранжа
задачи A), B), где u^Uo, а переменные Я = (Л.1, ..., Ks)
принадлежат множеству
Ло = {Л = (Я1, ..., Xs)^E': Я1^0, ..., Кт>0}. D)
Определение 1. Точку (гг^, Я*) е C/q X Л^ называют
седловой точкой функции Лагранжа C), если
L (ц^, K)^L {щ, Л.*) < L {и, Л.*) \fu е f/o, Я е Ло. E)
Прежде чем переходить к выяснению связи между седловой
точкой функции Лагранжа и решением задачи A), B), дадим
другую равносильную E) формулировку для седловой точки.
Лемма 1. Для того чтобы точка (щ, X*)^UoXAq была
седловой точкой функции Лагранжа, необходимо и достаточно,
чтобы выполнялись следующие условия:
LK,?.*)<L(i^,X*) yu^Uo, F)
^igi {Щ) = 0^ i = 1, ..., 5, u^^U. G)
Доказательство. Необходимость. Пусть {и^, Я*)е
е^оХЛо— седловая точка. Тогда условие F) представляет
собой правое неравенство E). Остается получить условия G).
Для этого перепишем левое неравенство E) с учетом
конкретного вида C) функции Лагранжа:
S 8
J (и^) + S hgi (щ) < J ("*) + 2 ^Ui ("*) VX е Ло. (8)
<=1 i=l

236 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Отсюда имеем
2 (^* ~ h) giМ>0 УЯе Ло. (9)
Покажем, что гг^ е С/. Возьмем точку Я = (Л.1, ..., Л.,), где Xj=^
= %j+ i при некотором / (К/ ^ m) и J^i==K при всех
остальных 1 = 1, ..., 5 {i=^j). Из определения D) множества Ло и
из того, что Я* ^ Ло, следует, что выбранная точка К ^ Ло. Из
(9) при таком X получим (—l)g^i(z^*)^0» т. е. gjiu^)^0 при
всех 7 = 1, ..., т.
Далее, пусть % = {'ki, ..., Л.^)—точка с координатами Яj =
= ^J + ^i(^*) при некотором ] {т+ К] < s) и Я^ = Я| при
всех 1 = 1, ..., 5 (i^j). Ясно, что Я^Ло. Поэтому из (9)
имеем — I gj (щ) Р ^ О, т. е. gj (щ) = О при всех / = m + 1, ..., s.
Таким образом, доказано, что u^^U.
Из того, что gi{U:^) = 0 при i = m+i, .,., 5, следует, что
Kgi(^*) = 0 (j = m+ 1, ...,5). Остается получить равенства
G) при i=l, ..., т. Возьмем точку Х = {'ки ..., Ks) с
координатами Xj = О при некотором / {Kj <т) ж K = '^i при всех
остальных г = 1, ..., 5 (i^j). Такая точка принадлежит Ло,
поэтому из (9) получим O^Kj gj{u^). Но Я^-^О, gj{U:^)^0 при
7 = 1, ..., ттг, поэтому последнее неравенство возможно лишь
при '^jgji^) = О (/ = 1, ..., т). Все соотношения F), G)
получены.
Достаточность. Пусть для некоторой точки {щ^ Я*)е
е С/о X Л о выполнены соотношения F), G). Покажем, что
тогда {щ, Я*) ~ седловая точка. Из F) следует правое
неравенство E). Остается доказать левое неравенство E). По условию
G)щ^и, т. е.^^(гг^)<0 {i= 1, ., .,т), gi{U:^) =0{i = т + 1, ...
..., s). Тогда
(Я*-Я|)^,Ю = 0 A0)
при всех i = m+i, ..., 5 и всех тех i (l<t<m), для
которых ^г(^*) —0. Если gi{U:^)<iO при некотором i A=^г<77г),
то из равенства G) следует, что Xt=0. Поэтому (Я*—Я^) ^i(z^jj.)=
==—KSi {и^)'^0 для всех Х{>0 (Ki^m), для которых
^|(гг^)<;0. Складывая полученные неравенства с A0), будем
иметь 2 (^* — к) gi (щ) ^ О для всех Я ^ Ло. Отсюда
S S
S^i^i(^*)=^ 2^г^г(^*) при всех Я ^ Ло. Добавляя К обеим
г=1 г=1
частям этого неравенства/(гг^;-)^ придем к неравенству (8),
представляющему собой левое неравенство E),

§ 9] ТЕОРЕМА КУНА — ТАНКЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 237
Если сделать дополнительные предположения о выпуклости
и гладкости задачи A), B), то лемму 1 можно
переформулировать в следующей так называемой дифференциальной форме.
Лемма 2. Пусть A), B) представляет собой задачу
выпуклого программирования и J (и), gi{u)^ ..., gm{u)^ C^{Uo).
Тогда для того чтобы точка {и^, Я*) е G^ X Лд была седловой
точкой функции Лагранжа, необходимо и достаточно, чтобы
<^и {и*, ^*). и^и^У =
= W' Ы + Д ^tgi (и^), и^и^^О \fu^ и о, F')
^tgi{^) = 0, е = 1,...,5, и^^и. G')
Доказательство. При сделанных предположениях
функция Лагранжа C) выпукла и дифференцируема по переменной
u^Uo при каждом Л^Ло. Поэтому условие F) согласно
теореме 2.3 равносильно условию F').
Как видим, соотношения F'), G') напоминают нам условия
(8.5) —(8.7) при Яо = 1, а соотношениям F), G) соответствуют
аналогичные (8.20) с 'ко = i. Эти аналогии подчеркивают
тесную связь между правилом множителей Лагранжа из § 8 и
следуюш;ими ниже теоремами.
Теперь выясним, как связаны между собой седловая точка
функции Лагранжа и решение задачи A), B).
Теорема 1. Пусть {и^, Я*) ^U^X Aq— седловая точка
функции Лагранжа, Тогда и^ ^ Uq, J^^ = L{u^, Л.*) = J{и^), т. е. и^
является решением задачи A), B).
Доказательство. Из условияG) имеем u^^U и L(w^j.,
Я*) = J(u^), Тогда неравенство F) перепишется в виде
JM<L{u^'') = J{i^)+ ii^Uiiu), u^U,, (И)
В частности, A1) верно и для всех u^U. Но ^Kgi{u)^0
г=1
при и^и, так как тогда gi{u)<0 и Я|^0 при j = l, ...,m,
так что Я*^г (^ХО (^ = 1, .. м ^) и gi{и) = О при i = m+ I, ...
..., 5, так что Xigi{u)==0 {i = m+i, ..., 5). Поэтому из (И)
следует, что J {U:^)^L{u, X'^)^J{u) при всех u^U, т. е.
Заметим, что теорема 1, как и лемма 1, доказаны без каких-
либо ограничений на функции /(гг), gi{u) (i = l, ..., s) и на
множество и о] в частности, никакие предположения о
выпуклости, сделанные выше при формулировке задачи A), B), мы
пока не использовали.
2. Возникает вопрос: во всякой ли задаче вида A), B)
функция Лагранжа имеет седловую точку? Ответ здесь, конечно, от^

238 ЭЛЕМЕНТЫ ВЬШУКЛОГО АНАЛИЗА [ГЛ. 4
рицательный: если в задаче A), B) 17^ = 0^ то, как следует
из теоремы 1, функция Лагранжа такой задачи не может иметь
седловую точку. Более того, даже в задачах выпуклого
программирования A), B) с и^ф0в общем случае нельзя
ожидать, что функция Лагранжа будет иметь седловую точку.
Пример 1. Рассмотрим задачу из примера 8.6: /(гг) =
= -и-^Ы {u^U = {u^Uo: g{u)=^u^<0}), где Uo = {u^E':
О^и^а), 0<а^«>. Здесь множество Uq выпукло, функции
J (и), g{u) выпуклы на Uq. Множество U состоит из одной
точки и = 0, так что J^ — JiO) = Of i/* = {0}. Функция Лагранжа
рассматриваемой задачи не имеет седловой точки.
Таким образом, для существования седловой точки на
задачу A), B), кроме условий выпуклости, должны быть
наложены какие-то дополнительные ограничения. Начнем с рассмот-»
рения случая, когда в B) ограничения типа равенств
отсутствуют {т = s), т. е. множество U имеет вид
U = {u^Uo: gi{u)<0, f=l, ..., т}. A2)
Определение 2. Множество A2) называют регулярным^
если существует точка u^U такая, что
^1(Й)<0, ..., gm{u)<0. A3)
Если С/о — выпуклое множество, функции gi{u) выпуклы на
Uq, то вместо A3) достаточно потребовать для каждого i
существования точки йг^и такой, что ^г(Йг)<0 (t = l, ..., ш).
Тогда в качестве й из A3) можно взять и = ^ агЩ, аг>0,
г==1
ai + «2 +.. . + ат= 1, поскольку u^Uq и в силу неравенства
m
B.2) gj(u)^^ aigj(ui)^ajgj(uj)<:0 (/ = 1, ..., m). Условие
2 = 1
A3) часто называют условием Слейтера,
Для наших целей подошло бы и несколько иное более
общее, чем A3), определение регулярного множества: множество
A2) назовем регулярным, если для любого вектора Я* =
существует такая точка
й = ц(Я*У, что
й^и, <Х*, g(и)> = S Я*^г(м)<0. A4)
г=1
Существуют и другие определения регулярности множеств вида
A2), B), используемые в теоремах Куна — Таккера [24,
41, 299].
Теорема 2. Пусть множество Uq выпукло, функции J (и),
gi{u) (i = l, ..., т) выпуклы на Uq, а множество A2) регуляр-*

§ 9] ТЕОРЕМА КУНА — ТАНКЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 239
НО. Пусть множество U^ точек минимума функции J (и) на
множестве A2) непусто. Тогда для каждой точки u^^U^
необходимо существуют множители Лагранжа Я* = (Я^^ ..., Ягм) е
е Ло = U е Е^\ ^1 ^ О, ..., Ягп ^ 0} такие, что пара {и^, X*)
образует седловую точку функции Лагранжа на
множестве Uo X Ло.
Доказательство. В пространстве JS"""*"* переменных а =
= (ао, «1, ..., am) введем множества
А ={а=(ао, ai, ..., а^)е?'^+*: ao>J{u),
O'i^ gi{^), ..-, Clm> grn{u), U^Uq},
B^{b=^{bo,b^,...,bm)^E'^-^h bo<J^, fei<0, .,„b^<0}.
Покажем, что Л и В не имеют общих точек. В самом деле,
пусть а^А. Тогда найдется точка u^Uq такая, что ao>J{u),
ai> gi{u), ..., ат^ gm {и). Возможно, что u^U. Тогда ^о ^
'^J{u)^J^ и заведомо аФВ. Если же u^UqW, то найдется
номер i (Ki^m) такой, что gi{u)>0. Тогда ai> gi{u)> О
и снова аФВ. Итак, Л П В = 0.
Далее, нетрудно видеть, что А л В — выпуклые множества.
Покажем, например, что А выпукло. Пусть а, с — две
произвольные точки из А, Тогда существуют точки и, v ^ Uo такие,
что ao>J{u), Co>J{v), (ii>gi{u), Ci>gi{v) (t = l, ..., ш).
Возьмем произвольное а ^ [О, 1] и положим «« = аа + A — а)с,
Ua, = аи + {1 ^ a)v. Из выпуклости С/о следует u^^Uq. Далее,
из выпуклости функций J {и), gi{u) имеем
J{iia)< aJ{u) + {l — a)J{v)< aao+{i — а)со,
gi{ua)<agi{u) + {i — a)gi{v)<aai + {i — a)Ci, г = 1, ..., т.
Это означает, что йа^А. Выпуклость А доказана. Аналогично
доказывается выпуклость В.
В силу теоремы 5.2 тогда существует гиперплоскость <с, а> =
= 'Y с нормальным вектором с = (Kq , Я^, ..., Km) ф О,
отделяющая ^ и S, а также А я В ==[Ь = (Ь^, 6i, ..., Ь«) е E'^'^h feo^«^*i
6i < О, ..., brn< 0}. Это значит, что
m т
<с, Ь> = 2 ^ibi< Y< <с, а> = 2 ^tai Va е Л, Ь^В. A5)
Заметим, что y = {J:i-, О, ..., 0)^ А(]В. В самом деле,
возьмем какую-либо точку u^^U^. Тогда / (и^) = J^ gi (и^) ^ О
(j = 1, ..., т), что означает г/ е 4. Включение у ^ В очевидно.
Тогда по теореме 5.2 величина "f из A5) равна у= <с, у} = ^J^^
и A5) можно переписать в виде
т т
Оо + S J^tbi < о* <?^оао + S лГа« Va е Л, & е Б. A6)
1=1 1=1

240 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Возьмем точку Ь=(/—1, О, ..., 0)^В, Из левого неравенства
A6) получим Я* (/^ — 1X^0%, откуда Я* >0. Далее, беря
Ь = (/^, О, ..., О, —1, О, ..., 0), из левого неравенства A6)
имеем Яо/* — ^*<0*» т. е. Xt>0 (i = 1, ..., т). Таким
образом, показано, что X* = (Я^, . .., Хт) ^0, Яд ^ 0.
Далее, возьмем произвольную точку щ^и^. Тогда а =
= (/(гг^) = /*. О, ...,0, ^г(гг:5,). О, ..., 0)еЛп'^. Подставляя эту
точку в левое и правое неравенства A6), получаем \J^ +
+ ^igi (г^*Х>^о«^*<0* + '^*^г {щ), откуда K^gi (и^) < О < K*gi (w*)
или Xig{U:^) = 0 (г == 1, ..., m). Равенства G) доказаны.
Покажем, что Яо>0. В самом деле, в A6) подставим а —
= (/(w), gi{u), ..., gm{u))^A, где й взято из A3) или A4).
Получим Яо/н:<0(г^)+ 2^*^г(г^). Допустим, что Я* = 0.
Поскольку не все Я^ (i = О, 1, ..., т) равны нулю, то Я*=^0.
Тогда из предыдущего неравенства при Яо = О с учетом усло-
ВИЯ A3) ИЛИ A4) имеем 0< 2 ^Гё^г (^) <0. Полученное проти-
воречие показывает, что Яо > 0. Неравенство A6) и все
последующие рассуждения сохраняют силу, если A6) поделить на
Яо >0. Это значит, что в A6) можно принять Яо = 1.
Наконец, возьмем произвольную точку и ^ Uq, Тогда а =
^(•^(^)» gi{^)i ---J gm{u))^ А, Подставим эту точку в правое
неравенство A6). С учетом того, что Я^ = 1, получим /^с =^
m
^J(и) + ^ Xtgi{u) = L{u, Я*) (u^Uq), Но в силу G) /^j. =
^=L{u^^ я*) при любом выборе u^^:U^, Отсюда и из
предыдущего неравенства следует условие F). Согласно лемме 1 тогда
{и^, Я*) — седловая точка.
3. Приведенный выше пример 1 показывает, что без
дополнительного требования регулярности множества теорема 2,
вообще говоря, неверна. Однако если B)—многогранное
множество, то, оказывается, теорема о существовании седловоп точки
будет верна без каких-либо дополнительных условий типа
условий регулярности. Важную роль при установлении этого факта,
а также во многих других вопросах выпуклого анализа играет
следующая теорема, известная в литературе под названием
теоремы Фаркаша.
Теорема 3. Пусть дано множество
К ={е е Е^: <с,, еХ О, j = 1, ..., т; <с,-, еУ< О,
I = ттг + 1, ..., р; <с,, е>= о, J = i? + 1, ..., s), A7)
еде Ci, ..., Cs — некоторые векторы из Е'^. Тогда для того чтобы

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 241
некоторый вектор с ^ Е"" удовлетворял неравенству
<с, е>>0 VeeZ, A8)
необходимо и достаточно, чтобы существовали такие числа
К ^^^,K {К ^ О, . . ., Хр ^ О) , ЧТО
с == —XiCi — ... — KsCs. A9)
Нетрудно видеть, что К — конус с вершиной в нуле, а
всякий вектор с, удовлетворяющий условию A8), принадлежит
двойственному конусу Z* (см. определения 5.4, 5.5). Поэтому
теорему Фаркаша можно переформулировать на языке конусов
следующим образом.
Теорема 3. Пусть К — конус, определенный условиями
A7). Тогда двойственный ему конус имеет вид
K^ = L^E'': c = -^^KiCu Xi>0, ...,Хр>о|. A9)
Заметим, что в A7) не исключаются случаи, когда какие-
либо виды ограничений (ограничения типа нестрогого или
строгого неравенства, или типа равенства) отсутствуют, т. е.
возможно т = 0 при тп = р, или р == S, или т = р = 0, или т = 0,
р = S ИЛИ m — p — s.
Для доказательства теоремы 3 нам понадобится
Лемма 3. Пусть а^, ..., ар —некоторое конечное
множество векторов из Е'^. Тогда
Q = {а^Е'^: а= ^aiai, а^^О, j==l, ...,
есть выпуклый замкнутый конус,
V
Доказательство. Если а^ Q, то Ха == 2 "^oLiai{Xai^О,.
1 = 1, ..., р) при любом X > 0. Это значит, что Q — конус.
р
Далее, пусть а, b — две произвольные точки на ^, т. е. а = 2 ^г^^гу
3=1
'Р.
b == ^ Щ^г (аг^ О, iii>0, i = 1, ..., р). Тогда для всех а ^ [О, 1]
1=1
р
аа + A — а) 6 = 2 l^^i + A — а) \ii] ах,
г=1
ааг + A — а) fXi ^ О, i = 1, ..., р,
так что Q — выпуклый конус. Кстати, тогда из а, 6 ^ ^ следует
а + b ^Q, В самом деле, в силу выпуклости конуса Q имеем
а+6 = а(а/а) + A — а) F/A — а))е (? при всех а@<а<1)^
поскольку а/а, Ь/{1 — а)^ Q,

242 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Замкнутость Q докажем индукцией по числу образующих
векторов ai, ..., а^. При /? = 1 Q^ia^E"^: а = a^i, а ^ 0}—
полупрямая (луч) — замкнутое множество. Пусть известно, что
жонус с любыми р — i образующими замкнут. Покажем, что
тогда конус Q с р образующими аи ..., ар также замкнут.
Рассмотрим два случая.
1. Конус Q наряду с векторами ai, ..., ар содержит также и
р
Бекторы —B1, ..., —dp. Тогда наряду с точками ^^ = 2 ^i^i
г=1
{ai^O, i = l, ..., р) выпуклый конус Q содержит все точки
^ = 2 Рг (— й^О (Pi ^ О, J = 1, ..., р), а также точки а + h. По-
кажем, что в рассматриваемом случае (? является
подпространством (линейной оболочкой), натянутым на векторы ai, ..., ар,
V
В самом деле, пусть d = 2 V^^i, где ^i (i = 1, ..., /?)—про-
жзвольные числа. Положим аг = maxlO; "у»), ^г = тах{0; —"уД.
V V
Тогда ^i = аг — Pi (^ = 1, .. •, р)- Поэтому d = 2 Yi^i = 2 ^iCH +
г=1 г=1
V
+ 2 Pi(—aij^Q при всех действительных 'у,- (г = 1, ..., р).
Таким образом, Q — подпространство, натянутое на векторы
а,, ..., Up, размерность которого не превышает числа min{p; п).
Но в конечномерном пространстве ?" любое подпространство
замкнуто [93]. Следовательно, Q замкнут.
2. Хотя бы один из векторов —ai, ..., —Up не принадлежит
^. Пусть для определенности —ар ^ Q, Обозначим Qp-i ==
=z \Ь^ Е'^: Ъ = 2о^г<^г, oSi^O, t = 1, ...,/? — l| —это конус, по-
' г=1 1
рожденный векторами ai, ..., ap_i. По предположению индукции
V-1
конус Qp-i замкнут. Далее, из представления ^^ = 2 ^i^i + olu^
г=1
(а^^О, i == 1, ..., л — 1, а^0| следует, что
Q^Qp-, + aap, а ^ 0. B0)
Пусть d — какая-либо предельная точка множества Q, Тогда
существует последовательность {drr)^ Q, сходящаяся к d. Из
B0) следует существование Ьт ^ Qp-^i и чисел iim > О таких, что
dm = Ьт + \imap {тп = i, 2, ...). Покажем, что {iim) ограничена
сверху. Допустим, что {\Хт} не ограничена сверху. Тогда
существует подпоследовательность {\^т^}->оо. Поскольку {d^}, как
сходящаяся последовательность, ограничена, то йтд/И'т^ "^ О при

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 24^
/с-> оо. А тогда [bmJV'mu^i^mJV'mu) — ^р} имеет предел при к -^
-> оо, равный —ар. Но так как {fe^^^/fx^^^} е ^p_i, а конус (?p-i
замкнут, то предел —ар будет принадлежать Qp-u Из B0) при
а = О следует Qp-i s Q, так что —ар е ^. Получили противоре-^
чие с рассматриваемым случаем.
Это означает, что О ^ |Лт ^ const (ш = 1, 2, ...). Тогда су-
ществует подпоследовательность {М'ш^}» сходящаяся к
некоторому числу |х > 0. Из равенства bj^j^ = d^^ — \imu^p (fe = 1, 2, .. .>
при к -^ oo следует, что предел b = lim bj^^ существует, причем
Ь = d — ^ар е ^p_j в силу замкнутости Qp-i. Таким образом,
показано, что d = b + \iap, где b е Qp^i, |л ^ 0. Из B0) тогда
следует, что d^Q, Замкнутость Q доказана.
Доказательство теоремы 3. Введем множество
Q=:^\c^E'^: c = -^'kiCu ^i>0, ...,Яр>о}. B1)
Заметим, что ^—• конус, порожденный векторами —Ci, ..., -Ср^
—Ср+1, ..., —Се, Ср+1, ..., Cs. В самом деле, с одной стороны, все-
р S S
точки С=2^г(—Ci)+ 2 Щ{—Сг)+ 2 Рг^г (Яг^О, г=1, . . .
..., р; ai > О, Рг > О, ^ = /? + !, ..., s) принадлежат Q. С другой
стороны, любая точка с = —^iCi — ... — Х^с, представима в
виде предыдущего равенства при а, = тах{0; ^J, р» = тах{0; —^.Д
(^ = 771+1, ..., 5), так как Xi = а^ — ^г. В силу леммы 3 тогда
множество B1) является выпуклым замкнутым множеством.
Для доказательства теоремы 3 достаточно установить, что
Z* = Q, Возьмем произвольный вектор с ^ ^, т. е. с = — 2 ^г^г
1=1
{%i > О, ..., Хр ^ 0). Тогда для любого е ^ К имеем <с, е} =
S
= — 2 ^i{Ci, е>^0. Это значит, что с ^Z*. Тем самым пока-
г=1
зано, что Q ^ Z*.
Покажем обратное включение -ЙГ* s Q, Предположим
противное: пусть существует у е Z*, но у ^ Q. Поскольку Q —
замкнутое выпуклое множество, то по теореме 5.1 это множество
сильно отделимо от точки у. Это означает, что существует
гиперплоскость <d, и—г/)=0 с нормальным вектором d?=Q
такая, что <d, с —1/>>0 или <d, c>><d, уУ для всех c^Q,
Согласно B1) это значит, что
в ч в
d, - 2 ?^;^i ) = -Ъ^ <Ch dy > <d, У> B2)
при всех ^1, ..., К, лишь бы ^i > О, ..., Яр ^ 0. Покажем, что
тогда d^ К — замыкание К.

244 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Зафиксируем некоторый номер i, 1 < г < /?, и в B2) примем
^j = 0 при всех ] Ф i. Получим —'kiid, d> > <d, j/> для любого
Xi ^ 0. Отсюда, деля на Яг > О и устремляя А.» -^ оо^ получаем
<Ci, d>^ О или <Сг, dX о (J = 1, ..., /?). Далее, зафиксируем
номер J {р+ i^i^s) ив B2) примем Х,- = О при всех / Ф i,
li = t<Ci, dy (^>0). Получим —t\<Ci, dy\^><d, уУ, Отсюда,
деля на 1^>0 и устремляя t-^oo^ получаем — l<Cf, dy\^>0
или <Cf, _dy= О {i = р + I, ,.,, s). Таким образом, показано,
что d^ К.
Теперь вспомним, что у^К^. Это значит, что <г/, е>^ О для
Бсех е^К. Отсюда с помощью предельного перехода нетрудно
получить, что <г/, еУ^ О для всех е ^К. В частности, для
4^ К имеем <i/, d>^0. Но, с другой стороны, если в B2)
принять А.г = О (J = 1, ..., 5), ТО получим <1/, d>< 0. Пришли к
противоречию. Следовательно, -К* ^ ^. Сравнивая с ранее
доказанным включением Q ^ Х*, заключаем, что jRT* = Q, Равенство
A9) и, тем самым, теорема 3 доказаны.
4. Рассмотрим задачу минимизации функции J {и) на
множестве
и ={и е С/оГ gi{u)=<ai, иУ— V ^0, J = 1, ..., m;
gi(ii)=<a,, ii>— Ь' = 0, J = m+ 1, ..., 5}, B3)
где l7o={iie?": <di, иУ<1\ J = 1, ..., /?; <di, ti>=f, f =
= /? + !, ..., g} — многогранное множество, a», dj ^ ?""
—заданные векторы, b\ f — заданные числа. В частности, здесь
может быть Uo^ El; С/о={1г=Aг\ ..., 1г"): и'> О, i^I}, I —
некоторое подмножество номеров A, ..., п); Uq ={и ={и\ ...
..., и""): аг < 1г'< ^г, ^ = 1, ..., п), а^ ?и — заданные величины,
аг ^ Рг, причем, возможно, некоторые at ->• —00^ ^^ ->• оо.
Теорема 4. Пусть функция J {и) выпукла на C/q, J{u)^
еС*A7о), множество U определено согласно B3), U^{u^iU:
J (u) =: inf / (г;) = /jj. > — 00} :7^ 0. Гог^а ^./^я каждой точки
u^ е C/^j. необходимо существуют множители Лагранжа Я* =¦•
= (С ...Д:)еЛо={?1 = (Я1, ...Д,)е?^ Я^^О, ...Д„>01
такие, что пара {и^, Я*) образует седловую точку функции
Лагранжа на множестве С/о X Ло»
Из этой теоремы, в частности, следует, что в любой задаче
линейного программирования, имеющей решение, функция
Лагранжа всегда имеет седловую точку.
Доказательство. В силу теоремы 2.11 множество B3)
выпукло. Возьмем любую точку и^ е U^. Введем множества
индексов
/* = {i: i^i^m, {ai, и^} = Ы}, I* = {i: i^i^p,
<dn u^> = f)

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 245
И составим конус
к = [е^Ё^: {йг, еХО, je /*, <аг, в> = О, i = m+ 1, ..., s;
<di, е><0, JG/g, <dbe> = 0, i==p + i, ...,q; ефО]. B4)
Покажем, что множество возможных направлений множества
B3) в точке щ совпадает с конусом B4).
Пусть е={е\ ..., е'')ФО — произвольное возможное
направление в точке и^. Согласно определению 2.3 тогда существует
такое число U > О, что и = щ + te^iU или
<«!, щ + te} ^ 6\ i = 1, ..., т; <а|, щ + te) = b\
i = т + I, ..., s\
B5)
<di, щ + геУ^1\ j = 1, ..., p; <di, щ + te} = f,
i = p + i, .. .,q,
при всех ^ @<it^ito). С учетом u^^iU^aU из B5) сразу
получаем е ^ К. Верно и обратное: если е ^ К, то е —
возможное направление в точке щ. В самом деле, пусть е ^ К, Тогда
для i е /i имеем <а|, щ + te} = Ь^ + t {ai, е} ^ Ы при всех t ^
^0, а если i^Ii (l^i^m), то <а|, W:j.><6* и найдется
такое ^0 > О, что (аи Щ + te) ^ Ь^ при O^t^tQ, Если m + 1 ^
^г^5, то <<2|, i^jj. + ^^>=Ь^ при всех t. Аналогично, взяв при
необходимости fо > О еще меньшим, убедимся, что
выполняются и остальные соотношения B5), так что щ-^ te^iU {Q^t^
<^о). Тем самым показано, что для множества B3) множество
возможных направлений в точке и^ совпадает с конусом B4).
Согласно теореме 2.3 для того, чтобы щ е U^^ необходимо и
достаточно выполнения неравенства
</' {щ), и — гг^> > О У/и е U, B6)
Возьмем любое е ^ К. Тогда и = щ + te^iU {O^t^tQ, f^ > 0).
Подставим такую точку и в B6). Получим </'(^*)ж ^yf^O или
</'(i^jj.), е>^0 при всех е ^ К, Это значит, что J' (щ)^ К"^.
По теореме 3 тогда найдутся числа Х| ^0 (f е /i), )^т+ъ - - --, К,
}xt>0 A^/2), \ip+i, ..., \il такие, что
S q
Если доопределим Я^ = О при г е {1, ..., m}\/i, то получим
точку Я* = (я*, ..., Я*) е Лд. Отсюда, учитывая определение
множества /i и условие щ^и^^^П, имеем
It {<^ai, щу — Ы) = Я*^1 (i^*) = О* г = 1, .. .* 5,3 B8)

246 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
а равенство B7) можем переписать в виде
/' {Щ) + 2 ^Ui = - 2 \iUi - S l^Ui. B9)
Функция Лагранжа в рассматриваемой задаче такая:
L {и, X) = J{u)+ 2 ^г «(^и и} — Ь^), гг е с/о, Я е Л^.
г=1
Тогда, используя неравенство / {и) — / (и^) ^ </' (z/jj.), гг — щУ
(u^U) (см. теорему 2.2), определение множества /г» [условие
[i*^0 (ге/2) и равенство B9), для каждого u^Uq получаем
8
L (и, %*) - L {щ, К*) = J{u)-J {щ) + 2 ^i* <ai, м - «*> >
»=1
— 2 f^i <^i, гг — гг^> = — 2 t^* «<^i, г^> — f) > %
ИЛИ
L (ц^, Я*) < L (м, Я*) Vm е С/о-
Отсюда и из B8) с помощью леммы 1 заключаем, что {Щч ?^*) —
седловая точка функции Лагранжа.
5. Наконец, приведем следующий более общий вариант
теоремы Куна — Таккера.
Теорема 5. Пусть Uo — выпуклое множество из ?"*,
функции J{u), gi{u) (i==l,...,m) выпуклына Uo,gi{u)=<a{^uy^b*
{i ==' т+ i, ..., s)— линейные функции. Пусть множество U^
точек минимума функции J {и) на множестве
и ={tj G С/о: gi{u)^{), ^ = 1, ..., гп\
gi{u)=<ai, и>— Ь' ^ О, J = 7?г + 1, ..., /?;
gi{u)=<ai, и>— Ь' = О, 1 = р + 1, ..., s}
непусто. Кроме того, пусть выполняется хотя бы одно из еле-
дующих условий:
а) С/о — многогранное множество, функции J{u)^ gi{^)^ .•»
..., gm{u) выпуклы на выпуклом множестве W, открытом е
diilW (т. е. W = j:iW), Uq<=:W и существует точка U^U та-
пая, что gi{u)< О {i = 1, ..., т);
б) существует точка u^tIUqO U такая, что gi{u) < О
0 = 1, ..., т).

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 247
Тогда для каждой точки и^ е U^^ необходимо существуют
множители
^0, .,.,Яр^О} такие, что пара {и^, Я*) образует седловую
точку функции Лагранжа на множестве Uq X Ло.
В этой теореме не исключаются возможности, когда
отсутствуют какие-либо из ограничений gi{u)<0 или gi{u) = 0, т. е.
р = 0 или т = 0, или S = О, или ш = р, или т = s, или р — т =
= S, Доказательство теоремы 5 требует весьма тонкого
использования теоремы отделимости 5.2; за подробностями отсылаем
читателя к [21] (ср. с [264, § 28]).
Условия а), б) теоремы 5 представляют собой обобщения
условия регулярности A3) на случай более общей задачи A),
B). Нарушение этих условий может привести к отсутствию сед-
ловой точки.
При_м^ер2. Пусть С/о = {гг = (л:, у)^Е^: л:>0, i/>0} = ?+»
J{u)=l/xy, g{u)==x, U={u^Uo: g{u)<0}. Здесь Uq выпукло,
^(^), g{^) выпуклы на С/о,/нс=О^С^*=^ = {^*=@, ^), i/>0}.
Функция Лагранжа L{u, к)=—Уху + Хх {х>0, у>0, К^О)
не имеет седловой точки. Нарушено условие а): функция J (и)
выпукла лишь на С/о, требуемой точки и нет.
В примере 1 ri С/о П С/ = ^ — нарушено условие б). С другой
стороны, нетрудно привести примеры выпуклых задач, в
которых условия регулярности а), б) нарушены, но седловая точка
существует.
Пример 3. Пусть Uo={u^E^: и>0}, 1{и) = щ ^(^)=^^
и ={и: u^Uo, g{u)^0}. Здесь Uq выпукло, функции J(u),
g{u) выпуклы на С/о. Множество С/ состоит из единственной
точки 1г = О, так что J^ = 0, U^ = {0}. Функция Лагранжа
Ь{и, К)=и + 'ки^ {и>0, к>0) имеет седловую точку {и^ = 0,
Я* = 0), хотя ri С/о П С/ = ^. Этот же пример показывает, что
множители Лагранжа, вообще говоря, определяются
неоднозначно — здесь точки {и^ = О, X*) при любом X* ^ О являются сед-
ловыми точками.
Теоремы 2, 4, 5 дают достаточные условия существования
седловой точки в задачах выпуклого программирования. Однако
существуют и невыпуклые задачи, в которых функция
Лагранжа имеет седловую точку [91].
Пример 4. Пусть С/о ={ii е ?*: tJ ^ О, J{u)=u\ g{u) =
= —гг^—1, и ={и: u^Uq, g{u)^0}. Здесь С/о выпукло, но
функции J {и), g{u) не являются выпуклыми на С/о. Множество
и представляет собой отрезок —1 ^ и ^ 1, так что/*= — 1,
w^ = — 1. Функция Лагранжа L{u, %)= и^ + Я(—i^^ — 1) имеет
единственную седловую точку (и^^ = — 1, Я* = 1) на множестве
С/оХЛо {Ао={К^Е': К>0}).
6. С помощью функции Лагранжа L{u, К) {u^Uo, Я^Ло)
аадачу A), B) можно переформулировать следующим образом.

248 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Введем функцию
X (и) = sup L {и, Я), и е Uq. C0)
Заметим, что если u^U, то 2 Kgi {и) ^ О при всех Я '^ Ло,
г=1
причем равенство получается при Я = О^Ло. Еслиже и е L^o\t/^r
то найдется помер i такой, чю либо l<i<m и gi{u)>Q, ли-
6om + l<i^5H gi{u)?= О, так что сумму 2 '^igi (и) выбором
1=1
Я^Ло можно сделать сколь угодно большой. Поэтому функция
%{и), определяемая условием C0), имеет вид
{J {и) У/и^и,
yfu^Uo\U.
Отсюда ясно, что inix{u) = mij{u) = /^, и задачу A), B)
можно переписать в равносильном виде
Х{и)-^Ы; u^Uq. C1)
ХИ = {'
Как и выше, в задаче A), B) будем предполагать, что /*>
>—оо, и^Ф0. Тогда задача C1) будет иметь то же
множество решений и^ с тем же минимальным значением J^, т. е.
inf X {и) = /^, и^=: {и: u^Uo, % (и) = /^}. C2)
Наряду с функцией C0) введем функцию
^ (Я) = inf L {и, Я), Я е Ло, C3)
и рассмотрим задачу
'ф(Я)->8ир; ЯеЛо. C4)
Задачу C4) принято называть двойственной задачей к
задаче C1) (или к исходной, основной задаче A), B)), а
переменные Я'=(Я1, ..., Ks) называют двойственными переменными
в отличие от исходных, основных переменных и={и\ ..., и"")^
Обозначим
sup 1|5 (Я) = я|)*. Л* - {Я е Л^: г|) (Я) = я|)*}. C5)
Оказывается, задачи C1) и C4) тесно связаны между собой.
Прежде всего всегда выполняются неравенства
я|)(Я)<я|;*</^<ХИ, u^Uo, ЯеЛо. C6)
В самом деле, я|) (Я) = inf L {и, Я) ^ L {и, Я) при всех Я е Л^ и
u^Uq. Поэтому if)* = sup я]) (ЯХ sup L{u, Х) = у^{и) для любого

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 249
и е Uq, Переходя к нижней грани по гг ^ С/о в этом неравенстве,
получаем "ф*^/*» откуда следуют неравенства C6).
Интересно выяснить, когда'ф* =/jj.,h обе задачи C1) и C4)
имеют решение, т. е.
и^?=0, А^ф0, /^ = 1];*. C7)
Оказывается, соотношения C7) тесно связаны с седловой
точкой функции Лагранжа.
Теорема 6. Для того чтобы имели место соотнотения
C7), необходимо и достаточно, чтобы функция L{u, К) {u^Uq,
Я ^ Ло) имела седловую точку на С/о X Ло в смысле
определения 1. Множество седловых точек функции L{u, X) на С/о X Ло
совпадает с множеством U^ X Л*.
Доказательство. Необходимость. Пусть
выполнены соотношения C7). Возьмем произвольные i^jj. е С/;^ и X* е Л*
и покажем, что {и^, Я*) — седловая точка. Имеем
я1)* = я|)(Я*)= inf L(m, Я*)<Ь(гг^Д*Х
< sup L {u^, Я) = X (щ) = /*^
По условию г])* = /jj.. Поэтому предыдуш;ие неравенства превра-
пдаются в равенства:
L(i^jj., Я*)= inf L{u, Я*) = sup L(i^j^, X) =/jj..
Отсюда имеем неравенства E), т. е. (и^, Я*) — седловая точка.
Тем самым показано, что ^/^j. X Л* принадлежит множеству
седловых точек функции L{u, К) на С/о X Ло.
Достаточность. Пусть(?^jj., K*)^:UqX\—седловая
точка функции L{u, Я) на С/оХЛо. Согласно E) это значит, что
L{u^^ X)^L{u^, Я*) (ЯеЛд). Отсюда имеем
sup L (гг^. Я) = XМ = ^ (^*. ^*)-
Кроме того, L{u^, Я*ХЬ(гг, Я*) (u^Uq), так что
Ь(гг^, Я*)= inf L(i^, Я*) = г|5(Я*),
откуда и из неравенств C6) следует
L {и^, Я*) = г|5 (Я*) < г!^* < /н: <Х (щ) = ^ (Щ. ^%
т. е. 'ф(Я*) = if)* =/jj. = х(^*)* Это значит, что i|)* = /h:, Я* е
е Л*, и^ е C/jj.. Тем самым установлено, что множество
седловых точек функции Ь{щ Я) на С/оХЛо принадлежит множеству
С/* X Л*.

250 ЭЛЕМЕНТЫ ВЬШУКЛОГО АНАЛИЗА [ГЛ. 4
Следствие 1. Следующие четыре утверждения
равносильны:
1) (и^, X*)^UoX \ — седловая точка функции Ь{щ К)
на Uo ХЛо;
2) выполняются соотношения {37);
3) существуют точки и^ е C/q, Я* ^ Ло такие, что
х(^*) = ^(И;
4) справедливо равенство
max inf L {и, Я) = min sup L {и, К)
(напоминаем, что когда пишут max или min, то достижение
соответствующей верхней или нижней грани предполагается).
Следствие 2. Если (и^, Я*) и (а^, 6*) е ?7о X Л^, — сеЗ^о.
вые точки функции Ь{щ Я) на С/о X Ло, то {и^, Ь*), {а^, Я*)
также являются седловыми точками этой функции на
Uo X Ло, причем
L {и^, Ь*) = L(а^, Я*) = L (гг^, Я*) = L (а^, &*) = /* = я])*.
Отсюда и из теоремы 1 вытекает, что в теоремах 2, 4, 5
можно выбрать одни и те же множители Лагранжа Я* для всех
и^ е С/^ сразу.
Полезно заметить, что в доказательстве теоремы 6 нигде не-
использовано то, что L{u, Я) является функцией Лагранжа
какой-либо задачи вида A), B), а множества Uo, Ло выпуклы —
там были важны лишь функции C0), C3), задачи C1), C4) и
множества C2), C5), которые могут быть введены для любой
функции Ь{и, Я) на любых множествах С/о, Ло. Это значит, чта
теорема 6 и следствие 1, 2 к ней верны для произвольных
функций L{u, Я) и множеств С/о, Ло.
Заметим, что равенство if* = J^ может выполняться и в том
случае, когда одно из множеств U^ или Л* пусто.
Пример 5. Рассмотрим задачу из примера 1 при а == «>.
Было показано, что J^=0, U^~{0}, Поскольку L{u, Я)=—и +
+ Ы^ (ii^O, Я^О), тоя|)(Я)= infL(i^, Я) = —1/DЯ) прпЯ>а
Hi|5@) = —oo. Следовательно, 8ир'1))(Я) = 11;*= О =/^, но Л*=0.
Однако при отсутствии седловой точки возможно строгое
неравенство i))*<;/jj: даже в том случае, когда и^Ф0, А.^Ф0,
Пример 6. Пусть /(ii)=e-", Uo=E\ g{u)=ue-'', С/=-
={и: li е С/о, g{u) = 0}. Здесь множество С/ состоит из
единственной точки и = 0, так что J^^ = /@) = 1, С/* = {0}. Посколь-

§91 ТЕОРЕМА КУНА —ТАККЕРА, ДВОЙСТВЕННАЯ ЗАДАЧА 251
ку Ь{щ X) = e-" + Ue-" = e-"(l + Xii) {п^Е\ K^A„^E^), то
[О, 1 = 0,
t(A,)= inf L{u,X) = l—oo, Я>0,
"s^" [Яе-1+iA К О,
A, и = 0,
0.
%{и)= sup L{u,k) = \ '
x=?i loo, U--
Отсюда ij)* = sup If (Я) = О = aj) @), Л* = {0}, /^ = inf ^ (и) = 1 =:
= X@), U^={0}, Имеем я|)*</*.
He следует думать, что если (и^, к*) е C/q X Лд— седловая
точка функции L{u, Я), то и точки (а, b)ef/oXAo, для
которых L{a, Ь) = Ь{щ^, Я*), также будут седловыми точками.
Далее, если ввести множества
С/,(Я*) = {и: и^и,, L{щ Я*) = L{щ, X*)},
Л {и^) = {Х: к^ Ло, L (гг^, X) = L {щ, Я*)},
где (Ujj-, Я*)— седловая точка функции L(ii, X) на GоХЛо, то
для множеств С/;|. и Л* из C2), C5) в общем случае можно
утверждать, что
С/* си иXX*), Л* си Л (щ). C8)
Пример 7. Функция L(ii, X) = Яи при и^ Uo = Е\ Х^
^ Ао = Е^ имеет единственную седловую точку (и^ = 0, Я* = О
L(?^^, Я*) = 0. Но и(Х*) = Е^, А{щ) = Е^, так что в
рассматриваемом случае включения C8) являются строгими.
7. Заметим, что двойственная задача C4) равносильна
задаче выпуклого программирования независимо от того, была ли
основная задача A), B) выпуклой или нет. В самом деле,
функция L{ii, X) линейна по X, поэтому согласно теореме 2.7
функция — г|}(Я)= sup {—Ь{щ X)) выпукла на выпуклом мно-
жестве Ло. Тогда задача C4), записанная в виде
—\|)(X)-^inf; ЯеЛо,
представляет собой задачу выпуклого программирования (здесь
мы допускаем и значения 'ф(Я)== —«?). Благодаря этому
обстоятельству в задаче вида A), B), имеющей седловую точку,
бывает удобнее сначала исследовать двойственную к ней задачу,
я затем, пользуясь теоремой 6, возвращаться к исходной задаче.
Особенно плодотворным оказывается этот подход в задачах
линейного программирования, поскольку в этом случае
двойственную задачу удается выписать в явном виде.

252 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Рассмотрим каноническую задачу линейного
программирования (см. задачу C.1.14)):
<с, иУ-^ inf; и^и =={и е й^: и>0, Аи--b == 0), C9)
где А — матрица порядка sXn, Ъ ^Е% с^ Е'^, Здесь Uq ==
^lu^E"": и>0}, Ао==Е'; функция Лагранжа имеет вид
L{u, Л)=<с, и> + а, Аи - Ь> = <с + А'^Х, и> - <Ь, Я>. Функция
я|}(Я), определяемая согласно C3), сразу выписывается в
явном виде
[-<Ь, Я>, с + А'^1^0,
Отсюда ясно, что точку Я* ^ Ло, в которой может
достигаться верхняя грань if) (Я) на Ло, достаточно искать среди тех
Я ^ Ло, для которых с + Л^Я ^ 0. Поэтому двойственную задачу
C4) для задачи C9) можно сформулировать так: — <Ь, Я>-^
-> sup или
<Ь, Я> -^ inf; Я е Л = а е j?^• (^ + ^^л ^ 0}. D0)
Как видим, двойственная к C9) задача также представляет
собой задачу линейного программирования.
Любопытно заметить, что если для задачи D0), в свою
очередь, написать двойственную к ней задачу, то мы вернемся
к исходной задаче C9). Чтобы показать это, составим функцию
Лагранжа для задачи D0), взяв в качестве множителя
Лагранжа переменные и={и\ ..., и"") и переписав ограничения
с + А'^К ^ О в стандартном виде: —с — А^Х < 0. Получим
Li{X, гг)= <Ь, Х>+<щ -с- А'^ХУ = <Ь- Аи, Х> - <с,иУ =-L{u,X);
здесь Х^Ао^Е\ u^U, ={и е Е'^: и > 0). Тогда
я|I(гг)= inf Li(^, гг)= ' . ^п
>wSAq \ — оо, Ъ — Аиф\), u^lUq.
Ясно, что sup '^х{и) имеет смысл искать на множестве лишь
тех и е f/o, для которых Ъ — Лгг = 0. В результате придем к
задаче: —-<(?, иУ-^ sup, или
<с, иУ-^ inf; 11 е f/ ={и ^ Е"": и^ f/o, Ь -— ^ii = 0},
совпадающей с исходной канонической задачей C9).
Перейдем к рассмотрению основной задачи линейного
программирования (см. задачу C.1.15)):
<с, иУ-^ inf; и^и ={и е Е"": и>0, Аи—Ь^О), D1)

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 25^
где А — матрица порядка шХщ Ь е ?"*, с е Е"". Здесь С/о =
={и: 1г ^ 0},Ло ={А. е ?"*: А, > 0), функция Лагранжа имеет вид
1{щ Х)=<с, иУ + а, Аи-Ь>=-<с + А^Х, и>-<Ь,%У.
Отсюда
а|)(Я)з= inf L(u,K) = { , г ч.
Двойственная к D1) задача запишется в виде
<Ь, К> ~> inf; Я е Л = а е ?"^: Я ^ О, с + ^^Я ^ 0}. D2)
Это тоже задача линейного программирования. Нетрудно прове^
рить, что двойственная к D2) задача совпадает с исходное
задачей D1).
Наконец, рассмотрим общую задачу линейного
программирования (см. задачу C.1.5)):
ic, и>-^ inf;
ue f/= {гг = Aг\ ..., u^): u'>Q, j^I\ Au-b<0, Au-b==0}^
D3)
где / — заданное множество номеров из {1, ..., п}, ^ — матрица
порядка тХп, А — матрица порядка sXn, be ?"*, Ь е Е%
с^Е"". Здесь 17о={и^{и\ ..., и'^): и^ > О, / ^/}. ^ножптели
Лагранжа удобно представить в виде A.=(|i, |i) {[х^Е"^,
\i^E^), Поскольку множители, отвечающие ограничениям типа
неравенств, неотрицательны, то
K^Ao^{K={\i,'li)^E^XE': fx > 0).
Функция Лагранжа имеет вид
Ь{щ Я)=<с, гг>+<|1, Аи — Ь>+<[х, Аи — Ь>—
= <с: А'^\х + A'^ii, и> + <Ь, |х> — <Ь, [х>, и^ Uo, Х^ Ло.
Отсюда of) {К) = inf L {и, X) = — <Ь, |л> — <Ь, [х> при (с + 4^jx -Ь
+ Л^[г),^0 (JG/) и (^ + ^^|x + ^^fx)i = 0 (J^/), а f(X)==-^
при остальных Я=([х, |i)^Ao. Тогда двойственная к D3)
задача запишется в виде
<Ь, \х> + <Ь, Tt) ~> inf, Я=([х, \х)^А = {Х=={\1, jx)e?;«: jx ^ О,
(c + ^^[x + i"Vli^O. ^^^; (c + ^> + i'V)i = 0, 1^Л. D4)
В результате снова получили задачу линейного
программирования. Предлагаем читателю проверить, что двойственная к D4)
задача будет совпадать с исходной задачей D3).

254 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
Если задача линейного программирования имеет решение,
т. е. /*>—оо, и^Ф0^ то согласно теореме 4 функция Лагран-
жа этой задачи всегда имеет седловую точку. Отсюда и из
установленной в теореме 6 связи между основной и двойственной
задачами вытекают следующие теоремы, занимающие одно из
центральных мест в теории линейного программирования.
Теорема 7. Для того чтобы точка u^^:U была
решением задачи D3), необходимо и достаточно существование такой
точки X*=(jLi*, |х*)еЛ {здесь Л определяется условиями D4)),
для которой
(с,щУ^-{Ъ,11*у-{Ь,'^*}. D5)
Теорема 8. Для того чтобы точка и^^Е^ была
решением задачи D3), необходимо и достаточно существование точки
Л* = (|л*, 7i*)^ ?"" X Е' такой, что
и{ ^0, 7 е /; Аи^ ^ Ь, Аи^ = Ь,
fi* > О, (с + Л V + ^^pt"*)» >0,i^I;
(c + ^V*+IV)< = 0, i^I;
|Xi {Au^^ — b)i = 0, г = 1, ..., ттг; u^ [с + A ii* -{- A \i )i = 0,
j -= 1, ...,5.
Теорема 9. Задачи D3) и D4) либо обе не имеют
решения, либо обе имеют решение, причем в последнем случае
выполняется равенство D5), где и^—решение задачи D3), Я.* =
= (|ы*, [X*)—решение задачи D4).
Теоремы 7, 8 являются переформулировкой теорем 1, 4, 6
применительно к задаче D3) и в отдельном доказательстве не
нуждаются. Теорема 9 специфична для задач линейного
программирования — об этом говорит пример 5, в котором основная
задача имеет решение, а двойственная задача — не имеет.
Поэтому теорема 9 требует отдельного доказательства.
Доказательство теоремы 9. Составим функцию Ла-
граижа для двойственной задачи D4), взяв в качестве
множителей Лагранжа и = {и\ ..., и'^),
L^{K,u)= <Ь, ^i> + <Ь, [Г> + ^ui(^c^A''ix-^A^Ji)i +
+ 2 и' {—с — A^ii — 3^]i)i =
= <b, ix} + <Ь, й:> — (и, c + A^ii + 3^>,
Я е Ло = а = (Ti, \л)^ Е^ ХЕ\ yi> 0},
и е г/о ={и е ?": и' > О, 7 е /},

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 255
Как видим, функции Лагранжа задач D3) и D4)
отличаются лишь знаком. Согласно теореме 4 задача D4) имеет решение
Х*=([х*, [X*) тогда и только тогда, когда функция Li{'k, и) на
Ло X и о имеет седловую точку (А.*, и^) е Л^Х Uq, т. е.
Li (Я*, и) < Li (Я*, и^) < Li (X, щ)^ u^Uq, А. е .%.
Но Li(X, ii)=—L(ii, Я), поэтому из последних неравенств еле-
дует, что если (A.*,i^^)— седловая точка функции LiCk, и) на
ЛоХС/о, то (гг*Д*)—седловая точка функции L{u, К) на
б'^оХЛо. Таким образом, функции Li{'k, и) и Ь{щ К)
одновременно либо имеют седловую точку, либо ее не имеют.
Согласно теореме 4 это означает, что задачи D3) и D4)
либо обе не имеют решения, либо обе имеют решение. В том
случае, когда обе эти задачи имеют решение, равенство D5)
вытекает из теоремы 6 и следствия 1 из нее.
Таким образом, в теоремах 7—9 установлена определенная
эквивалентность исходной и двойственной к ней задач
линейного программирования. Такая эквивалентность широко
используется при разработке и исследовании различных методов
решения задач линейного программирования. Так, например, если к
двойственной задаче применить симплекс-метод и затем его
истолковать в терминах исходной задачи, то придем к так
называемому двойственному симплекс-методу. Об этом и других
методах решения задач линейного программирования, основанных
на теории двойственности, см., например, [3, 11, 12, 33, 71, 130,.
225, 265, 340].
8. Выше было замечено, что в любой задаче линейного
программирования двойственная задача, написанная для
двойственной задачи, совпадает с исходной. В общ,ем случае это не так.
В самом деле, двойственная задача всегда равносильна задаче^
выпуклого программирования. Поэтому в невьшуклых задачах
A), B) задача, двойственная к двойственной задаче, заведомо
не может совпадать с исходной. Любопытно заметить, что такое
явление возможно и в задачах выпуклого программирования.
Пример 8. Пусть J{u)= \и\^--^ini{u^ U =={и^ Е"": g{ii)^
= кР —1^0}). Здесь и,^Е^, /* = О, гг^ = О, Ло =-
=={Хе?;*: А.^0}. Функция Лагранжа L(u^ я,)= kl'+ А.(|п1'—
— l) = (l + X)kl' —X. Отсюда ^|)(X)= inf L{u,V)^ — X при
Я+1>0 И 'ф(Я)= —оо при Я + 1 < 0. Следовательно,
двойственная задача имеет вид -ф (X) = —Я -^ sup; Я ^ Л = {А,, Я ^ Ло,
А.+ 1^0}. Эта задача линейного программирования, поэтому
двойственная к ней задача не может совпасть с исходной
задачей. Заметим, что в этой задаче (и^ = 0, Я* = 0) — седловая
точка.
9. Кратко остановимся еще на одном важном классе задач,
называемых задачами геометрического программирования, в кото*

^56 ЭЛЕМЕНТЫ ВЬШУКЛОГО АНАЛИЗА [ГЛ, 4
рых переход к двойственной задаче весьма плодотворен. Речь
идет о задачах минимизации следующего вида:
п
g{x)=^ Cixl'^... xl''-^inf; x^X = miE\, D6)
где Ci > 0, % — заданные числа, int E\ = {x = {x^, ..., XrY x^ >
>0, ., .,Xr>0), Функция g{x) из D6) называется позиномом.
Для исследования задачи D6) удобнее перейти к новым
переменным u = {ui, ..., Ur+n) по формулам щ == In Xi (t = 1, ..., г);
г
Ur+i = —bi + 2 ^ij^j, bi = —Inci, j = 1, ..., гг, D7)
и переписать ее в эквивалентном виде:
р г . т
Отметим, что функция J (и) выпукла па Е^'^'', ?7 —
многогранное множество, и поэтому к задаче D8) применима теорема 4.
Составим функцию Лагранжа C) для этой задачи:
п п / г
L {и, Я) = 2 ^''''"^' + 2 ^г 2 (^гзЩ — Щл-г — h
г=1 1=1 \j=l
- 2 (/''¦' - ?^ii^r+i - Kh) +2B а,^^^^ щ, и е Е'^"" = С/о.
i=l ^ i=l \i=l /
l^E''^ Ло.
С помощью классического метода (§ 1.2) нетрудно показать,
что нижняя грань функции фB)=е^ — KiZ — Xibi переменной z
на числовой оси равна Ц)^ = ki — ki In ki — kfii, причем при кг > О
она достигается в точке z^ = — In Я|; функция h In ki при ki = 0
здесь считается доопределенной по непрерывности нулем.
Отсюда, опираясь на линейность функции Ь{и, к) по переменным
Ui, ..., Urj получаем
^{к)= inf L(u,k) =
{ п п
^{h-^kilnki-^kibi), k^El, 2«гЛ--0, 7 = 1, ...,г,
i=l i=l
— 00 при других к.

§ 9] ТЕОРЕМА КУНА — ТАНКЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 257
Поэтому двойственная задача C4) здесь будет иметь вид
п
г|) (Я) = 2 (^i — К In К — hh) -^ sup; ^ ^ Л,,
л = а = (^1,...,Яп)е?+: Д]fli,-;ii = 0, / = i,...,А.
Если здесь верхняя грань достигается в точке Я* ?= О, то
задачу D9) можно записать в более простой форме. А именно,
учитывая, что любую точку K^iK, ..., Ю'^О можно предста-
п
вить в виде % = av, где а = 2 К, v = (Vi, ..., Vn), Vi = Я/а,
Vi + ... + Vn = 1, задачу D9) перепишем сначала в терминах
переменных (а, v):
п
^1 (^» v) = of)(av) = ^ a{Vi — ViInavi — Vi&i) =
i=l
= a
(a, v) e Ai =
^ (oc,v): oc>0, v^El, 2 v^ = 1, 2 a^jVi = 0, / = 1, ...,r).
I i-i i=i J
Далее, пользуясь классическим методом (§ 1.2), убеждаемся,
что точка а* =11 -тг > ^ (здесь принято 0*^ == 1) доставляет
функции i|)i (а, v) максимальное значение по а > О при фикси-
рованном V G ?'+, причем гр^ (а*, v) = П -7. .
i=i Vv^V
Тогда двойственная задача D9) перепишется в следующем
виде:
v^.-.v^" E0)
1 — In а + 2 (Vi In q — Vi In Vi)
i=l
-sup;
Л2
inn \
v = (vi, ...,Vn)e^+: 2 Vi = 1, .2 aijVi = 0, /= 1, ...,r •
i=l *=1 J
Если V* = (v*, ..., V*) e int?'!}. —решение задачи E0), то, по-
n ^,.У^
лагая л* = a*v*, где а* = 11(-4| ,«,+{,» = ?1Г (г = 1, ...,/г),
из системы линейных алгебраических уравнений D7) можно

258 ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА [ГЛ. 4
получить Wi*, ..., Urit:, откуда имеем решение х^ = (^^i* = ^^i*, .,,
». .,0:^* == e^^*) исходной задачи D6). Задача E0) часто бывает
проще задачи D6). Переход к двойственной задаче особенно
эффективным оказывается тогда, когда множество Л^ в задаче
E0) состоит из единственной точки v*, которая и будет
решением этой задачи.
Аналогично может быть исследована и более общая задача
геометрического программирования
go(a;)->-inf; х^ X = [x^iniE'^,: gi(^)''< 1, ..., gm(^X 1),
где goix), ..., g^(r)—позиномы. Подробнее о геометрическом
программировании, его приложениях см., например, в [7,
131, 234].
Читателей, желающих подробнее ознакомиться с красивой и
богатой результатами теорией двойственности, с различными ее
приложениями, отсылаем к [2, 3, 18, 21, 67, 116, 137, 146, 156,
166, 167, 201, 255, 264, 290, 293]. Здесь мы лишь отметим, что
параллельное рассмотрение задачи минимизации и двойственной
к ней задачи, с одной стороны, приводит к важным
теоретическим результатал!, с другой стороны, служит источником
различных методов минимизации.
Заметим также, что в последнее время растет интерес к
задачам, в которых нарушены соотношения двойственности
C7),—такие задачи возникают при исследовании объектов,
описываемых противоречивыми системами ограничений, и
имеют интересные приложения [146].
Упражнения. 1. Сформулировать аналоги теорем Куна — Таккера
для задачи максимизации: g(u) -> sup (и е U), где множество U определено
посредством B).
Указание: рассмотреть задачу: 7(и) = — g(tt)-^inf (u^U) и
воспользоваться теоремами 2, 4, 5.
2. С помощью теорем Куна —Таккера исследовать задачу: J (и) =
п
= 2 I"* —flij-^inf (меС/),где С/= {и^Е"": \и\ ^1} или С/= {и е iS'^;
и^ + ,,, + и^ t=zO}, ИЛИ и = Е^; ai, ..., an —- заданные числа.
3. Применить теорему Куна — Таккера к задаче квадратичного
программирования: /(гг) = (tt^J 4- ... + ?2(u^J-^inf (иеС/), где С/=
= {и^Е^: и^+ ..• +li''= 1}, или и={и^Е'Ч w^ + ... + и" < 1}, или
С/ = {и е Е'^: —1 ^ 1г' + ... + i*'* ^ 1}» или U является пересечением
предыдущих множеств с Е'^,
4. Решить задачи геометрического программирования:
а) g (х) = с^х""^ + с^х"""^ -> inf при ж > О, где Ci > О, ai > О —
заданные числа;
б) g(x, ^) =х-1г/ + 2л:2г/ + Зл:-^-2-^т! при а; > О, у > 0;
в) g{x, у, z) z=4:x-'^y-^z-^ -^ xy + Axz + 2yz-^mt при ж > О, у > О,
2>0;
г) g(x, у) = у->Ы при ж > О, ^ > О, х^у-^ + ж-^^1/2^ 1;

§ 9] ТЕОРЕМА КУНА — ТАККЕРА. ДВОЙСТВЕННАЯ ЗАДАЧА 259
д) g{x, у, z) :=х +y-h-'^^^-^Ы при Ж > О, у>0, 2 > О, х-^у +
+ x-h ^ 1.
5. Выяснить, существуют ли седловые точки функции Лагранжа в
задачах из примеров и упражнений к § 2.2, к гл. 3, к § 4.8; найти эти точки.
1
6. Доказать, что выпуклая квадратичная функция / (w) = -о" ^^"' ") +
+ <с, иУ либо достигает своей нижней грани на Е'^, либо не
ограничена снизу.
7. Сформулировать и доказать аналог леммы 2 с использованием
субградиента. Сформулировать субдифференциальные аналоги теорем 2, 4, 5.
8. Пусть в задачах D3), D4) U Ф 0, Аф0. Доказать, что тогда в
этих задачах существуют такие решения u^^U^, Я.* е Л*, что в_правых
частях равенств [х* {Аи^ — fe)^ = О (i = 1, ..., т), и\,{с-{- -4^[х* + ^^|Г*)| =
= 0 (t = 1, ...,«) (см. теорему 8) один из сомножителей отличен от нуля.
9. Пусть С/о — выпуклое множество из Е^^ функции g\(u)^ ..., gm{u)
выпуклы на С/о, gi{u) =<,а{, иУ—Ь* (j =/тг Н- 1, ..., s). Доказать, что если
система неравенств gi(u) <. О (t = 1, ..., /гг), gi{ii) =0 (t == /тг + 1, ..., s)
не имеет решения на С^о, то существуют числа ^i ^ О, ..., Ящ ^ О, Хщ+и • • •
,.., Ks такие, что Xigi(u) + ... + Kagaiu) ^0 при всех и е Uq.
Указание: построить множества, аналогичные множествам Л и В
из доказательства теоремы 2, и применить к ним теорему отделимости 5.2.
10. Пользуясь теоремой 3 (Фаркаша), доказать, что для
несовместности системы линейных неравенств <ei, и> ^ [Xi (i = О, 1, ..., т)
необходимо и достаточно, чтобы существовали такие числа Яо ^ О, Я,1 ^ О, ...
.. ., Ят ^ О, что Я^обо + ^1^1 + . . . + 'ктвт =' О, Яо[го + ^ij^l + • • . + ^mlim < О
(ср. С теоремами 5.9, 5.10) [321].
И. Доказать, что два непустых многогранных множества А = {и^Е^:
<е<, и> ^ \ii, t = О, 1, ..., к} и В == {и G Е'Ч <е», и} ^ pii, i = к + i, ..., /тг},
не имеющие общих точек, сильно отделимы.
к
Указание: рассмотреть гиперплоскость <с, и) = ^i где с= 2 ^-i^i»
i=o
Y = ^ Я^И-^, числа %о, ..., Ят взяты из упражнения 10.
г==о
12. Доказать, что если система линейных неравенств <ео, и> < О,
<ei, u> ^ О, ..., <ет, и> ^ О несовместна, то существуют такие числа
Я*! ^ О, ..., Ящ ^ О, что во = —^i^i — ... — Хтещ'
Указание: воспользоваться теоремой 3 (Фаркаша).
13. Пусть система <ео, иУ <. \io, <е<, иУ^\1{ (t = 1, ..., т)
несовместна, а подсистема <ei, u> ^ ix< (t = 1, •.., т) совместна. Доказать, что тогда
существуют числа ^i ^ О, ..., Кт'^О такие, что ео = —^i^i — ... — XmSmi
0 [21]. . . _ ..
Указание: в пространстве переменных (и, t) е Е'^+^ рассмотреть
систему <ео, и> — Що<0, <ег, и> — Щ{^0 (t = 1, ..., m), <0, u> — t^O
и воспользоваться утверждением из упражнения 12.

Глава 5
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ
МНОГИХ ПЕРЕМЕННЫХ
Выше в гл. 3 был рассмотрен симплекс-метод для решения задач
линейного программирования. Перейдем к изложению других методов
минимизации функций конечного числа переменных;, не предполагая
линейности рассматриваемых задач.
К насто'ящему времени разработано и исследовано большое число
методов минимизации функций многих переменных. Мы ниже остановимся
лишь на некоторых наиболее известных и часто используемых на практике
методах минимизации. Будет дано краткое описание каждого из
рассматриваемых методов, исследованы вопросы сходимости, обсуждены некоторые
вычислительные аспекты этих методов. При этом мы ограничимся расг-
смотрением лишь одного — двух основных вариантов излагаемых методов,
чтобы ознакомить читателя с основами этих методов, полагая, что знание
основ методов облегчит читателю изучение литературы, позволит ему без
особого труда понять суть того или иного метода и выбрать подходяш;ий
вариант метода или самому разработать более удобные его модификации,
лучше приспособленные для решения интересующего читателя класса задач.
В конце главы будут высказаны некоторые общие замечания по методам
минимизации.
Из обширной литературы, посвященной методам минимизации
функций конечного числа переменных и их приложениям, мы можем здесь
упомянуть лишь весьма незначительную ее часть [3, 4, 7, 8, 10—13, 15, 16,
19—23, 25—27, 29, 30, 35, 38, 40—42, 44, 46—49, 52—58, 71, 72, 76, 78, 79,
81—89, 94, 96, 103, 106, 107, 109-113, 115, 116, 119, 122, 123, 126, 127, 129-135,
139-141, 143-159, 162, 163, 165—171, 173, 174, 176—178, 180, 183, 190, 191,
194, 196, 198, 200—203, 207—209, 213-218, 221, 224, 225, 227—231, 234, 235,
237, 238, 240—242, 245, 247, 248, 250, 254—259, 261, 262, 265—267, 269—272,
274, 276—279, 282, 284, 287, 288, 291—294, 296—299, 301, 302, 306, 307, 313,
314, 316, 318, 320-324, 329-340, 343].
§ 1. Градиентный метод
1. Будем рассматривать задачу
/(i^)-^inf; и^и^Е^ A)
предполагая, что функция J {и) непрерывно дифференцируема
на ?", т. е. J{u)^C\E''), Согласно определению 2.2.1
дифференцируемой функции
J{u + h)-J{u)^a'{u), hy + o{h; и), B)

§ 1] ГРАДИЕНТНЫЙ МЕТОД 261
где lim о {h\ и) 1/^1""^ = 0. Если J' {и) Ф О, то при достаточно ма-
лых \h\ главная часть прирагцения B) будет определяться
дифференциалом функции dJ{u)^iJ'{и), кУ. Справедливо
неравенство Коши — Буняковского
-1/4^) \'Ш< <Г{и), й> ^ \Г{и) I . Ш,
причем если 7'{и)Ф0, то правое неравенство превращается в
равенство только при h = aJ' (и), а левое неравенство — только
при J'{u)?=0, где а = const^0. Отсюда ясно, что при Г{и)ФО
направление наибыстрейшего возрастания функции J {и) в точке и
совпадает с направлением градиента У {и), а направление
наибыстрейшего убывания — с направлением антиградиента
Это замечательное свойство градиента лежит в основе ряда
итерационных методов минимизации функций. Одним из таких
методов является градиентный метод, к описанию которого мы
переходим. Этот метод, как и все итерационные методы,
предполагает выбор начального приближения — некоторой точки Uq.
Общих правил выбора точки щ в градиентном методе, как,
впрочем, и в других методах, к сожалению, нет. В тех случаях,
когда из геометрических, физических или каких-либо других
соображений может быть получена априорная информация об
области расположения точки (или точек) минимума, то
начальное приближение щ стараются выбрать поближе к этой области.
Будем считать, что некоторая начальная точка щ уже
выбрана. Тогда градиентный метод заключается в построении
последовательности {Uft} по правилу
Uk^,==Uj,-aJ'{u^), aft>0, ft = О, 1, ... C)
Число ак из C) часто называют длиной шага или просто шагом
градиентного метода. Если J'{u^)^Q^ то шаг ал>0 можно
выбрать так, чтобы J{Uk+i)<J{U}i). В самом деле, из равенства B)
имеем
/ (щ+г) - / (щ) = а ft[^ I /' {щ) Р + о (аи) а^'] < О
при всех достаточно малых а^ > 0. Если J' (щ) = О, то щ —
стационарная точка. В этом случае процесс C) прекращается,
и при необходимости проводится дополнительное исследование
поведения функции в окрестности точки и^ для выяснения того,
достигается ли в точке и^ минимум функции J {и) или не
достигается. В частности, если J (и)—выпуклая функция, то согласно
теореме 4.2.3 в стационарной точке всегда достигается минимум.
Существуют различные способы выбора величины а^ в
методе C). В зависимости от способа выбора аь можно получить
различные варианты градиентного метода. Укажем несколько
наиболее употребительных на практике способов выбора а^.

262 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
1) На луче {и ^ Е"": u = Uk — а/' (uh), а > 0}, направленнохМ
по антиградиенту, введем функцию одной переменной
и определим а^ из условий
/ft(aft)=:inf/ft(a) = /ft„ aft>0. D)
Метод C), D) принято называть методом скорейшего спуска.
При ГК)^0 согласно формуле B.3.1) /а@) = - |/'Ы1'<0,
поэтому нижняя грань в D) может достигаться лишь при ан > 0.
Приведем пример, когда величина а^, определяемая условием D),
сугцествует и может быть выписана в явном виде.
Пример 1. Пусть дана квадратичная функция
J{u)^-Y<Au,uy--{b,uy, E)
где А — симметричная положительно определенная матрица
порядка пХп, Ь — вектор из ?**. Выше было показано, что эта
функция сильно выпукла и ее производные вычисляются по
формулам
Поэтому метод C) в данном случае будет выглядеть так:
Uk+i = Uj,-ak{Auj,-b), /1: = 0, 1, ...
Таким образом, градиентный метод для функции E)
представляет собой хорошо известный итерационный метод решения
системы линейных алгебраических уравнений Аи = Ь.
Определим ал из условий D). Пользуясь формулой D.2.10), имеем
Л(а) = /(м,)-а|Г(%I' + (а72)<ЛГ(и,), Г(и,)>, сс^О.
При /' (Ufc) ^ О условие fh (а) = — 1 /' {щ) Р + а <^/' (г^Оя
/Ч^0> = 0 дает
^'^ = <Л/' (U,), /' A.,)> = <л (Л«, - 6), Аи^ -Ьу>^'
Поскольку функция /л (а) выпукла, то в найденной точке а^ эта
функция достигает своей нижней грани при а ^ 0. Метод
скорейшего спуска для функции E) описан.
Однако точное определение величины а^ из условий D) не
всегда возможно. Кроме того, нижняя грань в D) при некоторых
к может и не достигаться. Поэтому на практике ограничиваются
нахождением величины а^, приближенно удовлетворяюш;ей
условиям D). Здесь возможен, например, выбор ak из условий
оо
/ft,</ft(aft)</ft* + Sfe, 6ft>0, 2 6ft=6<oo, F)
ft=o

§ 1] ГРАДИЕНТНЫЙ МЕТОД 263
или ИЗ условий (9)
fk.<fk{c^k)<{i-K)fk{0) + KfH, 0<Я<Яь<1. G)
Величины 6ft, Xh из F), G) характеризуют погрешность
выполнения условия D): чем ближе б^ к нулю или Я^ к единице, тем
точнее выполняется условие D). При поиске а* из условий
F), G) можно пользоваться различными методами
минимизации функций одной переменной (например, методами гл. 1).
Следует также заметить, что антиградиент {—J'{Uh))
указывает направление быстрейшего спуска лишь в достаточно малой
окрестности точки Uh. Это означает, что если функция J (и)
меняется быстро, то в следуюп];ей точке Uk+i направление
антиградиента {—J'{Uk+i)) может сильно отличаться от направления
(—/'(Uft)). Поэтому слишком точное определение величины а*
из условий D) не всегда целесообразно.
2) На практике нередко довольствуются нахождением
какого-либо аА>0, обеспечиваюп];его условие монотонности: J{Uk+i)<
<J{Uk). С этой целью задаются какой-либо постоянной а>0 и
в методе C) на каждой итерации берут ал = а. При этом для
каждого к>0 проверяют условие монотонности, и в случае его
нарушения а^ = а дробят до тех пор, пока не восстановится
монотонность метода. Время от времени полезно пробовать
увеличить а с сохранением условия монотонности.
3) Если функция /(и)еС*'*(?"), т. е. J {и) ^ С {Е""), и
градиент J'(и) удовлетворяет условию
\r{u)-r{v)\<L\u-v\, и, v^E\
причем константа L известна, то в C) в качестве а^ может быть
взято любое число, удовлетворяюгцее условиям
0<8o^afc^2/(L + 28), (8)
где 8о, 8 — положительные числа, являюп];иеся параметрами
метода. В частности, при 8 = L/2, 8о = i/L получим метод C)
с постоянным шагом ak = i/L, Отсюда ясно, что если константа
L большая или получена с помондью слишком грубых оценок, то
шаг ал в C) будет маленьким. Метод C), (8) подробнее
рассмотрим в следуюп];ем параграфе.
4) Возможен выбор а^ из условия [И, 19, 56]
7Ы-7{и,^а,Г{и,))>га,\Г{щ)\\ г>0. (9)
Для удовлетворения условия (9) сначала обычно берут
некоторое число а/1 = а>0 (одно и то же на всех итерациях;
например, afc = l), а затем при необходимости дробят его, т. е.
изменяют по закону aft = Va (г = 0, 1, ..., 0<Я<1) до тех пор,
пака впервые не выполнится условие (9).

264 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
5) Возможно априорное задание величин а^ из условий
00 оо
а^>0, ft=;0,l, ...; Saft=cx>, ^al<oo. A0)
fe=0 fe=o
Например, в качестве а^ можно взять а^ = c(fc+1)"", где с==
= const>О, а число а таково, что 1/2<а<1. В частности, если
ос=1, с = 1, то получим afc = (/c+l)~* (/с = 0, 1, ...)• Такой
выбор {aj в C) очень прост для реализации, но не гарантирует
выполнения условия монотонности J {Uh+i) < J {Uk) и, вообш;е
говоря, сходится медленно. Более подробно о методе C), A0) см.
ниже в § 3.
6) В тех случаях, когда заранее известна величина /* =^
s= inf/(и)>—оо, в C) можно принять
aK = iJiUk)-J^)\J'{Uk)\-^
— это абсцисса точки пересечения прямой / = /^ с касательной
к кривой / = /fc(a) = /(Uft —a/'(Uft)) в точке (О, /а@)).
Допустим, что какой-либо способ выбора а^ в C) (например,
один из перечисленных выше способов) уже выбран. Тогда на
практике итерации C) продолжают до тех пор, пока не
выполнится некоторый критерий окончания счета. Здесь часто
используются следуюш;ие критерии:
\uk-Uj,+i\<s, или U(Uft)-/(Uft+i)l ^б, или I/^^a)!^^»
где 8, 6, 'I — заданные числа. Иногда заранее задают число
итераций; возможны различные сочетания этих и других критериев.
Разумеется, к этим критериям окончания счета надо относиться
критически, поскольку они могут выполняться и вдали от
искомой точки минимума. К сожалению, надежных критериев
окончания счета, которые гарантировали бы получение решения
задачи A) с требуемой точностью, и применимых к широкому
классу задач, пока нет. Сделанное замечание о критериях
окончания счета относится и к другим излагаемым ниже методам.
В теоретических вопросах, когда исследуется сходимость
метода, предполагается, что процесс C) продолжается
неограниченно и приводит к последовательности {щ). Здесь возникают
вопросы, будет ли полученная последовательность {щ} миними-
зируюгцей для задачи A), будет ли она сходиться к множеству
точек минимума
и^ = iu^E% J (и) = /^ = mtj{u)\,
или, иначе говоря, выполняются ли соотношения
lim/(i^ft)=/^, limp(i^ft,C7*) = 0? (И)
к->оо Л-»оо

§ 1] ГРАДИЕНТНЫЙ МЕТОД 265
Для положительного ответа на эти вопросы на функцию J{u)^
кроме условия 1{и)^С^ (^")» приходится накладывать
дополнительные более жесткие ограничения.
2. Подробнее рассмотрим эти вопросы для метода скорейшего
спуска, когда в C) величина а^ выбирается из условия F).
Теорема 1. Пусть /* = inf/(и)> — оо, J (и) ^ С*' {Е"").
Тогда последовательность {и^, полученная методом C), F), при
произвольном начальном приближении щ такова^ что Ит/'(и^) ;=
^О.Если при этом множество Мь{щ)={и^Е'^: /(i^)</(iio) +б),
где б взято из F), ограничено, то lim р (i^^, д?,,.) = О, где 8^=^
fe-»oo
= {гг ^ Мб (^о)* J' (^) = 0} — множество стационарных точек
функции J (и) на Mq{uo).
Доказательство. Если при некотором А: > О окажется,
что r{Uk) = 0, то из C), F) формально получаем Uf^ = Uk+i =,,.
и утверждения теоремы становятся тривиальными. Поэтому
будем считать, что J'{Uf,)?=0 при всех ft = 0, 1, ... Так как
/ (Ufe+i) =- ft, (аи) < inf fk (а) + б^ < / (u^ — а/' (uj,)) + бд при всех
а>0, то пз неравенства B.3.7) при v = Uk^ и = u^i — а/'(u^)
имеем
J{u,)'- J{u,^,)> J{u,)- 7{щ- аГ (и,))- 8,>
> а\Г(щ) \' - La'ir (щ) 172 - б, > аA - аЬ/2) \Г(и,) \' - б*
при всех ее ^ О и /с = О, 1, ... Следовательно,
/ (Uk) - J {Uk+г) > max а A - aL/2) \ Г Ы \^-h =
= A/B^))|/'Ыр-бь, к = 0,1,... A2)
Отсюда получаем
J{uu^i)<J{u,) + 8,, ft = О, 1, ... A3)
Так как /(^^)^/*> —оо (ft = 0,1, ...), то из леммы 2.3.2 и
A3) следует существование предела lim/(i^fe)^/^. Тогда
lim {J (Uk) — J (Uk+i)) = О и из A2) будем иметь lim J'(и^) = 0^
Наконец, пусть множество Мь{щ) ограничено. Суммируя
неравенства A3) по ft от О до /п— 1, получим
J{Um)<,J{u^)+ 2 6fe</(Uo) + 6, /71=1,2,...,
ft=0
т. е. {и^ ^M^{uq). По теореме Больцано — Вейерштрасса
ограниченная последовательность {и^ имеет хотя бы одну
предельную точку. Пусть 1^^ — произвольная предельная точка {и^ и
{Ufe^}->¦ 1^5,.. Пользуясь непрерывностью У{и)^ отсюда имеем

266 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
lim /' (ukm) ~ '^^ ("*) "^ ^' '^' ®* ^*^ '^** -""^^ ^^^ расстояние р (гг, S^)
непрерывно (см. лемму 2.1.2), то Итр{щ^,ЗА = р{щ^ S^) = 0.
Отсюда следует, что числовая последовательность {р (щ, 5^)}
имеет единственную предельную точку, равную нулю, т. е.
lim р (i^ft, iS^:) =5 0, Теорема 1 доказана.
ft-» 00
Теорема 2. Пусть выполнены все условия теоремы 1 щ
кроме того, функция J (и) выпукла на Е"". Тогда для
последовательности {uft}, определяемой условиями C), F), имеют место
соотношения (И). Если^ кроме того^ в F) {6^ = 0(/с"^), то
справедлива оценка
O^JiUki — J^^Cok'^'^, Со = const >0. A4)
Доказательство. Из ограниченности ife(Uo),
непрерывности J {и) согласно теореме 2.1.2 имеем/^>> — со, и^Ф0^
U^cz M6{Uq), Тогда для любой точки u^^U^ с помощью
неравенства D.2.4) получаем
О < / {uh) — J^^J (Uh) — J {щ) < </' (^fe), Щ — ^*> <
<\r{ur,)V\un-u^\<d\r{uk)l fe = 0,l, ..., A5)
где d ^ diam Мб {u^ =a sup ] w — i; | — диаметр множества
Мь{щ). В теореме 1 было доказано, что Ит/'Aг^) = 0. Отсюда и
fe->oo
из A5) следует, что lim/(i^ft) = /^. Учитывая включение {и^ е
fe-»oo
eil/fi(wo), тогда с помощью теоремы 2.1.2 получаем второе из
равенств A1).
Докажем оценку A4). Обозначим cik = J{щ) — J^- Из
неравенств A2), A5) имеем aft —afe+i==/(i^fe)—/(Uft+i)Xl/BL))X
X I /' Ы\^ — h>al/{2L(P) - 6ft. По условию б^ = О{к^'), т. е.
0<6a<CiA;-' (й = 1, 2, ..., Ci = const>0). Полагая Л =
= max{ci; 2Ld^}, получим
«fe+i<«ft—^ftM+-4^'"^^ fc=1,2,...
Отсюда и из леммы 2.3.5 при /о = A, 2, ...}, Л == ^ следует
оценка A4). Если 6^ = 0 {к = 0, 1, ...)» то оценка A4) вытекает
из неравенств A2), A5) и леммы 2.3.4. Теорема 2 доказана.
Теорема 3. Пусть J{u)^C^'^{E''), J (и) сильно выпукла на
Е". Тогда для последовательности {г^^}, получаемой из C), F)
при любом начальном приближении щ^ справедливы соотноше^
ния A1). Если при этом 8k==0{k'^^), то имеет место оценка
A4). Если 6ft = О (/с = 0, 1, ...), то верна более сильная, чем
A4), оценка
О < / Ы -/*<(/ (щ) - /*) q\ A6)
1 ^ft - ^* Р < B/[х) (/(i^o) - J^*) ^^ fc = 0,1, ..., A7)

§ 1] ГРАДИЕНТНЫЙ МЕТОД 267
где щ— точка минимума J (и) на ?", g = 1 — |x/Z/, О < g < 1, |л —
постоянная из теоремы 4.3.3.
Доказательство. Согласно теореме 4.3.1 множество
Мц{ио) ограничено,/*> — сю, U^ состоит из единственной
точки и^. Поэтому равенства A1) и оценка A4) следуют из
теорем 1, 2. Докажем оценки A5), A6). Из D.3.7) при i; = m*,
^ = W* имеем
ah = J {Uk) — J (и^) < </' (Uk), ц^ — u^> — X1 Ufe — u^ p <
< I J' (Uh) 1 • 1 ^fe — гг^ I — X I Wfe — w^ P <
< sup (I /' (uk) 1 z ^ KZ^) = I /' (I/,) p/Dx),
T G
ak = J{uu)-J^^\r{uj,)\^/{iK), й = 0,1, ,.. A8)
Подставив неравенство A8) в правую часть A2) при 6а == О,
получим
^h — ^fe+1 ^2j;^h = ^ ^ki fe = 0,1, ,.,
В § 4.3 было установлено, что 2х = |i < L. Поэтому О ^ g =
= 1 —(jx/L)<l, и предыдущее неравенство можно переписать
в виде 0<aft+i ^ aft(l —|i/L)= да^. Отсюда имеем ан< qak-i<:
< д^а^-г < ... < g^<2o, что равносильно оценке A6). Наконец, из
неравенства D.3.2) следует
XI i^fe — li* Р < / {uk) — / {и^) = aft, й == 0,1, ...
Отсюда и из A6) получим оценку A7). Теорема 3 доказана.
Метод скорейшего спуска имеет простой геометрический
смысл: оказывается, точка u^+i, определяемая условиями C),
D), лежит на луче Ь^ = {и: и = и^ — а1'{и^), а>0} в точке его
касания линии уровня (при п^З — поверхности уровня) Га+1 =
^Ы^Е""; J{u) = J{Uk+i)}, а сам луч Lh перпендикулярен к
линии уровня Th^iu^E'': J{u) = J{uk)} — см, рис. 5.1 и 5.2. В
самом деле, пусть u = u{t), a^t^b — некоторое параметрическое
уравнение линии уровня Г^, т. е. J{u{t)) = J{Uk) = const, a^t<:
<b, причем u{to) = Uk. Тогда -^ J {u{t)) = {J'{u{t)), u(i)> = 0,
a^Kb, В частности, при t = to имеем 0'{щ), u(^o)> = 0. Это
означает, что градиент (или антиградиент) J'(щ)
перпендикулярен к касательному направлению поверхности уровня Г^ в
точке Ukj или, иначе говоря, луч L^ перпендикулярен к Г^. Далее,
из условия D) при afe > О получаем /^ (а^) = — </' {и^ — а^/' (и^)),
J' (^fe)> = — iJ' i^k+i)^ J' i^k)} = 0. Ho вектор /' (^ft+i)
перпендикулярен к Ffe+i в точке Uh+u поэтому последнее равенство
означает, что направление J'(и^) и, следовательно, луч Ь^ являются
касательными к линии уровня Th+i в точке u^+i.

268
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. Я
3. Из рис. 5.1 и 5.2 можно понять, что чем ближе линии
уровня /(м)== const к окружности, тем лучше сходится метод
скорейшего спуска. Это же явление можно усмотреть и из
оценок A6), A7) —чем ближе yJL к единице (для функции J{u)=^
« |ц|*, у которой линиями уровня являются окружности
(сферы), как раз имеем |л/// —1), тем ближе q к нулю и тем лучше
сходимость.
Те же рис. 5.1 и 5.2 показывают, а теоретические
исследования и численные эксперименты подтверждают, что метод
скорейшего спуска и другие варианты градиентного метода медленно
Рис. 5.1
Рис. 5.2
сходятся в тех случаях, когда поверхности уровня функции J {и)
сильно вытянуты и функция имеет так называемый «овражный)^
характер. Это означает, что небольшое изменение некоторых
переменных приводит к резкому изменению значений функции —
эта группа переменных характеризует «склон оврага», а по
остальным переменным, задаюгцим направление «дна оврага»,
функция меняется незначительно (на рис. 5.2 и 5.3 изображены
^j
f
Рис. 5.3
линии уровня «овражной! функции двух переменных). Если
точка лежит на «склоне оврага», то направление спуска из этой
точки будет почти перпендикулярным к направлению «дна
оврага», и в результате приближения {wj, получаемые градиентным
методом^ будут поочередно находиться то на одном, то на дру-

I I] ГРАДИЕНТНЫЙ МЕТОД 269
гом «склоне оврага». Если «склоны оврага» достаточно круты, то
такие скачки «со склона на склон» точек щ могут сильно
замедлить сходимость градиентного метода.
Для ускорения сходимости этого метода прп поиске
минимума «овражной» функции можно предложить следуюш;ий
эвристический прием, называемый овражным методом. Сначала опишем
простейший вариант этого метода. В начале поиска задаются две
точки Vo, Vi, из которых производят спуск с помош;ью какого-
либо варианта градиентного метода, и получают две точки щ^
щ на «дне оврага». Затем полагают
V2 = Ui — {щ — щ) \щ — Uo\~^hsign{J{Ui) — J{uo)),
где h — положительная постоянная, называемая овражным
шагом. Из точки 172, которая, вообще говоря, находится на «склоне
оврага», производят спуск с помош;ью градиентного метода и
определяют следуюп];ую точку щ на «дне оврага».
Если уже известны точки Uo, щ, ..., щ (/с ^2), то из точки
Vk+i==Uj,-{Uj,-Uf,^,)\uj,-Uk^^\''hsign[J{Uk)-J{uk^y)] A9)
совершают спуск с помош;ью градиентного метода и находят
следующую точку Uh+i на «дне оврага» (см. рис. 5.3; спуск из
точки Vk в точку Uft, состоящий, быть может, из нескольких
итерационных шагов градиентного метода, условно изображен отрезком
прямой, соединяющей точки Уд, щ, /Ь = 0, 1, ...).
Величина овражного шага h подбирается эмпирически с
учетом информации о минимизируемой функции, получаемой в ходе
поиска минимума. От правильного выбора h существенно зависит
скорость сходимости метода. Если шаг h велик, то на крутых
поворотах «оврага» точки v^ могут слишком удаляться от «дна
оврага» и спуск из точки v^ в точку и^ может потребовать
большого объема вычислений. Кроме того, при больших h на крутых
поворотах может произойти выброс точки v^ из «оврага», и
правильное направление поиска точки минимума будет потеряно.
Если шаг h слишком мал, то поиск может очень замедлиться и
эффект от применения овражного метода может стать
незначительным*
Эффективность овражного метода может существенно возрасти,
если величину овражного шага выбирать переменной,
реагирующей на повороты «оврага» с тем, чтобы: 1) по возможности
быстрее проходить прямолинейные участки на «дне оврага» за счет
увеличения овражного шага; 2) на крутых поворотах «оврага»
избежать выброса из «оврага» за счет уменьшения овражного
шага; 3) добиться по возможности меньшего отклонения точек v^,
от «дна оврага» и тем самым сократить объем вычислений,
требуемый для градиентного спуска из точки и^ в точку щ (& =
= 0, 1, ...). Интуитивно ясно, что для правильной реакции на
поворот «оврага» надо учитывать «кривизну дна оврага», причем

270
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
информацию о «кривизне» желательно получить, опираясь на
результаты предыдущих итераций овражного метода.
В работе [276] предлагается следуюш,ий способ выбора
овражного шага:
feft+i = /^ft.c'°«°^ft-^°^°^fe-i, /с = 2, 3,
B0)
где afe —угол между векторами Уь —и^-!, и^ — и^-и определяемый
условием
cos afe = <г;„ - Ufe_i, щ - Ufe_i> I Vj,
и.
ihMufe-Ufe-J-
a постоянная с > 1 является параметром алгоритма. Точка u^+i
определяется из A9) при h = h^^^. Разность cos afe — cos а^-! в
равенстве B0) связана с «кривизной дна оврага» и, кроме того,
обладает важным свойством
указывать направление
изменения «кривизны». А
именно, при переходе с
участков «дна оврага» с малой
«кривизной» на участки с
большей «кривизной» будем
u^.j иметь cos afe — cos a^-i < О
(см. рис. 5.4). Тогда в силу
A9) hk+i<hk, т. е.
овражный шаг уменьшается,
приспосабливаясь к повороту
«дна оврага», что в свою
очередь приводит к
уменьшению выбросов точки Vh^i
на «склоны оврага». При
переходе с участков «дна
оврага» с большой «кривизной»
на участки с меньшей «кривизной», наоборот, cosafe —cosa^-i > О,
поэтому овражный шаг увеличится и появится возможность
сравнительно быстро пройти участки с малой «кривизной», в
частности, прямолинейные участки на «дне оврага». Если «кривизна дна
оврага» на некоторых участках остается постоянной, то разность
cos afe —cos afe-1 будет близка к нулю, п поиск минимума на
таких участках будет проводиться с почти постоянным шагом,
сформированным с учетом величины «кривизны» при выходе
на рассматриваемый участок.
Параметр с в равенстве B0) регулирует «чувствительность»
метода к изменению «кривизны дна оврага», и правильный
выбор этого параметра во многом определяет скорость движения по
«оврагу». Некоторые эвристические соображения по поводу
выбора с и другие аспекты применения овражного метода
обсуждены в [276]. Выражение B0) для овражного шага удобнее пре-
^A-J
Рис. 5.4

§ 1] ГРАДИЕНТНЫЙ МЕТОД 271
образовать так:
откуда имеем
hj,^^ = Лc'°'°^^ А = /г^с-""'"^1 = const > О, А: = 2, 3, ...
Другой способ ускорения сходимости градиентного метода
заключается в выборе подходящей замены переменных u = g{i,) =
==(gi(^), ..., gn{^)) с тем, чтобы поверхности уровня функции
•'^(^(Ю)^'^A) в пространстве переменных |=(|S .•., I'*) были
близки к сферам. Заметим, что G'(|) = (^'(^))V(^(g)), где
S' (i) =5 /^ . {Щ — матрица, i-я строка которой представляет
собой gi il) = (?.^^ (Ю, ..., g.^n (Щ X ^ {g'iDV — матрица,
полученная из g'{^) транспонированием. В пространстве переменных |
градиентный метод выглядит так:
h^^ = U-Mg'{U)VJ'{s{h)), %>о, fc = o, 1,...
В пространстве исходных переменных и = {и\ ..., и'^) этот
подход можно трактовать как итерационный процесс вида
Uk+i = Uk- a^AJ' (Uk), ал > О, /с = О, 1, ...,
где Ah — некоторая невырожденная матрица порядка п X п,
представляющая собой параметр метода. То, что на этом пути можно
добиться существенного ускорения скорости сходимости
итераций, подтверждается, например, излагаемым ниже методом
Ньютона, в котором полагается Ah = {J'' {Uk))"^ (& = 0, 1, ...). О
методах минимизации овражных функций и различных приемах
ускорения сходимости итерационных методов см. [4, 19, 54, 111,
229, 238, 250, 258, 284, 307, 314, 336].
4. Исследуем сходимость другого варианта градиентного метода C),
в котором параметр «а определяется из условия (9) с помощью дробления.
А именно, пусть 1<8<2, а>0 — фиксированные числа, а i ^ О—
наименьший номер, для которого выполняется неравенство [И, 19, 56]
/Ы -J{uj,-2-iar(uk))^2-i''ae\r{uh)\\ B1)
и пусть
ак = а/2*. B2)
Теорема 4. Пусть в задаче A) /* > —¦ оо, t/* =И= 0» функция
J{u) выпукла на Е^^ J (и) ^ С^» ^ (Е^). Тогда для последовательности {uk},
определяемой методом C), B1), B2), имеют место соотношения (И) щ бо-»
лее того, существует точка i^# s С/# такая, что {uj^}-^ v^,
hfe+i-^*|<l"A-^*I' P(^ft+r^*)<PK»^*)' Ai = 0, 1, ..., B3)
причем равенство в B3) возможно лишь при ^j^ ^ w^^+i ^ •** ~ ^*» ^^Р^'
ведлива оценка
О < / {uj^) - /¦ < (min {B-8)/BL); а}}-1 B/8) | ^о - ^* 1^^""^ = ^ (^^»
Л=1, 2, ..„ B4)

272 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
и если U —аффинное множество, то и^ = ^^^^ (м^, т. е, и^^—ближайшая
к uq точка из t/*.
Доказательство. Сначала покажем возможность выбора а^ из
условий B1), B2). Пусть / ^ О — наименьший номер, для которого
L . 2-% < 2 — е; B5)
здесь L > О — константа Липшица для J'{u). Из неравенства B.3.7) при
V ^Uki u = Uk — 2"-^а/'(lift) с учетом B5) имеем
7Ы-7{ин-2-Ш'{ин)) XJ'(uk), 2-%/'(«0>-Ь • 2'^''а\Г{ии)\'=.
= 2-i-iaB - 2-iaL) \Г(ин) ^ > 2'^'^т\Г(ин) р. B6)
Это значит, что при i = ] неравенство B1) выполняется, и, следовательно,
минимальный номер i"^ О, при котором справедливо B1), суш;ествует и не
превышает номера / из B5). Покажем, что для а^ из B1), B2) справедли-»
ва оценка
ah > min {B — e)/BL); а}. А; = О, 1, ... B7)
Сначала рассмотрим случай а > B — e)/BL). Тогда оказывается,
ал > B — гI{2Ь) при всех Ai = О, 1, .,. В самом деле, для номера / из B5)
в этом случае имеем 2'"^а ^ B — &)/L < 2~^"+*а (/ ^0). Поэтому с учетом
правила выбора номера г, определения ан из B2) и неравенства i ^ /
получим ал = а/2* ^ a/2J > B —e)/BL). Пусть теперь а ^ B —e)/BL).
Тогда неравенство B5) ц, следовательно, B6) выполняется при / = 0.
Отсюда и из B1) следует, что г = 0. Согласно B2) тогда aft = a/2°=a
(А; = О, 1, ...). Объединяя оба рассмотренных случая, приходим к
оценке B7).
Далее, возьмем любую точку м# s С/"*. Из C), B1), B2) и теоремы
4.2.2 имеем
(е/2) а, I /' (uj^) |2 < /(U,) - / (г.,^,) < / (и^) - J (и^) < </' {и^), и^ - и^у.
B8)
Кроме того, из C) следует | м,^^, — w,^ [2 = | w^^ — а^/' (^и^) — и^\^ = \uj^ —
— м* 1^— 2а^ <'^'(^fe)' ^h "~ "*>+ ^h I *^' {^k) Г* Отсюда с учетом оценки B8)
получаем
I Ч+1 - "*Г <К - "* I' ~ (^ ~ ^) < 1 •^' Ы I'» к 8 < 2. B9)
Следовательно,
Из C0) вытекает существование предела lim \и^ — Щ\^ и ограничен-
ft->oo
ность последовательности {гг^}. Тогда найдется подпоследовательность
iUf^ |, сходяш.аяся к некоторой точке у*. Из B7), B9) следует, что
{/' C^/j )} "^ '^' (^*) "^ О* "^^ теореме 4.2.3 тогда у* е С/*. Приняв и^ = у^,
пз C0) получаем lim \u^ — v^\^ lim I м, — у* I = О, т. е. вся последо-
вательностъ {гг^} сходится к точке v^. Отсюда и из B9), C0) следуют
неравенства B3). Как видно из B9), равенство в B3) возможно лишь при
J'(uk) =0. Тогда в силу теоремы 4.2.3 гг^ = у*еС/'*, и процесс C), B1),
B2) на этом заканчивается.

§ 1] ГРАДИЕНТНЫЙ МЕТОД 273
Докажем оценку B4). Обозначим (^j^ = J(u^ — J^. Из B8), C0) при
W* = у# имеем
(е/2)«йК'Ы|'<«/.-«).+1' '^k<\J'Ы\\%-^'*\> Л = 0,1, ...
Отсюда с учетом B7) получаем аи — au+i "^ (г12) min {B —e)/BL); а} X
^1 ^0 ~~ ^^I'^^^h (^' = О, 1, ...). Из леммы 2.3.4 тогда следует оценка B4).
Наконец, пусть U^— аффинное множество. При Ai->oo из C0) имеем
117^--м^|^< |м^ —м*|^ при любом щ^и^, В частности, в этом
неравенстве можно взять щ= у* + а (^и^ {и ) — v^) = y^s С/^, а > 0. Получим
l»0-''al'>l''*-''al' = l(-*-«o)-(''<x-«o)l'=l''*-«ol' + ha-«o|'-
-2<i'»-V ''а-«о> = 1''а-"оГ-И*-«оГ-2«<^*-«о. ^cr*("o)-
— v^y или
Отсюда с учетом равенства D.4.2) имеем )^v^ — u^^'^2a\v^ — 0^jjiu^]^
при всех а >> 0. Разделив это неравенство на а >> О и устремив а ->- оо,
получим v^ — ^и^ ("о)' Теорема 4 доказана.
5. Следуя [229], рассмотрим метод, представляюгций собой
комбинацию несколько модифицированного метода C), B1), B2) и овражного
метода.
Возьмем начальные приближения: vq е Е"^, bo = 1, a_i > О, положим
к_1 == uq. Пусть для некоторого к "^0 уже известны vh е Е^, Ък ^ 1, a^-i >
> О, Uk~\ е Е^. Определим наименьший номер i ^ О, для ко'торого
выполняется неравенство
l{vK)-J{^h-'^-'0LK-ir{vK))>2-'-'aK-Ar{vk)\\ C1)
Далее, положим
aft = aft_i/2% Uft = yft — aft/'(yft), C2)
^+1 = T (l + V4+^) ^k+i -Ч + i^ К - ^k-i)- C3)
Таким образом^ в описанном методе C1) — C3) спуск из точки Vk на «дно
оврага» осуществляется по формулам C1), C2) с помощью одного шага
градиентного метода C) с правилом выбора параметра а^, близким к B1),
B2). Здесь возможно использование некоторых других вариантов
градиентного метода, например, по аналогии с (8) в C2) можно взять аи = ifL.
Как видно из C3), пересчет точки Vk осуществляется с помощью
овражного метода по формуле, близкой к A9). Первое из равенств C3)
представляет собой правило пересчета длины овражного шага; величина ^ft+i
является положительным корнем квадратного уравнения х — х — ^^ = О,
так что
4+1-4+1 = 4' ^=1. Ь,>0,: ^ = 0,1, ... C4)
С помощью индукции нетрудно получить оценку
bk> к, /с = 1, 2, ... C5)
Теорема 5. Пусть функция J {и) выпукла на Е^, J(u) ^С^' ^{Е^)у
/^ > — оо, и^Ф0, последовательность {uh} определена методом

274 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
(д1)-'(Щ. Тогда
0 < / (м^)- /¦ < (min{l/BL); сс_^}Г^ Bа^ (/ {%) - /¦) +
+ inf \u-u^\^)/{2k^):=0{i/k^), Ai = l, 2, ... C6)
Доказательства, Пусть / ^О — наименьший номер, для которого
2-^ал., < 1/L. C7)
Нетрудно видеть, что тогда
/(^ft) -/(^A-2-iaft-i7'(^ft)) > 2-^''ап_1\ГЫ \'i C8)
это неравенство доказывается так же, как B6). Отсюда следует
существование номера i^7, удовлетворяющего неравенству C1). Рассуждая так же,
как при доказательстве оценки B7), из C1), C2), C7), C8) с помощью
индукции получаем
Oft > min {1/BL); a-i}, A; = О, 1, ... C9)
Обозначим pk= {bk — i){uk-i'-uh). Тогда из C3) следует
Uk+i = Uk — Phlbh+h Ph = bk+i(uh— Vh+i). D0)
Далее, с учетом C2), D0) имеем
Pk+l — ПЛ+I =1 {bk+l — 1) (ttft — ttft+l) — ttft+l = bk+l (Uk — »ft+l) — Kft s=
= bk+i(nh — Vk+i + ccft+i7'(i;ft+i)) — uk = Pk — ИА 4- cCh+ibk+J^{vk+i)*
Тогда для любого u^ s U^ получаем
или с учетом D0)
1 Pk+i - "ft+i + w*l' ~ I Pfe - "a + "* I' < ^""k+i iJ' (^ft+i)' (^ft+i/'ft ^ Ph) +
X<'^'(^fe+i)» ^'A>+ 2о^А+Л+1<^' (^ft+i)' "¦ - ^А-Ы>+ «aVa+iI ^' (^А-ы) Г*
Ai = 0, 1, ... D1)
Заметим, что C1) с учетом C2) можно переписать в виде 7(Ул) —/(ил) ^
^ (cLhl2)\J'(vk)\\ Для А; + 1-й итерации это неравенство имеет вид
/ K+i) > J ("fe+i) +1- «,+, I /' A-,+,) p. D2)
Из теоремы 4.2.2 с учетом D2) получаем
1
D3)
1
Далее, из теоремы 4.2.2 и из D0), D2) следует
(afc+i/2)|/'('^fc+i)l^^/(^fc+i) -/(ttA+i)</(ttA) -<Г(УА+1), ttft-i;ft+i>-
—/(wfc+i) =ч/(»л) —/(Kft+i) — <7'(yft+i), Pk>lbk+u
откуда
</4^fc+i), ;^ft> < Ьл+1(GAг,) -7(ил+0) - (a^+i/2) |74^ft+i) 1^). D4)

§ 1] ГРАДИЕНТНЫЙ МЕТОД 275
Обозначим ^^k=^^{^^h)~'^*• Подставим оценки D3), D4) в D1).
С учетом C2), C4) получим
1 Pk+i - Wft+i + «*!" - I Pft- «ft + "* !''<
< 2«ft+i {\+i - 1) 6fe+i («ft - «ft+i - (aft+i/2) I /' (.ft+0 f) +
+ 2«ft+ib,^i (- «ft+i - («ft+i/2) I /' Ы,) П + 4+A+i I •^' C'ft+i) I' =
= 2«ft+ibK - 2aft+i«ft+i F^ + b^^j) < 2а^б|а^ - 2a^^^bl^fy^^.
Таким образом,
1 Pm+l- "m+l + "* I' - 1 ^m - "m + ^* 1^ < 2a^^m«m - ^^m+A+i^m+V
m = 0, 1, ...
Суммируя эти неравенства по m от О до некоторого т = к — 1, получим
\Рк-ч + ^*? + ^^Лч < КК%+1 ^0 - %+"* f •
Отсюда с учетом равенств Ьо= 1, /?о = О, оценок C5), C9), произвольно'сти
выбора точки щ из U^ приходим к оценке C6). Теорема 5 доказана.
Отметим, что метод C1) — C3) не обеспечивает монотонное убывание
функции J (и) на последовательностях {ии}, {vk}. Сравнение оценок B4)
п C6) показывает, что для выпуклых гладких задач овражный метод имеет
более высокую скорость сходимости, чем градиентный метод C), (9),
В [228] показано, что оценка ^ {^k) — J^ = 0{i/k^) является неулуч-
шаемой на этом классе функций среди всех методов, использующих лишь
значения 7(гг), J'(u).
6. Кратко остановимся на непрерывном аналоге градиентного метода.
Для этого перепишем формулу C) в безындексной форме, приняв Uk = »@,
uk+i = u(t + At), ah = A^@» Ai > 0, ^(t) > 0. Получим
(u(t + At) — u{t))IAt =: —^(t)r (u(t)), f^0\ u@) =izo.
Отсюда, формально переходя к пределу при Af->-bO, придем к следующей
задаче Коши:
й (t) == —р (О /' (u(t)), t^O; и @) = щ. D5)
Задача D5) представляет собой непрерывный аналог градиентного метода,
а исходный процесс C) является методом ломаных Эйлера для решения
задачи D5). Понятно, что задачу Коши D5) можно решать и другими
численными методами, которые, возможно, будут сходиться быстрее метода
Эйлера и лучше приспособлены для минимизации овражных функций
[4, 13, 39, 54, 258].
Определение 1. Траекторию (решение) u{t) задачи D5) будем
называть минимизирующей, если u{t) определена при всех f^O и
Иш J (и (t)) = /^.
t-^oo
Ограничимся следующей теоремой о сходимости метода D5).
Теорема 6. Пусть функция J (и) сильно выпукла на Е^ и J(u) ^
е С^' ^(Е^), функция ^(t) определена, непрерывна и ^(t) ^ Ро > О при всех
t ^ 0. Тогда траектория задачи D5) при любом выборе начальной точки Uo
является минимизирующей и сходится к точке минимума и^ с оценкой
|M@-wJ<lw^-i^*lexp(--.|ip^^}, f>0, D6)
где постоянная [х взята из теоремы 4.3.3.
Доказательство. Прежде всего заметим, что по теореме 4.3.1
точка минимума и^ функции J {и) на Е^ существует и единственна, а по

276 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
теореме 4.2.3 /' (щ) = 0. Далее, из доказываемой ниже теоремы 6.1.1
следует, что траектория задачи D5) определена при всех f^O для любой
начальной точки uq. Положим
V{t) = \u(t)-^u^\V2, t-^O. D7)
Тогда с учетом условий D5) и теоремы 4.3.3 имеем
V (t) = <и (t) - м*, и (t)} = - Р (О <J' (" (i)) - J' (^*), w (t) - u^y <
d
Отсюда следует ;^ (Т^ (О exp{+2[гр^ф <0 (/>0). Интегрируя это
неравенство, получим
О < F (О < F @) ехр {- 2]x^^t) ^\и^^и^\^ ехр {- 2fxP^f}/2,
что равносильно оценке D6). В силу непрерывности функции /(») тогда
iim / {и {t)) = /ф, что и требовалось.
Пользуясь терминологией, принятой в теории устойчивости
обыкновенных дифференциальных уравнений [9, 172, 251, 295], можно сказать, что
в теореме 6 доказана асимтотическая устойчивость системы D5)
относительно точки равновесия w# этой системы. Для доказательства этого
факта использован второй метод Ляпунова, в качестве функции Ляпунова была
взята функция D7). В связи с этим полезно заметить, что при исследовании
многих методов минимизации явно или неявно используется второй метод
Ляпунова или его дискретный аналог; в качестве функцип Ляпунова наряду
с D7) часто используются также функции V (t) = J {и {t)) — J^^ F@ =
= |/'(гг(^)) |2 и др. Систематическое исследование сходимости методов
минимизации с помощью метода Ляпунова проведено в [49].
Существуют и другие дифференциальные уравнения, траектории
которых являются минимизирующими. Например, так называемый метод
тяжелого шарика [4] заключается в рассмотрении системы дифференциальных
уравнений
й{1) + ^u{t) -Ь r(u(t)) =0, i > О, «Y = const > 0.
Оказывается, траектории этой системы при довольно широких
предположениях сходятся к точке минимума функции J {и) на Е^, причем скорость
сходимости, вообще говоря, выше, чем у траекторий системы D5).
7. В заключение отметим, что градиентный метод, вообще говоря,
хорошо работает лишь на первых этапах поиска минимума, когда точки пц,
из C) не слишком близки к точке минимума м#, а вблизи точки щ
расстояние I Мд — м# I часто перестает уменьшаться, сходимость метода
ухудшается. Это связано с тем, что в окрестности точки минимума градиент
У(пк) близок к нулю, главная линейная часть приращения / {и^ — / (м^),
на базе которой выбирается направление спуска в методе C), становится
малой, учитывается влияние квадратичной части приращения, метод C)
становится слишком чувствительным к неизбежным погрешностям
вычислений. Поэтому вблизи точки минимума при необходимости пользуются
более точными и, вообще говоря, более трудоемкими методами, лучше
учитывающими не только линейные, но и квадратичные части приращения.
Упражнения. 1. Описать различные варианты градиентного
метода для задачи из примера 2.2.1.
2. Установить сходимость метода скорейшего спуска для функции E);
описать другие варианты градиентного метода для этой функции.

I 2] МЕТОД ПРОЕКЦИИ ГРАДИЕНТА 277
3. Рассмотреть метод скорейшего спуска и другие варианты
градиентного метода для задачи минимизации функции J (и) = \Ли — Ь\\ и^Е^^
где А — матрица порядка т X п, бе Е^; исследовать их сходимость.
4. Рассмотреть метод скорейшего спуска для минимизации функций
/(а) =х^ + ау\ и = (х, у) е Е\ и J {и) =. х^-^ у^ + az\ и = {х, у, z) е Е\
при различном начальном приближении щ, считая коэффициент а намного
больше единицы.
5. Доказать теоремы 1, 2 для метода C), G),
§ 2. Метод проекции градиента
1. Будем рассматривать задачу
/(w)-^inf; и^и^Е-, A)
где множество U необязательно совпадает со всем простран^
ством Е"", а функция J{u)^C^{U). Непосредственное применение
описанного выше градиентного метода в случае U?=E'' может
привести к затруднениям, так как точка Uh+i из A.3) при
каком-то к может не принадлежать U. Однако эту трудность
можно преодолеть, если полученную с помощью формулы A.3)
точку Uf^ — aJ^ {Uk) при каждом к проектировать на множество U
(см. определение 4.4.1). В результате мы придем к так
называемому методу проекции градиента.
А именно, пусть Uq^U — некоторое начальное приближение.
Далее будем строить последовательность iuj) по правилу
щ+, = ^и {Щ - aj' {и,)), /с = О, 1, ..., B)
где а* — положительная величина. Если U — выпуклое
замкнутое множество и способ выбора {а^} в B) задан, то в силу
теоремы 4.4.1 последовательность {u^i будет однозначно
определяться условием B). В частности, при U^E'^ метод B)
превратится в градиентный метод.
Если в B) на некоторой итерации оказалось Uk+t = Uf^
(например, это случится при /(i^ft)==0), то процесс B) прекращают.
В этом случае точка Uj^ удовлетворяет необходимому условию
оптимальности Uk==^u{Uk — aJ'{Uk)) (см. теорему D.4.3), и для
выяснения того, является ли в действительности щ решением
задачи A) или нет, при необходимости нужно провести
дополнительное исследование поведения функции J (и) в окрестности
точки щ. В частности, если /(i^) —выпуклая функция, то такая
точка щ является решением задачи A).
В зависимости от способа выбора а^ в B) можно получить
различные варианты метода проекции градиента. Укажем
несколько наиболее употребительных на практике способов
выбора а*.
1) Введем функцию одной переменной /ft(a) = /(^i;(i^jk —
— aJ' (щ)) (а > 0) и определим а^ из условий
/ft(aft)=inf Д(а)==Д , aft>0, C)

278 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Очевидно, при U^E'^ метод B), C) превратится в метод
скорейшего спуска. Поскольку величину а^ из условий C) удается
найти точно лишь в редких случаях (возможно также, что
нижняя грань в C) не всегда достигается), то а^ на практике
определяют приближенно из условий типа A.6) или A.7).
2) Иногда приходится довольствоваться нахождением какого-
либо сса>0, обеспечивающ;его условие монотонности: J{Uk+i)<
<J{Uh). Для этого обычно выбирают какую-либо постоянную
ос>0 и в методе B) на каждой итерации берут аА = а, а затем
проверяют условие монотонности и при необходимости дробят
величину ад = а, добиваясь выполнения условия монотонности.
3) Если функция J (и) принадлежит C^'^{U) и константа
Липшица L для градиента J'{и) известна, то в B) в качестве а*
можно взять любое число, удовлетворяюш;ее условиям
О < 8о^ а^ ^ 2/(L + 28), D)
где 8о, 8 — положительные числа, являюпциеся параметрами
метода.
4) Возможен выбор а^ из условия
J{u^)-J{^u{u,-aJ'{u,)))>E\^--^u{u,-a,r{u,))\\ E)
где 8 > О — параметр метода. Для определения такого аи можно
взять какое-либо число а^ = а (например, а = 1) и затем дробить
его до тех пор, пока не выполнится условие E). Если J{u)^
^С^'*([/), то можно показать, что выполнения условия E)
можно добиться за конечное число дроблений.
5) Возможно априорное задание величин а^ из условий
оэ оо
aft>0, А; = 0, 1, ...; Saft = oo, ^al<oo, F)
например, аи=^(к + l)"^ (fc = 0, 1, ...). Сходимость метода B),
F) будет исследована в § 3.
Заметим, что описанные здесь варианты метода B) при U =
= ?"* переходят в соответствующ;ие варианты градиентного
метода.
На практике для ускорения сходимости вместо B) часто
пользуются более обпцим вариантом метода проекции градиента
Uh+i = i^ft + pfe {^и {Uk - aj' (Uk) )-'Uk) =
-h^u{u,-aj'{a,)) + {i-^,)u,, 0<p,<l, cc,>0, B')
где параметры a^, ^k могут выбираться различными способами.
Заметим, что в методах B) или B') на каждой итерации,
кроме выбора параметров а^, %, нужно еш;е проектировать
точку на множество U или, иначе говоря, решить задачу
минимизации
Фк{и)= \и-{щ- aj' {щ))\' -^ Ы, u^U; G)

§ 2] МЕТОД ПРОЕКЦИИ ГРАДИЕНТА 279
здесь возможно использование функции Oh{u)=\u'-Uk\^ +
+ 2анО' {щ), u — Uk>, отличающейся от предыдущей функции
постоянным слагаемым. Задачу G) можно решать приближенно
и вместо точки u^+i ^ U, Ok{Uk+i) = 1п1Ф^{и) = Фн^ определить
и
ее приближение z^+i из условии
0ft+iGC/: ФиЫ1)<Фп^ + Ь1 (8)
Предполагая, что U — выпуклое замкнутое множество, из (8)
с помощью неравенства D.3.3) имеем \zh+l—'ЩJ^l\^^Фh{Zk-\.l)—
— OhiUh+iX^h или
Конечно, задачи G), (8) далеко не всегда просто решаются.
Поэтому методом проекции градиента обычно пользуются лишь
в тех случаях, когда проекция точки на множество легко
определяется. Например, когда множество U представляет собой шар
в Е"^, параллелепипед, гиперплоскость, полупространство или
положительный октант (см. примеры 4.4.1—4.4.6), задача
проектирования точки решается просто и в явном виде, и реализация
каждой итерации метода проекции градиента в этом случае не
вызывает особых затруднений. Если же задача проектирования
для своего решения в свою очередь требует применения тех или
иных итерационных методов, то эффективность метода проекции
градиента, вообще говоря, значительно снижается.
2. Остановимся на вопросах сходимости метода B), D).
Теорема 1. Пусть U—выпуклое замкнутое множество из
^% функция J{u)^C^'^{U),mi J {и) = J^> — оо. Тогда для по^
следователъности {щ), полученной методом B), D) при любом
начальном приближении Uq^ имеет место соотношение lim | uj^+i —
— uu\=^0. Если при этом множество M{uo)=={u: u^U, J{u)^
</{щ)} ограничено, то Ишр {uj^, 5^) = О, где S^ = {ш и^М{uq)^
ft-^oo
<Г{и), г — иУ>0 при всех v^U] — множество стационарных
точек функции J (и) на M{uo).
Доказательство. Из неравенства B.3.7) при v = Uj^, гг =
= Uk+i имеем
1{щ)-1{щ+,) > <Г(щ), щ - щ+,У - (L/2) \Uk- i^ft+iP,
/с = 0, 1, ...
(9)
Из B) и теоремы 4.4.1 следует, что
Перепишем это неравенство в виде
<У {Ukh и - Щ^С> > <Uk - Uj,+i, и - Uk+i>/ak, fe = О, 1, ... A0)

280 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Отсюда при u = Uk с учетом условия D) получим
</'{Uh), Uk- щ+1У >\uu- %+ilVaft >(L/2 + г)\щ- u^+iW
Подставим эту оценку в (9):
J{Uk)- J{uj,^i)> гЫк- uj,+i\\ /b = 0, 1, ... A1)
Так как J{Uh)'^J^>—oo и последовательность {J{uj^}
—убывающая, то существует конечный предел lim J{Uk) ^ /^ и, сле-
довательно, 1™ (/(i/fe) — / (г^/г-ы)) = 0. Отсюда и из A1) сразу
получим lim | щ — w^+i | = 0.
ft-»oo
Пусть теперь множество М{щ) ограничено. Так как согласно
(И) J{ui,^i)<J(uj,)<,...<J{uQ), то {и^^М{щ). По теореме
Больцано — Вейерштрасса ограниченная последовательность {i^J
имеет хотя бы одну предельную точку. Пусть щ — произвольная
предельная точка Ы^) и [и^^] -^щ.Ло доказанному lim | u^j^x —
— гг^ I = о, поэтому {i^ft^_j_^}-^i^^. Переходя в A0) к пределу при
к=^ кт-^ ^, с учетом условий D) и непрерывности J'(и)
получим </' (и^), и — w^> ^0 при любом и^и, т. е. и^ ^S^, По
лемме 2.1.2 расстояние q{u,S^) непрерывно по и, поэтому
lim р (uk^, S^) = р(гг^, S^) = 0. Отсюда следует, что {9{uk, S^)}
имеет единственную предельную точку, равную нулю, т. е.
lim р (щ, /S^jj) = 0. Теорема 1 доказана.
Теорема 2. Пусть выполнены все условия теоремы 1 щ
кроме того, функция J {и) выпукла на U, Тогда для
последовательности {uj из B), D) имеем
lim / (Uk) = /^, lim р (uj,, U^) = О, A2)
ft-^oo ft-*oo
причем справедлива оценка
О< / [uj,) — /^ <Cofc~\ Со = const > О, fe = 1, 2, ... A3)
Доказательство. Из ограниченности M{uo),
непрерывности J (и) согласно теореме 2.1.2 следует /:}.> —оо, C/^={i^: и^
е С/, J(u) =^ J^}=7^ 0^ и:^cz М (uq). Возьмем произвольную точку
и^^и^. Из неравенства D.2.4) тогда имеем
О < aft = / {uk) — / {и^) < </' {uk), Uk — и^У =

8 21 МЕТОД ПРОЕКЦИИ ГРАДИЕНТА 281
Пользуясь неравенством A0) п^ж и==^и^ж условием D) выбора
ttjk, отсюда получим
О < а^ < </' (Uk), Uk — ии+гУ — {Uk — i^ft+i, и^ — Uk+{)/ak <
A4)
Здесь мы учли ограниченность множества M{uo), поэтому D =
^ sup |1г--г;|<; ООН, кроме того, |/'(и) I ^ 1/'Aг) —/'(i^o) i+
+ 1/'(^оI <L\u — Uq\ + \J'{uo)\ ^LD+ \J'{uq)\ при любом u^
^M{uq), так что sup 1/'(ii)|< oo. Из A1), A4) следует
a% — a^i+i ^ sCi ^a\ = Aal (k = 0, 1, ...). Отсюда с помогцью
леммы 2.3.4 придем к оценке A3), из которой также следует
первое из равенств A2). Второе равенство A2) является следствием
теоремы 2.1.2.
Рассмотрим случай сильно выпуклой функции, предполагая,
что в методе B) величина а^ выбирается постоянной.
Теорема 3. Пусть U — выпуклое замкнутое множество,
функция J{u)^C^'^{U) и сильно выпукла на U, Пусть 0<а<
<2\iL-^, где постоянные ji, L, ji=^L, взяты из B.3.6), D.3.8).
Тогда последовательность (uj, получаемая из B) при аА = а
(fe = 0, 1, ...), сходится к точке минимума и^, причем
справедлива оценка
\uk — u^\<\Uo — u^\{q{a))^, fe = О, 1, ..., A5)
где q{a) = {i-2iia + a'Ly^\ 0<q{a)<i.
Доказательство. Введем отображение
Аи=-^и(и-аГ{и)),
действуюЕцее из С/ в С/. Покажем его сжимаемость при О < а <
< 2iiL"^. С помогцью теоремы 4.4.2 имеем
\Аи ~ Av\' = \^и{и - аГ{и))-^и{у - аГ (у)) Р <
^Ы-аГ {u)-v + aJ' {v)V ^\u-vV + а^\Г {и)- Г {v)V -
-2a<r{u)-r{v), u-'Vy^\u-v\'{i + a'L'--2ixa)^
= q^a)\u-v\\
т. е.
\Au — Av\<q{a)\u'-v\, u,v^U. A6)
Так как 0<a<2iiL""^, то 0<g(a)<l. Это значит, что
отображение А — сжимающее. Заметим также, что замкнутое
множество и^Е"^ представляет собой полное метрическое
пространство с метрикой рAг, г;)=|1г —г;1. Следовательно, можно
пользоваться принципом сжимающ;их отображений [179]. Метод B)
при ал = а, записанный в виде щ^^^^Аи^, представляет собой

282 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
известный процесс поиска неподвижной точки щ сжимаюгцего
отображения А, т. е. точки щ, для которой и^ = Ащ. Известно
[179], что такая точка щ существует, единственна и Ит | UJ^ —
— 1^^1 = 0. Из A6) следует, что
lUk — Uml^iq {a)f I Uq — Um^h I Vm> k.
Отсюда при m-^oo получим оценку A5). Так как щ=^и{щ—
— а/' {щ)), то из теоремы 4.4.3 следует, что и^ — точка
минимума функции J (и) на множестве U. Теорема 3 доказана.
Заметим, что наименьшее значение q{a) из A5) при 0<а<
<2|iL~^ достигается при а^ = [xL^^ и равно д(а^) = A —
3. Следуя [29], рассмотрим сходимость метода B), D), не требуя, в
отличие от теоремы 1, 2, ограниченности множества M{uo). Кроме того,
будем считать, что вычисление градиента функции и проектирование на
множество на каждой итерации проводятся с погрешностями.
Теорема 4. Пусть U—выпуклое замкнутое множество из Е^^
функция J (и) выпукла на С/, /(и) е ^^'^(?/), /# >—^» ^¦=5^0. Пусть
вместо точного значения градиента Г {и) и проекции ^и-(и) ^^(и) известны
их приближения Jj^(u) и соответственно ^h{u) с погрешностью
оо
?;^ Co = const>0, б^>0, А: = 0, 1, ...; ^dj^ = 6<0.
ft=o
A7)
Наконец, пусть последовательность {uk} определяется условиями
Ч+1 = ^к(ч-Н-^кЫ)' "о^^' '^ = 0,1,.... A8)
где ah выбирается так:
О < 8о < ал < 2A — 8)/L, А: = О, 1, ..., О < с < 1. A9)
Тогда {uh} сходится к некоторой точке v^ е U^,
Доказательство. Наряду с {ии} введем вспомогательную
последовательность {vk}, определяемую следующим образом:
uh = ^(uh — ahr(uk))y А; = 0, 1, ...; уо = ко. B0)
Отсюда и из A8) с помощью теоремы 4.4.2 и условий A7) получаем
< ^Q^h + B A - e)/L) б^ = С Д, А: = О, 1, ... B1)
Возьмем произвольную точку u^^U^. Согласно теореме 4.2.3 тогда
</' {и^), W — w*> > О, и^и. B2)
Из B0) и неравенства D.4.1) получаем
{^h —Ч + ^k^' (Ч)^ u — Vj^y-^O У/и^и. B3)

I 2] МЕТОД ПРОЕКЦИИ ГРАДИЕНТА 283
Положим В B3) и = щ^ а B2) умножим на ал > О и примем и = i;^.
Сложим получившиеся неравенства
<^ft - "ft' "* - ^ft> + «ft <'^' Ы - J' ("*)» "* ~ ^ft> > 0» B^)
A: = 0,1,...
Преобразуем каждое слагаемое в правой части B4). Прежде всего имеем
2<^ft-"ft. "*~^ft>=Hft-"*l'-hft-^ft|'-hft-"*!'. B5)
Далее, воспользуемся неравенством D.2.20) при и = uk, v = и^, w =
= Vk] получим
</' (u^) - /' Aг^), u* - v^y < (L/4) 1 i^ft - i^ft |^ k = 0,l, ... B6)
Подставив B5), B6) в B4), получим
hft-"*l'-|^ft-"*l'-(l~«ft^/2)Hft-^ft|'>0.
Отсюда, учитывая условие A9), имеем
\ut,^u^\^>\Vj^--u^\^ + E\Uj^-v^\\ /с = 0, 1, ... B7)
Далее, воспользуемся леммой 2.3.10 при Zk = uk,4 — "*» ^^k = Vh] из A7),
B1), B7) получим
lim I w, — м^ I = lim \vu — u^\<oo, lim \Vf^ — Uj^\=0. B8)
ft-^oo ' ft->oo ft->c»
Отсюда следует, что последовательность {uk} ограничена. Тогда существует
хотя бы одна предельная точка v^ этой последовательности и
подпоследовательность [и. ], сходящаяся к v^. Из B8) имеем lim у^ = v^.
Согласно B3) с учетом A9) получаем
<'^'K)»"-^ft>>-<^ft~"ft» "-^ft>«r'>~l^ft-"ft Ih-^fth^-
Отсюда при к = кт-^^ будем иметь </' (у*), w — у*) > О при всех u^U^
По теореме 4.2.3 тогда v^^U^. Вспомним, что неравенство B7) было
получено для любой точки W* е С/"*. В частности, B7) верно и для u^ = v^.
Но y^jc — предельная точка последовательности {uk}. Из леммы 2.3.10 тогда
следует, что {uh} сходится к у*. Теорема 4 доказана.
Замечание 1. Если в A7) 6^ = 0 (А: = О, 1, ...), то из A8) —B0)
следует, что Uk+i = vx (А;,= 0, 1, ...)• Тогда из B7) имеем
\Uj,^u^f>\Uj^^^--u^\^ + E\uj^-Uj^^^\\ Л = 0, 1, ..., У/и^^и^.
Пользуясь произволом в выборе и* s 17^^, отсюда получаем
|"ft-^*|>hft+i-^*h рК' ^*)>рК+г ^*)' ^ = ^' ^' •••'
причем равенство здесь возможно лишь при Uk+i = ма, что в силу
теоремы 4.4.3 означает Uj^ е U^4 Таким образом, при точной реализации метода
A7)—A9) расстояние от точки uk до множества U^ или до точки у*
монотонно убывает. Как мы видели, таким же свойством обладает
градиентный метод A.3), A.21), A.22).
4. Опираясь на неравенства, полученные при доказательстве теоремы 4,
иожно оценить скорость сходимости метода B), D) для сильно выпуклых
функций, причем, в отличие от теоремы 3, новая оценка оказывается не-
улучшаемой на классе сильно выпуклых функций, принадлежащих C^'^{U).

284 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Теорема 5. Пусть U—выпуклое замкнутое множество из Е^^
а функция J (и) сильно выпукла на U и принадлежит C^'^(U). Пусть
последовательность {uk} построена методом B) при а^ = а (Л = О, 1, ..., О <
< а< 2/L), Тогда
\uj^-'U^\^{q(a))^\u^-u^\, Л = 0, 1, ..., B9)
где
^ (^) _ |l - [ха, 0<а<2A + 11Г\
[La — 1, 2 (L + fi)"^< а < 2L~i,
0 <С ^(а) <С 1, постоянные \i, L взяты из B.3.6), D.3.8), а и^—точка
минимума J (и) на и. Наименьшее значение д(а) при О •< а << 2^*"* достигается
при a = a^ = 2{L -{- fi)~^ и равно q (а^) = (L — fx) (L + Н-)""^.
Доказательство. Из теоремы 4.3.1 следует, что/* > — оо, [7^
состоит из единственной точки и^^. Тогда из теоремы 4 имеем lim | ^/^ ¦— "¦ |=«
s=0. Здесь мы предполагаем, что в A7) 6а = О (А: = О, 1, ...), поэтому
из A8), B0), B1) следует Vk = uk+i (к = О, 1, ...). Учитывая последнее
равенство и условие ак = а, подставим B5) в B4). Получим
1 Ч+1 - «* I' < I «ft - "* I' - I "ft+1 - "'t Г+ 2« <-^' («ft) - ^' ("*).
«* - "ft+i> = hft - "* I** -1 "ft - "ft+i - «C-^' ("ft) - •^' ("*)) f +
+ «'K'("fe)--^'("*)f-2a</'(Kfe)-/'(«*), Mft-«*>, ft = 0, 1, ...
C0)
Вспомним неравенства D.3.17), D.3.18), из которых имеем
I /' (u^) - /' (и^) \^ + Lii\u^- и^ \^ <
^(Ь + 11)^Г(и^)-Г(и^), uj^--u^y, /f = 0, 1,..., C1J
li\u^-u^\^\r(Uj^)~r(u^)\^L\uj^-u^\, А: = 0, 1, ... C2J
Из C0), C1) следует
- 2а (L + ^1)~11 /' (и,^) - /' (и^) |2 - 2ai:fi {L + [x)-i [ u^ - u^ |2 =
= a [a - 2 (L + fi)-i] | /' (г.^^) - /' (u^) \^ +
+ [i~2aLii{L + iir4\uj^-u^\\ A: = 0, 1, ... C3}
Рассмотрим два случая:
1) если О < а < 2(L + \i)-^ ^ jx~^ то из C3) и левого неравенства C2)
имеем I w^^^^ — и^ |2< | м^— и^ \На (а — 2 (L + [^)"'^)F^^+l--2aL[x(L+[x)-i]=«
= A —а{л)^|м^^—W^|2;
2) если L~^ ^ 2(L + [i)~^ ^ а < 2L-^ то из C3) и правого неравенств
ва C2) получим | и^^^ — "* |^ < | г^^ — "^ |^ [а (а — 2 (L + [х)""^) L^ +
+ 1 — 2aL\i (L + fi)""^] = (La — 1)^ \uj^— u^ |2. Объединяя оба случая, има-
®^^ I "/1+1 — "* I < ^ (°^) I "ft — "* I (/с = О, 1, ...), откуда следует оценка
B9). Из графика функции q{a) (рис. 5.5) видно, что функция д(а)
достигает минимума при О < а < 2L-^ в точке а* = 2 (L + fi)~^, причем
q (а^) = (L — 1^1) (L + fi). Теорема 5 доказана.

§ 3] МЕТОД ПРОЕКЦИИ СУБГРАДИЕНТА 285
Приведем пример, показывающий, что оценка B9) неулучшаема на
классе сильно выпуклых функций из C^'^{U).
Пример 1. Пусть и= (х, у) ^U = Е^ J (и) = {Lx^ + цу^I2 (О <
<.\х^Е). Ясно, что это функция сильно выпукла с константой к = |j,/2,
принадлежит С^'^(Е^) с константой L и достигает минимума на Е^ в точке
"¦ = @,0). Процесс B) при а^ = а
(О < а < 2L-1) имеет вид ' "*
Xk+i = Xk—aLxk = A — aL)xk, ' ^^^^ у^^
Ук+1 = yk — aixyk== {i'-aii)yk, I ^""-^-v^.^^^ У !
k = o,i,,.. гг.г - ^^>^V^ ;
Положим здесь а = 2(L +\i)-'^, q = \ \ \
= (L—ix)(L + \x)-KToT^SiXk+i=—qxh, /Н ^7 1 "
yk+i = qyh. Следовательно, l^^ft+i"" ^*^Zv/ Z ^
— u^\ = q\uj^\ = q^+^\u^\, т. е.
оценка B9) неулучшаема. Заметим, что ее- Рис. 5.5
ли в теоремах 1—5 U = Е'^, то мы
получим сходимость соответствуюпдих вариантов градиентного метода A.3).
Упражнения. 1. Вычислить несколько итераций метода проекции
градиента при различных способах выбора а^ в B) для функции
J (и) = (x--iy+(y+i)\
и^и = Е\ = {и = (х,у)^Е^: х-^0, у> О}.
Рассмотреть начальные приближения т = (О, 0), wo = (О, 1), uo = A, 0),
^о=A, 1).
2. Описать одну итерацию метода проекции градиента для функции
A.5), считая, что множество U представляет собой шар, гиперплоскость,
параллелепипед, полупространство или положительный октант (см. при--
меры 4.4.1—4.4.6). Исследовать сходимость метода.
3. Рассмотреть метод проекции градиента для функции J {и) =
= \Аи — Ъ\'^, где Л —матрица порядка тХ^, Ь^Е"^, считая, что
множество и имеет вид, описанный в примерах 4.4.1—4.4.6. Исследовать схо^
димость.
§ 3. Метод проекции субградиента
1. В рассмотренных выше градиентном методе и методе проекции
градиента требовалась дифференцируемость минимизируемой функции. Одна^
ко для выпуклых функций указанные методы более естественно описать
на языке субградиентов (см. § 4.6). А именно, пусть U — выпуклое
замкнутое множество из Е'^^ функция J (и) выпукла на С/ и ее суб дифференциал
dJ{u) непуст при всех u^U. Тогда для приближенного решения задачи
7(w)->inf; и^и, A)
можно предложить следуюпций итерационный метод:
Uk+i= ^uiuk—GikCk), aft>0, Ck^dJ(uk), A: = О, 1, ..., B)
где Mo —некоторая точка из t/, а субградиент ck выбирается из dJ{uk) про^
извольным образом. Если при некотором к окажется, что Uk+i = Uk, то про^
цесс B) прекращается, так как в этом случае uh — решение задачи A),
В самом деле, при uh = ^иЫк—CLkCk) согласно теореме 4.4.1 {ин—{uk —
— aftCfe), u — uh} = ich, и — Uk)CLh ^ 0 или <са, w — w^) ^ О при всех u^U^
Отсюда из теоремы 4.6.4 следует, что ^/г ^ ^*'

286 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
В ТОМ случае, когда функция J {и) дифференцируема во всех точках
и^и, метод B) превращается в метод проекции градиента, а при U =
= ^п'_ в градиентный метод. При выборе длины шага а^ в B) можно
руководствоваться теми же соображениями, которые были описаны выше
в § 1, 2. Мы здесь ограничимся рассмотрением случая, когда ан в B)
выбирается из условий
оо оо
сс^>0, А: = 0, 1, ...; 2^fe = °°' S«ft<^- (^)
ft=0 ft=o
Как уже отмечалось в § 1, в качестве ак можно взять ak = С{к + 1)"°', где
С = const > О, 1/2 < а < 1; например, а^ = (к + 1)-^ {к = О, 1, ...).
Метод B), C) не гарантирует выполнения условия монотонности
J(uk) > J(uk+i) на каждой итерации и сходится, вообще говоря, медленно,
но если проекция точки на множество U и субградиент с^е dJ{uh)
находятся несложно, то этот метод очень прост для реализации на ЭВМ. Докажем
его сходимость.
Теорема 1. Пусть U—выпуклое замкнутое множество из Е^, функ^
ция J (и) определена и выпукла на некотором открытом выпуклом
множестве W, содержащем U {например, W ^^Е"^). Пусть /* > — оо, множество U^
точек минимума J(u) на U непусто и ограничено, и пусть, кроме того,
sup sup I с I = Л < оо. D)
и^и c=dJiu)
Тогда последовательность {uk}, определяемая условиями B), C), такова,
что
lim / (иЛ = /^, Иш р (uj^, и^) = 0. E)
Доказательство. При сделанных предположениях функция J (и)
непрерывна на U, субдпфференциалы dJ{u) непусты, выпуклы, замкнуты и
ограничены при всех u^U (см. теоремы 4.2.15, 4.6.1, 4.6.2). Из огргщичен-
ности множества 17* и теоремы 4.2.17 следует, что множество М{С) =
= {u^U: J{u) ^С} ограничено при любом C^J^,» Множество U^^
выпукло и замкнуто в силу теоремы 4.2.1 и леммы 2.1.1.
Согласно определению 4.4.1 проекции точки на множество и
теореме 4.4.2 имеем
Р' ("ft+i. и*) = 1 ''ft+i - ^и* ("ft+i)' < 1 Ч+х - ^и. ("й) 1' =
= 1 ^и C'h - H'h) - ^и (^и» Ы) 1' < I "ft - H'h - 3>иш ("ft) I' =
= Р' ("п. Щ + «ft hft I' - 2«ft <с^, «ft - ^ и« ("ft)>
или
2а, <.„ и^ - ^^^ («,)> < а^ I с^^ + Р' {^^ ^*) - Р' (^,+1, и^),
А: = 0, 1, ... F)
Суммируя неравенства F) по /с от О до некоторого m ^ 1, с учетом
условий C), D) получим
m m
2 2aft <Cft, u^ - g>jj^ («^)> < Л^ 2 «ft + P' ("o' ^*) - P' ("m+i- ^*) <
<x>
<^' S«fe + P^V^^*)='^<~' « = 1.2,... G)
ft=0

§ 3] МЕТОД ПРОЕКЦИИ СУБГРАДИЕНТА 287
Далее, по определению субградиента имеем
А; = 0,1,... (8)
Из G), (8) следует, что числовой ряд
оо
fe=o
оо
С неотрицательными членами сходится. Но согласно C) 2 ^ft"^^- По^
fe=o
этому сходимость предыдущего ряда возможна лишь при lim /Cj^, ц, —
fe->oo
— ^ц^ {^h)y ~ ^- ^"^^ значит, что существуют номера ki <, к2 <..,.<. кт<:
< ... такие, что
Тогда из (8) при к = кт-^ ^ получим lim J (и^ )=/*.Кроме того, из
(8), (9) следует, что / (и^^^ < /* + sup (с^^, и^^ - ^^^ ^и^^у^ = С<оо,
т. е. ji^^j \^М{С). Но М{С) ограничено, а jw^ ] — минимизирующая
последовательность, поэтому из теоремы 2.1.2 имеем lim 9(u^ , U^)=0,
Тем самым показано, что для подпоследовательности \и^ |,
удовлетворяющей условию (9), справедливы равенства E). Опираясь на это, пока^
жем, что равенства E) имеют место для всей последовательности {uh}^
Из C), D), F), (8) получаем, что
р' (^ft+p и^) < р' (и^, и^) + al\cj^\^^ р2 (uj^, и^) + alA^, ft = О, 1, ...
Это значит, что числовая последовательность «^ = Р^ ("^» ^*) (^ = О, 1, ...)
удовлетворяет условиям леммы 2.3.2, из которой следует существование
предела lim р^ (w^^, U^y Так как подпоследовательность |р^ ("^ > ^*)|
сходится к нулю, то этот предел может равняться лишь нулю.
Следовательно, lim 9{^k^ ил = 0. Покажем, что тогда lim J (иЛ = J^, По уело-
fe-^oo ' fe->oo
ВИЮ множество U^ ограничено. Тогда последовательность {wft}, сходящая^
ся к С/*, также ограничена. Возьмем любую предельную точку w* этой
последовательности. Пусть [w^j j -> 1^*. Так как ?/^ — замкнутое множество и
lim р/м. , С7^\ = p(w*, и^) =0, то и^ е 17*. А тогда limJ(u^ ) = /("*)='
Г-»00 \ "»• / Г-?00 \ ^/
= /*. Это означает, что числовая последовательность {J(uk)} имеет един^
ственную предельную точку, равную /*, т. е. lim //w,)=/^. Теорема 1
fe-»oo
доказана.
Замечание 1. В условии теоремы 1 предполагается выполнение
условия D). В том случае, когда U ограничено, то, как следует из
теоремы 4.6.5, условие D) всегда выполняется. Заметим также, что в теорем»
оо
ме 1 вместо D) можно потребовать сходимость ряда 2 *^й I ^л 1^*
ft=o
2. Описанный выше метод проекции субградиента после ^ некото^
рой модификации можно использовать для решения следующей задачи

288 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
выпуклого программирования:
7(ii)->inf; и^и= {и^Е'Ч u^Uo, giiu) ^0, i = 1, ..., m}. A0)
Заметим, что система неравенств gi{u) ^0 (i = 1, ..., т) равносильна
одному неравенству ^(м) :^ О, где g (и) = шах g.(u) (u^U). Кроме то-
го, из выпуклости функций gi{u) (i = 1, ..., т) на Uq следует выпуклость
g{u) на Uo (см. теорему 4.2.7). Поэтому задачу A0) можно
переформулировать в виде эквивалентной задачи
/(a)-^inf; и^и= {u^Uo, g{u) ^0}, (И)
также являющейся задачей выпуклого программирования.
Предположим, что субдифференциалы dJ(u), dg(u) непусты при всех
и е Uq. Следуя [334], рассмотрим метод
4-^1 = ^и^ {Ч - ^k'kh ^ = О» 1» • • •' % ^ ^0' (^2)
где (ttfe} выбирается из условий
с» с»
а^>0, А: = 0, 1, ..., 2 ^Г^ = «^' ^^1<оо. 0<Y<1, A3)
ft=0 k=0
а субградиенты {ск} таковы, что
'к ^ ^J Ы ^Р° ^ Ы <^l^^k^dg (и^) при g (Uj^) > al A4)
Таким образом, метод A2) —A4) работает так: если ограничение g(u) ^0
при и = Uh не нарушено или нарушено немного, то минимизируем
функцию J (и), а если нарушение этого ограничения велико, то минимизируем
функцию g{u). Если функции J (и), g{u) дифференцируемы на Uq, то в
A2), A4) вместо Ck нужно брать соответствующие градиенты Г(ик) или
g^{uk). В качестве последовательности {ал}, удовлетворяющей условиям
A3), можно взять, например, ал = С{к+ 1)~", где С = const > О, а
число а таково, что 1/2 < а < A + 7)"*- В частности, при а = 3/5, ^ = 1/2,
С = 1 получим ttft = (к+ 1)-з/5 (/с = О, 1, ...).
Теорема 2. Пусть Uq — выпуклое замкнутое множество из Е^,
функции J(u)^ giu) определены и выпуклы на некотором открытом
выпуклом множестве W, содержащем Uq (например, FF = ?""). Пусть Jit,=
= inf / (г^) >• — оо, множество U^^ точек минимума задачи A1) непусто^
ограничено w, кроме того,
sup sup I с 1 = Л < оо.
ust/jj cGidJ{u)[jdg{u)
Тогда для последовательности {wft}, определяемой условиями A2) — A4),
справедливы равенства E).
Доказательство. При выполнении условий теоремы функции
Н^)^ g{^) непрерывны на t/o, суб дифференциалы dJ{u), dg{u) непусты,
выпуклы, замкнуты и ограничены при всех и ^ Uq (см. теоремы 4.2.15,
4.6.1, 4.6.2), а множество t/* выпукло и замкнуто (см. теорему 4.2.1 и
лемму 2.1.1). Покажем, что множество
М(Си С2) = {и е Uo: Пи) ^ Си g{u) < С2}
ограничено при всех С- > inf / (и), CJ> inf g(u). В самом деле, M(J^, 0)=
»= /7:^ ограничено по условию. Тогда по теореме 4.2.17 множество М(СиО) =
= {м: ugUo, g{u) ^0, J(u) ^Ci} ограничено при всех С^> int J (и).

§ 3] МЕТОД ПРОЕКЦИИ СУБГРАДИЕНТА 289
Теперь, фиксируя любое Си по той же теореме 4.2.17 получаем
ограниченность М{Си Сг) при каждом С. > inf g (и).
Нетрудно видеть, что неравенства F), G) сохраняют силу и для мв*
тода A2) —A4). Из G) имеем
S ^k^''^k\'k^^h-^uA^k)}<B<^^ г = 1,2,... A5)
ft=o
Отсюда следует сущ;ествование номеров ki <, к2 <.,..< km <»»» таких,
что
C^ftm' "krr, - ^U. («ft„)> < «V,„, « = 1.2,... A6)
В самом деле, допустим, что A6) не имеет места. Тогда <с^^, ^Л**
— ^jj^ (^ft)> > ^h °Р^ ^^^^ /с = О, 1, ... Отсюда и из A5) имеем
2 4+^<i]aft<Cft, Uft-^U,(Uft)><S<oo. г = 1,2,...,
fe=0 fe=o
с»
ЧТО противоречит расходимости ряда 2 ^fe •
fe=o
Тем самым показано существование подпоследовательности {"^fc^-li
удовлетворяющей условию A6). Докажем, что
lim / (и.) = /*, lim р (и,, ил = 0. A7)
Сначала убедимся в том, что
'кг^^^ЦЧ^' «-1. 2,... A8)
Для этого достаточно показать, что^ (Uj^ )^^h (''* == li 2, ...), и
вспомнить условия A4). Допустим, что g/Uj^ )^ ^1 °Р^ некотором тл ^ 1.
Учитывая, что тогда с^ ^ dg {uj^ \ и, кроме того, ^^^ tu^ \ е С/"* с: 27, т. е.
^ (^и* ("О) ^^' ^^ ^^^^ имеем
«L < ^ ("km) < ^ ("йт) - ^ (^t^. ("ftm)) <
Получили противоречивое неравенство. Включения A8) доказаны, и
попутно установлено, что
е('^и^)<<,п^ "» = 1.2,... A9)
Множество номеров {кт}^ удовлетворяющих условиям A6),
представим в виде объединения непересекающихся множеств /i= [к^: J (^^ \^

290 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Сначала рассмотрим случай, когда множество 7i бесконечно. Из A6),
A8) имеем
Отсюда следует, что J (u^ ) -> «^* при w -> oo, h^^ I^, Тогда J (u^ 'J <
< C-< oo, И, кроме того, согласно A3), A9) g (и. ^ < аУ <supa?=3
= C^ < oo, т. e. {^^,^} e ЛГ (C^, ^2) (^^ e /1). Так как М {C^, C^) or-
раничено, то jw^ , k^^lA имеет хотя бы одну предельную точку. Не
умаляя общности, можем считать, что {и^ |->-^'* (A-^s/^). Из
замкнутости Uq, неравенства A9) и непрерывности g{u) следует, что щ^и.
Но / /м^ )-^J ("*) = J^ при kru-^oo^km е /i, так что I/* е С/*. Отсюда п
из непрерывности р {и, U^) имеем р ('"д , С/"*) -> р (г/^, f/^,:) = О при А;^->
->оо, k^^I^.
Теперь рассмотрим случай, когда множество /г бесконечно. Если кщ е
е/2, то J(Hm)<'^*^ ^ ^(''kj<^h^<l^^''k = ^2 « G^-^y A9)- Эта
значит, что{гг/; } ^М (J^^ С^ (k^^I^. Поскольку множество М(/*, С^
ограничено, то \и^ ^ к^^ 1Лимеет предельную точку. Не умаляя
общности, можем считать, что \и^ I-^ "*» ^т^^2' ^^^ (^^^ ^ замкнутости Uq
следует, что и^ е U. Поэтому / (м#) > /#. С другой стороны, / /м^ ) < /*
(k^(=IV так что Ива «^("^^ ) = /(^*)<'^*« Следовательно,
/ (м;^) = /*, т. е. и^ е 17*. Отсюда и из непрерывности р {и, ?/*) получаем
Р ("йт' ^^*) "^ Р ^"*' ^*) = О при Аг^ -> оо, /г^ е 1^,
Объединяя оба рассмотренных случая, заключаем, что для
подпоследовательности {м^ |, удовлетворяющей условию A6), справедливы
равенства A7). Отсюда, повторив заключительные рассуждения из
доказательства теоремы 1, убеждаемся в справедливости равенств E) и для метода
A2) —A4). Замечание 1 сохраняет силу и здесь.
На этом закончим рассмотрение методов минимизации негладких
выпуклых функций. Отметим, что негладкие задачи в последние годы
интенсивно исследуются, продолжается разработка различных методов их
решения [27, ИЗ, 123, 127, 132, 133, 148, 156, 158, 214, 219, 235, 306, 334,
336, 339].
Упражнения. 1. Рассмотреть возможность применения метода
проекции субградиента к задачам из упражнений 4.6.1 и 4.6.3.
2. Описать метод A2) —A4) применительно к задаче
J{u) = \х + у\ + \х--у\ -^Ы, и ^ и = {и = (х, у) ^Eh MS С/о,
g{u) = w2-1^0}, С/о = {i^= [х, у): х^О.у^О}.
3. Проверить условия теоремы 2 для задачи
J(u) = 1<с, u>|-^inf; и^и = {и^Е^: w ^ О, g(u) = |<а, w>j — 1^0},
где а, с^Е'^. Описать метод A2) —A4) применительно к этой задаче.
4. Пользуясь формулой D.6.12), модифицировать метод A2) —A4) так,
чтобы его можно было применять к задаче A0) непосредственно, не сводя
ее к задаче (И).

§ 4] МЕТОД УСЛОВНОГО ГРАДИЕНТА 291
5. Пусть W —открытое выпуклое множество, J (и) —выпуклая функция
на W, Показать, что вектор с*, удовлетворяющий условиям
\с^\= inf |с|>0, c^^dJ(u),
c~dJ(u)
является направлением убывания функции J (и) в точке и.
§ 4. Метод условного градиента
1. Этот метод приспособлен для решения задачи
/(ii)-^mf; и^и, A)
где и — выпуклое замкнутое ограниченное множество из ?**,
функция J{u)^C^{U), Опишем его. Пусть Uq^U—некоторое
начальное приближение. Если известно fc-e приближение u^^U
(к>0), то прираш;ение функции J {и) в точке Uk можем
представить в виде
J{U) — J{U^)= <У {Uk), U'-Uh> + 0{\U'-Uk\).
Возьмем главную линейную часть этого прираш;ения
ЛAг)=</'Ы, 1г-п^>, B):
и определим вспомогательное приближение и^ из условий
щ е и, inf /ft (и) = /ft (uk) = </' Ы, Щ — ^ft>. C)
и
Так как множество U замкнуто и ограничено, а линейная
функция Jk{u) непрерывна, то точка Uk из C) всегда суш;ествует.
Если функция Jk{u) достигает своей нижней грани на U более
чем в одной точке, то в качестве точки й^ возьмем любую из
них.
Заметим, что если
и = {и^ Е"": и > О, <af, и> < Ъ\
1 = 1, ..., т\ <а,', иУ = Ь\ I = m + 1, ..., s),
то задача C) превратится в задачу линейного программирова-
нпя, которая может быть решена известными методами
(например, описанным в гл. 3 симплекс-методом).
Укажем случаи, когда решение задачи C) выписывается в
явном виде. Если
С/ = (и = {а\ ..., и"): аг < и' < р»-, i == 1, .. .,п}
п
— п-мерный параллелепипед, то функция Jk{f^) = 2 «^«^ (^ft) (^* —
п
— Uf^) или 2 J^i (i/ft) ii% очевидно, достигает своей нижней

292 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
грани на 17 в точке i/л = {ul, ..., w^), где
-I 1 «if Jui i^h) > О,
""'^IPb /,iK)<0;
в случае J^i (щ) — О здесь возникает неопределенность и в
качестве щ можно взять любое число из отрезка [а», pj (обычно
берут Uk = ai, или и{ = р|, или и]^ = (а^ + Pi)/2).
Если
и = {и^Е\ \u-Vo\ <г}
— шар радиуса г с центром в точке Vo, то с помощью
неравенства Коши — Буняковского <Г (%), гг> = <Г {и^), и — i;o> +
+ <«^'("л)» Voy>--\r{Uk)\r+<y{Uh), i;o>, u^U, получаем, что
и, = ио-гГ{щ)\Г{и,)\-\
Разумеется, так просто получить вспомогательное
приближение Uk удается далеко не всегда, и вместо точного решения
задачи C) часто приходится довольствоваться определением
какого-либо приближенного решения. А именно, будем предполагать,
что оно определяется из следующих условий:
Uk^U, /А(^^л)<тш//1Aг) + 8ft, 8/,>0, lim8ft = 0. D)
Допустим, что точка Uu, удовлетворяющая условиям D) (или
C)), уже найдена. Тогда следующее (fc+l)-e приближение
будем искать в виде
Uk+i = Uk + ak{uk-Uk), 0<аь<1. E)
В силу выпуклости множества U всегда u^+i е С/.
Заметим, что при Uk = щ (это может случиться, например,
когда J'{uu) = 0) имеем Uh^i = Uk независимо от способа выбора
а^ в E). Если при этом uk было определено точно из условий
C), то имеем
Jh (щ) = Jk i^h) = О = min /ft {и) или </' (uft), и — U}^ ^ О
и
при всех и^и. Согласно теореме 4.2.3 это означает, что точка
Uk удовлетворяет необходимому условию минимума в задаче A).
В этом случае итерации прекращаются, и для выяснения того,
будет ли щ^и^, при необходимости проводится
дополнительное исследование поведения функции J {и) в окрестности
точки Uk. В частности, если J (и) выпукла, то согласно теореме
4.2.3 uji^U^, т. е. задача A) решена. Если случай Uk = Uk
реализовался при определении Uk из условия D), то будем иметь
— 8ft<min/ft(aX/ft(i^ft) = /ft(aft) = 0,и при 8fe>0 здесь тео-

§ 4] МЕТОД УСЛОВНОГО ГРАДИЕНТА 293
рему 4.2.3 применять нельзя. В этом случае согласно E)
полагаем Uh+i = Uj^ и переходим к проверке условия D) для номера
й + 1 и т. д.
в зависимости от способа выбора величины а^ в E) можно
получить различные варианты описанного метода, часто именуе-*
мого в литературе методом условного градиента. Укажем неко-"
торые наиболее употребительные способы выбора а* в E).
1) Величина а^ может выбираться из условий
О < aft < 1, Д (ад) = min Д (а) = Д^, Д (а) =/ (щ + а{щ—ии)).
Для некоторых классов задач удается получить из F) явное
выражение для а^.
Пример 1. Пусть
/ И = 4" <М "> — <^ ^>,
где А — симметричная положительно определенная матрица
порядка пХп, Ъ^Е'^. Тогда J' {щ)^ Aux — Ь. Пользуясь формулой
D.2.10), имеем
h (а) = / (ил) + а<]' {uh) , Шк - Wfe> +
+ (aV2)<4(i?,-M,),i?*~"»>. G)
Если <i4(Mk — Uft), Kft —ttft> = 0, то Uk = un и, как было указано
выше, тогда полагаем Uh+i = Ux. Поэтому пусть <ЛE* —м»), k* —
— Wfe> > 0. Тогда функция G) представляет собой квадратный
трехчлен, достигающий своего наименьшего значения на числовой
оси —оо < а < +00 при
а* = — </' {Uk), Щ — ЩУ {{А {Zj, — Mft), Ufc — щУГ^.
Рассматривая возможные случаи ай<0^ 0<ай^1^а^>1^
из условий F) тогда получаем
|0, а*<0,
aft = |a*, 0<а*<1, (8)
A, al>l.
Кстати, если точка Uk в G) найдена из условий C), то Jk{Uk)^
<:Jji{uk)^0 и, следовательно, aj^О—в этом случае формула
(8) для ал запишется в виде а^ = min {1; а^}.
Однако точное определение ал из условия F) возможно
далеко не всегда. Поэтому вместо F) можно ограничиться
определением величины aft из условий
0<аь<1; ДЫ<Д* + бл, б,,>0, SSft = fi<oo (9)
fe=0

294 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
fk{o^k)<{i-K)fk{0) + hfk^, 0<Я<Я,<1.
шла
0<aft<l,
Здесь могут быть использованы известные методы минимизации
функций одной переменной (например, методы из гл. 1).
2) Если J{u)^C^'^(U) и константа Липшица L для
известна, то возможен выбор а^ в E) из условий
у {и)
ak
jmin {Upk 1 /ft (щ) 11 Uft — «ft I
lo, /ft(Mft)>0,
^}, JhiUkXO,
A0)
где
0<e„=^Pft<2(l-8)/L,
A1)
Eo, 8 — параметры метода, О < 8 < 1.
3) Другой способ выбора %: при Jk{uk)>0 полагают ал = 0,
а если /ft(Kft)^0, тоа^ = Я*о,где lo — минимальный номер среди
номеров 1^0, удовлетворяющих условию
J{u^)-J{u, + V{u,-u,))>X'E\h{u,)\,
где Я, 8 — параметры метода, О < X,; 8 < 1.
4) Величины а^ в E) можно априорно задавать из условий
0<а^<1,
lim aft = О,
ft-»oo
A2)
2 aft = оо,
например, аА = (^ + 1)"* (^ = 0, 1, ...) (предложен М. Ячимови-
чем). Такой выбор а^ очень прост для реализации на ЭВМ, но,
вообще говоря, не гарантирует
выполнение условия монотонности
J{Uk^i)<J{Uu).
5) Возможны и другие
способы выбора ak в E). Например,
можно задавать а^ = 1 и
проверять условие монотонности
J{uh^i)< H^h), а затем при
необходимости дробить ttft до тех пор,
пока не выполнится условие
монотонности.
На рис. 5.6 поясняется
геометрический смысл метода C), E)
в двумерном случае.
2. Рассмотрим теперь сходимость метода D), E), (9).
Теорема 1. Пусть U—выпуклое замкнутое ограниченное
множество из ?% функция J{u)^C^'^(U). Тогда при любом
выборе щ^и для последовательности {и^^ определяемой
условиями D), E), (9), справедливы равенства
Рис. 5.6
lim </' (Uft), и^ •
•Wft> = 0, limp(Uft, 5J = 0, A3)

§ 4] МЕТОД УСЛОВНОГО ГРАДИЕНТА 295
где S^ = {и: u^U^ </' (и), v — uy^O при всех v^U) — множе->
ство стационарных точек функции J (и) на U,
Если, кроме перечисленных условий, J {и) выпукла на U и
8а + бл < Со/с~^р, Со = const > О, 1/2 < р < 1, A4)
то
lim / (Uh) = /^, lim р (м^, U^) = О, A5)
и справедлива оценка
О < / (uk) — /* < С^к'~^, А; = 1, 2, ...; С^ = const > 0. A6)
Наконец, если, кроме того, J (и) сильно выпукла на U, то
\uk-u^?< (CJk) к^^, k=i,2,... A7)
Доказательство. При сделанных предположениях J^>
> —оо, и^ф0. Так как множество U ограничено, то
sup |i^ —1;|^й<оо.Из условия (9) следует/(i^fe+i)=/ft(aft)^
</ft* + 6ft<^ (i^fe + a(i^ft —гг^)) + 6ft при всех a @^а<1).
Поэтому пользуясь неравенством B.3.7), имеем
JiUk)- J{Uk+i)+ 8k> J{Uf,)- J{Uk + а{ин- Uk))>
>—a<J'{Uk), йи — ииУ --a^L\uk — Uk\y2>
> -аЛ (Uf,) - a'Ld'/2, 0 < a < 1, Л = 0, 1, ... A8)
Множество N = {О, 1,2,...} разобьем на два множества N'^ =
= {к: k^N, <Г{и^), Uj,'-Uf,>>0} и iV- = iVW+^TaK как
mtJk{u)^Jk{i^k) = 0, то из D) получаем 0<Jk{uk)<&k при
всех к е iV"*". Поэтому если Л^"*" — бесконечное множество, то
Jk{uh) -^ О при к-^ оо^ к^ iV-*-.
Теперь пусть k^N^, Тогда из A8) имеем
О ^ -7н{и,)<{1Ы-7{ии^0+ б.)/а + aLdV2 A9)
при всех а @<а<1), k^N", Далее, из (9) следует, что
J{un+i)<J{uj,)+bk (/с==0, 1, ...). Так как / (t^fe) >/^> — сх)
(А; = 0, 1, ...), то из леммы 2.3.2 вытекает существование
конечного предела lim/(i^^)^/^. Следовательно, Ит(/(ггд)—
— / (i^fe+i)) =0- Если Л'~ — бесконечное множество, то при к-^ ^,
k^N^, из A9) имеем
0<lim l/fe(Ufe)|<Tim |/fe(Ufe)|<aLd2/2
при всех a (О < a < 1). Устремляя a -> +0, отсюда получим
h{Uk)-^0 при к-^оо, k^N". Объединяя оба случая k^N"^ ж
k^N^, приходим к первому равенству A3). Так как U
ограничено и {uj е С/, то последовательность {uj} имеет хотя бы одну

296 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ* 5
предельную точку. Пусть и^, — произвольная предельная точка
{щ}, пусть {unj -^щ. Согласно D) /^ {щ)—г^, < inf /^ {и) <
^iJ'(Цк)^ и — щУ при всех и^и и fc = 0, 1, ... Отсюда при
i = /0^->oo с учетом первого равенства A3) получим, что
</' {и^), и — и^У ^ О при всех u^U. Тем самым показано, что
любая предельная точка последовательности {i^J принадлежит
S^» Отсюда следует второе равенство A3).
Пусть теперь J {и) выпукла на t/ и щ — произвольная точка
из и^,. Тогда из теоремы 4.2.2 и условия D) имеем
О< afe = / (uj,) — / {щ) < </' (Uh), Uk — и^У =
^—Jk{u^)<'-rRmJu{u)^'-'Jk(iith) + 4, ^^^ = 0, 1, ... B0)
и
Отсюда и из первого равенства A3) следует lim J (Uf^) ^J^, т. е.
{mJ — минимизирующая последовательность. Из теоремы 2.1.1
тогда получаем lim р(гг/1, С/^) =0. Равенства A5) доказаны.
Safe-» оо
метим, что неравенство B0) может служить полезной
апостериорной оценкой при практическом использовании метода D),
E), (9).
Остается получить оценку A6). Для этого множество Л^ =
¦={0, 1, 2, ...} разобьем на два множества h = {k\ k^N, а^^
> Zkh li = ^^'' k^N, 0<а^< ej. Из оценки
0^а,-8,^-Л(й,), fee/о, B1)
являющейся следствием неравенства B0), следует, что /o^iV",
Поэтому A8) можно переписать в виде
au-a^+i>a\h{Uk)\-a^LdV2-8k, 0<а^1, k^h. B2)
Так как в силу A3) {\Jk{uk)\} ограничена,_то взяв при
необходимости d еще большим, можем сделать 0<aft= \Jk{Uk)\d''^L'^ <
^1 при всех А; = 0, 1, ... Принимая в B2) а = ал, получим
a^-a,^,>l/{2Ld')\h{u,)\'-6,, k^h.
Отсюда и из B1) с учетом условия A4) имеем
flfe+i <aj,^{au- BuY/{2Ld^) + б^ - al/{2Ld?) +
+ f sup аЛ Ь-'Ч-Чи + 6ft < a;, - all A + Л/с'^^ к e /q, B3)
где A = max j2Ld^\ ЫщаЛ L-^-^Cq] С J.
Если /с^Л, то О < flfc < Efe ^ Со/с-Ч Кроме того, из A8) при
а-^+0 получим ak — ak+i + 8k>0 или a^+i ^ а* + 6л<а^ + Сой-***
для всех А = 0, 1, ... Таким образом, последовательность {аJ

§ 4] МЕТОД УСЛОВНОГО ГРАДИЕНТА 297
удовлетворяет условиям леммы 2.3.5, из которой следует оцен--
ка A6).
Наконец, оценка A7) вытекает из неравенства D.3.2) и
оценки A6). Теорема 1 доказана.
3. Исследуем сходимость метода D), E), A0).
Теорема 2. Пусть U—выпуклое замкнутое ограниченное множество
из E^j функция J{u) принадлежит C^'^(U). Тогда при любом uqgU для по-'
следователъности {wh}, определяемой условиями D), E), A0),
справедливы равенства A3). Если^ кроме того, J (и) выпукла на 17, то имеют место
равенства A5), а при Eh ^ Со^~^^ Со = const > О, О < р < 1, верна
оценка A6). Для сильно выпуклой функции справедлива оценка A7).
Доказательство. Так же, как неравенство A8), нетрудно пока-
зать, что
ЧЧ)--' («ft+i) > - «Л Ы ~ <L \Ч-Ч 1V2. А= = о, 1. ... B4)
В соответствии с формулой A0), определяющей величину ал, рассмотрим
три возможных случая:
1) Если Jk{uh) <0, ал= 1 < Pk\Jh(uk)\\uk'- uh\-^, то из B4) с учетом
(И) имеем
J{uk) - /(ufc+i) > \Jk(uk) I - LpH\Jk(uk) 1/2 ^ E\Jk{uk)\. B5)
2) Если /л(мл)<0, ak=Ph\h(uh)\ |мл —ия|~2<1, то из B4) с
учетом (И) получаем
/(»»)-/("ft+o>Pk 1 hЫ f\ ч- "й 1" -Lpl 1 hЫtW-"ftrV2-
= 1 h ("ft) П "ft - "ft Г' Pft A - ^Pft/2) >
3) Наконец, если /л(йл) > О, то согласно A0) и из B4) имеем
J{uk)'-J{uk+i)>0, B7)
а из D) следует
О < Jk{uk) < гн. B8)
Из B5) —B7) вытекает, что последовательность {J{uh)} не возрастает.
Так как J (иЛ > /^ > — оо, то существует Ит / (иЛ ^ J^ и, следователъ-
но, lim («^ (^*ft) — «^ ("ft+i)) ~ ^' Отсюда и из B5), B6), B8) имеем 0^
ft->oo
^ |/ft(Mft)| < тах{8л; const-(J{uh)--J {uk+i))^^^}-^ О при всех к-^оо.
Первое из равенств A3) доказано. Второе равенство A3) устанавливается тан
же, как в теореме 1.
Пусть теперь функция J (и) выпукла на U. Тогда справедлива цепочка
неравенств B0), из которой следуют равенства A5). Предполагая, что
Bk^Cok-^f* @<pj^l), докажем оценку A6). Предварительно заметим,
что О < а^ = / (Uf^) — /¦ < sup / (и) — /^ = Cg < оо, поэтому
al < sup а^^-а^ < С й^^, А == О, 1, ... B9)
ft>o
Еще раз переберем рассмотренные выше три возможности.
1) Если Jk(uk) ^0, ал= 1 ^ 9k\Jk{uk)\\uk — Uk\^ то из B0), B5), B9)
имеем ак — ak+i ^ еал — 88л, если
"ft+l < «ft - ««ft + «8ft <«ft~ «ft («/^2) + B'^o*""'- C0)

298 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
2) Пусть Jkiuh) <0, ak= Qk\h(uh)\ \uk — Uh\-'^< 1. Здесь, в свою оче^
редь, имеются две возможности: ак ^ 8h или О ^ак <. 8^. Если ак ^ ел, то
из B0), B6), B9) получим а^-а^^+1 >(«;,-8;^)М--8^8>а2сг-\8-2^2-
• e^jd~^e^8 или
"fe+i < "ft - «ft ih^ld') + 2C,8„8i-2C,fc-2P. C1)
Если же О ^ak<. 8^, то достаточно воспользоваться более простым
следствием B6): ajt+i^ak. Последние два неравенства можно переписать в виде
О < Лк ^ Сок'^р, ttk+i ^ak^ah + Со/с-2р. C2)
3) Наконец, пусть /л(мл) > О, ал = 0. Тогда из B0), B7) получим
О ^ ал < 8л, ал+1 ^ ал, что снова приведет к неравенствам C2).
Из C0)—-C2) следует, что последовательность {ал}
удовлетворяет условиям леммы 2.3.5, из которой получаем оценку A6). Теорема 2
доказана.
4. Наконец, рассмотрим вариант метода условного градиента D),
Теорема 3. Пусть и — выпуклое замкнутое ограниченное
множество из jB", функция J (и) ^C^*^(U) и выпукла на U. Тогда при любом Uq^U
для последовательности {ил}, определяемой условиями D), E), A2),
справедливы равенства A5). Если при этом aA=(^ + l)~S ел = ^з(^ + 1)~'
(А; = 0, 1, ...), т'о
0</(w^) —/*<С^1п(Аг + 1)Д, А: = 1, 2, ..., C3)
а если ал = (А: + 1)-Р, 8л = C^{k + 1)-Р (А; = О, 1, ..., О < ^ < 1), то
О < / {и^) - /« <С4Аг-Р, А: = 1, 2, ...; C4)
здесь С^ч Ci — некоторые положительные постоянные.
Доказательство. Заметим, что неравенства B0), B4) не зависят
от способа выбора ал (О :^ ал^ 1) в E), поэтому сохраняют сплу и в
рассматриваемом случае. Из них имеем а^^ — ^ft+i ^ ^д (^А~~ ^fe)"" ^k^^^J^ ^ли
flft+i < A - «ft) «А + albdV^ + ccf^e^, fe = О, 1, ...
Отсюда с учетом свойств последовательностей {ал}, {ел} из D), A2)
заключаем, что {ал} удовлетворяет условиям леммы 2.3.6. Поэтому lim «^ = О
ИЛИ lim J (иЛ = J^* Отсюда и из теоремы 2.1.1 получаем равенства A5),
ft-*oo
Оценки C3), C4) следуют из лемм 2.3.8, 2.3.9.
Упражнения. 1. Вычислить несколько итераций метода C), E),
F) для функции J (и) ^х^ + ху + у^ при и^и = {и = (а;, у) е Е^: О <
<а;<1, —1<1/^0}, выбирая wo == A, —1), (—1, 0), A, 0) или (О, 0).
2. Для функции из примера 1 проверить выполнение условий теорем
1—3 и сформулировать условия сходимости соответствующих вариантов
метода условного градиента.
3. Дать описание различных вариантов метода условного градиента для
функции 7(и) = \Аи — &|2, где 4 —матрица ту^п, Ь еЕ"^, а множество U
является шаром или параллелепипедом. Опираясь на теоремы 1—3, дока^
зать сходимость метода.

§ 5] МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ 299
§ 5. Метод возможных направлений
1. Продолжим рассмотрение задачи минимизации гладкой
функции J {и) на заданном множестве U^E"^. Напомним, что
направление е?^0 называется возможным в точке u^U, если
u + te^U при всех t, 0<:t<to, где to — положительное число,
зависящее от точки и, направления е и от структуры множества
и (см. определение 4.2.3).
Определение 1. Направление е?=0 назовем возможным
направлением убывания функции J (и) в точке и на множестве
и, если е —возможное направление в точке и и J{u + ae)<J{u)
при всех а, О < а < р, где О < р ^ ^о.
Метод возможных направлений основан на следующей
естественной и прозрачной идее: на каждой итерации этого метода
определяется возможное направление убывания функции и по
этому направлению осуществляется спуск с некоторым
положительным шагом. Собственно говоря, эта идея для нас уже не
новая — именно на ней были основаны многие варианты
изложенных в § 1, 2, 4 методов. В самом деле, если [/«fi", Г {и)Ф
=?^0, то возможное направление убывания функции легко
находится -— это направление антиградиента е = —/' {и). Более
трудным был выбор возможного направления убывания в методах
§ 2, 4: в методе проекции градиента (см. формулы B.2) и B.2'))
для этого нужно было проектировать точку на исходное
множество С/, а в методе условного градиента — решать задачу
минимизации линейной функции на множестве U (см. задачу D.3)).
Понятно, что если задача выбора возможного направления
убывания на каждой итерации слишком сложна и требует
решения вспомогательных задач минимизации, сравнимых по
трудности, быть может, с исходной задачей, то такой метод
минимизации будет малоэффективным. Возникает вопрос: нельзя ли
указать простые и достаточно удобные для реализации на ЭВМ
способы выбора возможных направлений убывания?
Оказывается, для достаточно широких классов гладких задач такие
способы существуют. Покажем это на примере следующей задачи:
/(u)->inf; izeC/ = {iie?": gi{u)<Q, i = l, ..., m), A)
где функции J {и), gi{u) (i = l, ..., m), определены на всем
пространстве ?" ж J {и), gi{u)^C^{U).
Чтобы проще было пояснить суть метода возможных
направлений для задачи A), сначала опишем более простой вариант
этого метода. Пусть щ^и — некоторое начальное приближение.
Пусть известно к-е приближение Uk^U {к>0). Введем
множество номеров
Д = {^: i<i<m, gr,(u,) = 0}.
Возможно, что /ft = 0,—это будет означать, что gi{Uk)<0 при
всех 1 = 1, ..., т, т. е. м^^int?7¦—такая возможность ниже не

300 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [rJL В
исключается. В пространстве переменных
рассмотрим вспомогательную задачу
o-^inf, z = (e, o)eI^^ = {(e, о): </'(%), eXo,
(gi{Uk),e)^a, i^Ik\ UM<1, / = 1,*..,'^}. B)
Заметим, что задача B) является задачей линейного
программирования, причем минимизируемая функция <с, z> = <0, е> +
+ 1'0, с = @, l)^iB"'*'\ явно не зависит от переменных е =
«(е\ ..., е''). Далее, ясно, что точка z = (e = 0, 0 = 0) = (О, 0)е
е И^. так что 17ft ?= 0 и inf а = а^ ^ О при всех А; = О, 1, ... Оче-
видно, множество W^ замкнуто. Наконец, условия U^l < 1 (/ =
•=1, ..., /г), называемые условиями нормировки, гарантируют
ограниченность множества Wk- Тогда из теоремы 2.1.1 следует,
что задача B) имеет хотя бы одно решение. Для получения
решения задачи B) могут быть использованы известные
конечные методы линейного программирования (например, симплекс-
метод, описанный в гл. 3).
Предположим, что задача B) решена и найдены (вл, 0^)^
sTFj^ такие, что 0fe = inf0. Выше было замечено, что о^^О.
Сначала рассмотрим случай ал<0. Оказывается, в этом
случае направление ел, полученное из задачи B), является
возможным направлением убывания функции J (и) в точке и^. В самом
деле, из условия (вл, ал)е W^ следует, что
</' (Wft), ejO < Oft < О, {g'i {щ), е^ < Oft < О, г е h.
Отсюда ясно, что е* Ф 0. Кроме того, для любого номера i ^ h
имеем
{gi {Uk + a^ft) = gi {Uh + ссен) — gi Ы = (gl {щ), ej « + ^ {^) <
^alOk + 0(a)/a] <0 при всех a, 0<a<ai, ai> 0.
Если i^hy T. e. gi{uk)<0, то в силу непрерывности функции
gi{u) неравенство gi{Uk + аек)<0 сохранится при всех а @<
< а < «i), где а< > О — достаточно малое число. Положим ао =
= min {tti, ..., От) > 0. Тогда
gi{uk + aek)<0, г = 1, ..., ттг; 0<а<ао,
т, е. Bk — возможное направление множества U в точке и^.
Далее, взяв при необходимости число ао > О еще меньшим,
можно добиться выполнения неравенства
1{щ + авк) - J{Uk) = </' {Uk), eft>a + о{а)<
<a[ak + о(а)/а] < О при всех а, 0 < а < а#.

§ 5] МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ 301
Тем самым показано, что если (е^, Ол) —решение задачи B),
причем Gk<0, то ^fc —возможное направление убывания
функции J {и) в точке Uh на множестве U.
Используя найденное таким образом направление ей,
следующее (/с + 1)-е приближение определим так:
Uk+i = Uk + akCk, О < ал < рл, C)
где
Pft = sup{a: Uk + tek^U, 0<t<a}>0. D)
Выбирая ah в C) различными способами, будем получать
различные варианты метода возможных направлений. Перечислим
некоторые способы выбора а^.
1) Величина а^ может выбираться из условий
0<afe<pfe, иЫ)= inf //i(a) = /fe»;
h{^) = J{^ + aeu). E)
Для минимизации функции Д(а) могут быть использованы
известные методы (см., например, гл. 1). Точное решение задачи
E) удается найти лишь в редких случаях; возможно также, что
на некоторых направлениях вь, величина р^ == «> и нижняя грань
функции Д(а) при а>0 не достигается. Поэтому вместо E) на
практике целесообразно употреблять такой способ выбора а*'
0<aft<p,, h{auXh-\-bn, б,>0, Il6ft = 6<0 F)
вли
/ к + ^hBh) < A — К) J Ы + Kfk^^ О < X < Я,, < 1.
2) Если функция /(ц)^С^'*(С/) и константа Липшица Ьдля
градиента У {и) известна, то в C) в качестве а* можно принять
aft = min{pA; laftlL"*}.
3) Возможен выбор а^ из условий
]{щ)-]{щ + а^е^)>га^Ок\, ^<olu<%, 0<8<1/2.
Для определения такого а* сначала можно положить а^ = ^л,
а затем при необходимости дробить эту величину.
4) В тех случаях, когда трудно оценить величину % из D),
приходится довольствоваться нахождением какого-либо а^ > О,
обеспечивающего включение щ + а^ен^U я условие
монотонности J{Uk + ahek)<J{Uk). Для этого обычно выбирают какую-либо
постоянную а>0, полагают ал==а и проверяют условие
монотонности и принадлежность точки Ux+i множеству U; при
необходимости дробят величину ал = а, добиваясь выполнения упо*
минутых условий.

302 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Один шаг метода возможных направлений для задачи A) в
случае а^ < О описан. Попутно выяснен смысл вспомогательной
задачи B): минимизируя а, мы добиваемся того, чтобы
направление ен было как можно ближе к направлению антиградиента
(это обеспечивается условием <Г{щ), ел>^о) и в то же время
оставалось возможным направлением для множества U в точке
Uk (это обеспечивается условиями {gi(uu), еу ^а, i^I^,
причем чем меньше а, тем ярче выражены указанные свойства
направления ^ft. Кстати, если Д = 0, т. е. гг^ ^ int С/, то е^ =
= —ос/' (цЛ, а = (max 1 / j (uu) h""^ >0— направление антигради-
ента.
Теперь рассмотрим случай, когда в решении (б^, а^) задачи
B) координата 0^ = 0. Как видно из B), это может случиться,
например, при /' {щ) = О или gi (Uk) = О для некоторого номера
i^/fe. При ал = 0 уже нельзя гарантировать, что ek будет
возможным направлением убывания. В этом случае итерационный
процесс B) —D) прекращается. Оказывается, при 0^ = 0 точка
UJ^ является стационарной точкой задачи A), или иначе говоря,
в точке Uk выполняются необходимые условия минимума,
выраженные в теореме 4.8.1. Для выпуклой регулярной задачи A)
условие Ofe = 0 гарантирует, что а^еС/^. Покажем это.
Теорема 1. Пусть функции J{u)^ gi{u) (^==1, •••, '^)
определены на Е"^, J (и), gi{u)^C^{U), где множество U задано
условиями A), и пусть задача A) имеет решение^ т, е, /н:>
> ~ оо, и^Ф 0, Тогда для любой точки и^ е U^^ задача
а -> inf; Z = {е, а) е PF^ == {{е, о): </' (и^), е} < а,
<^i(^*), ^><ог, i^h^ h^'Kl, 7 = 1, -.м^Ь С^")
где
I^-={i: 1 < t < Атг, gi {и^) = 0},
необходимо имеет решение (^^, о^) с aj5. = mina = 0. Если, кро-
ме того, J{u)y gi{u) выпуклы на Е'^, а множество U регулярно
{см, определение 4.9.2), то всякая точка и^ е [7, для которой
задача G) определяет величину о^ = into = О, является решением
задачи A).
Доказательство. Необходимость. Пусть u^^U^.
По теореме 4.8.1 тогда существуют множители Лагранжа Я.о i ...
.•., Я^, неотрицательные и не все равные нулю, такие, что
m
я*/' К) + 2 J^tg'i (и*) = о, ktgi (и*) = 0, i = 1, .,., 7п. (8)
Если i ф liif, то из второго равенства (8) следует "ki = 0^ поэтому

§ 5] МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ 303
первое равенство (8) можно переписать в виде
Кг{щ)+ 21 ^и\Ы = (^' (9)
Возьмем любую точку {е, а) е W^. Тогда </' (щ), е} ^ а,
{§ {Щ)^ е) ^^ (^ ^ ^:н)- Умножим первое из этих неравенств
на \ ^ О, остальные — на соответствуюп],ие Х| ^ О и сложим.
С учетом равенства (9) получим
(^Х*/' (^н:) + 2 ^*gi (U:^)^ ^^ = О < а (л* + Я* + ... + О.
Достаточность. Пусть теперь J {и), gi{u) выпуклы на С/,
а множество U регулярно, пусть для некоторой точки щ^П
задача G) определяет величину о^ =iniG = 0. Покажем, что
тогда и^^и^, С этой целью введем конус
K^[z^ (е, а) е ?^+': </' К), ^> + (- 1) а< О,
{gi{щ)^ е> + (— 1)а<О, i^I
*j>
образующими которого являются векторы Со=(/'(а^),—1), Ci^
= {gi {и^)^ — l) (i е I^), Покажем, что вектор d = (О, 1) ^ К^-^
двойственный к К конус. Из G) с учетом Inf а = а^ = О имеем
id, Z) = <0, е} + 1-а- а>а^ = О A0)
для всех Z = (е, с) ^ К, для которых |е-*|^1 (/ = 1, ..., м).
Однако условие \еЦ ^1 (/ = 1, ..., п) здесь можно отбросить,
п неравенство A0) на самом деле верно для всех z^K, В самом
деле, пусть z={e, с)^К и |е^1 > 1 для некоторого номера /
(i^]'<n). Тогда \\е\\=^ max |б^*1>1. Положим
Z = (е, а), в = е /Hell, о = a/Hell.
Ясно, что ze TFjj,. Следовательно, <d, z> — <d, z>/lieil == a =
= c/WeW > 0, так что <d, z> = 0 ^ 0. Тем самым показано, что
неравенство A0) верно для всех z^ К, т. в. d^ К*.
По теореме 4.9.3 тогда существуют неотрицательные числа
^о> • • •» ^т такие, что
d = (О, 1) = — X^Cq — S '^^Ьи
Вспоминая определения векторов Со,с< (le/^), отсюда имеем
О = - Кг {и^) - S J^t?; (^*) - О, 1 = Jio* + 2 К. (И)
Кроме того, из определения множества /^ следует, что gi (и^) =
= 0^ поэтому Xigi (U:^) = О (i ^ /^). Доопределим Я| = О при всех

304 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
i^I^. В результате с учетом первого равенства A1) получим
О' Ы) + 2 ^tgi Ы = о, xtgiю = 0, i = 1,..., т, A2)
а из второго равенства A1) следует, что не все числа 7^^ Xi (ie
е 1^), равны нулю.
Покажем, что Я*>0. Если /^ = 0, то из (И) сразу имеем
Я* = 1. Допустим, что /^ ф 0, но тем не менее Xq = 0. Тогда среди
неотрицательных чисел Х^ {i е 1^) найдется хотя бы одно
положительное число. Пусть А.р>>0, р е/^. По условию множество U
регулярно, поэтому существует точка u^U такая, что gi{u)<0
для всех i = 1, ..., т. Поскольку 1^ф 0, то ифи^. В силу
выпуклости множества U тогда аи +{i'-'a)u^ = u^ + а{и^—и^) е U
при всех а @^а< 1). Это значит, что направление e = ii—Щф
фО является возможным для множества U в точке и^. Из
выпуклости функций ^г(гг) для_всех 1^1^ имеем 0>>^i(a)==
= gi {и) — gi {щ) > (gi (^*), и —и^) = (g[ {и^), е). Поэтому
S '^i iSi {Щ)^ е) < Яр {gp {щ), е) < 0. Но с другой стороны, из пер-
вого равенства A2) при Я* = О получим 2 ^%{g%^^-, е) = 0.
1=1
Полученное противоречие показывает, что Я* >> 0. Разделив
первое равенство A2) на Я^ >> О и сделав очевидные переобозна-
m
чения, придем к равенству /' (и^) + ^ 'kigi (^*) = 0. Функция
г=1
т
Лагранжа L {и, Я*) = J (и) + 2 '^igi (^) выпукла по и^Е"" из-за
1=1
выпуклости/(гг), gi{u) и неотрицательности Я^ {i= 1, ..., Атг).
Поэтому предыдуп^ее равенство в силу теоремы 4.2.3 равносильно
условию L{u^, Я*)^1/(гг, Я*) при всех и е ?"*. Отсюда и из
второго равенства A2) с помощью леммы 4.9.1 и теоремы 4.9.1 по*
лучим, что а^ е С/^. Теорема 1 доказана.
В невыпуклых задачах условие а^ = О не является
достаточным для оптимальности точки и^. Это показывает следующий
Пример 1. Пусть /(и) = д: +cos у, u^U = {u={x, у) ^
^Е^: g{u)= — x^O} (ср. с примером 4.8.1). Возьмем точку
щ= (О, 0). Тогда /' {щ)^ A, 0), g' (и^) = (- 1, 0), W^ = {{е, а) -^
= (^1,^2^0): ei<0, —б1<а,|б11<1,|б2|<1}. Отсюда \е^\<,о
при всех {е, а) е W^, Это значит, что inf а = а^ = О, причем ниж-
няя грань достигается при^^ = (О, 1)или е^ = (О, — 1), а^=0. Но
здесь щ — (О, 0) не является точкой минимума J {и) на U. Любо-

§ 51 МЕТОД возможных НАПРАВЛЕНИЙ 30S
пытно заметить, что векторы е^= @,1) или (О, — 1) в данном
случае являются возможными направлениями убывания.
2. Описанный выше вариант метода возможных направлений
B) —D) на практике применяют редко. Дело в том, что когда
в решении (б^, о^) задачи B) координата Ck< О мала по
абсолютной величине, направление е^, теоретически являясь возмож*
ным направлением убывания в точке w^, практически может об*
ладать указанными свойствами в весьма слабой форме. Это
означает, что либо (gi{Uk), е^^ Oh^O при некотором i ^ Д и
направление е^ почти «касается» множества f/, не ведет «вглубь» U^
а величина р^ из D) может оказаться очень малой, либо О' {и^)у,
&h> ^ Оа ^ О, т. е. вдоль бд функция J {и) в точке Uh убывает
слишком медленно. В результате длина шага а^ в C) может
получиться очень малой даже вдали от стационарной точки, и
сходимость метода может оказаться очень медленной.
Чтобы как-то избежать таких неприятных явлений, можно
попытаться несколько варьировать множество номеров Д в B) ш
осупцествлять спуск из точки и^ только в том случае, когда
получаемое из B) направление е^ обладает достаточно ярко
выраженными свойствами возможного направления убывания.
Опишем один из таких подходов. Пусть щ^ f/, 8о> О —
некоторое начальное приближение. Допустим, что fc-e приближение
(Wft, 8л), щ^ и, 8ft> О, при каком-то к> О уже известно.
Определим множество номеров
Д= {I: К I < т, ~- 8ft^ gi{u^)<0} A3)
и решим вспомогательную задачу B) при таком Д. Задача B)
по-прежнему будет задачей линейного программирования и будет
обладать хотя бы одним решением {е^, Ск) с су^ = inf а^О. Име-
ются две возможности:
1) Ga^ — 8ft. В этом случае считаем, что е^ является
достаточно хорошим возможным направлением убывания в точке и^^ и
полагаем
г^А+1 = ^л + aft^ft, О < aft < pft, 8ft+i = 8ft, A4)
где Pfc определяется из D), а выбор ал может быть осущ;ествлен
одним из описанных выше способов.
2) — 8ft< Gft^ 0. В этом случае считаем, что направление ej,
не обладает ясно выраженным свойством возможного
направления в точке lift, полагаем
iift+i=Wft, 8^^.l=8ft/2 A5)
и снова переходим к рассмотрению задачи B) с заменой
множества Д на множество /ft+i={i: 1 < i ^ m, — 8a+i= — 8а/2 <
<: gi{Uk)<0}, надеясь на то, что на более широком множестве
(при сужении /ft множество W^, вообш;е говоря, расширяется)
Удастся найти лучшее возможное направление убывания и т. д.

306 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Описание одной итерации метода возможных направлений для
задачи A) закончено. В методе B), A3)—-A5) имеются
параметры 8о, 61, ..., удачным выбором которых, вообпце говоря,
можно улучшить выбор направлений е^ на каждой итерации,
ускорить сходимость метода. Кстати, в A5) вместо деления пополам
можно принять ИНОЙ способ дробления 8а, например, e^+i = 0,98^.
3. Следуя [И], изучим сходимость метода B), D), F), A3) —A5).
Предварительно докажем несколько лемм.
Лемма 1. Пусть J (и), gi(u) ^С^' ^(U) (г = 1, ..., m) и I — некоторое
фиксированное множество номеров, взятых из {1, 2, ..., т} (возможности
1 = 0 или 7 = {1 т} не исключаются). Для каждого и ^ U положим
<т {и) = mina, еде G{u) = {(е, а) = {е\ ..., e^ а) е^"+Ч <Г{и), е> ^ а,
С(и)
{g[W. «)<CJ, ie/; \ei\ < 1,7 = 1, n}. Тогда
\c(u) — c{v)\ ^Linlu — v], u,v^U, A6)
еде L — константа Липшица для градиентов J'{и), g^iu) (г = 1, ...,m).
Доказательство. Возьмем произвольные точки и, и ^U, Пусть
(е, а) ^C(v), т. е.
<r{v),ey^a, (g[{v),e)^(j, i^I, UM<1, 7 = 1, ..., п.
Тогда
<r (и), е> = <r{v), е> + <Г{и) - /'(у), е>< о + L|u - И h! ^
< Q-\-L\u — v\fn
и, аналогично, __
(^/ (w), (?) < а + L 11* - у I У?г, i S /.
Это значит, что при каждом (е, o)eG(y) точка (е, a + L"|/^|ii — v\)
принадлежит множеству G(u). Тогда о (w) = min а ^ а + -^ V^ | li — z; I для
G(u) _
любых (е, о) eG(i;). Следовательно, а{и) ^ a(z;) +ьУд|« — v\. Поменяв в
этих рассуждениях точки и, v ролями, получим а(у) ^ о[и) + Lin\u-—v\,
Из последних двух неравенств следует неравенство A6).
Лемма 2. Пусть
J{u).gA^)^ ..., g^(u)sCi»i(C/), max sup j/^ (i*) j < оо,
a последовательности {wfe}, {«л}, {Ы, {ел}, {oa} определены условиями B),
D), F), A3)-A5). Гог^а
Pft^^imin{8ft, iQftl}, A: = 0, 1, ..., A7)
где Ai = тш{1/(ЛоУп); l/(nL)} >> 0, L — константа Липшица для
градиентов Г (и), g[(u), ..., g'^(u).
Доказательство. Если Ра = оо, то неравенство A7) верно.
Поэтому пусть Pk < оо. Из определения D) величины ^k и замкнутости U
следует, что Uh -Ь ^^k ^U и gi(uk+ ^квк) = О хотя бы для одного номера L
Зафиксируем один из таких номеров i. Может оказаться, что gi (uh) <. —е^.
Тогда 8^ < - gj {и^) = Si («ft + Р^в^) - gi («ft) = {g'i (Kft + ePft«ft), Pft*ft> <

§ 5] МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ 307
Если же оказалось, что —8^ ^ gi (uk) <0, то i е 4 п (^g[ (w^), е^^) ^ а^^<^
^ 0. Допустим, что Gk < 0. Тогда направление ek является возможным в
точке Uk и заведомо ^и > 0. По определению §л имеем ^г (ик + ае^) :^ О при
всех а@ < а < р^). Кроме того, gi{uk+ ^нек) = О по выбору номера L
Тогда 0>g,(z.^ + a.,)-g.(i.^+P,e,) = <g;(u,+ p^e,), е^^>(а ~ у +
+ ^(|«-Pfe|) ^""''{sUH+hh)^ O>Ml«-PfelH\-«) 'при всех
а (О < а < Pft). Отсюда при а -> рл — О получим (^g\ {и^ + Рл)» ^/,) ^ ^*
Тогда I а^ I = - а^ < <_ g\ (и^)^ е^ < </. (и^ + р,е,) - ^; (и^), е^ <
^^Pfel^/il ^^^Pfe' т. е. рА^ |ал|/(?гЬ).Если 0А == О, то последнее
неравенство также остается верным, так как согласно D) всегда рл ^ 0.
Объединяя обе полученные оценки для Рл, приходим к оценке A7). Лемма 2
доказана.
Лемма 3. Пусть J (и), gi{u) ^C^^^(U) (i = 1, ..., т). Пусть, кроме
того^ в процессе B), D), F), A3) — A5) на некоторой к-й итерации
оказалось Gk ^ —fife. Тогда
J Ы ~ J (^fe+i) > h ^i^ {Pft h/. |; <\ - \^ A8)
где A2 = min{l/2; 1/B72L)} > 0.
Доказательство. Из неравенства Gk ^ —ел и определения eft, Gk
следует, что (J'iuk), екУ ^ Gk^ —е^ < 0. Кроме того, ен является
возможным направлением в точке Uk и, следовательно, рл > 0. Из F) и леммы 2.3.1
имеем
-гы-цч+i)>-^ы-,;°f fk(«)-fift>-^ы-чч+<^'k)-K>
> - а </' A^^), ej^y - a^L \ е^ f/2 _ 6^ > - аа,^ - а\Ь12 - Ь^ A9)
при всех а (О ^ а ^ Рь). Положим здесь а = minf^fe; \Gh\l{nL)},
Может случиться, что а = рл ^ \Gk\l{nL), Тогда из A9) получаем
J(uk) —J{uk+i) >a\Gk\ — а-а-пЩ — бк^ Mok\ — hOMI(nL)) {nLI2) —
-& = Pft|aftl/2-6ft.
Если же a = \Gk\l{nL) < рл, то из A9) следует
•^ ("ft) - -^ ("ft+i) > ^fe/('^^) -{ol/(nLf)(nLI2) -bj^ = Gl/{2nL) - 6^.
Объединяя оба рассмотренных случая, приходим к оценке A8).
Теорема 2. Пусть функции J {и), giiu) (i = 1, ..., ттг), определены
и выпуклы на Е^; множество U из A) регулярно] J(u), gi{u) ^€^'^{17)^
Л- = max sup I g. (и) I < oo. Пусть задача A) имеет решение, т. е. /# > —•
— oo, ищФ0^и начальная точка щ ^ U такова, что множество Л/б(мо) =
= {и: и^ и, J (и) ^ /(uo) + 6} ограничено. Тогда при любом выборе во > О
для последовательности {ил}» определяемой условиями B), D), F), A3) —
A5), справедливы равенства
lim / (u^) = /*, lim р {и^, U^) = 0. <,20)
Доказательство. Сначала установим, что
lim(/(u,)-/(u^+,)) = 0. B1)
Если Gk ^ ~8ft, TO из A4), F) имеем J(uk+i) = fki^k) < Д@)+ бл = /(мл) +
4- 6fc. Если же —Gk < CTft ^ О, то из A5) следует J(uk+i) = J(uk) ^ J{uk)+^к.

308 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. б
Таким образом, / (w^) > /¦ > — «> и, кроме того,
оо
J ("fe+i) < J Ы + h^ ^=0, 1, ...; 2 ^ft = ^ < ~- B2)
ft=0
Согласно лемме 2.3.2 тогда существует lim/(u,)^/^. Отсюда следует
равенство B1).
Далее, покажем, что lim8j^ = 0. Согласно A4), A5) последователь-
еость {Eft} получается дроблением и не возрастает. Допустим, что lim е^^ =»
^=е>0. Это значит, что в процессе построения {иь) было конечное число
даоблений и 8а= 8 > О при всех к ^ ^о. Из A4) тогда имеем Ok ^ ~ея =
= —8, т. е. 10^1 ^ 8, А; ^ ко. В этом случае согласно лемме 2 р^ ^ .4i8, к'^
^ ко. Поэтому из леммы 3 получим J{uk) — J{uh+i) "^ Л2шт{А1е^; 8^} —
— 6ft (к'^ко), что противоречит равенству B1). Итак, показано, что
lim 8^ = 0.
Пусть ki <. А:2 < ... < ^г < ... — номера тех итераций, когда
происходит дробление 8ft. Согласно A4), A5) тогда — г^^ ^ 0^^ ^0 (г=:1, 2, ...).
Следовательно, Ит сг^^ =0. Тем самым установлено, что существует хо-
Г->оо ^
тя бы одна подпоследовательность |о^^ |» сходящаяся к нулю.
Возьмем произвольную подпоследовательность [ а^^ | ->¦ О . Покажем,
-что тогда любая предельная точка соответствующей
подпоследовательности \Uj^ \ принадлежит множеству U^, Из B2) следует, что J(uh+i) ^
^/(uo)+6 {к = 0. 1, ...), т. е. {uk}^M&(uo). По условию множество
Мб{ио) ограничено. Поэтому мон^ем считать, что взятая Bbinie
подпоследовательность luj^ 1 сходится к некоторой точке U:^. Далее, множество номеров
/ft, определяемое согласно A3), представляет собой подмножество
конечного числа номеров {1, 2, ..., т}, поэтому число различных множеств h
€сонечно. Это значит, что среди j/д , г = 1, 2, ,.,} найдется хотя бы одно
1лножество If^ = /, которое повторяется бесконечно много раз. Выбирая
лри необходимости подпоследовательности, можем, таким образом, счи-
1:ать, что
1%}-^0^ 1%]-^"*' ^ftr==^' г=1, 2. ...
Согласно лемме 1 при G fuj^ \ = Wj^ имеем
I % — ^ (и*) I = I а (м,^^) — о (щ) [ < L Уп I uj^^ — м^ [ ^ О,
«• е. lim G {и, \ = lim а», = О = о{и^)^ где о(и^) = inf а, Glu^) =*
»=[(е, а)е^^+1: </'("¦), ^Х от. D Ю, ^) < ст, ^ е/; U^* | < 1, / = 1,...
..., л).
Рассмотрим задачу G), соответствующую точке щ = lim Uj^ . Покажем,
Г->00 '*
'ЧТО W^^G (щ). По определению множеств ^ = ^^ = И: l^f^r,
•^ е^ < g| ("ftr) '^ ^} ('' = 1» 2, ...). Отсюда при г-> с» получим g| (м*) = О
для всех i е/. Это значит, что /Q/*, т. е. в определении множества W^^
число ограничений типа неравенств но меньше, чем число таких
ограничений в определении G{u^), Тем самым установлено, что Wt^^G {и^). А то.

§ 6] МЕТОД ЛИНЕАРИЗАЦИИ 309
гда, замечая, что одна и та же функция на более широком множестве
имеет меньшую нижнюю грань, получаем а* = inf а > inf о =^ о {щ) = 0.
С другой стороны, {0,0)gW^, поэтому сг^ < 0. Следовательно, СГ:,. == О,
Поскольку задача A) по условию выпукла и множество U регулярно, то
согласно теореме 1 w^ е G*.
Выше было доказано существование предела lim J (иЛ. Теперь можем
сказать, чему равен этот предел: lim / (иЛ = lim / (и^ \ = J ("*) = /*.
Таким образом, построенная последовательность {ик} минимизирует
функцию J {и) па множестве U. Поскольку {wft} ^ ^1/б(мо)—ограниченное
множество, то из теоремы 2.1.2 следует, что lim р (и,, иЛ == 0. Равенства
B0) и, тем самым, теорема 2 доказаны.
4. Для задачи
J {и) -> inf; м е С/ = {it е ?;«: gi (и) < О, f = 1, ..., m,
gi {и) = <ai, ц> — Ь< = О, f = m + 1, ..., s},
содержащей линейные ограничения типа равенств, метод возможных
направлений описывается так же, как выше, лишь в задаче B) нужно
добавить еще ограничения <ai, е> = О (i = m + 1, ..., s).
Можно заметить, что описанный в гл. 3 симплекс-метод для решения
канонической задачи линейного программирования по существу является
вариантом метода возможных направлений. Более того, опираясь на идеи
метода возможных направлений, можно получить симплекс-метод
непосредственно для основной задачи линейного программирования (без ее
сведения к канонической задаче).
Выше во вспомогательной задаче B) было принято условие нормировки
|е^'| ^ 1 (/ = 1, ..., ?г). Возможны и другие условия нормировки,
например, I е 12 < 1 или I Вке \ ^ 1, где Вк — специально выбираемая матрица.
Заметим, что при такой нормировке задача B) уже не будет задачей линейного
программирования. Тем не менее удачный выбор Bh может облегчить
выбор возможного направления убывания, ускорить сходимость метода. О
других способах нормировки, о сходимости различных вариантов метода
возможных направлений и других аспектах этого метода см., например, [И,
159, 163, 338].
Упражнения. 1. Сделать несколько итераций метода возможных
направлений для задачи минимизации J{u) =^ х + у на множестве U =
= {м = (х, у): gi(u) = х^ — у ^0, g2(u) = y — i ^0} при различном
выборе начальной точки uq.
2. Вычислить несколько приближений по методу возможных
направлений для задачи из примера 1 при различном начальном приближении мо.
§ 6. Метод линеаризации
Этот метод на каждой итерации использует линейные апнрок-*
симации минимизируемой функции и функций, задающих ог-*
раничения. Опишем его для задачи
J{u)-^mi, u^U = {u^Uo: gi{u)^0, ..., gm{u)^0}, A)
предполагая, что Uo — выпуклое замкнутое множество из ?" и
функции J{u), gi{u)^C^{Uo). Пусть lio — начальное
приближение, Uo е Uq. Предположим, что к-е приближение Uk ^ Uo при

310 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
некотором к>0 уже известно. Введем функцию
Фи{и)==-^\^-^к? + h <Г {щ), и - щУ, pft > О, B)
и множество
Wft = U ^ С/о* Si i^h) + (gi (Uk), и — Mft)< о, 1 = 1, ..., пг}. C)
Пусть W^^0. В качестве А:+1-го приближения ^^+1 возьмем
решение следующей задачи минимизации:
0,(u)-inf, u^W^. D)
Поскольку функция B) сильно выпукла, множество C)
выпукло и замкнуто, то согласно теореме 4.3.1 задача D) имеет,
притом единственное, решение. Задачу D) необязательно решать
точно: достаточно найти точку i^^+i из условий
z/ft+i е W^: Oft (z/ft+i) < inf Ф^ {и) + 8^, 8^ > 0. E)
Если С/о многогранное множество, то задача D) представляет
собой задачу квадратичного программирования и может быть
решена конечношаговым методом (см. ниже § 7). Если
W^—ограниченное множество, то для решения задачи D) может быть
использован, например, метод условного градиента, который
будет сходиться и при 8ft > О позволит определить точку Wj^+i из
E) за конечное число шагов. В обш;ем случае задача E),
конечно, не всегда просто решается. Метод линеаризации E)
обычно используют лишь в тех случаях, когда определение
точки u^j^i из E) не требует большого объема вычислений. Полезно
заметить, что задача D) равносильна задаче
Фл (г^) = -2" U ~ Wh — Pft/' {Uh)) ? -^ inf, и е Wk,
так как фд {и) — Ф^ [и) = р^ | /' (г//,) f = const, и е Ё^. Это значит,
что точное решение i;^ задачи D) представляет собой проекцию
точки Wft — Pft/'(i^ft) на множество Wk, а точка w^+i из E)
является приближением для i;^. Отсюда следует, что если в A)
ограничения gi{u)^Q отсутствуют (m = 0), то C/ = C/o = Wfc и метод
линеаризации превратится в метод проекции градиента.
Теорема 1. Пусть С/о — выпуклое замкнутое множество из
?"* (в частности, возможно С/о = ?"*); функции J{u), gi{u)^
еС*F^о), выпуклы на и о и
max A /' {и) — /' {v) I; шах | g- {и) --^ g[{u)\]^L\u--v\ Vii, v^U^l
[ 1<г<т J
существует такая точка и ^ U, что
gi{u)<0, ..., gm{u)<0; F>

§ 6] МЕТОД ЛИНЕАРИЗАЦИИ 311
/^•> —оо, и^Ф0\ числа %, 8ft в B), E) таковы, что
оо
8fe>0, 2/^<сх), 0<7o<P/t<P, G)
еде р определяется ниже формулой B2). Тогда множество C)
непусто при всех /с ^ О, последовательность {i^J, определяемая
методом E), сходится к некоторой точке v^^U^.
Доказательство. Согласно теореме 4.2.2
^i Ы + <4 Ы^ ^-Ч}< Si {и) Vu S и^, (8)
Отсюда следует, что если u^U, то к е РГ^, так что U с= РГл. По условию
и Ф 0, поэтому Wk?^0 (Zc = О, 1, ...). Таким образом, при каждом
к'^0, 8fe^0 существует точка uk+u удовлетворяющая условиям E);
например, можно взять Uk+i = Vk, где у^ —точное решение задачи D).
Применяя теорему 4.3.1 к задаче D) с учетом E) имеем \uk+i — Uk\^l2 ^
^ Ok(uk+i) — Ok{vk) ^ eft, так что
|uft+i —yfti <У2еГ. (9)
Возьмем произвольную точку м* е ^#. При сделанных предположениях
о выпуклости и регулярности задачи A) по теореме 4.9.2 и лемме 4.9.2
найдутся такие числа Яд^ ^ О, ..., Я^ ^ О, что
т
(Г {щ) + 2 ^Wi ("*)» " - "*> ^ о Vw е и^, A0)
i==l
Xt^i(w*) = 0, f = l, ...,m, а*еСГ». (И)
Подчеркнем, что в силу замечания, сделанного после формулировки
следствия 2 к теореме 4.9.6, числа Я*, ...Д^ в A0), (И) могут быть выбраны
одни и те же для всех щ ^U^,
Далее, из условия регулярности F) и неравенств (8) следует
Si К) + <4 {%)^ u-u^}^gi{u)<0, е = 1 т. A2)
Бто значит, что множество C) также регулярно и к задаче D) также
применима теорема 4.9.2, из которой следует, что функция Лангража этой
задачи L^{u, |) = -j | и - Uj^ \^ + Р^, </' (а^,), " - "^> + 2 Е| (gi Ы +
+ (Si ("ft)» " — ^k))^ " ^ ^0' ^ "^ (^1' • • •» Sm) ^ Л^ = ^+» имеет седловую
точку (Уй, I*), i;ft~ решение задачи D), 1^ == {l^h^ ..., |^^)е^^. В силу
леммы 4.9.2
(^k - "ft + Pft-^' («ft) + .2 Sift4 (»ft). » - ^ft^ > 0 Vu s i:„, A3)
'ift (?i ("ft) + <«i («ft), "ft - "ft» = 0, t = l, ...,/7», A4)
^i("ft) + (Si («ft)- "ft - «ft> <0. i = l,...,m. A5)
Возьмем в A0) и = Vk, умножим на p* > О и сложим с A3) при и = и^.

312 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
Получим
^ < <^ft - "ft» "¦ - ^ft> + Pft <*^' ("*)"- *^' Ы^ ^ft ~ "*> +
771 771
+pft s ^i <^i ("*)» ^ft~ "*> + :s ^г^<4 ("ft)> "* - ^ft>- A6)
Преобразуем и оценим каждое слагаемое в правой части A6). Для первого
слагаемого имеем
111
<^ft-"ft' "¦-^ft>=Thft-"*l'--Tl^/i-"ftP-Th*"-^ftP- (i7>
Пользуясь неравенством D.2.20) при и = uk, w = уа, г =» u^, получаем оцен-»
ку для второго слагаемого
h <-^' ("¦) ~ J' Ы^ ^ft - "*> < h^ hft ~ ^ft 1'/^- A8)
Далее, из леммы 2.3.1 при J (и) = gi(u), и = Vk, v == их с учетом нера-»
венств A5) имеем g^ {uj^) < g^ (w^) + (g\ (м^), г;^ — w^^> + L | м^ — У;^ |2^2<
^L|ttft—yA|V2 (i = 1, ..., m). Отсюда для третьего слагаемого из A6) с
помощью равенств A1), неравенств (8) при п = Uk и Xj^'^0 получаем
т m
Pft 2 ^t (s'i ("*). "ft - "*> = Pft S >^t (^* ("*) + (s'i ("*). "ft -«.» <
771 m
<PftIl?^?^iK)<PftU*ii^Hft--H^A u*ii=SUi*l- A9)
Наконец, для четвертого слагаемого из A6) с учетом равенств A4), не*
равенств (8) при и=щ, включений щ е t/, |^ s Е^ имеем
т m
S hk(s\ («*). "ft - ^ft > = S hk (Si Ы + (si ("ft)» "* - «ft» -
771
- lift (Si (»ft) + <?l' («ft), "ft - "ft» < 2 hkSi (»*) < 0. B0)
Сложим оценки A7) —B0); с помощью A6) получим
o<Tl"ft-"*l'-Tl^ft-"*f-Thft-"ft|'x
x(l-4"^Pft-^l^*IA)* B1)
Выберем Рл из условий
0<Vo<Pft<b(? + r|I*|J=P- B2)
где 'Yo, Tf — настолько малые положительные числа, что "Yo ^
:^2(l-'Y)/(L(l + 2|^*|i)). Из B1), B2) тогда имеем
|^ft-"*l' + Y|^ft-^ftl'<Hft-"*^ ^ = 0»1» .-. B3)
Из неравенств G), (9), B3) и леммы 2.3.10 следует существование конеч*

I 6] МЕТОД ЛИНЕАРИЗАЦИИ 313
ных пределов
lim Uft — W* 1 = lim I у^ — щ I, lim I ^ь — i^ft I = 0. B4)
ft-^cx> ft-^oo ft-»oo '
Это значит, что последовательности {uk}, {vh} ограничены. Покажем
ограниченность последовательности {%^} из A3) —A5). С помощью A2), A4)
из A3) при и = й имеем
- m
<''ft - «ft+Pft-^' («ft),»- "ft) > - S ^ift <^i («ft),«- "ft) =
-= 2 ['bift (- ?i («ft) - <g;(«o. «¦"- «ft»+?ift(?i («ft) +(?; ("ft)- "ft- "ft»]>
Отсюда и из неравенств B2), ограниченности {uk} и {ик} получаем
/ = 1, ..., т.
Таким образом, последовательность {^^} ограничена. Отсюда и из B2)
следует ограниченность {IVPft}- Перепишем A3), A4) в виде
\ Pft iti Pft / B5)
t.
-Jf (si Ы + {si Ы^ ^k - ч)) = 0» i = 1,..., ^.
Выбирая при необходимости подпоследовательности из ограниченных
последовательностей {uh}, {vh}, {^VPft}, можем считать, что эти
последовательности сходятся, с учетом B4) тогда
lim Uj^ = lim у^ = у*, lim iVp^ =« [А* > О, < = 1, ..., m.
Из замкнутости ^o следует, что у* е 17^, а из A5) при к-^оо получим
Si (t^*) <0 (i = 1, ..., w). Следовательно, i;* s C^. Далее, из B5) при к-^
->¦ оо с учетом B2) имеем
/ т V
/' Ы + S i^?^I (^*)» W- ^* >>0 Vi^e ^,,
Ц*^(Ы=0, 1 = 1, ...,т. B6)
Как следует из леммы 4.9.2 и теоремы 4.9.2, соотношения B6) означают,
что у* S С/"*. Вспомним, что неравенство B3) было получено для любых
«*¦ S &*. В частности, B3) верно и при w» == у*. Но и^, —предельная точка
последовательности {ик}. Согласно лемме 2.3.10 тогда {w^}-> у*. Теорема
доказана.
Замечание 1. Если в E) ел = О, то согласно (9) uk+i = Vh (к ==
= О, 1, ...), и неравенство B3) можно записать в виде

314 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Пользуясь произволом в выборе м* е С/"*, отсюда имеем
причем равенство здесь возможно лишь при ^ji+i~ ^и^ ^k^^** Таким
образом, при точной реализации описанного метода линеаризации расстояние
от точки Uk до множества U^ или до точки v^ монотонно убывает. В то
же время можно отметить, что хотя и {/(w^j)J.->-/ (i'*) =/*, но {J{uh)}
не обязательно монотонно убывает и не обязательно Uk s U,
Различные варианты метода линеаризации описаны и исследованы в
[8, 19, 21, 29, 115, 132, 150, 250, 314, 338]; регулярпзованные формы метода
линеаризации для задач с неточно заданными исходными данными
исследованы в [86, 329].
Упражнения. 1. Доказать, что если в D) окажется Uk == Uk при
некотором А: ^ О, то точка Uk удовлетворяет необходимым условиям
оптимальности. Указание: применить теорему 4.8.1 к задаче D), затем
принять Uk = Vk.
2. Доказать, что если выполнены условия теоремы 1, ел = О, /с = О,
1, ..., и в D) Uk == Uk при некотором А; ^ О, то w^ s U^, Указание:
положить в B5), A5) Uk= ukH воспользоваться леммой 4.9.2 и теоремой 4.9.2.
3. Рассмотреть метод линеаризации для задачи A) при U^ = Вг^, т = 0.
4. Описать метод линеаризации для задачи A) с дополнительными
линейными ограничениями <а,-, и} = Ь^ {i = т + 1, ,. .^ s),
§ 7. Квадратичное программирование
1. Рассмотрим задачу
J {и)=-^ {Сщ и} + <с, и} -^ inf, и ^ Uf A)
и = {и^ ?": <а<, иХЬ\ i = 1, ..., т;
<ai,u>==b\ i = w +1, ..., s}, B)
где С — симметричная неотрицательно определенная матрица
размера ггХгг, т. е. С^О; с, Ui^E"", b'^R (j = l, ..., s)
(возможности m = 0, или s = m, или s == ттг = О не исключаются).
Задачу A), B) принято называть задачей квадратичного
программирования: в ней квадратичная выпуклая функция
минимизируется на многогранном множестве. Такие задачи
возникают в различных приложениях. Задачи определения расстояния
от точки до многогранного множества, проектирования на такое
множество также представляют примеры задачи квадратичного
программирования, когда в A) С ==/ —единичная матрица.
Задачи вида A), B) часто возникают как вспомогательные при
описании различных методов минимизации (см., например, § 6).
Поэтому важно иметь достаточно простые методы решения
задачи квадратичного программирования. Оказывается, для задачи
A), B), как и для задачи линейного программирования,
существуют конечные (конечношаговые) методы их решения. Для
построения таких методов сначала нужно выявить некоторые
специфические особенности этой задачи. В частности, здесь
полезно рассмотреть двойственную к A), B) задачу.

§ 7] КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ 315
Введем функцию Лагранжа задачи A), B):
L{u, %) =-Y^Cu, и} + <с, и} + <Я, Лц— Ь> == у <Сгг, иу + (с +
+ A\u}^iX,b}, и^и^==Е'', Я^Ло = {Я = (Я1, ,..,Я,)е
где Л — матрица размера sXn со строками ai, ..., а„ Ь =
= {Ь\ ..., Ь*). Если /:j, > -— сх), C/jj. =7^0, то согласно теореме 4.9.4
функция Ь{и, Я) имеет седловую точку {и^, Я*), причем в силу
леммы 4.9.2
^^^^*;^*^ ==Си^ + с + Л^Я* = О, C)
ЯГ (<а|, w^> — Ь*) = О, I = 1, ..., 5; w^ е С/н:» ^* ^ Л^. D)
Тогда двойственная кA), B) задача
'ф(Я) = inf L(i^, Я)->8ир, ЯеЛд, E)
согласно теореме 4.9.6 также имеет решение, причем
/^ = 'ф.* = 8ирг|5(Я)==г|)(Я*) = /К), и^^и^, Я* е Л* =
= {ЯеЛо: 1|)(Я) = 1|)*}.
При дополнительном предположении положительной
определенности матрицы С, т. е. С'>0, функция г|)(Я) может быть
выписана явно. В самом деле, тогда С невырождена и точка минимума
и = и{Х) функции Ь{и, Я) при и^Е"* однозначно определяется
из системы Си + с + А^Х = 0, так что и(Я) = —С""*(с +Л''Я).
Поэтому
t[- (Я) = L (гг (Я), Я) =^ —i (с + А% сКс + Л^Я)> - <Я, Ь> =
= - 4 ((АС'А") Я, Я> - {АС^'с + Ь, ?.> -4 <^"'^» ^>' ^ ^ ^0'^
где АС^^А^ > 0. Таким образом, при С > О двойственная задача
E), записанная в виде
-я|?(Я)->Ы, ЯеЛо, F)
также является задачей квадратичного программирования вида
A), B), но множество Ло по сравнению с B) имеет более
простую структуру. Зная какое-либо решение Я* задачи F), можно
записать решение исходной задачи A), B) в виде
щ=.^С'''(с + А'Х*). G)
В самом деле, при О О функция J {и) сильно выпукла и
согласно теореме 4.3.1 задача A), B) имеет единственное решение

316 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
и^, которое обязательно будет решением системы C), D), где
^*_pgQjg220 задачи F). И поскольку система C) при
фиксированном X* однозначно определяет точку i^j,j| то необходимо
приходим к формуле G).
Особенно проста задача F) в том случае, когда в исходной
задаче A), B) отсутствуют ограничения типа неравенств
(тп = 0) и множество U имеет вид
г7 = {гге?": <а<, иУ=^Ь\ i=l, ..., s). (8)
Тогда Ао = Е% и задача F) запишется в форме
~'ф(Я)->ш!, Х^Е\ (9)
Множество Л* решений задачи (9) в силу теоремы 4.2.3
совпадает со множеством решений системы
-г!)' (Я*) - АС-'А^Х^ + АС-'с + 6 = 0. A0)
В обш;ем случае система A0) может иметь более одного
решения. Если матрица А невырожденная, т. е. векторы ai, ..., а.
в (8) линейно независимы, то из О О следует АС~^А^ > О,
и тогда задача (9) и, следовательно, система A0) будут иметь
единственное решение. Таким образом, при С > О для решения
задачи A), (8) достаточно решить две системы линейных
алгебраических уравнений A0), C). Здесь могут быть использованы
известные методы линейной алгебры [4, 39, 54, 93, 164].
Поскольку для линейных систем имеется принципиальная
возможность получить решение за конечное число арифметических
операций (например, методом исключения Гаусса), то такая
возможность имеется и для задачи A), (8) при С>0.
2. Следуя [21], покажем, что исходная задача A), B) при
С > О может быть сведена к решению конечного числа задач
вида A), (8). Здесь важную роль играет понятие особой точки
задачи A), B).
Определение 1. Точка v называется особой точкой
задачи A), B), если v^U я V является решением задачи
J{u)-^mt, ггеУ=:{це?;«: <а,, и> = Ь\ i^I\J{m + i^ ..., 5}},
(И)
где / — какое-либо подмножество индексов A, ..., т}
(возможность / = 0 не исключается).
Лемма 1. Пусть в задаче A), B) ОО, J^> — оо^и^Ф
Ф0- Тогда каждое решение и^ задачи A), B) является особой
точкой этой задачи.
Доказательство. Положим / (гг ,{.)={ г: 1 ^г^т, <Bi, Wj^> =
= Ь^} и рассмотрим задачу (И) с 1 = 1{и^). Заметим, чтом^е7.
Так как <<2|, u^><b* при 1ф1{и^) A^ г^ттг) и функция <ai,a>
непрерывна, то существует такая окрестность 8{и^,г)=[и^Е^1

§ 7] КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ 317
\и—- и^\<С^} (s > 0) ТОЧКИ 1г^,что <а|, и} < Ь* при всех i ф. 1{щ}
(i^i^m) и и^ S{щ, г). Это значит, что V(]S{u^,e)cz.U^
Тогда J{u)^J{и^ = J^ при всех u^V[\S{u^, г). Таким
образом, и^—точка локального минимума выпуклой задачи A1)
с 1 = 1 (и^). По теореме 4.2.1 тогда U:u является точкой
глобального минимума функции J (и) на множестве V. Следовательно,,
w^ — решение задачи A1) с I =1 {щ)^ так что и^ —особая
точка задачи A), B).
Теорема 1. Пусть С>0, множество B) непусто. Тогда
существует конечный метод решения задачи A), B).
Доказательство. Так как множество {1, ..., т) имеет
конечное число подмножеств /, а всякая задача (И) при О О
имеет одно решение (теорема 4.3.1), то и число особых точек
задачи A), B) конечно. Согласно лемме 1 для отыскания решения
задачи A), B) достаточно перебрать все ее особые точки в
найти ту из них, в которой функция A) принимает меньшее
значение. Так как задача A1) имеет вид A), (8), то каждая
особая точка может быть найдена за конечное число
арифметических операций. Таким образом, поиск решения задачи A), B)
закончится за конечное число шагов.
3. Установленная в теореме 1 принципиальная возможность
получения решения задачи A), B) за конечное число шагов
имеет лишь теоретический интерес. Дело в том, что здесь мы
не учли возможную неустойчивость систем C), A0) по
отношению к погрешности задания исходных данных, к погрешности
округления при выполнении арифметических операций. Кроме
того, полный перебор особых точек задачи A), B) на практике
требует слишком большого объема вычислений уже при не очень
больших значениях тг, s. Опишем один из методов
упорядоченного перебора особых точек задачи A), B), более экономичнога
по сравнению с полным перебором [21]. При описании этого
метода можно выделить три этапа.
На 1-м начальном этапе определяется, будет ли множества
B) непустым, и если U?=0, то находится какая-либо v^U.
Здесь может быть использован, например, симплекс-метод,
описанный в главе 3.
2-й этап состоит в переходе от какой-либо точки у ^ С/ к
особой точке w^U со значением J{w)^J{v), Для построения
такой точки W можно воспользоваться следующим итерационным
процессом. В качестве начального приближения берется Uq = и.
Пусть известно /с-е приближение Uu^U, J{Uh)<J{v).
Определим вспомогательное приближение Uk как решение задачи A1)
при
/ = / (Uk) = {J: К J < ттг, (а^, щУ == Ь'},
Поскольку гг^ е F^ то J{uh)< J{Uf^)^J{v), Поэтому если Uu^U^

318 МЕТОДЫ МИНИ]МИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
ТО В качестве требуемой особой точки можем взять w = и^.
Допустим, что Wfe ^ и. Тогда <а^, w^) > W хотя бы для одного / Ф-
^I{Uk) A ^ 7 ^ ?^), так что множество индексов Л =
= {/: <aj, uk> > Ъ\ ]' ^I{Uk), i<j<m}?'0. Положим
%+i = Щ + <^k {i^k — Uk), au = min [(b^ — {a^, и^У)/{а^, щ — щ}].
is I,
A2)
Из определения /i и включения щ^и следует, что
поэтому 0<а&<1. Покажем, что Uk+i^U. Из выпуклости
множества 7 и из Uk^7, Uk^V следует, что Uk+i ^ F, где V взято
из (И) при 1 = 1{щ). Остается доказать, что <а^, 1гь+1> < Ь^ при
всех j^I{Uh) {i^]<m). Если /^Л, то с учетом определения
A2) величины а^ имеем
<«;, Wft+i> = <а;, i^;i> + afe<a;, Uk — щУ ^ Ь\ /^/i. A3)
Если ]^IiUI{Uk) {К]<т), то <<2j, w^+i^ = о^л<^л ^^л^ +
+ A —aft)<a;, Uk><b\ Таким образом, показано, что Uk+i^U.
Далее, поскольку J{uh)^J{Uk)^J{v) и функция J{u) выпукла,
то J(Uh+i)^aJ{uk) + {i —ak)J{uJ^)<:J{v). Далее, из включения
Uh+i^V, где V взято из A1) при 1 = 1{и^), следует, что 1{и^)'^
czI{Uh+i) = {i: iui, Wft+i> = Ь', l^i^m}. В то же время для тех
jo^Iu ДЛЯ которых в A2) реализовывается минимальное
значение при определении а^, неравенство A3) превращается в
равенство, так что 7o^/(Wft+i), но ]Q^I{Uh). Следовательно,
множество I{Uh+i) содержит по крайней мере на один элемент
больше, чем 1{щ). Таким образом, следующее приближение Uk+i^U
€0 значением J{iih+i)^J{^) построено, причем множество I{Uk+i)
существенно шире Цщ). Однако множества /A/^)^A, ..., т}
не могут бесконечно расширяться, и поэтому описанный процесс
закончится на какой-то fc-й итерации, когда й^ ^ U, причем w ^
^Mfe—особая точка задачи A), B) со значением J{w)<:J{v).
Поскольку решаемая па каждой итерации задача A1) с I = I{Uk)
имеет вид A), (8) и для ее решения существует конечный
метод, то и весь переход от точки v к точке w осуществим за
конечное число шагов.
На 3-м этапе выясняется, не будет ли особая точка w,
построенная на 2-м этапе, решением задачи A), B), и в том
случае, если тфи^, осуществляется переход к следующей точке
z^U, для которой J{z)<J(w), Для этих целей достаточно
совершить один шаг несколько модифицированного метода
условного градиента, приняв в качестве начальной точку w,
полученную на 2-м этапе. А именно, сначала можно решить следующую

§ 7] КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ 31^
задачу линейного программирования
a'{w), e> = <Cw; + c, e>-^inf, е^&=^{е^{е\ ..., е")е
е?": <а,-, еХО, ^e/(w;) = {t: К i< 7?г, <а^, 1г;> = &'},
<а,-, е> = О, г == 771 + 1, ..., S, -К е^' < 1, / = 1, ..., п). A4)
Пусть e=^jjs — решение задачи A4), которое может быть
получено, например, симплекс-методом. Так как е = 0^^, то Р =^
= </' (ш), ^^> = min </' (i/;), е> ^ </' (w;), 0> = 0. Поэтому имеются
ее (Г
две возможности: либо Р = 0, либо р < 0. Покажем, что в случав
Р = 0 точка W — решение задачи A), B). С этой целью возьмем
произвольную точку и^и, u?^w, и положим e = t{u—w), где
t> О столь мало, что \еЦ = t\u^ — ш^| < 1 (у = 1, ..., п). Если
i^I{w), то <ai, е> = <ai, u — w^t={iau uy — b')t<:0. Если
77г+1<1^5, то <аг, e> = ^(<ai, гг> —Ь') = 0. Следовательно, е ==
= t{u — w)^S'. Поэтому Р = 0 = </'(ш), ^^X</'(w;), е>.
Пользуясь теоремой 4.2.2 тогда имеем J{u) —J{w)>0'(w), u — w^=^
= <J'{w), еУ1Г^>0 при любом u^U, Это значит, что iv^U^f
т. е. задача A), B) решена.
Рассмотрим вторую возможность: ,В<0. Тогда
^^j.—возможное направление убывания функции J {и) в точке w. В самом
деле, при достаточно малых а > О с учетом того, что е^ —
решение задачи A3), имеем / (ш + ае^) — / (w) = </' (ш), е^Уа +
+ о{а) = аф + о (а)/а) <0; если iе /{w) или 77г + 1 ^ i^5, то
<а|, W + ав:^} = Ь^ + а<ai, е^}^Ь^; если i фI{w) {i^i^т)^
то iai,ivy<.b^ и <67|, м; + a^j{.> <: Ь\ Тогда в качестве искомой
точки z = U^ Н^)^ Н^), можно взять Z = IV + aQe^, где ао > О —
достаточно малое число, которое может быть найдено за конечное
число шагов, например, перебором чисел ао = 2"^ (/^ = 0, 1, ...).
Описание 3-го этапа закончено.
Отправляясь от точки z, полученной на 3-м этапе, можно
снова перейти ко 2-му этапу при и = z^ затем к 3-му этапу
и т. д. В результате будет построена последовательность особых
точек, на которой функция J (и) строго убывает. Так как при
С > О число особых точек конечно, то на каком-то шаге процесс,
состоящий в последовательном применении 2-го и 3-го этапов,^
закончится нахождением решения задачи A), B). Таким
образом, описанный метод позволяет за конечное число шагов найти
решение задачи A), B) при С>0.
Существуют конечные методы решения задачи квадратичного
программирования A), B) и при ОО; об этих методах
читатель сможет прочесть, например, в [7, 12, 13, 19, 21, 23, 30, 33^
41, 102, 111, 135, 159, 250, 256, 257, 261, 271, 314, 320, 330].
О задачах кубического программирования и, в общем случае,^
полпномпнального программирования, когда минимизируемая^
функция является многочленом, см. [44, 52].

320 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Упражнения. 1. Уточните о<писание каждого этапа приведенного
выше метода для задачи A), B) при С = /—единичная матрица, а также
при и = Е^ или С/ = {к = {и\ ..., к^) е Е^: щ^п^ ^^и ^ = 1, •.., п}.
2. Примените описанный выше метод к задачам квадратичного
программирования из упражнения 3 к § 4.9.
3. Пусть и={и= (ж, у) е Е^: —1 < ж, y^i] или С/ = (и = (ж, у) е
^^ Е^: О^х, y^i}. Найдите особые точки задачи минимизации функций
/(и) = (х — аУ+ (у — Ь)\ J{u) == (ах + Ьу)^ на этих множествах при
различных а, Ь.
4. Доказать, что множество точек минимума квадратичной функции
J{u) = \Аи — 6|2 на ?¦" совпадает со множеством решений системы А'^Аи =
= Л^Ь (см. пример 4.2.4).
5. Доказать, что квадратичная функция A) либо достигает своей
нижней грани на множестве B), либо нсограничена снизу.
§ 8. Метод сопряженных направлений
В описанных выше методах, использующих градиент
функции, на каждой итерации учитывается информация лишь о
линейной части прираш;ения минимизируемой функции в
окрестности полученной точки. С помош;ью этих методов точку
минимума квадратичной функции удается найти, вообще говоря, лишь
за бесконечное число итераций. Возникает вопрос: нельзя ли
придумать метод, использующий лишь градиент функции,
который позволяет найти точку минимума квадратичной функции
на всем пространстве за конечное число шагов? Если бы такой
метод существовал, то можно было бы ожидать, что он сходится
к точке минимума гладких функций быстрее градиентного
метода, поскольку в окрестности точки минимума гладкая
функция достаточно хорошо аппроксимируется квадратичной
функцией.
Оказывается, методы с упомянутыми свойствами
существуют. Одним из таких методов является метод сопряженных
направлений. Опишем один из вариантов этого метода.
1. Сначала рассмотрим квадратичную задачу:
/Aг) = у {Ащ и} — <Ь, и}-^inf; u^U ^Е"", A)
где А — симметричная положительная матрица, b ^ ?". Тогда,
как было показано выше, справедливы формулы
Г{и)=^Аи-Ь, J''{u) = A,
и, кроме того, J {и) сильно выпукла на ?"* и достигает своей
нижней грани на ?" в единственной точке и^ такой, что
/' (и^) = Аи^ — Ь = О или щ = А~^Ь. B)
Возьмем произвольную начальную точку щ^Е"^ и вычислим
Pq = J'{uq), Если /'(uo) = 0, то гго = W — задача A) решена. По-

§ 8] МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ 321
этому пусть J'{uo)?=0. Тогда положим
Wi == Wo •— аоРо, ао > О,
где величина ао определяется условием
/о К) = иуп /о (а), /о (а) = 1{щ — ар^).
Таким образом, первая итерация метода сопряженных
направлений совпадает с итерацией метода скорейшего спуска.
Заметим, что /о (а) сильно выпукла, поэтому величина ао
существует и определяется однозначно (см. ниже формулу A4)).
Поскольку /о @) = — </' (Uq), Ро> = — I /' (Uq) Р < О, то ао > 0.
Следовательно,
/о («о) == О = — </' (щ — аоРо), Ро> = — <^J' (^i)» Ро> =
= -</'(^1),^'Ы>. C)
Можем считать, что ]'(и^Ф^, иначе и^ = и^ и задача A)
решена.
Так как р^ ФО, то Ар^ Ф^ ж множество
Г1=={ие?^: <Л/?о, ^г - Ui> = 0}
представляет собой гиперплоскость размерности гг — 1,
проходящую через точку Wi. Важно заметить, что искомая точка щ
также принадлежит Fi. В самом деле, поскольку матрицы А,
А'"^ симметричны, то с учетом равенств B), C) имеем
<4ро, и^ — ЩУ = (Аро, А'^Ъ — щ) = (A-^Apq, Ъ — Аи^ = — {р^,
J' (^i)> = 0. Поэтому дальнейший поиск точки щ имеет смысл
проводить в гиперплоскости Fi. Для этого нужно найти какое-
либо направление /?i, параллельное гиперплоскости Fi. Можно
искать /?1, например, в виде
/?1 = /' (ui) — ^qPq, ^0 = const.
Условие параллельности р^ гиперплоскости Fi дает
равенство <Аро, pi> = <Аро, Г (Ui)— ^оРо> =0, т. е.
^о=^<Аро, 1'{щ)У/<Аро, роУ.
Поскольку /' (и) Ф о, то Р1ФО, В самом деле, если бы pi = О, то
J'{u)==^oPo и согласно C) \J' {щ)\^ =^^о<Ро, /'Aг1)> = О
—противоречие с условием 1'{и1)Ф0. Из Р1Ф0 следует, что Ар1Ф0.
Положим
U2=^Ui — aiPi, ai^O,
где величину ai будем определять из условия
/i («i) = min /1 (а), /i (а) = /(щ-^ ар^).
С учетом равенств C) имеем Д @) = </' (и^)^ — р^} = {J'{uy)^

322 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
-r(u,)+?>oPo>='-\J'{Ui)\'<0, поэтому ai>0. Тогда
/i К) = О = </' {щ - aiPi), - pi> = - </' (щ), pi> = 0.
Заметим, что
/' (Wi) — /' A^2) = Aui — b — Au2 + b = aiApi.
Тогда в силу C) и выбора pi получаем
<Г (и^), Г {щ) > = <Г (и,), ро> = <Г {щ) - а,Ар,, ро> = 0.
Отсюда следует равенство
<Г (щ), Г (и,) > = <Г (щ), р, + Ро/>о> = 0.
Таким образом, первые две итерации метода сопряженных
направлений для задачи A) описаны. Показано, что
</' (^i), Ро> = </' (^i), /' (^0) > = О, <Аро, Pi> = Мр 1, Ро> = О,
Кроме того, заметим, что векторы Аро, Api линейно независимы.
В самом деле, если '^оАро + "fiApi = О, то, умножая это равенство
скалярно сначала на ро, затем на /?i, получим 'Yo = 'fi = 0. Можем
считать, что J'{u2)'^0, иначе щ^и^^—задача A) репхена.
Теперь у нас есть основание сделать следующ;ее индуктивное
предположение: пусть при некотором /с ^2 уже найдены точки
Uo, щ, ..., Uk, Uh+i=^Ui — aiPi (J = 0, 1, ..., к—I), где
Pi = /' (Щ) — PiPi-i фО, pi = </' {щ), ^A-l>/<^Pi-b Pi-l>y
a величины a, > О определены из условий
/i (аО = min fi (а), Д (а) -= / {щ — api), J==0, 1, ...,А;—1;
пусть
а/?,,/),> = 0, i=^7\ O^i, i^k-l, D)
</'Ы. Л> = 0, 0^/<i^/c, E)
<Г{щ), Г(щ)>=0, i?=j\ О^и ]<к; F)
и, кроме того, пусть 1'{щ)?=0 (i = 0, 1, ,.., /с) и система
векторов {Аро, Api, ..., Apk-i) линейно независима.
Тогда множество
Г, = {i^ е Е^: <Api, и - Ui+i) = 0, i = О, 1, ..., fc - 1}
представляет собой гиперплоскость (аффинное множество — см.
пример 4.1.4) размерности п — к. Поскольку из E) следует
для всех i = 0, 1, ..., ft —1, то Uk^Tn* Замечательно то, что

§ 8] МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ 323
щ е Ffe, так как согласно B), E)
(Ар,^ щ — щ+^У = (Ар., А'^^Ь — Ui^i) = (р,, Ъ — Ащ^тУ =
= (р., --/'(i.i+i)> = 0, f = О, 1, ..., /с- 1.
Поэтому дальнеЙЕпий поиск точки щ целесообразно продолжать
в гиперплоскости Г^. Для этого нужно найти направление р^,
параллельное Г^, т. е. удовлетворяющее условиям iApi, р^У = О
(j = О, 1, ..., /с — 1). Будем искать р^ в виде
Л==/'Ы-?Л-1. G)
Заметим^ что
/' {щ) - /' (u^+i) = Aui - Aui+i = агЛ/?г, г == О, 1, ..., /с - 1. (8)
Из D), F), (8) следует
для всех i = 0, 1, ..., /с —2 при любом выборе ^^ в G). Поэтому
для параллельности направления р^ гиперплоскости Г^ остается
удовлетворить равенству iAp^-u Pk^ = 0. Отсюда имеем
<Л/?^,_l, /'(^/t)-M/t-i> = <^/^fe-i7 J {Uk)>-h<Apk-u Pk-i>=0 или
P, = <Л/7,_,, /' (u,) >/<Ap,.,, p,-,y. (9)
Заметим, что Ph^ О, ибо в противном случае J'{Uk) = ^kPk-i,
и тогда в силу E) U'{и^)\^ = %0'(и^), /?;,_i>=0, что
противоречит индуктивному предположению.
Итак, учитывая выбор направления р^ и равенства D), имеем
а/?,, Л>=0, i?=]\ O^J, j<k. A0)
Следующее (/с+1)-е приближение будем искать в виде
Uk+i = Uk-akPk, а^^О, A1)
где ад определяется из условия
fk (afe) = min fk (a), Д (a) = J(Uk — ap^). A2)
Поскольку /fe(a)—сильно выпуклая функция, то величина а^
существует и единственна. С учетом предположений индукции
и формулы G) имеем
/; @)=</' ы, - р^) = (Г ы, - /' (щ) + fikP^_^) =
= -|/'ЫР<о.
Это значит, что а^ > О и Д («ft) = О = ^/' (Mfe+i), — Pj^ или
<^'(«*+i), Р.> = 0. A3)

324 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Отсюда нетрудно получить явное выражение для а^. В самом
деле,
О = <У (Mft+i), Pft> = <^2^ft+i - Ь, Pft> =
= iAu^ - aAPh - b, Pk> = <y K), /?ft> - aj,<Apk, Рл>.
Так как p^ =^ 0, то <Ар^, /?a> =7^ О и из последнего равенства
вытекает
^ i^Pk^Ph) <^Pk^Pk> {Ap^.p^y
Далее, заметим
J' (Uh) - J' (Uh+i) = Auk - Auj,+i = a^Apk.
Отсюда и из D), E) имеем
</'K+i), Pi>-<r{u,)-a,Ap,, /?,> = 0, i^O, 1, ..., k-L A5)
Собрав все равенства E), A3), A5), получим
<Г{щ), /?,> = 0, 0<j<i<k+l, A6)
Из предположения индукции и равенств A6) следует
0'{uu+i), r{Ui)> = <r{uj,+,), 2?,+ р,^,^,> = 0, 1 = 1, ..., к,
<Г (и,+0, Г {щ) > = <Г (и,^,), ро> = 0.
Отсюда и из F) имеем
<Г{щ), Г{щ)>=^0, i?=j, O^j, i<k + l.
Наконец, покажем, что система {Аро, ..., ApJ линейно
независима. В самом деле, если '^оАро + "fiApi + ... + '^uApk = О, то
умножая это равенство на pj скалярно, с учетом A0) получим
'^3<Apj, Рз>=^0 (/ = 0, 1, ..., к). Так как i?j=5^0, то <Ар^, Pi}>0
и последние равенства возможны лишь при 'у^ = 0 (/ = 0,1,..., А:).
Тем самым все этапы индукции проведены, следующее {к +
+ 1)-е приближение щ+1 построено. Если J'{Uk+i) = 0, то ^^+1 =
= Ujj.—решение задачи A) найдено. Если же J'{Uf,+i)?=0, то
согласно индукции процесс можно продолжать дальше.
Метод сопряженных направлений для задачи A),
заключающийся в построении последовательности {щ} по правилу (И),
где aft, Pk определяются из G), (9), A2) (или A4)), Ро = 1'{щ),
описан. Название этого метода объясняет следующее
Определение 1. Векторы ро, pi, ..., р^ называются
сопряженными относительно матрицы А или А-орт о зональными,
если <Арг, Pj} = О при всех i=^ ], O^i, j ^ к.
Нетрудно видеть, что для квадратичной за,дачи A) метод
сопряженных направлений закончится за конечное число итераций
нахождением точки u^j.. В самом деле, векторы J'(uo), 7'{и^), ...
..., /' (Uk), ..., получаемые этим методом, образуют ортогональ-

§ 8] МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ 325
ную систему: <J'{Ui), 1'{щ)У=0 {i?=j). Однако в тг-мерном
пространстве не может быть более п ненулевых взаимно
ортогональных векторов. Следовательно, найдется номер к, О < /с <
<п) такой, что J'{Uk) = 0. Тогда i^^ = w^j. — репхение задачи A).
2, Перейдем к рассмотрению задачи
/(u)-^inf; и^и^Е^, A7)
где функция J (и) ^ С^ {E""), причем в отличие от задачи A)
здесь J (и) не предполагается квадратичной. Так как формула
(9) содержит матрицу А, характеризующую квадратичную
функцию A), то описанный выше метод сопряженных направлений
G), (9), (И), A2) не может быть непосредственно применен
для решения задачи A7). Поэтому сначала формулу (9)
приведем к виду, не содержащему матрицу А, С учетом равенств
F), (8) числитель и знаменатель дроби (9) можно
преобразовать так:
(Ар^^^, Г {щ)) = </' {ии-г) - Г {uul Г {щЬ ^1-1 =
= -\Г{ии)\'а^1и
= (J' (Uk-i), p^_^ a^li == </' (Uk^i), J' (Uk^i) — h-iPk-2) ^^-1 ==
= \Г{ии-г)\'а^1г.
Тогда формула (9) запишется в виде
о </'K).-^'K-i)--^'K)>
^"^—кк:;)?—' ^''^
где
Р^=_-1_1-Ш_. A9)
Кроме того, вспоминая, что для функции A) А = 1''{щ),
формулу (9) можно представить еще и в такой форме:
ft _ <J"{4)Pk^vJ'{4)y B0)
<^" Ы Pk-^v Pk^i>
Для квадратичной функции A) все три формулы A8) —B0)
дают одну и ту же величину р^. Но если функция J (и) отлична
от квадратичной, то из этих формул будут получаться, вообще
говоря, различные значения р^.
В результате, отправляясь от соотношений G), A1), A2),
A8) —B0), придем к следующему описанию метода
сопряженных направлений для задачи A7). Пусть i^o — некоторое началь-

326 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
ное приближение. Будем строить последовательность {uj по
правилам
Uk+i=^Uk-akPh, /с = 0, 1, ..., B1)
где
Ро-ГЫ, Pu-y{uK)-hVi.-u fc = l, 2, ..., B2)
величина а^ определяется условиями
^k > О, h Ы) = min fk (а), Д (а) = J (щ — ар^, B3)
а Pfe В B2) вычисляется по одной из формул A8), A9) или B0).
Отметим, что в варианте B0) —B3) метода сопряженных
направлений требуется, чтобы J {и) ^ С^ (Е""), и поэтому на
практике он при]\1еняется очень редко и лишь в тех случаях, когда
матрица /" (и) вычисляется достаточно просто.
Так как в задаче A7) квадратичность функции не
предполагается, то нельзя ожидать, что описанный метод сопряженных
направлений за конечное число итераций приведет к точке
минимума функции J (и) на Е"", Далее, точное определение
величины aft из условий B3) возможно лишь в редких случаях,
поэтому реализация каждой итерации метода будет сопровождаться
неизбежными погрешностями. Как показывает практика, эти
погрешности, накапливаясь, могут привести к тому, что векторы
{pk} перестают указывать направление убывания функции,
и сходимость метода может нарушиться. Чтобы бороться с этим
явлением, метод сопряженных направлений время от времени
обновляют, полагая в B2) ^^ == 0. Обозначим множество тех
номеров А:^1, при которых принимается ^^ = 0, через Д. Номера
k^Io называются моментами обновления метода. Если метод
используется без обновления, то /о = ^. На практике часто
берут /о = {д, 2п, Зтг, ...}, где гг — размерность рассматриваемого
пространства. Возможны и другие правила выбора моментов
обновления. Кстати, если /о = {1, 2, 3, ...}, то метод B1) —B3)
превратится в метод скорейшего спуска.
Если функция J (и) не является квадратичной, то для описанного
метода сопряженных направлений равенства E), F), вообще говоря, не
выполняются. Однако, тем не менее, и в общем случае при любом выборе
моментов обновления справедливы равенства
</'(iift+i), Pk> = О, <ГЫ, Pk> ^\r(uk) Р, /b = О, 1, ... B4)
В самом деле, при /с = О имеем ро = Г(ио), поэтому <7'(tto), РоУ ==\У (щ) \^.
Из условий B3) при А; = О в случае «о > О следует /^ (а^) = </' (%— ^qPq)
— Pq} = ~ {J' (^^i), Pq} = 0. Если же а^ = 0, то u^= u^ и О < /^ @) =
=-</' (%), Ро> = - I '^' Ы f < ^' ^^^ ^^^ -^'(^о) = ГЫ = О, <Г(щ),
jOo> = 0. Таким образом, равенства B4) при к = 0 верны. Сделаем
индуктивное предположение: пусть для некоторого к"^ i имеют место равенства
<Г{ик), /?/t-i>=0, <Г{ш-х), Pk-i>= |/'(ttft-i)|2. Тогда из B3) при ад>0
получим /^ (а^) = — </' ("a+i)» РкУ "= ^' ¦^^•"^^ ^^ ^^ = ^' '^^ ^^+^ = ttft и

§ 8] МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ 327
о</;(о)=-</'Aг,),р,>=~</' (и,), /'К)-М^-1> = -К'К)Г=
=—I /' (Uf^^j) р< О, поэтому 7'(iift+i) = О и <Г (iift+i), pk> = 0. Наконец,
<гы, ри> = </'(i^ft), гы - hPk-i> = и'Ы |2.
Равенства B4) доказаны. Из первого равенства и определения B2)
вектора ph следует
\Pkf=\J'i4)~hPk-i\' = \J'{4)f + K\Pk-i\'' fc = l,2, ... B5)
3. Пользуясь соотношениями B4), B5), установим сходимость метода
сопряженных направлений B1) — B3), A8).
Теорема 1. Пусть функция J(u) сильно выпукла на Е^^ J(u) g
^^С^'^(Е^). Тогда при любом выборе множества /о моментов обновления
и любом начальном приближении щ последовательность {uk}, определяемая
условиями B1) — B3),, A8), сходится к точке и^ минимума функции
J(u) на ?¦", причем справедливы оценки
2
0^aj^ = J(Uj^)~J^^q\, hfe~^*l^<]r^4' /^ = 0,1,..., B6)
где g=l— / g TFT @<^<1)? М- — постоянная из теоремы 4.3.3,
L (\i + Z/ ;
L— константа Липшица для градиента J^{u) на Е^.
Доказательство. Из теоремы 4.3.1 следует существование и
единственность точки и^^ в которой / {и^) := J^ — inf J (и). Функция
/ft(a) =/(uft —apfe) при ркфО также сильно выпукла, и условия B3)
однозначно определяют величину а^ > 0. Будем считать, что ри Ф О, /'(к^) Ф
ф^, ot/i > О при всех /с = О, 1, ..., ибо в противном случае из B4) при
р/1 = 0 получим 1'(иь) =0 и и^ = и^ —решение задачи A7).
В силу выбора аи при всех а^О имеем J(uh+i) ^J(uh~apk). Отсюда
и из леммы 2.3.1 с учетом второго равенства B4) получим
2т
= a\J'{u^)f-^]p^\\ а>0, fc = 0,l, ... B7)
Докажем неравенство
^L\pH\'^\r{uk)\', ^=^ii'L-^ii^ + L^)-\ /с = 0, 1, ... B8)
Согласно теореме 4.3.3 yi\Uj^ — Uj^_^ I^^M-^l-i 1 Pk-i 1^^<'^' (^fe)~"*^'(^fe--i)'
"fe-"ft-i> = <'^'K)-'^'("fe-i)'^fe-i>(-^fe-i)- ^^^«^Д^ ^ y^^^^^
Равенств B4) имеем
\iah-x\pk-xV«r{uk-x), Ph-i>= \r{uk-i)\^.
Тогда из A8) следует
IPftK |/'(^ft)l^l^ft-^^^-ill-^'(^ft-i)l~'< „ , ,
^|7'(lгft)|i:a,_lb;._l|(^гa;._l|^)._lP)-l = L^x-Mr(^;.)ll/^.-l|-^
\M \Pk-i\ < Lii-^r{uj,) I, /c = 0, 1, ...
Отсюда и из B5) получим \ph\^ ^ \J'{uh)\^{i + L^ii'^), что равносильно
неравенству B8).

328 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Теперь нетрудно доказать оценки B6). Из B7) с учетом B8) имеем
«ft-«ft+i>«(i-^)K'K)l'' «>0' * = о.1....
Следовательно,
Но 2jiaft^ \J'M\^ (см. неравенство A.18)), поэтому ah — ak+\ ^ "(liak или
flfe+i < (i — '^[i)ak = qak (/с = О, 1, ...). Отсюда следует первая из оценок
B6). Вторая оценка B6) вытекает из первой оценки и неравенства D.3.2).
Остается заметить, что О < g < 1, ибо jx < L. Теорема доказана.
Отметим, что оценки B6) являются довольно грубыми. Более тонкие
исследования показывают, что метод сопряженных направлений на самом
деле имеет более высокую скорость сходимости, чем это следует из оценок
B6). В то же время этот метод не намного сложнее метода скорейшего
спуска. Недостатком метода сопряженных направлений является его
чувствительность к погрешностям при определении величины аи из условия
B3) — недостаточно точное определение ак может привести к ухудшению
сходимости метода.
4. В методе G), (9), (И), A2) направления р^, ри ..., Рк строятся с
помощью процесса Л-ортогонализации последовательно вычисляемых
градиентов /(ио), У(щ)-, ..., J'(uk), и поэтому этот метод для задачи A) и
полученный на его основе метод B1) — B3) для задачи A7) в литературе
часто называют методом сопряженных градиентов. В общем случае в
методе сопряженных направлений могут быть использованы и другие способы
построения векторов pk, отличные от B2). А именно, пусть направления
Ро, Ри ..., Рк^ удовлетворяющие условиям A0), уже известны и с их
помощью последовательно построены точки ni, .,., Uk+\ по формулам B1),
B3). Следующий вектор рк+\ будем определять из условий ipk+u Л/?г> = 0
(г = О, 1, ..., /с). В случае квадратичных функций A) формула (8) остается
справедливой при любом выборе векторов /7о, Ри .. ^, Рк в B1), B3),
поэтому условие ортогональности вектора pk+i к векторам Ар^, Ар и ..., Арк здесь
приводит к равенствам
<Рк+и gi> = 0, qi=r(ui)-r(ui+i), 1 = 0, 1, ..., к, B9)
Условия B9) имеют смысл и для неквадратичных функций, и ими
пользуются для определения pk+i в общем случае. Обычно вектор pk+i ищут
в виде [И, 41, 46, 48, 111, 250, 330]
Pk+v=.'Hk+ir{uk+i), Нк+1=Нк + АНк, C0)
где матрица АНк определяется из условий B9). Нетрудно видеть, что
перечисленные условия B9), C0) матрицу АНк определяют неоднозначно и в
зависимости от того, как распорядиться этим произволом, можно получить
различные варианты метода сопряженных направлений. Если на каком-
либо шаге Нк = О, то метод B1), B3), B9), C0) обновляют, полагая Ак =
= / — единичная матрица. Приведем один из вариантов этого метода, в
котором матрицы Нк определяются по правилу
Н =Н — (^^fe) i^k^k) ^ __ г/ /.. \_ Г{и\ Н =Т
^k+1 — ^k —.ffq ^ д V—' ^fe —-^ ("fe+i; -^ (^fe)' ^0 ^•
В [19] предлагается и исследуется метод сопряженных направлений,
позволяющий за конечное число итераций найти точку минимума
квадратичной функции A) на множестве, задаваемом линейными ограничениями
типа равенств и неравенств.
Исследование сходимости различных вариантов метода сопряженных
направлений, более тонкие оценки скорости сходимости читатель может
найти в [11, 19].

§ 9] МЕТОД НЬЮТОНА 329
Упражнения. 1. Показать, что точка Uhj полученная методом
сопряженных направлений для квадратичной функции A) при /о = 0,
есть точка минимума этой функции на гиперплоскости, проходящей через
точку щ и натянутой на векторы Г{ио), Г{щ), .,., Г{ии-\).
2. Описать метод сопряженных направлений для функции J(u) =
= \Аи — Ь\\ и G Е'^, где А — матрица порядка тУ,п, бе Е"^.
§ 9, Метод Ньютона
До сих пор мы рассматривали методы первого порядка —
так называются методы минимизации, использующие лишь
первые производные минимизируемой функции. В этих методах для
определения направления убывания функции используется
лишь линейная часть разложения функции в ряд Тейлора.
Если минимизируемая функция дважды непрерывно
дифференцируема и производные /^(^), J" {и) вычисляются достаточно
просто, то возможно применение методов минимизации второго
порядка, которые используют квадратичную часть разложения
этой функции в ряд Тейлора. Поскольку квадратичная часть
разложения аппроксимирует функцию гораздо точнее, чем
линейная, то естественно ожидать, что методы второго порядка
сходятся быстрее, чем методы первого порядка.
Ниже будут описаны два метода второго порядка: в этом
параграфе будет рассмотрен метод Ньютона, имеющий
квадратичную скорость сходимости на классе сильно выпуклых
функций, а в следующем параграфе — метод с кубической скоростью
сходимости на этом же классе. Здесь мы пользуемся следующей
терминологией, принятой в литературе: говорят, что
последовательность {и^ сходится к точке и^ с линейной скоростью или со
скоростью геометрической прогрессии (со знаменателем д),
если, начиная с некоторого номера, выполняется неравенство
\щ^\г1 — ^*l=^^l^fe — u^\{()<C.q<ii)\ при выполнении
неравенства I i^fe+i — ^* I ^ ^fe I ^h— i^* I»; где (gj -> О, говорят о
сверхлинейной скорости сходимости последовательности {и^)ии^, а если
здесь qk = C\Uk —Щ 1*""^ т. е. | и]^+1—щ \ <С | Uk—Щ р, то говорят
о скорости сходимости, порядка 5 (при S = 2 получим
квадратичную скорость сходимости, при 5 = 3 — кубическую). Для
некоторых методов выше была установлена линейная скорость
сходимости на классе сильно выпуклых функций; в тех случаях,
когда \щ — щ\ — О(l/fe), скорость сходимости ниже линейной;
для метода сопряженных направлений можно показать
сверхлинейную скорость сходимости [19].
1, Опишем метод Ньютона для задачи
/(u)->inf; и^и, A)
где J{u)^C^{U), С/—выпуклое замкнутое множество из Е"^
(например, и = Е""). Пусть Uq^U — некоторое начальное
приближение. Если известно А:-е приближение щ, то приращение

330 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
функции J{u)^C^{U) в точке щ можно представить в виде
J (и) —J (Uk) = </' Ы), и — ииУ +
+ 4" <«^"(^^)i^-'Uk),u^Uuy + o(\u — Uk\^).
Возьмем квадратичную часть этого приращения
/fe (и) = </' (uk), U'-uj.y + -^ iJ" {Uk) {u — Uk),u-- Uk> B)
и определим вспомогательное приближение Uk из условий
щ^и, Jk(uk) = iniJk{u). C)
с/
Следующее {к+1)-е приближение будем искать в виде
Ufe+i = щ + ah{uk -Uk)y О ^ ад ^ 1. D)
В зависимости от способа выбора величины а^ в D) можно
получить различные варианты метода B) —D), называемого
методом Ньютона. Укажем несколько наиболее употребительных
способов выбора а^.
1) В D) можно принять
ад = 1, А; = 0, 1, ... E)
В этом случае, как следует из D), и^+1 = йн (к = 0, 1, ...),
т. е. условие C) сразу определяет следующее (/с+1)-е
приближение. Иначе говоря,
щ+1 е и, Jk K+i) = inf Jk (и), /с = О, 1, ... F)
В частности, когда U^E"", в точке минимума функции Л(м)
ее производная Jk{^) обращается в нуль, т. е.
J'k (^fe+i) ^ J' (uk) + J" (Uk) {щ+i — Uk) = 0. G)
Это значит, что на каждой итерации метода B) —E) или F)
нужно решать линейную алгебраическую систему уравнений
G) относительно неизвестной разности Uu+i — и^. Если матрица
этой системы J" {uu)—невырожденная, то из G) имеем
^.+i = i^.-(/"(%))-V4^^0, fc = 0, 1, ... (8)
Широко известный метод Ньютона для решения системы
уравнений
представляет собой итерационный процесс [4, 54]
?/ft+i = ^.-(r(%))-^FK), /с = 0, 1, ..., (9)

§ 9] МЕТОД НЬЮТОНА 331
где i^'(i^) —матрица, i-я строка которой равна F[{u) = (^F^^i,...
-•"i^ivp)- Сравнение формул (8) и (9) показывает, что
метод (8) решения задачи A) в случае U = Е"^ представляет собой
известный метод Ньютона для решения уравнения J'{u)=0,
определяюш;его стационарные точки функции J {и). Отсюда
происходит название метода B) —D) и в общем случае.
2) В качестве а^ в D) можно принять ай==Я^о,где h —
минимальный среди i > О номер, для которых выполняется
неравенство [19]
J{uu)-J{u, + X'{u^-u,))>eXV,{u.)\, A0)
где Я, 8 — параметры метода, О < Я; 8 < 1.
3) Возможен выбор а^ в D) из условий [19]
О < osft < 1, fk (ah) = min Д (a), /^ (a) = j(uk + a {щ — щ)).
A1)
Заметим, что метод B) —D) с выбором длины шага ад по
правилам A0), A1) аналогичен соответствующим вариантам
метода условного градиента. Для определения й^ использовалась
линейная часть приращения, а в методе Ньютона —
квадратичная часть B).
Если Jh{u) из B) сильно выпукла, а U = Е"^ или U
задается линейными ограничениями типа равенств или неравенств,
то для определения йи из C) могут быть использованы
методы из § 7, 8. Следует заметить, что задача C) в общем случае
может оказаться весьма сложной и сравнимой по объему
требуемой для своего решения вычислительной работы с исходной
задачей A). Метод Ньютона для решения задачи A) обычно
применяют в тех случаях, когда вычисление производных J^{u),
J'' (и) не представляет особых трудностей и вспомогательная
задача C) решается достаточно просто. Достоинством метода
Ньютона является высокая скорость сходимости. Поэтому хотя
трудоемкость каждой итерации этого метода, вообще говоря,
выше, чем в методах первого порядка, но общий объем
вычислительной работы, необходимой для решения задачи A) с
требуемой точностью, при применении метода Ньютона может
оказаться меньше, чем при применении других более простых методов.
2. Сначала исследуем сходимость метода Ньютона B) —D)
с выбором шага <Хд из условия E) при условии U = Е'^ или,
проще говоря, метода (8).
Теорема 1. Пусть функция J {и) сильно выпукла на Е"",
J{u)^C^{E'') и, кроме того,
\\J" {u)-J"{v)\\<L\u-v\, и, i;e^«, L = const>0. A2)
Пусть начальное приближение щ выбрано таким, что
Lir(uo)l<2fx^g, A3)

332 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
где [X > О — постоянная из теоремы 4.3.4, а q — некоторая
константа, 0<д<1. Тогда последовательность {uj, определяемая
условиями (8), существует, сходится к точке и^ минимума J (и)
на Е'^^ причем справедлива оценка
\ип-и^\<,2tiL-V\ fe = О, 1, ... A4)
Доказательство. Существование и единственность точки
и^ установлена в теореме 4.3.1. Согласно теореме 4.3.4
<J"{u)l, V>\i\l\\ u^E\ l^E\ A5)
Отсюда следует, что система уравнений /"(i^)^ = 0 имеет
единственное решение g = 0 и, следовательно, матрица J''{и)
невырожденная при всех и^Е"". Это значит, что система G)
при каждом А: = О, 1, ... имеет, и притом единственное,
решение, т. е. последовательность Ыи) однозначно определяется
условиями (8). Кроме того, полагая в A5) ^ ==(/''(^))~*2»
получим ^i|(/"(^))-'2l'^<^, {J''(u)yz><\z\\{J''{u))-'z\ или
1 (/'' {u))~^z\ ^ Ul[x~* при всех Z ^ Е"". Это значит, что
ll(/"(u))-4l^jx-\ и^Е^. A6)
Введем числовую последовательность аи= \J^{uii)\ и покажем,
что
aft<2[x2L-V\ fe = 0, 1, ... A7)
При fe = 0 неравенство A7) следует из условия A3). Пусть
A7) справедливо при некотором к>0. Из условия (8) и
формулы B.3.5) имеем
1
J' (Uk+i) = J' {^h) + J J" {Uk + t (i^fe+i — Uk)) {Uk+i — Uk) dt =
0
1
= j [/" Ы - r (Uk + t {щ+г - Uk))] dt (/" (lift))-!/' (uk).
0
Отсюда и из (8), A2), A6) с помош;ью предположения
индукции получим
ttfe+i < (L/2) I Uk+i — Uk I \i-4k < {L/B\i^)) al <
< (L/B^2)) {2^'lLf (q'^y = {2iiVL) q'^'+K
Неравенства A7) доказаны. Тогда из теоремы 4.3.3 с учетом
равенства /' (и^^) = О имеем |я 11^^ — 1г,^ Р ^ </' (и^) — /' {и^), и^ —
— ^*> ^ I J' (щ) \\щ — щ\ или I i^fe — 1^5^ I ^ ttfeji-i. Отсюда и из
неравенства A7) следует оценка A4).
Теорема 1 доказана.
Как видно из оценки A4) и как показывает практика,
метод Ньютона (8) сходится очень быстро. Однако у него есть

§ 9] МЕТОД НЬЮТОНА 333
один существенный недостаток: для его сходимости начальная
точка Uo должна выбираться достаточно близкой к искомой
точке щ. Это требование в теореме 1 выражено условием A3),
означающим, что I г^о — Ujjj I ^ аф-^ ^ B\i/L) q. Приведем пример,
показывающий, что при отсутствии хорошего начального
приближения метод (8) может расходиться.
Пример 1. Пусть
J {и)
^ + 2|u|-4s, lu|>6,
где и^Е\ а б — сколь угодно малое фиксированное
положительное число, 0<б<1. Нетрудно видеть, что J{u)^C^{E^) и,
кроме того, J''{u)>i при всех и^Е\ так что J (и) сильно
выпукла на Е\ Далее, ясно, что /^е = 0, щ = 0. В качестве
начального приближения возьмем щ = б. Из (8) получим
последовательность Uk = {—iy -2 (fe = l, 2, ...), которая расходится,
хотя начальное приближение щ отличается от щ~0 на малое
число б.
Метод (8) часто применяют на завершающем этапе поиска
минимума, когда с помощью более грубых, менее трудоемких
методов уже найдена некоторая точка, достаточно близкая к
точке минимума.
3. Исследуем сходимость метода B) — E) без предположения, что
TeONpeMa 2. Пусть U—выпуклое замкнутое множество из ?^*%
функция J{u) сильно выпукла и принадлежит классу C^{U) и
\r{u)—r(v)\^L\u — v\, щ vgU, L==:Const. A8)
Тогда последовательность {uk} однозначно определяется условиями F) при
любом выборе начального приближения щ. Если
9=(L/B(i))|K,-iio|<l, A9)
ТО последовательность {гг^}, определяемая условиями F), сходится к точке
и^ —решению задачи A), причем справедлива оценка
hft-"*l<? 2 ^""<?5'*(i-«'")"'- ^ = 0,1,...; B0)
m=fe
зЮесь JJI > О — постоянная из теоремы 4.3.4.
Доказательство. В силу теоремы 4.3.1 функция J(u)
ограничена снизу и достигает своей нижней грани на С/ в единственной точке и^.
Из теоремы 4.3.4 следует
<Г{иП, l>^li\l\^ и^и, l^Lu. B1)
где Lu — подпространство, параллельное аффинной оболочке множества U.
Так как /^ (w) == /'' {и^^, то из предыдущего неравенства и теоремы 4.3.4
вытекает сильная выпуклость функции Jk(u) на множестве U при всех
/: = О, 1, ... Снова обращаясь к теореме 4.3.1, заключаем, что условия F)

334 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
однозначно определяют точку ин+и Таким образом, существование
последовательности {uh} из F) доказано. Применив теорему 4.2.3 к функции
Jk(u) на и, получим
(-^k (^fe+i)' ^ ~ "ft+i> >^^ " ^ ^' к = 0,1, ... B2)
Так как /^ (и) ^ /' (w^^) + /'' (и^^^ (и — и^^^ то неравенство B2)
перепишется в виде
<r{uk) + r(uk) {Uk+i — Uk), и — uk+i> ^0, и e С/, Л: = 0,1, . .. B3)
Может случиться, что Uk+i = и^. Тогда из B3) имеем O'(uk), и — ииУ^О
при всех и gU. Согласно теореме 4.2.3 в этом случае и^^ = щ— задача A)
решена. Поэтому можем считать, что Uk ф иь,^\ при всех А; = О, 1, ...
Положим в B3) » = ttft. Получим
<y(Uk) + y'(Uh) {Uk+l — Uk), Uk—Uk+l>^ 0.
Отсюда и из B1) имеем
ll\Uk+l — Uk\^^ <y'{uk) (Uk+l — Uk), Uk+l — Uk> ^
^<J'{uk),Uk — Uk+i>, k = 0,i,,., B4)
Оценим правую часть B4) сверху. Для этого в B2) заменим к на к — 1.
Получим ^«^^„i (^fe)» ^ — ^k) ^ ^» и ^ и. Полагая здесь и = Uk+u имеем
(К-1 Ы^ Ч - ^fe-bi> < О» /с = 1, 2, ...
Отсюда, из формулы B.3.5) и условия A8) следует
<^' Ы^ Ч - Ч+гУ < {J' Ы - К-1 Ы^ Ч - Ч+i) =
= <-^' (Ч) - J' K-i) - J" D^i) (Ч - ^fe~i)' Ч - Ч+1> ==
[/" (^fe_i + t{4- ^fe-i)) - J" (^fe-i)] ^^ D - 4-i)^ Ч - 4+iy<
L
Подставив полученную оценку в B4), получим
\uk+i-Uk\^(LIBii))\uk-Uk-i\^ k = i, 2, ... B5)
Докажем оценку
1 Ч+1 - ^fel < B^/^) ^'^ /с = О, 1, ... B6)
При Л: = О эта оценка следует из условия A9). Сделаем индуктивное пред-
положение: пусть | и^ — и^^_^ | < {2\i/L) q при некотором /с ^ 1. Отсюда
и из B5) имеем | и^_^^ — ^^ | < (^/B^^)) B\i/Lf {д^^~^У== {2\i/L) q^^.
Оценка B6) доказана. Из B6) следует
m=ft m=k
< 2d~L^ ^Т^ U — ^ ; B7)

§ 9] МЕТОД НЬЮТОНА 335
ДЛЯ всех р, к, р '> к'^0. Так как О < g < 1, то правая часть B7) стремится
к нулю при /с -> оо. Это значит, что последовательность {uk}
фундаментальна и сходится к некоторой точке м^. В силу замкнутости множества U
точка и^ е и. Переходя к пределу при /? -^ оо, из B7) получим оценку
B0). Остается убедиться в том, что и^— точка минимума J (и) на U, Так
как/(и) gC2(С/), то при/с-^оо из B3) имеем </'(w^), w — w*> > О при
всех и ^ и. Учитывая выпуклость J (и), отсюда и из теоремы 4.2.3
заключаем, что и^— решение задачи A). Теорема 2 доказана.
Из B0) при к = 0 имеем 1 Wq — гг^ 1 ^ (^\^Ш q(i-~ q)"^» Это
неравенство означает, что метод F) при U ФЕ'^, так же как и метод (8), который
получен из F) при U =:Е^, сходится, вообще говоря, лишь при выборе
достаточно хорошего начального приближения.
4. Перейдем к рассмотрению метода B) — D) с выбором шага os^^ =
= Х^о, где Jo — минимальный номер, для которого выполняется
неравенство A0). Этот вариант метода Ньютона кратко будем называть методом
B) —D), A0). Покажем, что метод B) — D), A0) сходится при любом
выборе начального приближения и этим выгодно отличается от метода
B)-D), E).
Теорема 3. Пусть U — замкнутое выпуклое множество из Е^^ J (и) е
^СЦи) и
11\1\^^<Г{иI, 1>^М\1\\ и^и, l^Lu, B8)
где Lxj — подпространство^ параллельное аффинной оболочке множества С/,
а ji, М — постоянные^ О <С [Х ^ ЛГ. Тогда последовательность {иа},
определяемая методом B) — D), A0), при любом начальном приближении
Щ^и существует и сходится к точке и^—решению задачи A). Если,
кроме того, Г^{и) удовлетворяет условию Липшица A8), то найдется номер
ко такой, что в D) сс^ = 1 при всех к "^ ко, и справедлива оценка
Щ
оо
1<$2 r<'i^(i-^T\ fc>v B9)
Д ока 3 ат е л ь CiT^B о. Согласно теореме 4.3.4 J (и) сильно выпукла.
Тогда из теоремы 4.3.1 следует существование и единственность точки Uk,
удовлетворяющей условиям C). Согласно теореме 4.2.3 тогда {•^^(««fe)» и —
<J'(uk) + J''(uk) (uk — Uk), и — Mft> ^ О при всех и^ U. C0)
Если оказалось, что uk = Uh, то из C0) имеем </'(wft), и — iift> ^ О, u^U.
В силу теоремы 4.2.3 и выпуклости 7(и) отсюда следует Uj^^u^^u^-^
задача A) решена. Поэтому можем считать, что ilk?=uk. Тогда Jk{uh) <
<С Jk{uk) =0. Покажем, что тогда существует хотя бы один номер i'^0,
для которого выполняется условие A0). С этой целью возьмем
произвольное число а (О ^ а ^ 1), и положим ua = uk + a(uk — Uk). Отсюда и из
выпуклости Jk{u) следует
Jk(ua) < aJkiuk) + A — a)Jk(uk) =aJk{uk) < 0.
Тогда из формулы
J{ua)-J{uk)=Jk{ua) + {aV2)<{r{uk+Qa(uk-Uk)) -
— r{uk)){uh — Uk), uk — uk\ 0 < a ^ 1, C1)
с учетом условий B8) получим
7(Ua)-/(Uft) ^Jk{Ua) + {a?l2){M-]X)\uk-Uk\^^
^ ah{uk) + {aV2)M\uk - uk\^ 0 < a ^ 1. C2)

336 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [IjI. 5
Так как Uk — точка минимума сильно выпуклой функции Jh{u) на U, то
согласно теореме 4.3.1
\ик-йи\'^ B/|х) [h(uk) - Jk(йк)] = B/^1) IhЫ I. C3)
Подставив эту оценку в C2), получим
J(uk)—J(uh) ^—a\Jh(uh)\ +a^MJii)\Jk(uk)\, О ^ а < 1.
Возьмем произвольное а, удовлетворяющее условиям
0< &o = X(i — E)\ilM^a^ (i — E)ii/M < 1. C4)
Отсюда и из предыдущего неравенства будем иметь
J(uh)-J(uk + a(uk-Uk)) ^a(i-a(M/ii))\Jk{Uk)\ >ea\h(Uh)\ C5)
при всех а, удовлетворяющих условиям C4). Возьмем такой номер m ^ 1,
для которого Я"^ ^ A — z\)\klM < Я"^~^ Отсюда следует, что
О < 8Ь = ЯA - 8)[г/Л/ < Я^ ^ A - г)\л1М. C6)
Таким образом, а = Я"^ удовлетворяет условиям C4) и, следовательно, при
а = Я"^ будет справедливо неравенство C5). Это значит, при i = m
выполняется условие A0). Тогда найдется наименьший номер i = io (О ^io -^ т)^
удовлетворяющий неравенству A0). Приняв в D) а^ = Х^, получим
следующее приближение Uk+u
Тем самым показано, что последовательность {uk} из метода B) — D),^
A0) при любом начальном приближении существует. Из A0) при i = io
имеем
J(uh) —J(uh+i) ^ sak\Jk{uk)\, /с = 0, 1, ...
Учитывая, что согласно C6) а^^ = Я ^^ Я > е^, отсюда получим
J{uk)-J{uk+i)^ee^\Jk(uk)\, к = 0, 1, ... C7)
Таким образом, J (uj^'^ J{Uj^j^^) > /* (A; = О, 1, ...). Тогда существует
lim / (Uj^) > /* и lim (/ (u^ — / (Uj^j^^) = 0. Из C7) теперь имеем
ft-^oo _' fe-^oo
lim /, ( иЛ = 0, a из C3) следует
fe-^oo
lim \u^—uA=^0. C8)
Далее заметим, что согласно C7) {iift}eM(iio) = {и: и ^ U, J (и) ^1{щ)}.
Для сильно выпуклых непрерывных функций множество M(uo) выпукло,
замкнуто и ограничено. Тогда последовательность {uk} имеет хотя бы
одну предельную точку. Пусть у* — произвольная предельная точка {uk}
и пусть iUj^ I->" г^*- С учетом C8) и условием J{u)gC^(U) из C0)
при к == кт-^ оо получим </'(^*)? ^ — ^*) ^ О для всех и ^ U. Согласно
теореме 4.2.3 тогда v^ = щ— точка минимума J (и) на U. Следовательно,
lim J(uA== lim J (и. \ = J (щ) == J*, т. е. {иЛ—минимизирую-
щая последовательность. Отсюда и из теоремы 4.3.1 следует {и^^'^-^и^.
Пусть теперь выполнено условие A8). В силу C8) существует номер
ко такой, что (Ll\i) \uk ¦—Uh\ ^1 — 8 при всех к "^ ко. Из C1) с учетом
условия A8) и оценки C3) тогда имеем
J(ua)-J{uk) ^aJk(uk) + {a42)L\uk-Uk\^^
^—a\Jk(uk)\ + a^(LI[i)\Jh(uk)\ \uk — Uh\y

§ 9] МЕТОД НЬЮТОНА 337
Т. е.
J{uk) —J{ua) > \h(uh)\a(i — a{LI\ji)\uk — Uk\) ^аг\Н{йь)\
при всех а, 8о ^ оь ^ 1, к'^ ко. Это означает, что условие A0) выполнено
при i == го = О, и, следовательно, aft = Я° == 1, Uk+i = Uh при каждом к ^ ко.
Таким образом, начиная с номера к = ко, метод B) — D), A0)
превращается в метод B) — E) с начальным приближением и, , удовлетворяющим
условию
q = {L/{2\i)) I и^^_^^ - % I = (^/BF^)) W - % I < A - ^V2 < 1.
Отсюда и из теоремы 2 следует оценка B9), что и требовалось.
Таким образом, метод B) — D), A0) не намного сложнее метода B) —
E), по скорости сходимости не уступает ему и в то же время не столь^
чувствителен к выбору начального приближения, как метод B) — E). При
наличии эффективных методов минимизации квадратичной функции Jh{u)
на множестве U метод B) — D), A0) можно с успехом применять для
минимизации достаточно гладких функций.
Другие теоремы о сходимости описанных выше вариантов метода
Ньютона читатель может найти в [19].
5. Для задачи безусловной минимизации, когда в A) U = E^, метод
Ньютона является частным случаем квазинъютоновских методов
Uk+i = Uk — аиАнГ{ии), aft > О, /с = О, 1, ..., C9)
в которых матрица Ak выбирается из условия
lim II ^,-(/"(»,))-! 1 = 0. D0)
Й-ХХ5
Взяв в C9) ^ft = G''(iift))~\ aft = 1, приходим к методу (8), который^
согласно теореме 1 имеет квадратичную скорость сходимости. Оказывается,
и методы C9), в которых матрица Ли выбирается близкой к {Г^{ии))~^ в
соответствии с D0), обладают высокой скоростью сходимости. Другим
достоинством методов C9) является возможность определения матриц Ah из
достаточно простых рекуррентных соотношений, использующих
информацию с предыдущей итерации, обходясь без вычисления и обращения
матрицы y'(uk). Примером квазиньютоновского метода является метод Давида-
на — Флетчера — Пауэлла, в котором матрицы Ah определяются
соотношениями
\Т
¦^ЬЛ.1 — -^
k!±__{\lh){\'}k) ^ fc = o,l, ...; Л = /. (^1)
где qh = r{uk+i)—r(uh), Tft = iife+i — lift, a величина aft находится из
условия
Отметим, что векторы ph = Akr{uk) удовлетворяют равенствам (8.29), так
что метод C9), D1), D2) одновременно является методом сопряженных
направлений.
К методам C9) можно прийти, исходя из других соображений. А
именно, если В — положительная симметричная матрица, то в R^ наряду с
п
обычным скалярным произведением <г/, y> = 2 ^^^* можно ввести
г=1
другое скалярное произведение <ii, z;>i == <5и, иУ. Из представления
J(u + h)-J{u)=:<BB-4'(u), h>-bo{\h\)=:<B-4'(u), h^ + О«Bh, hyf^y

538 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
¦следует, что градиентом функции J (и) в новой метрике является вектор
В-Ч^(и). Отсюда вытекает, что к-п шаг метода C9) представляет собой
шаг градиентного метода в пространстве со скалярным произведением,
порожденным матрицей В = А^^ > 0. Поэтому метод C9) часто
называют методом переменной метрики.
С квазиньютоновскими методами, методами переменной метрики
читатель подробнее познакомится в [19, 48, 111, 134, 250, 307, 314, 330, 336].
§ 10. Метод Стеффенсена
1. Описанный выше метод Ньютона на каждой итерации
требует вычисления матрицы вторых производных. Отсюда ясно,
что в тех случаях, когда вычисление матрицы /'' (и) требует
значительного объема вычислений, трудоемкость каждой
итерации метода Ньютона может стать чрезмерной. Поэтому
возникает вопрос о возможности построения методов минимизации,
которые по скорости сходимости не уступали бы методу
Ньютона, но для своей реализации не требовали вычисления
матрицы вторых производных. Одним из таких методов является
метод Стеффенсена, представляющий собой разностный аналог
метода Ньютона (9.8), в котором матрица вторых производных
заменяется разностным отношением первых производных
градиента по специально выбранным узловым точкам. Поначалу
метод Стеффенсена разрабатывался для решения нелинейных
уравнений [239], затем он был обобш;ен на случай операторных
уравнений [301]. Применяя этот метод к решению системы
уравнений /' (и) = {/^1 (и), . . ., J^ni^)} = О, получим следующий
итерационный метод решения задачи минимизации
1{и)-^Ы, и^и = Е^. A)
Если приближение % {к ^ 0) уже известно, то следующее
приближение Uh+v определяется так:
Uk+i = Uk~(r{Uk, Uu-?>J'{Uh)))-'y{Uk), /с = 0, 1, ..., B)
где Pft —числовой параметр, /'(и, v)={Jij(u, у)} —матрица
разделенных разностей первых производных, определяемая по
правилу
Ji^ {и, V) =
и^ — v^
C)
здесь Jij{u, v)— элемент i-й строки /-го столбца матрицы J'{u, v),

§ lOJ МЕТОД СТЕФФЕНСЕНА 339
а J^i {и), J^ij (и), ка^к и выше, обозначадот первые и соответ-
ственно вторые производные по переменным и\ и^ функции J (и)
(i, /==1, ..., п); предполагается, что J{u)^C^{E''). Тогда из C)
следует, что
lim 1 /' {щ V) - Г (и) II = О, /' {щ и) =-- Г {и) У/и е Е"".
Это значит, что при Ра==0 (/с = 0, 1, ...), метод B)
превращается в метод Ньютона (9.8).
Как видно из B), на каждом шаге метода Стеффенсена
нужно решать систему линейных алгебраических уравнений
/' {Uk, Uh - ^кУ {Uk)) г/ = -/' (г^л), У = Uk+i - Uk. D)
Здесь подразумевается, что матрица /' {и^, щ — ^J' {и^))
невырожденная. Если Ра =7^ О, Jj(uh)?='0 при всех у = 1, ..., щ то
согласно формуле C) для определения элементов матрицы
J'{uk, Uk—%r{uh)) достаточно знать первые производные ^и^{и)
в точках u = Uk^ u = {ul — p^/^i (uk), ...,ui— p^/^j {uk), ui'^^,...
- - -чщ) G = 1,...,^)- Если же Jj(щ) = О при некотором /,
то в силу C) для определения /-го столбца матрицы J'{Uk, щ —
— %Г (Uk)) придется вычислять вторые производные /^i^j (и)
в точке U=[ui — Pfe/^i (Uk), . . ., ui"^ — Pfe/^;-i (Uk), 4, ..., ^fe).
Если при некотором k>0 оказалось Г{ии)==0, то
процесс B) или D) прекращается: в этом случае 1г^ —
стационарная точка, и для выяснения того, будет ли Uh^^U^^, при
необходимости нужно провести дополнительное исследование.
Поэтому будем считать, что /'(гг^)?=0. А тогда для определения
матрицы J'{Uh, Uk—%J'{Uk)) потребуется вычислить заведомо не
все вторые производные Juiji^), и в этом смысле метод B)
имеет преимущество перед методом Ньютона. С другой
стороны, оказывается, метод B) на классе сильно выпуклых
функций сходится с такой же скоростью, как и метод Ньютона
(9.8). А именно, справедлива
Теорема 1. Пусть функция J(и)^ С^{Е""),
fx 13^ — у |2 < </' A^) — /' (у), u-^v} y/u,v^ ?"", fx > О, E)
\r {u,v) — J'{v,w)\^K{\u — v\ + \v--w\) y/u,v,w^S^, K>0,
F)
еде ^o = {^^^^k-^ol<^ = пlax(|- + P; ^} I/Ч^о) l], I PH<
^P (/c = 0,1, .e»); начальное приближение щ таково^ что
« = ^(|- + р)||-^'("оI<1. G)

340 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Тогда последовательность {uj, определяемая методом B),
сходится к решению и^ задачи A), причем справедлива оценка
\ии-и^\^^^\Г Ы1 /, к = 0,и... (8)
Доказательство. Из условия E) и теоремы 4.3.3
вытекает сильная выпуклость функции J (и). Отсюда и из теоре-
31Ы 4.3.1 следует существование и единственность точки и^. По
индукции докажем
и^ е S,, аи = \Г Ы I <q'""-'I Г (и,) I, /с = 0,1, ... (9)
При /с = о действительно щ ^ So, а^ = q" \ J' (щ) |. Пусть при
некотором /с ^ О точка Uj, уже найдена и справедливы
соотношения (9). Поскольку д<1, то из (9) следует, что а^^ао. Тогда
яз E) при u = Uk, V = Uq имеем ii\Uk — Uo\^^2ao\uk — Uo\ или
kfe —ггоК-^о. A0)
Обозначим Xk^Uk — ^J^ (Uh). Заметим, что в силу A0)
так что Xh'^So. Далее, с учетом условия G) имеем
|ий-а^й|<Р|/'Ы1==К<К<Рщ2MгТр)^2Ж- (^1)
Отсюда и из F) следует
Тогда с помощью теорем 4.3.3, 4.3.4 получаем
>ti|g|2-(fx/2)UP = (fi/2)|gp n^E\ A2)
Из A2) вытекает, что система уравнений J^{Uk, д:^)§ = 0 имеет
единственное решение § = О, так что матрица J' {щ, Xk)
невырожденная, и точка Uk+u определяемая условиями B) или D),
существует. Полагая в A2) i = (J'{Uk, Xk))~^z, z^E"^, получим
{11/2)\(Г{и„ x,))-'z\'^ <z, (Г{щ, x,))-'z>^\z\\{r{u,, x^)y'z\
пли \{J'{Uk, Xk))~^z\ ^B/|i)UI, z^E'^. Это значит, что
\\{Г{и^. :.,))-*"< 2/ц. A3)
Отсюда и из B), A0) имеем
\щ^^ — щ\ ^ kft+i —i^ftl + \ин — щ\ <{2/\i)ak +
+ B/р,)ао<D/[х)ао<Д,

§ 10] МЕТОД СТЕФФЕНСЕНА 341
Т. е. Uk+i ^ So, Далее, из C) следует
2л,•Kl;)(V-г/)=|;(/^,(l;^...,I/-^ц^...,u^)--
i=i 3=1 ^
— J^i (и\ ..., г/~\ и\ гг^"^\ ..., гг"") = J^i (и) — /^г (^), 1=1,...,^,
т. е.
/' {и, и) {и-и) = г {и)^Г {v) Угг, v е ?^. A4)
Полагая в A4) u==Uk+i, v = Uh тя. пользуясь B), имеем
Отсюда с помощью B), F), (И), A3) и предположения
индукции (9) получим
Рассуждения по индукции закончены, существование
последовательности iuh), определяемой методом B), и соотношения
(9) доказаны. Наконец, из E) при u = Uk^v = и^ с учетом
равенства /' (щ) = О имеем
11\ии — щ\^<: </' (uk) — /' (гг^), uu — щУ < а^ ] W/, — и^\
или \щ — и^\^а^/1х. Отсюда и из (9) следует оценка (8).
Теорема доказана.
Недостатком метода B), как видно из G), является
требование достаточной близости начальной точки щ к искомой
точке z^jj..
2. Как мы убедились, описанные выше методы Ньютона,
Стеффенсена на классе сильно выпуклых функций имеют
квадратичную скорость сходимости. На основе этих методов, немного
усложнив их, можно получить методы, имеющие более высокий
порядок сходимости. Примером такого метода является
следующий [316]
iVh = Uk- (/' {Uk, Xk))"V (Uk), Uk+i == Ша - (/' {Uk, Xk))-V (Wk),
A5)
где Xk = Uh—^hy{Uk), Pft —числовой параметр, ft==0, 1, ... Ha
каждой итерации метода A5) последовательно решаются две
системы линейных алгебраических уравнений вида D) с одной
И той же матрицей, но с разными правыми частями. Таким

342 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
образом, метод A5) не намного сложнее метода B). Можно
показать [83, 316], что на классе сильно выпуклых функций при
выборе хорошего начального приближения метод A5) имеет
кубическую скорость схрдимости: | ^^ — гг^,. | ^ Cq^ {к= 0,1, ...).
Если в A5) считать % (к = 0, 1, ...), то Хи = щ, J'(uu, Xk) =
= /"" (Uk) и в результате приходим к модифицированному
методу Ньютона, в котором матрица вторых производных
обновляется через два шага и который также имеет кубическую
скорость сходимости.
Об итерационных методах высокого порядка сходимости для
решения задачи минимизации A), для решения систем
уравнений см., например, [4, 8, 19, 20, 45, 54, 73, 76, 111, 209, 238,
239, 301, 330].
§ 11. Метод покоординатного спуска
В предыдуш;их параграфах мы рассмотрели методы,
которые для своей реализации требуют вычисления первых или
вторых производных минимизируемой функции. Однако в
практических задачах нередко встречаются случаи, когда
минимизируемая функция либо не обладает нужной гладкостью, либо
является гладкой, но вычисление ее производных с нужной
точностью требует слишком большого объема работ, много
машинного времени. В таких случаях желательно иметь методы
минимизации, которые требуют лишь вычисления значения
функции. Одним из таких методов является метод покоординатного
спуска [4, И, 153, 171, 326].
1. Сначала опишем этот метод для задачи
J{u)-^mi; и^и=-Е\ A)
Обозначим ег==@, ..., О, 1, О, ..., 0)—единичный координатный
(базис) вектор, у которого i-я. координата равна 1, остальные
равны нулю 1 = 1, ..., п. Пусть Uo — некоторое начальное
приближение, а ао — некоторое положительное число, являюш;ееся
параметром метода. Допустим, что нам уже известны точка и^^
^Е"" и число aft > О при каком-либо к>0. Положим
Ph = ei^, i;, = ft —w[~] + l, B)
где — означает целую часть числа к/п. Условие B)
обеспечивает циклический перебор координатных векторов ei, бг, ..., бп,
т. е.
Ро = 6i, . . ., Pn--i = ^пч Рп = ^1? . • »•, Pzn-l ^^ ^п>
Pzn *^ ^1» • » •
Вычислим значение функции J (и) в точке u = Uk+akPh и про-»

§ 11] МЕТОД ПОКООРДИНАТНОГО СПУСКА 343
верим неравенство
J{Uh + akPk)<J{uk). C)
Если C) выполняется, то примем
Uk+i =^Uk + akPk, aft+i = aft. D)
В том случае, если C) не выполняется, то вычисляем значение
функции J (и) в точке u = Uk — akPk и проверяем неравенство
J{Uk-akPk)<J{uh). E)
В случае выполнения E) положим
Uk+i = Uk — akPk, aA+i=aft. F)
Назовем (fc+l)-ro итерацию удачной, если справедливо хотя бы
одно из неравенств C) или E). Если {к+1)'Я итерация
неудачная, т. е. не выполняются оба неравенства C) и E), то
по;лагаем
I'^^ki h = ^1 Uk = ^fe-n+i,
ocfe, ik?=n или щфии-п^ъ G)
I или O^k ^n — 1;
^/i+i === ^/ij o^/i+i
здесь % @<Х<1)—фиксированное число, являющееся
параметром метода. Условия G) означают, что если за один цикл
из п итераций при переборе направлений всех координатных
осей ei, ..., en с шагом а^ реализовалась хотя бы одна удачная
итерация, то длина шага а^ не дробится и сохраняется на
протяжении по крайней мере следующего цикла из п итераций.
Если же среди последних п итераций не оказалось ни одной
удачной итерации, то шаг а^ дробится. Таким образом, если на
итерации с номером к = km произошло дробление а^, то
/ (Ukrr, + ock^ei) > / (Uk^), J (щ^ - аи^ег) > / (u^J (8)
при всех ^ = 1, 2, ..., п. Метод покоординатного спуска для
задачи A) описан. Справедлива
Теорема 1. Пусть функция J (и) выпукла на Е'^ и
принадлежит классу С^{Е'^)^ а начальное приближение щ таково,
что множество M(uo)={u^E'^: 1{и)^1{щ)} ограничено. Тогда
последовательность {wj, получаемая описанным методом B) —
G), минимизирует функцию J (и) на Е"^ и сходится ко
множеству и^.
Доказательство. Согласно теореме 2.1.2 /^с > —оо,
и^Ф0. Из описания метода B) —G) следует, что /(iifc+i)^
^J{Uk) (^ = 0, 1, ...)? так что {icJ^M(uo) и существует
lini/(i^fe)^/jj.. Покажем, что найдется бесконечно много номеров
ki, ..., km, ... итераций, на которых шаг а^ дробится, и поэтому

344 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. ь
lima/t = 0. Допустим противное: пусть процесс дробления коне^
чен, т. е. ал = а>0 при всех W^N, Обозначим Ма = {и: и =
= UN + arei^M{uo), и=^1, .,., п, г = 0, ±1, ±2, ...} —сетку
(решетку) с шагом а. Из описания метода покоординатного
спуска при aft = а, к> 7V, следует, что начиная с номера N
все последующие циклы из п итераций будут содержать хотя:
бы одну удачную итерацию, и на каждой удачной итерации
будет происходить переход от одной точки сетки Ма к другой
соседней точке этой сетки. По определению удачной итерации
переход от точки к точке сопровождается строгим уменьшением
значения функции /(гг), поэтому каждая точка сетки Ма
будет просматриваться не более одного раза. Но множество M{uq)
по условию ограничено, и поэтому сетка М^ состоит' из
конечного числа точек. Следовательно, процесс перебора точек этой
сетки закончится через конечное число итераций определением
точки щ^ (km>N), для которой выполняются
неравенства (8) при всех г — 1, ..., W. А то1да вопреки
допущению придется дробить число а^ = ос. Полученное
противоречие показывает, что процесс дробления а^ бесконечен иг
lim ak = 0.
fe->oo
Пусть ki< к2< ,, .<krn< .,.— номера тех итераций, на
которых длина шага а^ дробится и выполняются неравенства (8).
Так как последовательность Ыи) принадлежит ограниченному
множеству M(uo), то из {гг^^| можно выбрать сходящуюся
подпоследовательность. Без умаления общности можем считать, что
сама подпоследовательность [Щ^] сходится к некоторой точке?
^jj.. С помощью формулы конечных приращений из (8) имеем
<«^' (^fem + ^mCCkm^i). ^г> OCfe^ > О,
откуда
0 ^ 9m, 9m ^ 1 при всех г = 1, ..., n и ттг = 1, 2, ... Пользуясь
тем, что J{u)^C^{E'^) и lim а^^ ^ О, отсюда получим Jyi{^) =
= 0 (j = 1, ..., ^), т.е. J'{u^) = 0. В силу выпуклости J {и) тог-
да u^^iU^, Следовательно, lim / {uj^ = lim / (и^^^ = J (и^) =
= /jj.. Таким образом, последовательность {иJ является
минимизирующей. Отсюда и из теоремы 2.1.2 следует, что p(uh,U^)->^
->0 при ft->oo. Теорема доказана.
Заметим, что хотя метод B) —G) для своей реализации не
требует знания градиента минимизируемой функции, однако в
условии теоремы 1 содержится требование гладкости этой
функции. Оказывается, если функция J (и) не является гладкой, то

f И] МЕТОД ПОКООРДИНАТНОГО СПУСКА 345
метод покоординатного спуска может не сходиться ко
множеству решений задачи A). Об этом говорит следующий
Пример 1. Пусть
J{u) = x' + y'--2{x-y)+2\x-y\, и = {х, у)^Е\
Нетрудно проверить, что J {и) сильно выпукла на Е^ и,
следовательно, ограничена снизу и достигает своей нижней грани
на Е^' в единственной точке. Возьмем в качестве начального
приближения точку Wo = @, 0). Тогда имеем 1{щ + ае^) =
-= /(аеО = а^ - 2а + 2|а| > О = /@), 1{щ + авг) = Навг) = а' ~
— 2а +21а1 > 0 = /@) при всех действительных а. Отсюда
следует, что все итерации метода B) — G) при начальной точке
Uq = (О, 0) и любом выборе начального параметра а = ао > О
будут неудачными, т. е. и^ = щ при всех к = 0, 1, ... Однако в
точке Uo = @, 0) функция J (и) не достигает своей нижней
грани на Е^: например, в точке v = {i, 1) имеем /(i;) = —2<
</(iio)=0.
2. Описанный выше метод покоординатного спуска нетрудно
модифицировать применительно к задаче минимизации функции
на параллелепипеде:
J(u)-^mi; и^и={{и\ ..., и""): ai^u'<Ьг, t = l, ..., п},
(9)
где Лг, Ьг —заданные числа, ai<bi {i=i, ..., п). А именно,
пусть к-е приближение щ^и и число а^ > О при некотором
к'^О уже найдены. Выберем вектор Pk = ei^ согласно формуле
B), составим точку Uk + akPh и проверим условия
Uk+akPh^U, J(Uk + akPk)<J(Uk). A0)
Если оба условия A0) выполняются, то следуюш;ее
приближение %+!» ocfe+i определяем по формулам D). Если же хотя бы
одно условие A0) не выполняется, то составляем точку Uk —
— a^Pk и проверяем условия
Uk-akPk^U, J{uu-akPk)<J(uk), (И)
В случае выполнения обоих условий A1) следуюгдее
приближение определяем по формулам F), а если хотя бы одно из
условий A1) не выполняется, то следуюш;ее приближение
находится из неравенств G).
Теорема 2. Пусть функция J (и) выпукла на U и 1{и)^
^C^{U), Тогда при любом выборе начальных щ^^Л и ао > О
последовательность {и^^ получаемая методом A0), D), A1),
F), G), минимизирует функцию J (и) на U и сходится ко
множеству решений задачи (9).
Доказательство. Так как U — параллелепипед, то
множество M(uo)={u: и^и, J{u)^J(uo)} ограничено. Так как
J{Uh+i)^Huk) {к = 0, 1, *..), то {uJ^U и существует

346 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
lim/(wfe)^/:j.. Так же, как в теореме 1, доказывается суще-
ствование бесконечного числа номеров ki< ,, .<кт< ,..
итераций, на которых длина шага а^ дробится, и поэтому Ит аи ~ 0.
в силу ограниченности M{uo) из [Uk^] можно выбрать сходя-
ш;уюся подпоследовательность. Не умаляя общности, можем
считать, что [и^^]-^щ = (ul, ., ,,ul). Щи каждом i = l, ..., п
возможны следующие три случая.
1) ai<Cu\<:bi. Так как lim а^ ^ О, то найдется номер Л^
ft->cx>
такой, что Uk^ + au^ei ^U и щ^-— a^^ei е U щ^ всех m>N.
Поскольку ал при к = km дробится, то
ДЛЯ всех m'^N. Отсюда, как и в теореме 1, получаем J^i (^*) =
= О, так что
Ju'^ (^*) (^' — Ю =. аг < гг' < Ъг.
2) щ = аг. Тогда щ^ + a^^ei gU и J (uk^+ ockm^i)^ J (щ^)
при всех m^N, Следовательно, (/' [щ^ + QwO^fe^^i) а^^^О или
J.%(^^ + ^mO^k^^i)^^ ДЛЯ каждого m^N, Отсюда при т-^оо
получим J^i (щ) > о или J^i (щ) (и — ui) = J^i (и^) (и' — и\)^
3) и\ = Ъг, Тогда Uk^ — а^^ ei^Un J {щ^ — au^eiy^J (щ^)
при всех m^N, Поэтому (J (Uk^ — Qm(^km^i), ^i> (—^ftm)^^ ™^
*^ui (^fem — ^mOCk^ei) < 0 (m > N). Огсюда при m-^oo получим
J^i (щ) ^ 0, следовательно,
Jui (^*) (^' — bi) = J^i(щ) (и —ul)^0, ai^u^bi.
Объединяя все три рассмотренных случая, заключаем, что
Суммируя эти неравенства по всем i = 1, ..., щ получим
</' (и^), и — и^У ^ О для всех u^U,
Согласно теореме 4.2.3 тогда u^^U^, Следовательно, lim/(i^ft) =
= lim J Ыкт) — J {u^) — J^i T. e. {uj^— минимизирующая после-
довательность. Отсюда и из теоремы 2.1.2 следует, что
lim p(i^fe, U^) = 0. Теорема 2 доказана.
3. Существуют и другие варианты метода покоординатного
спуска. Можно, например, строить последовательность {uj по

§ 12] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 347
правилу
Uk+i = Uk + akPk, A2)
где pt определяется согласно B), а ал —условиями
^k>0, /fe(aft)= min Д(а), fk(oc) = J {uk +ocpk)- A3)
—cx)<a<4-oo
Метод A2), A3) имеет смысл применять в том случае, когда
величина а^ из A3) находится в явном виде. Так будет, если
функция J (и)— квадратичная, т. е.
/ (гг) = у {Аи, и} - <Ь, и}, и е ?^ A4)
где А — симметричная положительно определенная матрица b ^
^Е"", Нетрудно убедиться, что для функции A4) метод A2),
{13) приводит к хорошо известному методу Зейделя из
линейной алгебры [4].
Хотя и скорость сходимости метода покоординатного спуска,
вообще говоря, невысокая, благодаря простоте каждой итерации,
скромным требованиям к гладкости минимизируемой функции
этот метод довольно широко применяется на практике.
Существуют и другие методы минимизации, использующие
лишь значения функции и не требующие для своей реализации
вычисления производных. Например, используя вместо
производных их разностные аппроксимации, можно построить
модификации рассматривавшихся в предыдущих параграфах методов,
требующие вычисления лишь значений функции в подходящим
образом выбранных точках (ср. с § 9, 10).
Другой подход для минимизации негладких функций,
основанный лишь на вычислении значений функции, дает метод
случайного поиска, который будет рассмотрен ниже в § 17.
Метод поиска глобального минимума, излагаемый в следующем
параграфе, также относится к методам, не требующим
вычисления производных минимизируемой функции.
Упражнения. 1. Нарисуйте линии уровня J (и) == С = const
функции из примера 1 и поясните причину расходимости метода
покоординатного спуска для этой функции при выборе щ = (О, 0).
2. Опишите метод покоординатного спуска и докажите его сходимость
для случая, когда в задаче (9) ai = —оо или bj = с» для каких-либо г, /,
1 ^ j, j ^п.
3. Докажите сходимость метода A2), A3) для функции A4) [4].
§ 12. Метод поиска глобального мини1№ума
1. Заметим, что если задача минимизации
1{и)-^Ы; и^и A)
является много экстремальной — так называются задачи, в
которых имеется хотя бы одна точка локального минимума,
отличная от точки глобального минимума, то с помощью описанных

348 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. Ь^
выше методов удается найти, вообще говоря, лишь
приближение к какой-либо точке локального минимума. Поэтому
упомянутые методы часто называют локальными методами.
Для решения многоэкстремальной задачи A) локальные
методы обычно используются по следующей схеме: на множестве
и задают некоторую сетку точек и, выбирая в качестве
начальных приближений точки этой сетки, с помощью того или иного
локального метода находят локальные минимумы функции, а
затем, сравнивая полученные результаты, определяют ее
глобальный минимум. Однако ясно, что такой подход к решению
многоэкстремальных задач весьма трудоемок и не всегда приводит
к цели. Поэтому представляют большой интерес методы поиска
глобального минимума в многоэкстремальных задачах.
Если относительно свойств функции J (и) ничего неизвестно^
то вряд ли можно предложить какой-либо подход к решению^
задачи A), кроме вычисления значений функции J (и) во всех
точках и^и. Понятно, что такой подход практически
нереализуем. И как показывает наш предыдущий опыт, для
построения эффективных численных методов решения задачи A) на
функцию, а также на множество приходится накладывать те
или иные ограничения.
Ниже будут изложены методы поиска глобального минимума
в задаче A) для случая, когда множество U является
параллелепипедом, т. е.
и={и^{и\ и\ ..., и""): Ui^u'^bi, г- = 1, ..., п), B)
а,, bi —заданные числа, ai<bi {i = i, ..., п), а функция J (и)
удовлетворяет условию Липшица
\J{u)-^J{u)\^L\u — u\ У/щи^и, L = const >0. C)
Эти методы являются обобщением методов покрытий,
рассмотренных в § 1.7 для минимизации функции одной переменной
на отрезке. Как и в § 1.7, через Q{L) обозначим класс функций,
удовлетворяющих условию C) с одной и той же для всех
функций этого класса константой L>0,
Пусть рт — какой-либо метод, представляющий собой
правило выбора т точек i/i, ..., Um из С/, в которых вычисляются
значения функции J{Ui), ..., J{um) и затем определяется
величина min J (щ), принимаемая за приближенное значение
/jj. = inf/(i^). Зададимся вопросом: как выбрать число т и метод
Рш = {щ, ..., Um) так, чтобы
min / (щ) < /* + е yj{u)^Q (L), D>
где 8 > О — заданная точность? Поставленную задачу будем
кратко называть задачей A) —D).

§ 12] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 34^
2. Можно предложить следующее правило выбора точек
Wi, ..., Umi пусть эти точки ИЗ U таковы, что объединение
шаров
5(iii, Л)={аеЕ-: lu-Uil^R}, t = l, ..., ттг,
с центрами в точках щ и радиуса R = г/L покрывает множество
т
f/, Т. е. f/d и S{ui^R). Оказывается, при таком выборе то^
чек Ui, ..., Wm, приняв величину min / (щ) за приближение к
/^, МЫ решим задачу A) —D). В самом деле, возьмем любую
точку и^и. Так как шары S{Ui, R) (i==l, ..., m), покрывают
множество и, то точка и принадлежит одному из шаров S{ui,, /?),
т. е. W — Uil <R = e/L, Отсюда и из условия C) следует J{и)^
^/{ui) — L\U'—Ui\^ min /{ui) — e или /\u)^ min /{ui) — г
ДЛЯ всех u^U. Переходя в левой части этого неравенства к
нижней грани по и^ Z7, будем иметь О^ min /{щ) — 1^^г для
каждой функции J{u)^Q{L), Это значит, что для описаннога
метода Рт выполняется неравенство D), что и требовалось.
Однако покрывать множество U шарами не очень-то удобно.
Гораздо прош;е и удобнее покрывать множество B)
параллелепипедами или кубами. Заметим, что шар S(Ui, R) содержит в
себе ^-мерный куб
й = Л/Г^ = 8/(ЬГ^)
с длиной ребра 2ft и с центром в точке щ = (и\, ..., щ). Поль-
зуясь этим обстоятельством, нетрудно покрыть параллелепипед
B) кубами следующим образом. Возьмем точки
E)
где /-е координаты Ui, ...,Um^ образованы по правилу
и\ = Uj + ftBi — 1), г = 1, .. .,mj — 1,
ulrtj = min {bj\ dj + h {2mj — 1)},
a номер rrij определяется условием
uln^^i < &j — ft < aj + ft Bmj — 1) = uln.^i + 2ft.
Тогда кубы T^i .....г^ с длиной ребра 2h = 2R/yn и с центром
в точке i^i^,,..,i^ (i= 1, ..., nij, j = i, ..., n) покроют
параллелепипед B). Так как куб ^г^.....г^ принадлежит шару S (ui^^,,,^i^,R)^

350 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
то объединение шаров S (г^г^,...,г^, Щ {ij = 1, ..., ттг,-, / = 1, . •., п)
покроет параллелепипед B). Тогда, как было показано выше,
метод рт, заключающийся в выборе точек \Ui, • • •) i^m/, т =
==^1^2... по правилу E), решает задачу A) — D) па классе
функций Q{L).
3. Рассмотренный выше метод E) относится к так
называемым пассивным методам — в нем все точки Ui, ..., Um, задаются
одновременно до начала вычислений значений функции. Между
тем, если точки Ui, ..., Um выбирать последовательно и при
выборе очередной точки Ui как-то учитывать результаты
вычислений в предыдущих точках Ui, ..., Ui-i, то шансы найти
величину/:$. с той же точностью е > О за меньшее число
вычислений, чем в описанном пассивном методе E), имеются. Следуя
1139], опишем один такой последоватеданый метод, одномерный
вариант которого был изложен в § 1.7 (см. метод A.7.3)).
Для простоты и наглядности этот ме^од сначала изложим
для случая п = 2, когда
и={и = {и\ и"): ai ^ ц* ^ bi, а2^и^< йг)
— прямоугольник на плоскости Е^. Введем обозначения
Fi = min{Fo, /(Wi),__..., J(Ui)},
R = e/L, fe = /?/T2 = 8/(Lt2), F)
Ri=^R + {J{ui) - F,)JL, hi = Rjn, I = 1, 2, ...,
где точки щ, Uz, ... будут выбираться последовательно по
правилам, указанным ниже; в качестве Fo пока можем взять Fo =
= J{ui), а вопрос о других, более удобных способах выбора Fq
будет обсужден ниже.
Сначала последовательно определим точки
где
v\ = а^ + h, i^i+i = v\ + h + hi, i = 1, . .., m^ — 2;
G)
vln^ = min [b^; ^m^-i + h + /^m^-i}, vl = a2 + h,
номер rrii находится из условий
Затем положим с1"гп — Ш1П l'2'j, ..., fbjn I И введем прямоугольник
Пщ^ = [и = {и^, и^у, di^U^^ &1, ^2 ^ ^^ ^ ^1 + ^m }.
Так как система отрезков [i^f — /i, г;1 + /^г] (г = 1, ..., т^)
покрывает отрезок [di, 6i], то прямоугольник Пт , будет принадлежать

§ 12] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 351
объединению прямоугольников
Так как h^dm ^Ы (f = 1, ..., щ^), то для любой точки и ~
= {и^,и^)^Пт^^1 имеем W— v\\^hi = Ri/Y2, \u^ — vl\^
<i?i//2; так что \u-Ui\ = {\u^^v\f-^lu'-^vW^yf^^Ri.
Это значит, что Я^^.г принадлежит шару 8{иц Ri) (i = l, ...
..., Wi). Отсюда следует, что прямоугольник Я^^ покрывается
системой шаров S{Ui, Ri) (J=l, ..., ш^). Возьмем
произвольную точку гг^Ят^ П U, Тогда найдется шар 8{щ, Ri),
содержащий эту точку, т. е. \u — Ui\^Ri, Отсюда, учитывая условие
(^) и обозначения F), получим
J {u)'^J (щ) — L\u — Ui\'^J {щ) — LRi = Fi — e'^Fm — 8
или
J{u)'^Fm — 8 при всех и^ Пт П U. (8)
Если и а Пт , то отсюда получим О ^ i^^ — /^j. ^ 8 — задача
A) —D) решена. Допустим, что U фПт^- Тогда
последовательно введем точки
где
v]n^ = min (fei; i;^^-! + h + fem^-i}, (9>
2^2 = ^1 + fe + d^^t
a номер niz определяется условиями
Положим dm = niin [hm +1, ..., /im I И ВВОДОМ прямоугольник
Пт^ = {u = {u^, u^): «1 < 1^1 < bi, z;2 — fe < 1^2 ^ z;2 + dm J,
принадлежащий объединению прямоугольников
Пт^,г = {u= (U^, U^): Vm^^i — fe < l^^ < Vm^^i + hm^ + U
vl — h^u^^vl + dm}, г -= 1, ,,., ^2 — nil.

352 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Как и выше, показываем, что Пт^^г а S (гг^^+г, ^т^+г) (^ = 1, .. •
..., ^2 — nil), и, кроме того,
/ (и) ^ Fm^ — 8 при всех и ^ Пт П U.
Поскольку F^^ ^ F^^, то объединяя последнюю оценку для J (и)
с оценкой (8), имеем
/{и)'^Рт^ — г при всех u^Qm пи, A0)
где Qm^ = Qm^ и Пт^, Qm^ = Пт^.
Если и czQrn , то из A0) следует O^Fm — /* ^ 8 — задача
A) —D) решена. Если же UcJiQm^, то процесс продолжаем
дальше.
Пусть точки щ, ^. ..Ums И величины Fi, .. .,Fm^, dm^, .. .,dms
уже найдены, прямоугольник Qm^ = Qms_^ и Пт^ рассмотрен и
показано, что
1{и)'^Рт,-г, u^Qm,{\U. (И)
Если Uct-Qmsj ТО рассматриваем точки
_( 1 2 ]
где координаты i^m^+i вычисляются по формулам, аналогичным
G), (9), vl+i=r- vl + h + dm^. Затем полагаем dm^_^^=^in[hms+i,...
• . -Лт^,^^}, вводим прямоугольник
^^s+i = f^ = (^^ ^^)- «1 < ^^<Ьь ^hi — h^u^^ z;f^^ + йтз+х}.
Аналогично тому, как это делалось выше, устанавливаем, что
этот прямоугольник покрывается шарами S (^Um^+ii Rmg+i)
(i = 1, . .., ^s+i — nis) и отсюда получаем неравенство
/ (и) > Fm, + i — 8, и^ Qm,^^ П С^, ^m^+l = ^m^ U ^m^+i
31 Т. д. Нетрудно видеть, что этот процесс закончится за
конечное число шагов при таком s, для которого vt-.i<b2 — fe^z;f_i +
-\- h + drn^i vl = min {Ьз*» ^^-i + h + dmjj, Ucz Qm^, неравенство
A1) выполняется при всех гг ^ С/. Из (И) следует О ^ Рщ — J^ —
^= min [/ (i^i), ..., / (пш^)} — /;j. ^ 8 для любой функции J = J{u)^
^Q{L), Последовательный метод для решения задачи A) — D)
для случая п=^2 описан.

§ 12] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 353
Кратко опишем такой метод в обш;ем случае, когда п'^2.
Аналогично F) введем обозначения
F, = min{i^o; 1Ы, ..., 1{щ)}, Н==г/Ц h == R/1n =^ г/(ЬУп),
A2)
Л. = д + (/(ц,)-^,)/А 1и = ШУп, ^ = 1, 2, ...,
где точки 1^1, ..., Ui, ... выбираются последовательно по следу-
юш;им правилам. Сначала определяем точки
1^1, . . ., Um^, Ui = (v\, ...,vf), г = 1, .. .,^1,
где номер т^ и координаты Vi (г = 1, ..., ^i), вычисляются по
формулам G), причем величины h, hi берутся из A2), а г4 =
z=:aj + h (/ = 2, ..., w). Полагаем d^^ = min {/г^, ..., km } и, как
и выше, доказываем, что
/ (и) > /^т^ — е, и^ Qm^ П и,
где Qm = Пт = [и = (и^, .. .jU^): «i^i^^^fei, aj ^и^ ^dj +
+ h + dm^^ 7 = 2, ..., w|. Если параллелепипед Qm^не
покрывает параллелепипед B), то далее рассматриваем точки
Wrn -Ы» • • • > ^m^f Um^-\.i = [^m^+h • • •» '^^m^+ijf, t = 1, • . ., Ш2 — ^if
где номер mz и координаты i^m^+i (i = 1, ..., ^2 ~" ^i)»
определяются формулами (9), i^m^+i = v%^ + h + d^^, у^^+г = aj+ fe (/ =
= 3, ..., тг; I = 1, ..., 7712 —nil). Далее, полагаем dm^=i
= min {femj+i, ..., '^mj, ^m^ = min {fej, ..., femj, доказываем, что
/(и)'^Fm^—г, u^ Qm^ n U,
где (?,П2 = ^m^ и Пт^, Пт^ = {l^I ^i < l^^ < bj, l^m^ — /^ < Z^^ <
< i^m^ + d\, uj^u^^a^ + h + dm^, 7 = 3, ..., w) и T. Д.
Продолжая этот процесс дальше, найдем точки
1=1, . . ., 7/1. — 7/1.-1,
где номер тгг, и координаты г^т^^^+г определяются по формулам,
аналогичным G), (9), ^ms-i+i == Dainjba; ь^^^^ + h + d^i, _J,
^me_l < ^2 — h<:^ms-l + ^ + ^Щ-^V ^^s-i+l = ^j + ^^ (/= 3, . . ., 7l)

354 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ, R
устанавливаем неравенство
где Qnts = {^- (ii<,y^<,h, «2< ^^< ^2» <^i<^^ < 6^7 + '^ + dmJj
d^^ = min [hm,_^+if..., '^m,l, d^, = min [h^, ..., fem^]. После
этого начинаем менять координату и^: сначала берем v^^j^i^ Vm^ +
+ h + dm, и при virig+i = uj + h (/ = 4, ..., гг) осуществляем
перебор координат и\ if по описанной выше схеме до тех
пор, пока при некотором т^ не получим оценки / (и) ^ Рт^^ —
— fe < 1^3 < Гж;, + dm^, ttj < w^ < ttj + /i + dl,^, /=4, ..», nj, где
d^^ = min [hi, ..., fem^j], a d^j^ — минимальное среди чисел ihi},
полученных на последнем цикле перебора координат и\ w^,
соответствующем значению ^m^+i = ^т^ -\- h + d^^; затем берем
Vmj^+i = Vmj^ + h + dlij^, заново перебираем координаты и\ и^
и т. д. Такое изменение координаты и^ закончится на
некоторой итерации Шр установлением оценки / (и) ^ F^^ — 8, м е
е Qmj, П и, где Qm^ = {и: а^ < J < Ъ^, j = 1, 2, 3; aj < гг^ < aj +
+ dmp, 7 = 4,..., м|, d^p = min {fei, . ..,hm^].
Далее, no такой же схеме изменяем координату м* по закону
^i+i = Ui + h + d^g, затем — координату и^ и т. д., продолжая
этот процесс до тех пор, пока получившийся параллелепипед
Qmj. не покроет исходный параллелепипед С/ и не будет
получена оценка / {и) ^ Fmj, — s, u^U, Из этой оценки будет
следовать, что О ^ Frrij, — /* ^ ^ для любой фиксированной
функции J = J{u)^Q{L). Так как на каждой итерации хотя бы
одна координата увеличивается на величину, не меньшую, чем fe=»
^г/{ЬУп), то описанным методом за конечное число
вычислений значений функции J{u)^Q{L) будет определена величина
/:,: с требуемой точностью 8 > 0.
Так же, как в случае функции одной переменной (см. § 1.7),
нетрудно привести примеры самых «плохих» функций из класса
Q{L)^ для которых описанный метод последовательного
перебора превратится в пассивный перебор E), и самых «хороших»
функций из Q{L)y для которых этот метод дает существенный
выигрыш по сравнению с пассивным перебором E).
Численные эксперименты показывают [139], что перебор
существенно сокращается, если в F) или A2) принять Fo = /(ko),
где J{uq) близко к /:$.. Поэтому сначала полезно провести пред-

§ 12] МЕТОД ПОИСКА ГЛОБАЛЬНОГО МИНИМУМА 355
варительное исследование функции J {и) на грубой сетке и
получить грубую оценку для /*, которую можно принять за Fo.
Для определения Fq возможно использование какого-либо
простого локального метода минимизации; для этих целей можно
также использовать и сам описанный метод последовательного
перебора с грубым значением 8 > 0. Возможно сочетание
описанного метода с каким-либо локальным методом, когда время
от времени последовательный перебор прерывается и для
уточнения значения F^ из последней найденной точки производится
спуск с помощью выбранного локального метода.
Неяостатком описанного метода является требование знания
константы L из условия C). Если величина L неизвестна, то
можно попытаться взять некоторое начальное значение L = Lq
и применять метод с L = Lo, 2Lo, 4Lo и т, д. до тех пор, пока
полученное приближение значения /* не будет отличаться от
предыдущего приближения не более чем на 8. Для уточнения
постоянной L можно также использовать результаты проведенных
вычислений значений функции на предыдущих итерациях.
4. Для класса Q{L) можно предложить и другой вариант
метода покрытий [231], одномерный вариант которого также был
рассмотрен в § 1.7, п. 4. Предположим для простоты, что в B)
bi — ui = .,. = Ьп — cin = d, т. е. и — куб с ребрами,
параллельными осям координат. Найдем наименьшее целое число т из
условий d/2'^'^^ < г/(Ы/п) {т>0). Через точки dk = (Сгы, ...
,.., Cikn), где Ciftj = aj+tF,--a,.)/2* (^ = 0, 1, ..., 2^ 0<к<т),
проведем всевозможные прямые, параллельные осям координат,
и разобьем куб U на систему кубов, которые будем называть
кубами к'То уровня. Тем самым, исходный куб будет иметь
нулевой уровень; кубы А: + 1-го уровня получаются из кубов к-то
уровня делением их ребер пополам и проведением через
середины ребер прямых, параллельных осям координат. Далее,
пользуясь той же схемой, которая описана в § 1.7 (слово «отрезок»
теперь нужно заменить словом «куб»), можно организовать
перебор кубов различных уровней, последовательно вычислять
значение функции J (и) в центрах Ui этих кубов и определять
величину/^3= min /(i^i), причем неравенство A.7.5) здесь следует
заменить на
Fs<J{Us)-ynLhs + e,
где hs — длина ребра рассматриваемого на s-m шаге куба с
центром в точке Ug, В результате для любой функции J{u)^Q{L),
произведя не более 2'"'* вычислений ее значений, получим
решение задачи A) — D).
В общем случае, когда множество B) не является кубом,
для построения покрытия множества U можно воспользоваться
параллелепипедами или комбинациями кубов и параллелепипе-

356 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
дов. в [231] рассмотрены варианты метода покрытий для более
сложных множеств, задаваемых неравенствами gi{u)<0 (i«
= 1, ..., т).
Метод последовательного перебора для других классов
функций описан в [139J; об оптимальных последовательных методах
на различных классах функций см. в [21, 106, 228, 282, 298].
§ 13. Метод модифицированных функций Лагранжа
1. Рассмотрим задачу
/{и)-^ inf; и^и^Ы^Е"": u^Uq,
8i{u)<0, 1=1, ..., 7/1, gi{u)=^0, 1 = 771+1, ..., s}, A)
где J {и) J gi{u), ..., g.(w)—заданные функции на множестве ?/,.
Пусть /нс>—оо,С^* =7^0-Выше (см. теоремы 4.9.2, 4.9.4, 4.9.5)
при определенных условиях выпуклости и регулярности задачи
A) было установлено, что для любой точки u^^U^ найдутся
множители Лагранжа Я* = (^^» •.•» ^^*)-
такие, что точка (и^, Я*) образует седловую точку функции
Лагранжа
L {щ Я) = / Aг) + S Kgi (и), u^Uo, Я е Ло, B)
т. е.
' LK, XXLK, X*) = /*<LK Я*), we С/о, ЯеЛо. C)
Была также доказана справедливость обратного утверждения:
если (u^,X^)^UoXAq является седловой точкой функции B),
то и^^и^ (теорема 4.9.1).
Основываясь на этих фактах, можно предложить различные
методы решения задачи A), сводящиеся к поиску седловой точ*
ки функции Лагранжа. Например, здесь естественным образом
напрашивается итерационный процесс, представляющий собой
метод проекции градиента по каждой из переменных и я %
(спуск по переменной и и подъем —- по Я):
Uft+i = Ри^ {Щ — OLkLu {Uk, K))f D)
^fe+i = ^Ло (h + o^kL^ {Uk, Ю) = ^Ло ih + ^kg [Щ% E)
fe = 0, 1, ,.., где Ьи(щ'к) = (L^i {щ Я), ..., L^n{щ ^)),
Lx {и, Я) = (L^^ {и, Я), ,,., L^^ {и, Я)) = (^1 {и), ...,gs {и)) ^ g {и);
длину шага а* в D), E) можно выбирать из тех же
соображений, как это делалось выше в § 2. Заметим, что проекция
любой точки К^Е' на множество Ло вычисляется просто по

§ 13] МЕТОД МОДИФИЦИРОВАННЫХ ФУНКЦИЙ ЛАГРАНЖА 35?
формулам Ра^Ш = {1^ъ •••» M's)« где
\ii = Xi =max{Xi, 0}j i = li .••, m, |ii = Xi, i=^m + 1^ .•.jS,
Вместо D) возможно использование других итерационных
процессов, таких, как метод Ньютона и др. В тех случаях, ког-*
да задача минимизации функции Ь{щ К) по переменной u^U^
при каждом фиксированном А, ^ Ло решается достаточно просто^
можно предложить следующий итерационный метод:
L К+1, Ц = inf L{и, Xfe), Я^+1 = Р. {Kk + OLkgK+i)),
А; = 0, 1, ...
Однако, как оказалось, сходимость перечисленных методов
удается доказать лишь при довольно жестких ограничениях на
данные задачи A).
Приведем простейший пример выпуклой задачи, когда метод
D), E) не сходится к седловой точке функции Лагранжа.
Пример 1. Пусть /(гг)^О, U = {u^E': g{u)^u = 0}.
Тогда /:j. = О, ?7* ={0}. функция Лагранжа L{u, Х)=' J{u)+Xg{u)^
^Х{и) на С/оХЛо = ?*Х?* имеет седловую точку (О, 0), так
как L@, Я) = 0-Х^0 = 1г@, 0)==-Ь{щ 0)^0-и. Процесс D),
E) здесь имеет вид
^А+1 ^^Uk— (X^kKky ^k+i *^ Xh "Г (^кЩ^ ft = О, 1, ...
Поскольку ul+i+ 'kl^i=(ul + Kl) A + afe) >^I + К ^^=0, 1, - .)j
TO ясно, что при любых {uo, Хо)=5^0 и любом выборе длины
шага а* ^ о этот процесс расходится.
Анализ перечисленных методов показывает, что причина их
расходимости заключается в том, что функция Лагранжа B)
по переменной X не очень хорошо «устроена» и допускает, в
частности, случаи, когда в D.9.38) имеют место строгие
включения (см. пример 4.9.7). Чтобы преодолеть возникающие здесь
трудности, можно попытаться видоизменить функцию Лагранжа,
строить так называемые модифицированные функции Лагранжа,
которые имеют то же множество седловых точек, что и функция
B), и которые обладают лучшими свойствами, чем функция
B). Такие функции, оказывается, существуют и могут быть
использованы для поиска седловой точки функции B) и для
решения задачи A). Следуя [29], мы рассмотрим один из
возможных здесь подходов.
2. Будем рассматривать задачу
/(w)-^inf, и^и^Ы^Е'^: u^Uo, g{u)<0}, F)
где /(ii), g{u) = {gi{u), ..., ^Гт(гг))—заданные функции из
C^{Uq). Как и в гл. 3, векторное неравенство g^{gu ..., gm)"^
^0 [g ^ 0] здесь и ниже означает, что gi>0 [gi^ 0] при всех

358 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
1 = 1, ,.., 771, а неравенство а>Ъ для а, Ъ^Е"^ эквивалентно
неравенству а — 6 > 0.
Наряду с классической функцией Лагранжа задачи F)
Ь{и, X)=-J{u)+<g{u), Я>, u^Uo, %^Ао=^{К^Е'^: Х>0} G)
еще рассмотрим следующую модифицированную функцию
Лагранжа:
М{и, X) = J {и) + 2j[(^^ + M{u)tV-^W (8)
переменных u^Uo, Я ^ Ло, где А — произвольная фиксированная
положительная константа; в (8) принято обозначение
а"^ = Рт{а) = (at, ..., at,), af^ max {at; 0},
^+ (9)
i = 1, ..., тгг,
»-- проевдия точки a ^ ?"* на положительный октант -Е+ =з
^{aeJS^: а>0}.
Нетрудно видеть, что функция 9(z) = (max{z; 0})^=(z+)*
одной переменной непрерывно дифференцируема на всей
числовой оси ?\ причем
<p'(z) = 2maxb; 0} = 2z+.
Отсюда следует, что при J {и), g{u)^C^{Uo) функция (8)
непрерывно дифференцируя но а и Я, причем
^ = Ми{и, Ц = /'(и) + (g'(^))^(Я + Ag{u)f,
^ = M^{u,X)==j[{^ + Ag{u)f --Xl u^Uo, K^E^, ^^°^
где g'(w) — матрица порядка 77iX7i, у которой в i-й строке,
dgi (и)
/-М столбце g^^ {и) ==—Г" (^ = 1» . • .г ^» / = 1, .. .1 'i)» а
матрица (g'(а))''получена транспонированием gr'(а). Далее, пользуясь
теоремами 4.2.7, 4.2.8 и следствиями из них, нетрудно показать,
что если Uq — выпуклое множество и функции /(и), gi{u)
выпуклы на i/o, то функция М{и, К) выпукла по переменной и
на множестве Uq при любом фиксированном Х^Е"^. Отметим
также, хотя это ниже явно не будет использовано, что М{щ Я)
является вогнутой по переменной Я на множестве Ло при
любом фиксированном u^Uq — в этом прош;е всего убедиться,
доказав неравенство <Мх{щ X)'-'Mj,{u, jli), i—ili>^0 для всех Я,
Р; ^ Ло и затем обратившись к теореме 4.2.4.
Перейдем к описанию метода решения задачи F),
использующего функцию М{щ Я). В качестве начального приближения
возьмем любые точки Uq ^ С7о, Яо ^ Лв. Пусть к-е приближение

§ 13] МЕТОД МОДИФИЦИРОВАННЫХ ФУНКЦИЙ ЛАГРАНЖА 359
Uk ^ С/о, Яа s Ло уже известно. Составим функцию
^k{u) = ^\u^Uk\^ + aM{u,'kk), u^Uof (И)
где а —некоторое положительное число, являющееся
параметром метода. Предположим, что существует точка 1^л>
удовлетворяющая условиям
Vj^^Uo, Ф,Ы = т!Ф,(^). A2)
В качестве следующего (й+1)-го приближения возьмем точку
Wft+i такую, что
Wfe+i ^ и о, Фи (Uk+i) < inf Ф& И + 81/2,
Uo A3)
где 6a ^ О, lim 6^ = 0.6 частности, если точка Vk из A2) изве-
стна, то можно принять Uk+i = у*; в общем случае для
определения Uk+i из условий A3) нужно решать задачу A2) с^
помощью какого-либо сходящегося меюда минимизации. Дальнейшее
изложение не зависит от того, каким методом решается задача
A2), поэтому здесь мы можем ограничиться предположением,
что имеется какой-либо достаточно эффективный метод решения
задачи A2), позволяющий за конечное число итераций найти
точку Uk+i, которая удовлетворяет условиям A3). После
определения Uk+i точка %k+i находится по формуле
ЯA+l=(Я. + Л?(lг.+l))^ A4)
Правила получения (А:+1)-го приближения Uk+i^Uo, Xh+i^Aq
изложены.
Описанный метод кратко будем называть методом A3), A4). Для
исследования сходимости метода A3), A4) нам понадобятся некоторые
свойства функции а+, определенной равенствами (9). Из теоремы 4.4.2
следует, что
|а+_Ь+|^|а_Ь| yfa.b^E"^. A5)
Далее, система соотношений
g^O, Я>0, ligi^O, i = l, ..., m, A6)
эквивалентна равенству
Я= (Я + Л^)+ A7)
при любых постоянных л > 0. в самом деле, если выполняются
соотношения A6), то либо gi — О, Я,- ^0, либо Xi = О, gi ^0. В каждом из этих
случаев, очевидно, равенство A7) верно. Таким образом, из A6)
следует A7). Докажем обратное. Пусть имеет место равенство A7). Распишем
это равенство в координатной форме
Я<= (Я<+Л^,)+ = тах{Л^+Л^,; 0}, i = l, ..., т. A70
Отсюда ясно, что Я{ ^ О при всех i = 1, ..., m, т. е. %i ^ 0. Если \i = О,
то Xjgi = О и, кроме того, из A70 получим 0= (О + Л^,-)+= Я<+-4^<»

860 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
». »• gi < О, Если же и > о, то из A7') следует О < Xi == (Xi + Agi)+ ==
= %i 4- Agi, что возможно лишь при gi =0 и Xig{ = 0. Эквивалентность
<16) и A7) доказана.
Далее, пользуясь определением (9) функции а+, нетрудно получить, что
<а+, а> = <а+, а+>, <а+, 6> < <а+, Ь+> \^а,Ъ^Ё^.
Отсюда имеем
<а+ ^ &+, а - Ь> = <а+ а} + <6+ Ь> ~ <а+ Ь> - <Ь+, а> ^
^ <а+, а+^ + <Ь+, 6+> — <а+, &+> — <Ь+, а+> = <а+ ~ Ь+, а+ — Ь+>,
ff. е.
<а+ — 6+ а — Ь> ^ <а+ — Ь+, а+ — &+>. A8)
Теорема 1. Пусть Uq — выпуклое замкнутое множество из Е^ {нa-^
пример, Uo = Е^), функции J (и), gi{u), ..., gm(u) выпуклы на Uq и
принадлежат классу С^(?/о), /* > — оо, П^Ф 0, функция Лагранжа G) имеет аго-
тя бы одну седловую точку (и^, X*) ^ U^X ^q в смысле неравенств C),
Пусть, кроме того, последовательность {бл} из A3) неотрицательна и
оо
2 fift < °®« Тогда последовательность {(lift, Ял)}, удовлетворяющая усло^
виям A3), A4), при любом выборе начальных {щ, Ко) ^ Uq X Ао и любых
фиксированных параметрах а >• О, Л >• О существует и сходится к неко^
торой седловой точке функции Лагранжа G).
Доказательство. При сделанных предположениях функция
М(и, Я) выпукла по переменной ugUq при всех Я^Ло, Л > О, поэтому
при любых Uk^Uo, Ял^Ло, а > О, Л>0 функция Фк{и), определяется
формулой (И), сильно выпукла на Uq с константой сильной выпуклости
к = 1/2. Отсюда и из теоремы 4.3.1 следует, что точка Vh, удовлетворяющая
условиям A2), существует и определяется однозначно. Тогда существует
и точка Uk+u удовлетворяющая условиям A3): например, в A3) можно
взять i^ft+i = Vk. Здесь важно заметить, что многие из описанных выше
методов минимизации для задачи A2) сходятся и при любом бл > О по-
вволяют получить точку Uk+i из A3) за конечное число итераций. Таким
образом, при выполнении условий теоремы последовательность {{uk, Ял)}
существует и имеются достаточно эффективные способы реализации
каждой итерации метода A3), A4).
Наряду с точкой Ял+ь определяемой по формуле A4), введем еще точку
\ih= {Xk + Ag{uh))+, А: = 0, 1, .., A9)
Покажем, что для любой седловой точки (ii#, Я*) функции Лагранжа G)
справедливо неравенство
+Н^-"И' + Т|(*Л-ЧГ. А = 0, 1, ... B0)
Согласно лемме 4.9.1 существование седловой точки (м#, Я*) в задаче F)
эквивалентно соотношениям
L(u^, X*)^L(u, Я*) ugUq, B1)
^("¦)<0, Я*>0, Я^^|("«)=0, i = l,...,m. B2)
В силу эквивалентности соотношений A6), A7) условия B2) можно
переписать в следующей равносильной форме:
I* = {X* + Ag {и^))+. B3)

§ 13J МЕТОД МОДИФИЦИРОВАННЫХ ФУНКЦИЙ ЛАГРАНЖА 361
Кроме того, функция L{u, Л*) выпукла на Uq и принадлежит C^(Uq), а
тогда согласно теореме 4.2.3 неравенство B1) эквивалентно условию
<L^ (и^, Я*), U - и^у = </' (и^) -f {g' {u^)f},*, и-и^У^О
при всех и е Uq, Отсюда с учетом равенства B3) имеем
</' ("*) + ig' (u^)f (Я* + Ag Aг^))+, I. - i.^> > О, U е г/^, B4)
Далее, из условия A2) и теоремы 4.2.3 следует
Отсюда с учетом формулы A0) получим
<vk- uk + аГ(Vh) + a{g'(Uk)y(lk + Ag(vk))+, и-инУ^О,
и e Uq,
B5)
Примем в B4) и == uu, умножим это неравенство на а > О и сложим с
неравенством B5) при и = щ. Получим
("ft - "ft + «{J' Ы - J' («*)) + «is' ^f (Ч + ^e Ы^ -
— a {g' (u^)f (X* + Ag (M*))+, u^-v^)^0, Л = 0, 1. . •.
Отсюда имеем
<"& — "ft' «* — ''ft) > « <'^' (''ft) — •^' ("*)' ''ft — "*> +
+ « <D + Ag {v,))+, g' (v^) (v^ - «,)> -
-a.({X* + Ag{u^))+, g'(u^){v^-u^, k=>0,i,... B6)
Так как функции J {и), gi(u) выпуклы, то согласно теореме 4.2.4
</'A;^)-/'(«*), "ft-".) >0,
S' ("ft) ("ft — "«) > g ("ft) — 8 («») > g' (««) ("ft — "•).
Отсюда и из B6) следует
<fft - «ft, щ - i'ft> > a <(Xft + Ag (j;^))+_(^* + Л^ (M*))+, g (y^)-g («,)>=,
=J ((Ч+^г ("ft))+-(X*+^?(w*))+, [D+^g(,;^))-Xft]-[(^*+^g(a,))-3l»]>.
К праьой части этой оценки применим неравенство A8). С учетов форму«
лы A9), определяющей точку ц», и равенства B3) получим
> J (C^ft + ^^ (''ft))'' - <^* + ^^ ("*))"'• [C^ft + ^^ (^ft))"' - h] -
- 1{K* + Ag (щ))+ - X*]> = J <[i^ _ %*, |i^ ^ Я,й>,
т. е.
<"ft - "ft> "* - "ft> +T <^^ft ~ '^ft' ^* - l*ft> > 0. A = 0, 1, ... B7)
Справедливы тождества
I «u-"«f=|("ft-''ft) + (''ft-"*)l' = l''ft-"ftf+l"*-''ftl'+2<i'ft-Uft, «•-I'ft).
|Х»-Я,*|2= |p,s_?,»|2+|^#_ju]2+2<Hft-U Я*-и,»>.

362 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Умножим второе из этих тождеств на а/Л и сложим с первым. Отсюда с
учетом оценки B7) получим обеп^анное неравенство B0).
Далее, покажем, что
\uk+i — Vk\ < бл, \Xk+i — \ik\ < 2бл, А; = О, 1, ... B8)
Поскольку функция Фк(и) сильно выпукла на С/о, то с помоп^ью
теоремы 4.3.1 и первого неравенства A3) получим
I %+1 - Ч1V2 < Ч («ft+i) - <^иЫ < 6ft/2.
ЧТО равносильно первой оценке B8). Из формул A4), A9), определяющих
точки Ял+ь М-л+ь неравенства A5) и условий A3) следует
|Хл+1 —tiftl ^ ^|g(Mft+i) — g(yft)| ^ Лбл.
Оценки B8) доказаны.
В (/г + ттг)-мерном линейном пространстве R'»+"» переменных z =
= (м, X) = (м*, ..., и**, Хь ..., Xw) введем скалярное произведение
<<2ь 22>> = <М1, М2> + (а/Л)<Х^ ^2) и соответствуюп^ую ему норму
N1 = (кР+(а/Л)|Х|2I/2. B9)
Тогда, обозначив za = (мл, Ял), шл = (ул, [Аа),«* = (М:„, Я*), неравенства B0)
и B8) можем записать в виде
Ik*-z*\?>||шл-z*||2 +\\WK-zu\ л == о, 1, .,., C0)
IUa+1 - wkW ^ {Aa + 1)бл, A: = 0, 1, ... C1)
Напомним, что по условию 2 ^А "^^ °°* Таким образом, последователь^
л=о
нести {zft}, {шл}, {бл} удовлетворяют условиям леммы 2.3.10. Для полной
строгости, конечно, нужно заметить, что в неравенствах B.3.30), B.3.31)
использована евклидова норма линейного пространства R'*+'", а в только
что полученных неравенствах C0), C1)—норма B9). Тем не менее,
рассуждая так же, как при доказательстве леммы 2.3.10, нетрудно показать,
что суп^ествует конечный предел lim 11 z^ z*\ и, кроме того,
ft->oo
Дт11ш,-г^|| = 0. C2)
Заметим, что
min {1; а/Л}|z|2 ^ lUIP^ max {1; olIA}\z\\
т. е. нормы |2| и HzII эквивалентны. Отсюда и из существования конечного
предела lim || z^^ — z* II следует, что последовательность {zk= (uk, кн)} ^
е С/о X Яо ограничена в jE'*+"» и из нее можно выбрать подпоследовательность
{^ft, ~("V ^АгI» которая сходится в Е^+^ к некоторой точке с* = (а,,,,
Ь*), причем а^ S G^, Ь*еЛо в силу замкнутости Uq и Ло. Покажем, что
с* =3 (а^, Ь*) — седловая точка функции Лагранжа G). Из Jz^^j -> с* и C1),
C2) следует, что {м^д ] -> с*, iz^^ _^А ->- с*. Тогда из A4) при к = кг-^оо
получим
b* = (b* + Ag(a^))+. C3)
В силу эквивалентности соотношений A6) и A7) из C3) следует
йМ<0, Ь*>0. b*gi(a.) = 0, « = 1 т. C4)

§ 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 363
Далее, переходя в B5) к пределу при к = кг-^оо, будем иметь
{Г (а*) + {g' (a^)f F* + Ag (а^))+, и - а^> > О, и^ U^,
или с учетом C3)
</' («*) + ig' i4)fb*, и-^а^)=^ <L^ (а*, b*), и^ а,> > О
при всех u^Uq. в силу выпуклости L{u, b*) последнее неравенство
эквивалентно неравенству
L{a^,b*)^L(u,b*), и^и^. C5)
Из соотношений C4), C5) и леммы 4.9.1 следует, что «* = («¦, Ь*) ^
седловая точка функции L{u, X) в смысле неравенств C), а тогда
согласно теореме 4.9.1 а*—решение задачи F).
Заметим, что неравенство C0) верно для любой седловой точки, в
частности, оно верно и для найденной точки с* = (а^, 6*).Поэтому суп^ест-
вует конечный предел lim 11 Zj^ _ с* Ц» причем в силу определения точки с*
имеем lim II Zj^ — с* || = lim 11 z^^ — с* | = 0. Это значит, что вся последо-
вательность {zh= (wk, Xk)} сходится в точке с* = (а,,., 6*), и, в частности,
{uk} сходится к «¦ —решению задачи F). Теорема 1 доказана.
Другие методы поиска седловой точки функции Лагранжа, другие
методы решения задачи A) или F), основанные на связи между
двойственными задачами (см. теорему 4.9.6), а также библиографию по таким
методам читатель найдет в [8, 29, 111, 116, 152, 330].
§ 14. Метод штрафных функций
1. Метод штрафных функций является одним из наиболее
простых и широко применяемых методов решения задач мини-
мизаци. Основная идея метода заключается в сведении исходной
задачи
к последовательности задач минимизации
Ф,{и)-^ти u^Uo, А = 0, 1, .., B)
где Фа (и) —некоторая вспомогательная функция, а множество
Uq содержит и. При этом функция Фь(гг) подбирается так,
чтобы она с ростом номера к мало отличалась от исходной
функции J (и) на множестве U и быстро возрастала на множестве
UqKU. Можно ожидать, что быстрый рост функции Фл(м) вне U
приведет к тому, что при больших к нижняя грань этой
функции на С/о будет достигаться в точках, близких ко множеству U^
и решение задачи B) будет приближаться к решению
задачи A). Кроме того, как увидим ниже, имеется достаточно
широкий произвол в выборе функций Фк{и) и множества Uo для
задач B), и можно надеяться на то, что задачи B) удастся
составить более простыми по сравнению с задачей A) и
допускающими применение несложных методов минимизации.

364 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Определение 1. Последовательность функций {Р^{и)^
к==0, 1, ...}, определенных и неотрицательных на множестве t/o,
содержанием множество С/, называют штрафом или штрафной
функцией множества U на множестве Uo, если
ГО, и^и,
ИШ Pft (и) = { гт \ тт
Из этого определения видно, что при больших номерах к за
нарушение условия u^U приходится «платить» большой штраф,
в то время как при u^U штрафная функция представляет собой
бесконечно малую величину при fc ->• <».
Для любого множества U<=^E'^ можно указать сколько угодно
различных штрафных функций. Например, если {АJ — какая-
либо положительная последовательность, lim А^ = оо^ то можно
ft->oo
взять
Pj,{u)=^Akp{u, с/), we?«=:i7o, fe-0, 1, ...
(здесь и предполагается замкнутым) или
[Afi\u--ul и^и^ fe = 0, 1, ...;
здесь р (и. С/) = inf I гг ¦— i; I — расстояние от точки до множе-
ства и, а и — какая-либо точка из U, Другие примеры штрафных
функций будут приведены ниже.
Допустим, что некоторое множество Uo, содержаш;ев t/,
а также штрафная функция {Pk{u)} множества U на С/о уже
выбраны. Предполагая, что функция J {и) определена на C/oi
введем функции
0,{u)==J{u) + P,{u), u^Uo, fe = 0, 1, ... C)
и рассмотрим последовательность задач B) с функциями C),
Будем считать, что
Фй» = inf Oft (и) > — ос, к = 0,1, ... D)
Если здесь при каждом й==0, 1, ... нижняя грань достигается,
то условия
ФлЫ = Фа*1 i^k^Uo, E)
определяют последовательность {uj. Однако точно определить
щ из E) удается лишь в редких случаях. Кроме того, нижняя
грань в D) при некоторых или даже всех /с == О, 1, ... может и
не достигаться. Поэтому будем считать, что при каждом к ==
«= О, 1, ... с помош;ью какого-либо метода минимизации найдена

i 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 365
точка Mft, определяемая условиями
Щ G и о, Oft (Uh) < Oft« + 8ft, F)
где (eJ — некоторая заданная последовательность, 8^>0, к =
= 0, 1, ..., lim 8ft = О (если и^ удовлетворяет условиям E), то
В F) допускается возможность 8^ = 0). Отметим, что, вообще
говоря, щ ^ и. Метод штрафных функций описан.
Подчеркнем, что дальнейшее изложение не зависит от того,
каким конкретным методом будет найдена точка щ из F).
Поэтому мы здесь можем ограничиться предположением, что
имеется достаточно эффективный метод определения такой точки.
2. Перейдем к исследованию сходимости метода штрафных
функций. Так как
Иш Pft (и) = оо при и S Uq\Us
ft-» 00
то МОЖНО ожидать, что для широкого класса задача A)
последовательность {uj, определяемая условиями F), будет
приближаться ко множеству U и будут справедливы равенства
Иш / (Uft) = J^^ lim р {щ, и^) = 0.
Мы здесь ограничимся рассмотрением задачи A) для
случая, когда множество U имеет вид
t = w+l, ..., 5}, G)
где Uq — заданное множество из ?"* (например, С/о = Е'^),
функции J (и), gi{u) {i = i, ..., s), определены на Uq. В качестве
штрафной функции множества G) возьмем
т S (8)
P(u)=S(max{gi(i.);0}f + iS UiC^)!^, ^^f^o,
где ^fe>0 (fc = 0, 1, ...), lim Лд = 00, a p> i — фиксирован-
Hoe число.
Очевидно, если функции gi{u) г раз непрерывно
дифференцируемы на множестве С/о, то при любом р>г функция (8)
также будет г раз непрерывно дифференцируема на С/о. Если
в (8) /? = 1, то из непрерывности gi{u) (^ = 1, ..., s) следует
непрерывность Ри{и) на Uq, но гладкости Ри{и) в этом случае
ожидать не приходится. Полезно также заметить, что если С/о —
выпуклое множество функции gi{u) при t = l, ..., т выпуклы
на С/о, gi{u)=<ai, 1г> — 6'— линейные функции при i = m+i, ...
..., 5, то функция (8) выпукла на Uq — это вытекает из
следствия к теореме 4.2.8.

366 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Если для краткости ввести обозначения
+ . . _ (max{gi(M);0} i = l,,..,m,
^' ^"^"l|gi(«)l, i = m + l,,.„s, ^^>
то функцию (8) МОЖНО записать в виде
Р^ (и) = ЛР (и), Р (W) = 2 (gt {и))\ и е Uo.
функцию Р(и) МЫ иногда также будем называть штрафной
функцией множества G), подразумевая при этом, что после
умножения на -4ft>0, lim -4^^ = оо, она превратится в штрафную
функцию В смысле определения 1. Величины Аи из (8) будем
называть штрафными коэффициентами.
Заметим, что суш;ествуют и другие штрафные функции
множества G). Например, вместо (8) можно взять
Pk (и) = S ^н (gt {и)У\ и^и,, А: = О, 1, ...,
где Pi > 1, A^i > О, lim А^1=^ оо (t = 1, .,., s)\ здесь каждое ог-
ft-»oo
раничение из G) имеет свой штрафной коэффициент. Весьма
широкий класс штрафных функций множества G) дает следу-*
ющая конструкция:
Pk[u) = ^ Aki^i{gt{u))^ u^Uo, & = 0, 1, .,.,
где 4>i{g)—произвольная функция, определенная при g>0
такая, что фг@) = 0, 9i(g)>0 при g>0, J = l, ..., s. При
необходимости можно выбрать функции фi(g) так, чтобы штрафная
функция Ph{u) обладала различными полезными свойствами,
такими, как, например, непрерывность, гладкость, выпуклость,
простота вычисления значений функции и нужных производных
и т. п. Возможны и другие конструкции штрафных функций
множества G). Приведем епце два конкретных примера
штрафной функции
Pft(«) = (i + i (gt(«))"')'''-1. Pi> 1*
^ / m s \
Ph (w) = ^ft M 2 exp {Akgi (u)} + 2 exp [Akg! (u)] L w e U^^
где Ak>0 (fe = 0, 1, ...), lim A^ = oo.

§ 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 367
Прежде чем переходить к строгим формулировкам теорем
сходимости метода штрафных функций, рассмотрим несколько
конкретных примеров.
Пример 1. Пусть требуется решить задачу
J (и) = х^ + ху + у^->- inf,
и^и = {и^{х, у)^Е^: ж + г/-2 = 0}.
В качестве штрафной функции возьмем Pk{u)=^k{x + y'-2y и
положим
Ф^,{и) = х^ + ху + у^ + к{х + у-2)\ u^Uo^E^; й = 1, 2, ...
Функция Фh{u) при каждом фиксированном А; = 1, 2, ... сильно
выпукла на Е^ и достигает своей нижней грани на Е^ в точке
^ft = {Xkj Уъ), которая определяется уравнениями
\\ "' = 2xft + i/ft + 2k(xk + yk-2) = О,
дФ (и^)
= a;ft + 2ун + 2к{хи + Ук-2) = 0,
ду
Отсюда получаем
При к-^оо будем иметь w^-vw^j. = A,1), Oj^{Uh)-^3. Нетрудно
видеть, что щ — решение исходной задачи. В самом деле,
/' (щ) = C; 3), </' (щ), и — щУ = 3 (ж—1) + 3 (г/—1) = О для всех
и^и. В силу выпуклости множества U и функции J {и)
согласно теореме 4.2.3 тогда щ—точка минимума J (и) на С/, причем
J(и^) = J^ = 3 == limOk(Uh).TdiKHM образом, в рассмотренном
примере метод штрафных функций сходится.
Пример 2. Пусть
/(t^) = e-"->inf; и^и=-{и^Е': g(i^) = ue-« = 0).
Здесь и == {0} = и^, /:{:= 1. Возьмем штрафную функцию Pk{u) =
^kg^u) = ku^e'^'' и положим Ok{u) = е^'' +ки^е-^"", u^U^=^E\
Так как Фь(^)>0 при всех и е ?\ lim Ф^ (w) = О, то Ф^* =
а inf Ф^ {и) = 0. В качестве точки щ, удовлетворяющей усло-
виям F) при Sfe == б"''+/Ь^е"^\ здесь можно взять Uj^=^k (fe =
«1, 2, ...). Получим lim/(i^ft) = 0</^ = 1, lim p(i^ft, C/^j,) ==
s=oo^ Таким образом, выясняется, что метод штрафных
функций не всегда сходится.
Перейдем к изложению достаточных условий сходимости
метода штрафных функций для задачи A), G). Для
определенности все формулировки и доказательства теорем проведем для

368 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
штрафной функции (8), хотя некоторые из нижеследующих ут^
верждений будут справедливы и для более широкого класса
штрафных функций.
Теорема 1. Пусть функции J {и), gi{u) (i = l, ..., s), о/г-
ределены на множестве Uq, а последовательность {и^} определена
условиями C), F), (8). Тогда
Tim / Ю <TIm Фи (uk) = Tim Ф/,* < /^. A0)
fe-^CX) ft-*oo fe-^схэ
Если, кроме того, J^^ = inij (и)> -—оо, то
Р (uk) = 2 (gt ЫУ = о (А^'), А: = о, 1, ..., (И)
г=1
Timgi{ukX:0, i = l, ...,m; lim gi (i^^) = О, i = m + i,...,s.
A2)
Доказательство. Так как P{u)>0, то из C), F), (8)
имеем
/ (Uk) < / (uk) + А^Р (uf,) = Oft (uk) < Oft* + Sft <
<Oft(l^) + 8ft = /(iг) + Л^(a)-ЬSft y/u^Uo, fc = 0, 1, ...
Отсюда, переходя к нижней грани по u^U ж учитывая, что
Р{и) = 0, и^ и, получим
/K)<Oft(i^ft)<Oft» + Sft</^ + Sft, & = 0, 1, ... A3)
При fe->oo из ^13) вытекает A0).
Пусть теперь /нс*> — ^- Так как J^'^J^^, то J<^> — оо.
С учетом A3) имеем
0<4ftP(Uft)==Oft(aft)--/(i^ft)</^ + eft — /^^, fe = 0, 1, ,..,
или
0<Р{щХи^ + SUp8ft-/,,^\Aft\ fc = 0, 1, ...
V h>0 J
Оценка A1) доказана. Из нее следует, что limP(wft) = 0 или
fe->oo
lira gt (uk) = 0 (i = 1, .,., 5). Вспоминая определение (9) для
gt (и), отсюда получим соотношения A2).
Пример 2 показывает, что в общем случае неравенства в A0)
могут быть строгими. Приведем достаточные условия, когда
Иш J{Uh) = J^.
ft-» 00
Теорема 2. Пусть Uq — замкнутое множество из ?",
функции J (и), gi{u), ..., gm{u)^ \gm+i{u)\, ..., \gs{u)\ полунепрерыв'
ны снизу на С/о, /**= inf/(а)> — оо. Пусть последовательность

§ 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 369
{wj, определяемая условиями C), F), (8), имеет хотя бы одну
предельную точку. Тогда все предельные точки {aj принадле^
жат множеству U^ точек минимума задачи A), G). Если^ кро-^
ме того, множество
Ub=^{u: u^Uq, gi"(wX6,1 = 1, ...,5l A4)
ограничено хотя бы при одном значении б > О, то
Иш Фи (Uk) = lim Фи^ = lim / {uk) = /*, 1™ р (uu, U^) = 0. A5)
Доказательство. При сделанных предположениях для
последовательности {uj) соотношения A0) — A2) сохраняют
силу. Пусть v^ — какая-либо предельная точка последовательности
iut), пусть [a/tj.}->z;jj,. Заметим, что v^^Uq в силу
замкнутости Uq. Тогда с учетом нолунепрерывности снизу указанных
в условии теоремы функций из соотношений A2) получим
gi(i;J<limgi(wfe^) <limgi(i^feXO, i = 1, ...,т,
I gi (v^) к lim I gi (Ub) I = lim I gi (uk) | = 0, i = w + 1, ..., 5.
Следовательно, v^ ^ U. Тогда с учетом A0) имеем/:j. ^ / (y^j,) ^
^ lim / (Uh^) ^ lim / (u^) ^ /^, т. e. lim J/щ^ == J {v^) = J^
или u^^U^.
Наконец, пусть множество A4) ограничено при некоторых
б>0. Из соотношений A2) следует, что (wj ^ С/в для всех
к > ко. Это означает, что {uj имеет хотя бы одну предельную
точку. Тогда, как было выше показано, все предельные точки
{uj принадлежат С/^j,. Следовательно, lim p(i^;j, С/^j.) = 0. Из тех
же рассуждений и неравенств A0) вытекают остальные
равенства A5). Теорема 2 доказана.
Для иллюстрации теоремы 2 рассмотрим
Пример 3. Пусть
/(t^) = e-"^inf; и^и==-{и^Е': g{u) = u=-0}.
Здесь /не = 1, и^ = {0}. Функции J (и), g{u) непрерывны на
замкнутом множестве С/о == Е\ J^^=' inf ^-^=0, множество Ua =з
= {и^Е^: \и\<д} ограничено при любом б>0. Таким образом,
все условия теоремы 2 выполнены. Возьмем штрафную функцию
P{u)=={g{u)y = u^ и положим
ФЛи)=е-^ + ки\ и^Е\ fe = l, 2, ...
Нетрудно видеть, что Фк{и) сильно выпукла на ?*, поэтому
Ofe^ == inf Ф^A^)>>—сх). Пусть (еJ — произвольная неотрицатель-

370 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ* 5
ная последовательность, стремящаяся к нулю. Определим точку
Uf, из условия Ф^(^/1)^Ф^» + 6fe(fe = 1, 2, ,..). Для получаемой
таким образом последовательности {и^) согласно теореме 2 имеют
место равенства A5).
3. Нетрудно видеть, что рассмотренные в примерах 2 и 3 задачи по
существу одинаковые: минимизируется одна и та же функция е-" на одном
и том же множестве С/ = {0}, и отличие лишь в том, что в примере 2
множество и задается ограничениями g(w) = ме""** = О, а в примере 3 —
g(n) =s и = 0. Тем не менее, в примере 2 метод штрафных функций
расходится, в примере 3 — сходится.
Отсюда заключаем, что для сходимости метода штрафной функции
важное значение имеет способ задания множества U: ограничения, задающие
множество и, и штрафные функции этого множества должны быть как-то
согласованы с минимизируемой функцией J {и).
Определение 2. Скажем, что задача A), G) имеет согласованную
постановку на множестве С/о, если для любой последовательности {uk} е С/о,
для которой
lim gfhiA^O, i = l, ...,s, A6)
имеет место соотношение
lim / {и^) > /^ = inf / {и), A7)
Отметим, что в примере 3 задача имеет согласованную постановку на
Е^, а в примере 2 такой согласованности нет.
Теорема 3. Пусть Фк(и) = J (и)-}-АиР (и) у где Р(и) определена
формулой (8), пусть Ф^^^ = inf Ф^^ (а) (А; = О, 1, ...). Тогда для того,
о
чтобы
lim Ф;^ = /„, A8)
необходимо, чтобы задача A), G) имела согласованную постановку на мно-
жестве Uq. Если J^^ inf J {и) :>—оо, то согласованной постановки
задачи A), G) на С/о достаточно для справедливости равенства A8).
Доказательство. Необходимость. Пусть имеет место
равенство A8). Возьмем произвольную последовательность {иг} е C/q,
удовлетворяющую условиям A6). Тогда Иш Р (и\ = 0. Справедливы пера-
венства Ф;^^ < Ф^ (г^^)< / {\) + Aj^P (w^), г = 1, 2, ... Отсюда при г -> оо
получим Фд^ < Иш / (^и^) при всех А; =, О, 1, .., Переходя здесь к пределу
при А;->-оо, с учетом A8) будем иметь lim /(wN^lim Ф&^=А» что и
требовалось.
Достаточность. Пусть/**> —°^» задача A), G) имеет
согласованную постановку на множестве Uq. Поскольку Фк(и) ^J(u) при всех
W е &о, то Фд '^J^^'> — оо^ и имеет смысл говорить о
последовательностях, удовлетворяюп^их условиям F). Возьмем одну из таких
последовательностей {uk}. Согласно теореме 1 тогда справедливы соотношения A0) —A2).
Заметим, что A2) равносильно A6), откуда следует A7). Из A3), A7)
подучим Иш / (иЛ = Иш Фь =/#. Теорема 3 доказана.
Класс задач A), G), имеюп^их согласованную постановку на С/о,
указан в теореме 2. Другой такой класс задач выделяется в следующей лемме.

§ 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 371
$
Лемма 1. Пусть функция Лагранжа L {и, Я) = / (и) + 2 ^ i^i (")»
в е С/о, Я е Ло ==' {X = (А,1, ..., Я,) е Е^: ^i > О, ..., Ят > 0} имеет седло^
вую точку на С/о X Ао. Тогда задача A), G) имеет согласованную
постановку на С/о.
Доказательство. Пусть (w#, Я*) е С/^ X Л^ — седловая точка
функции L(i*, Я), т. е.
L (и*, Я) < L (и*, Я*) < L {и. Я*) Vi^ е С/^, Я е Л^. A9)
Согласно теореме 4.9.1 тогда м,^ е С/,>, / (м^,) = J^ = L (м#, Я*). Из
определения (9) функции g^ (и) с учетом условия Я*еЛо имеем
ЯГ^1 (^) < I ЯГ U+И Vi^sC/^, i = l, ...,5.
Отсюда и из A9) получим
/» < / A.) + 2 1 ^t I it (^) Vi. s С/^. B0)
i=l
Возьмем любую последовательность {uk} е С/о, удовлетворяющую
условиям A6). Тогда из B0) при и = uk подучим lim J(uh)'^ J*, т. е. задача A),
fe-*oo
G) имеет согласованную постановку на С/о.
Из теорем 1, 3, леммы 1 следует
Теорема 4. Пусть функция Лагранжа задачи A), G) имеет
седловую точку и Ji^n, = inf / (ц) >• — оо; пусть последовательность {ик} опреде-
лена условиями C), F), (8). Тогда Ит / {и^) — lim Ф^ (иЛ = lim Ф^ = /#
fe-^oo fe-»oo ft-» с»
и справедливы соотношения A1), A2).
4. Покажем, что теорема 4 сохраняет силу и без требования
Более того, для задач, у которых функция Лагранжа имеет седловую точку
и даже для несколько более общего класса задач A), G), можно получить
оценку скорости сходимости метода штрафных функций.
Определение 3. Скажем, что задача A), G) имеет сильно
согласованную постановку, если найдутся такие числа ci ^ О, .,,, с. ^ О, v >• О,
47*0
/* </ (^) + 2 с. (gf {и)У у/и е и^. B1)
Как видно из неравенства B0), задачи A), G), функция Лагранжа
которых обладает седловой точкой, имеют сильно согласованную постановку,
причем в B1) можно взять с^ = 1 Я* |, v = 1. Другой важный класс задач
с сильно согласованной постановкой будет приведен ниже в лемме 5.
Теорема 5. Пусть задача A), G) имеет сильно согласованную по^
становку в смысле определения 3,/#> — оо, последовательность {uk} опре^
делена условиями C), F), (8), где р > V. Тогда
О < {4 {Ч)У < ЧЧ) < Pft' /^ = 0,1,..., B2)
-\c\{Phf^<J{^h)-'^*<4^ Л = 0,1, ..., B3)
- 5^^-v/(p-v)^ ф^(^^) _ ^^ ^ е^, ^ БЛ--А^-^> < Ф,^ - /* < 8„
А: = 0, 1, ..., B4)

372 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 9
tde
f\c\ \рПу-у) , р Ч , . ,
Pft = (^j +Т=^\' fe = o.i,....
2 1 с. |Р/(Р-^> J , в = (р - V) v'^^^P'^^p-PnP-^) I с p/(P-v)^
Если, кроме того, Uq замкнутое множество, функции J(u), gj (и) полуне^
прерывны снизу на Uq, {Л^}-> оо, {8а}-)-0, и v^—предельная точка по-»
еледователъности {иь}, то у* е U^»
Доказательство. Прежде всего покажем, чтоФй^> — оо. Из B1)
следует
Фа(«) -/* = /(«)-/* + Л^Р {и)>-^с. (gf {и)У + Л^, 2(gt{u)y>
8
Нетрудно видеть, что функция фB) =—ctz"^ + AhzP, где р > v, достигает
/ VC. \i/(P-v)
своей нижней грани при 2 ^ О в точке z^ = | —_- , причем ф (z^.) ==
-Ш
«mm9B) = -v^/(^-'^>p-P''^^-^>cf(^-^^p-~v) ЛГ^/(Р-^). Осюда и пзB5)
следует, что
Ф^^ {и) -J^>^ БЛ-^/(Р-^) Vu е и^. B6)
Переходя к нижней грани по м s Uq, из B6) имеем
Ok^-J*>-BA^'^^^P'"^K B7)
Отсюда вытекает, что Ф^^^ > — оо. Это значит, что при е^ > О точка мя,
удовлетворяющая условиям F), существует по определению нижней
грани (при 8л = О существование такой точки предполагается),
Далее, из A3), B1) имеем
^ Ы + ^kP Ы <J* + 4<J Ы + 2 «^i (st {Ч)У + «ft. 28)
так что
О < Л1Р {и^) < 2 q (gf (и^)У + г^, fe = ОИ. ... B9)
Пользуясь неравенством Гельдера
,2:;л|<B;г) Bч) ¦ ^+f-'.
при Ъ{ = d, «i = (gf {^k)y, m = p/v, г = p/(p — v), получаем
0 < i с. (g+ (a,))v < I с I (P («,))v/P. C0)
i=l

i 141 МЕТОД ШТРАФНЫХ ФУНКЦИЙ 373
Отсюда и из B9) следует О ^ AkP(uk) < \с\ (P{uk)y^P + гк или О < 2^^^ <
< 1 с I А-'^^'^ z-\-z^ (А: = О, 1, ...), где z = {АкР{ик)У^^. С помощью лем^
мы 2.3.11 тогда получаем
^то равносильно оценке B2). Далее, из B8) с учетом C0) имеем
Отсюда и из уже доказанной оценки B2) следует оценка B3). Далее,
левые неравенства B4) получаются из B6) при i* = мл и из B7), правые
неравенства B4) вытекают из A3). Наконец, утверждение о том,
предельная точка у« последовательности {ик} принадлежит ?/#, вытекает из
оценок B2) — B4) и доказывается также, как аналогичное утверждение в
теореме 2.
Теорема 6. Пусть задача A), G) имеет сильно согласованную по^
становку в смысле определения 3, /« >• — оо, последовательность {uh}
определена условиями C), F), (8), г^е р = V, ^1, > I с I = max 1 с. |. Тогда
о < Ы ЫГ < Р Ы < А,-\с\' C1)
-UI A;,-\c\<4'^k)-J*<4' C2)
0<Фй(«й)--^*<^ %* = -^*- C3)
Если и^.ф 0, то
и* = ^k^ ={" ^ ^0- % (") = ФлЛ- C^)
Если^ кроме того, Uq — замкнутое множество, функции 7{и)^ §\{и)
полунепрерывны снизу на С/о, {8fc}->0, и v^^— предельная точка {i*a}, то v^gU^,
Доказательство. Из B5) при р = v, Ла > |с| имеем Ф^^{^—Ji^
^0, и^и^^ так что Ф^^^/#> —00, и последовательность {ик}^ удов-
летворяюп^ая условиям F), при 8л >• О существует. Из B9) при р = V,
Лк > |с| сразу получаем оценку C1). Из нее и из B8) при р =v следует
оценка C2). Из A3) и B5) при р = v, Ак> \с\ с учетом того, что
min (— С|2^ + ^h^^) ~ ^» приходим к соотношениям C3). Докажем равенст-
во C4). Возьмем произвольную точку w# е ?^#. Тогда Р (i*^) = О и Ф^ (и<|) =
f=s J {щ) = /^ = ф^^^, так что и^ е Uj^^. Следовательно, ?/# с: Uj^^. Пусть
теперь Мд е С^д^, т. е. ^ft(^ft^) = ^ft^» Это значит, что условие F) при
"ft ¦«= Uj^^ выполняется с 8д = 0. Тогда из оценки C1) при 8^^= О получаем
Р {Uj^^) = О, т. е. Мд^е U, Отсюда, из C3) и из того, что / ("ft^)= Ф^ (^д^) =
= Ф^^ = /^ следует, что Uj^^ е С^#. Следовательно, Uj^^ с: ?/#. Равенство
C4) доказано. Последнее утверждение теоремы вытекает из оценок C1) —
C3) и доказывается так же, как аналогичное утверждение в теореме 2.
Из теоремы 6 следует, что случай р = v интересен тем, что при
точной реализации метода штрафных функций C), F), (8) решение
исходной задачи A), G) может быть получено при конечных значениях
штрафного коэффициента Ак*

374 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, в
Рассмотрим примеры, которые показывают, что оценки, полученные в
теоремах 5, 6, не могут быть существенно улучшены на классе задач A),
G), имеющих сильно согласованную постановку.
Пример 4 Рассмотрим задачу
j[u) = —M-^inf, u^U = {u^E^: g{u) = u^O}.
Здесь /» = 0, ?^* = W- Функция Лагранжа Ь{щХ)=—и + %щ и ^ Uq= E^^
XgAo={X^E^: Я^О} имеет седловую точку (м* = О, Я* = 1), так чт
согласно B0) неравенство B1) выполнено при v = 1, с< = 1, 5 = 1.
Возьмем штрафную функцию Рл(и) = Ak(g+{n))P = Лл(тах{и; 0})р, р > 1, -4* >
> 1, {Ак} -^ оо. Тогда функция C) будет иметь вид
^j—u + Aj^u'P, u>0,
{— и, м < и,
Нетрудно показать, что
Ф.. = int Ф. («) = {: Р^ (,л,Г/С-« р > 1.
причем нижняя грань достигается в точке м^^ == О при р = 1 и м^^^ =»
= (рЛ^)"*^^*^*"*^при /7 > 1, А; = О, 1, ... Последовательность (и^^^)удовлет^
воряет условиям E) или F) с ел = О, причем
р («*.)={
о, р=1, _|0, р = 1,
Сравнение этих точных равенств с оценками теорем 5, 6 при Еа == О
показывает, что в случае р = 1 оценки C1), C2) точны, а в случае р >• i оцен-*
ки B2) — B4) точны по порядку и отличаются от точных оценок лишь
константами при степени Ах. Если 8л > О, то при р = 1 в качестве точки их,
удовлетворяющей условиям F) и наиболее удаленной от U^, здесь
можно взять их^ Bkl{Ax — l) {к = О, 1,...). Тогда Р(их) = их= EhiAx— \с\)-\
= 8д {к = 0, 1, ...)» что совпадает с оценками C1) —C3). Если е^ > О,
р = 2, то точка Ufc = A/BЛа)) + (8а/Лл)*/2 удовлетворяет условиям F),
причем Af^P (u^) = Af^ul = A/DЛ^,)) + 8^,+ {e/Akff\ J (Uj^) - /* = ^ u^,
^k ("ft) — -^^ = вд —- A/DЛ;^)), ЧТО также свидетельствует о том, что
оценки B2)—B4) на классе задач с сильно согласованной постановкой не
являются грубыми.
Этот же пример показывает, что в теореме 6 требования Ах'> \с\ не
может быть опущено. В самом деле, если Ах < i = |с|, р — 1, то Ф^*=*
в—-оо; если же i4ft = 1 = |с|, /7 = 1, то Oa(w) sO, Ф^^^ = О, С^^^ =*?*
и нарушено равенство C4).
Пример 5. Рассмотрим задачу
J (и) = —i^-^inf, и^и = {и^Е^: g{u) = и^^О).
Здесь /¦ = О, и = 17^=^ {0}. Функция Лагранжа Е{щ Я) =—w + ки\ ме Е^,
Я е Е^, седловой точки не имеет, но тем не менее задача имеет сильно
согласованную постановку. В самом деле, справедливо неравенство /* = 0 <
^ — w + |u|= — м -j-(g (и))^^^ при всех и е Е^, так что неравенство B1)
выполняется при с = 1, v = 1/2. Возьмем штрафную функцию Р{и) =
s= (max{»2; о\)р =s (и2)р. Если р > 1/2 = v, то функция Фх(и) = —и + Ллп^р,
Ах > О, {Ах} -^ оо, достигает нижней грани на Uq = Е^ при и^^^ =з

8 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 375
«Bр^^)-1/BР-1> № = 0,1,...), причем i'(«ft«) = Bp4r''"^'''~"'
J («fe») - А - - «ft», Фй* - /, = - Bр -1) (BрJ»'Л^-1/BР-1) (ft = о,
1, ...). Как видим, эти оценки лишь константами при степенях Аь,
отличаются от оценок B2) — B4). Интересно заметить, что с увеличением р
оценки ухудшаются. Если р = v = 1/2, Ла > 1 = |с|, то Фл(м) = —м + Лл|м|,
^fe*~^* Точка Kft = 8ft(^ft —1)-1 удовлетворяет условиям F) и наиболее
удалена от U^ = @). Тогда Р{иу,) = |i^^l = 8л(Лд — 1)-», / (w^) -'/¦=»
——Ид, Фй(^й)—•^* = 8^j^ что совпадает с оценками C1) —C3).
5. Выполнение соотношений A2) или A6), как показывает пример 2,
еще не гарантирует сходимость последовательности {u^S из F) ко
множеству и. Для такой сходимости множество должно удовлетворять
некоторым дополнительным условиям.
Определение 4. Скажем, что множество G) задано корректными
ограничениями на Uq, если всякая последовательность {uk} е t/o, удовлет-
воряюш;ая условиям A6), сходится ко множеству U,
Примеры 2, 3 показывают, что одно и то же множество может быть
задано как корректными, так и некорректными ограничениями. Как следует
из доказательства теоремы 2, ограничения из G) будут корректными на Uq,
если функции gf (и) (i = l,...,s), полунепрерывны снизу на замкнутом
множестве Uq, а множество t/F), определяемое согласно A4), ограничено
при некотором б > 0. Корректными будут также ограничения, для которых
удается доказать неравенство
9{u.U)^h(gf{u),...,gfiu)) yfu^U^, C5)
где функция h{t) = h{ti, ..., ^) >0 при всех t ^ Е^^, t^O, А@)=0,
limh(t) =0. Приведем важные классы множеств G), задаваемых коррект-
«-¦0
ными ограничениями, для которых неравенство C5) имеет вид
p(u,UX,M(m3iXg^(u)Y y/u^U: М > О, Y>0- C6)
Лемма 2. Пусть Uq — выпуклое замкнутое множество, функции
gi{u), ..., gm(u) выпуклы и непрврывны на Uq, пусть существует такая
точка й е ?/о, что gi(u)<0, ..., gm(«) < 0; пусть множество U={ugUq:
gi{u) ^0, ..., gm{u) ^0} ограничено. Тогда неравенство C6) выполняется
с Y= 1, Л/= diamC^ ( min lgi(i^)n"'\ diamC/'=3 sup \u — v\>
Доказательство. Введем функцию g {и) = max g^ (u). В силу
теоремы 4.2.7 функция g{u) выпукла на Uq, Возьмем произвольную точку
u^Uq\U, Тогда g(u) > 0. Функция f(t) = g(u-\- t(u — и)) переменной t
непрерывна на отрезке [О, 1], /@) = g(u) > О, /A) = g(u) < 0.
Следовательно, существует точка io е (О, 1), такая, что /(^о) =0. Положим i; =
= u4-io(M —и); тогда tQ = \v— и\ \й — и\~\ 1 — ^о == к — й| |а — w|-^
Пользуясь выпуклостью функции g(u), имеем g(v) =/(|о) ==0^^о^(й) +
+ (i — to)g{u) или--tQg{u)^{i'-tQ)g{u) или \и — и\ \giu)\^\u — u\g-^(u).
Отсюда с учетом и, veU получаем, что р(и, U) ^ \и —v\ ^ g+{u) У,
X |у — й| (g(tt))""^ = Mg-^{u), что и требовалось.
Лемма 3. Пусть U = {и ^ Е^Ч gi (и) = <а<, м> — Ь* < О, i = 1, ..,
• .., m} =5^ 0, где а< е iS"**, 6* е R (is=il, .,., т). Тогда ограничения, зада^
ющие множество U, корректны на Е^, и неравенство C6) выполняется
с Y = 1, С^о = E'^,
Доказательство. Возьмем произвольную точку и фи. Так как
и — выпуклое замкнутое множество, то согласно теореме 4.4.1 однозначно
определяется проекция w = ^и(и) точки w на t/. К задаче определения
проекции^ g{u) = \v — i*|-^inf, u^U^ применимы теорема 4.9.4 и лем-

376 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
ма 4.9.2, которые гарантируют существование таких чисел ^i ^ О, ».., Яд» ^
^ О, что
m S
t = 1, •.., ^.^
Отсюда, учитывая, что \w — и\ = р{щ U), имеем
iei(u)
<а., ш>~&* = 0). C7)
Можно считать, что система векторов {а*, 1^1{и)} линейно независима.
В самом деле, если существуют числа у (iGl(u)), не все равные нулю,
2 Уг'^г = О, то W — ш = р (м, Z7) 2 (^i ~" ^Vi) «г» где Vi = Я* — ^т* >
isi(u) i^Jiu)
^0 (ie/(w)) при всех t, О <. t <. к, to — достаточно малое число. Можно
считать, что среди Yi (^^^(^))> есть положительные числа, иначе изме^
ним знаки всех -у* (ie/(i*)). Положим ^ = а*/?* =» ^i^ ^i/Vi-
Vi>0.iSl(u)
Тогда Vi = %i — t'^i'^0 (ie/(w)), причем no крайней мере одно число
V, = Я, — ^Y* = О- Таким образом, заменив в C7) Xi на Vi и исключив из
1{и) те номера, для которых v» = О, снова придем к равенству вида C7)
с меньшим числом слагаемых. Последовательно применяя этот прием
далее, за конечное число шагов придем к представлению C7), в котором
система {а<, 1^1(и)} линейно независима. Из C7) следует
шах gt (и) > max gf (и) > max g^ {и) = max ((а,, и\ — &*) =
= max (а., и ~w\ = р {и, U) max У а., У ^л\- (^^)
Покажем, что величину max /а^, ^ ^j^jX, где система {а*, te/(i*)}
линейно независима, можно оценить снизу положительной величиной, не
зависящей от п. С этой целью возьмем любое множество индексов
/ cz {1, ..., m}, таких, что векторы {ai, i е /} линейно независимы, и введем
множество
Aj = Г(Я4, i е /): Я^ > О, 1 ^ Vi I = А*
I h^^ I J
C9)
Заметим, что Л/ — замкнутое ограниченное множество. В самом деле,
если %^ = (>t|, i е/) е Aj, Л* ->-Я, то предельным переходом в C9) легко
убедиться, что % е Л/. Следовательно, Л/ замкнуто. Покажем
ограниченность Л/. Допустим противное: пусть найдутся Л* е Л/ (А; = 1, 2, .,.)»
(Я'Ч-^-оо. Тогда последовательность \i^ = X^/\K^\ (А; = 1, 2, ...)
ограничена: \\1^\ =1. Выбирая при необходимости подпоследовательность, можем
считать, что {р-^} ->|л, |р-| =1. Поскольку 1 2 ^i^i ~ 1» '''^ 1 2 ^i^i I "^
^l/U'^|-^0= 2f^i^i» ^Д® ^^ = A^?, is 7)^4:0. Однако это противоречит
линейной независимости {а^, is/}. Следовательно, Л/ замкнуто.
На множестве Л/ рассмотрим функцию d (Я, /) = max Ха., 51 Я^а^-Х.
Убедимся в том, что d(X, /) > О при всех ЯеЛ/, В самом деле, если су-

f 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 377
ществует %^ ={Х^^, 7 е /) е Aj, что d (A,^ /) < О, то /а., 2 ^^«j \ < О
при всех i е /. Умножим эти неравенства на Х\ (i ^ Л и сложим;
получим равенство 2 ^i^i \ ~ ^» противоречащее определению Л/. Таким
образом, d{X, /) > О при всех Я^еЛ/. Функция d(X, I) непрерывна по X
и на компактном множестве Л/ достигает своей нижней грани в некоторой
точке Я* е Лг, причем cZ* (/) = inf d (X, I) = d (%*, I) > 0. Поскольку
множество {/} различных подмножеств / множества {1, ..., т}, для
которых векторы (tti, i е /} линейно независимы, конечно, то с?» =inf с?* (/) ^О,
Отсюда и из C7), C8) имеем max g^(u)'^p(u, U) dCk, 1{и))^р{и, U) сг#,или
p{u^U)^(i/d^) max gf (и) (и^Ё^). Таким образом, неравенство C6)
справедливо с if = 1, M^i/dif^, Лемма 3 доказана.
Лемма 4. Непустое множество
С7 = {в е Е^Ч gi{u) = <ai, и> — Ь* < О, i = 1, ..., т;
gi{u) ^ <^аииУ — Ъ*^0, м = т + 1, .,., s}, D0)
тде eti е ^^, Ь* е /?, задается корректными ограничениями на Е"* и
неравенство C6) выполняется с y = 1» Uq = E^,
Доказательство. Каждое ограничение gi{и) = ia^ иУ — Ъ* =:0
заменим равносильными ограничениями кц(и) = gi(u) ^0, h2i(u) =
= -^giiu) ^0 и воспользуемся леммой 3. Получим
р(и, U)^M-mgix[gf{u), ...,g+(i^); h^^^^(u), ..,,hf^{u),
Отсюда и из
Л+ {и) =: max {g^ {u)i 0} < | g^ (и) \ = gf (и),
Л+(«)=тах{-^.A^); 0}<| ^^ (w) | = g+(гг), i =m + U ...,5,
приходим к неравенству C6) 0^ = 1. Лемма 4 доказана.
Другие классы множеств G), заданных корректными ограничениями,
читатель найдет в [21].
6. В лемме 1 был выделен класс задач A), G), имеющих сильно
согласованную постановку (см. неравенства B0), B1)), Следуя [21],
приведем еще один содержательный класс таких задач.
Лемма 5. Пусть функция J (и) на множестве Uq удовлетворяет услО"
€ию Гелъдера
I / A^) - / (у) I < L I м - у 1« Yu, v^Uq, L > о, о < а< 1; D1)
ограничения^ задающие множество G), корректны на Uq и удовлетворяют
неравенству C6). Тогда задача A), G) имеет сильно согласованную поста--
новку, причем неравенство B1) выполняется при Ci =....=! с. = Lilf*,
Доказательство. Возьмем произвольную точку и е Uq, По опре-
тделению р{и*и) = inf \u^v\ для любого в > О найдется такая точка

378 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Пг е и, ЧТО \u — Ub\ < р(и, U)+e. Тогда с учетом условий C6), D1) имеем
LM« 2 Ы ("))''^ + J(^)-J*> LM"" [ max gf (i.))«^ + / (^) - / (u^) >
>L(p(M, CO)°'-bh-"er>^(P(^' ^7))^-L(p(M, C^) + 8)®.
Пользуясь произволом 8 > о, отсюда при 8 -*- О получим
Заметим, что в общем случае из выполнения условий леммы 5 не
следует существование седловой точки функции Лагранжа задачи A), G) и,
наоборот, существование седловой точки не гарантирует выполнение
условий леммы 5. Это означает, что выделенные в леммах 1, 5 два класса
задач A), G), имеющих сильно согласованную постановку, взаимно
дополняют друг друга. Отметим также, что этими двумя классами не
исчерпываются задачи A), G) с сильно согласованной постановкой. Поясним это на
примере.
Пример 6. Рассмотрим задачу
J{u) =—i*"->-inf, u^U =
где а > О, р > О, и^ = {и^ Eh м > О}
/¦ = 0.
Далее, имеем
/, = О = - 1.^ + (i.P)«/P = J{u) + (g+ (г.))«/3
так что неравенство B1) выполняется при s = m = 1, с* = 1, v = а/р.
Следовательно, задача D2) имеет сильно согласованную постановку и к ней
применимы теоремы 5, 6. Отметим, что здесь р(и, U) = |м —0| = \и\ =
= (S'^(u))^^^, и е Uo, т. е. условие C6) выполняется с Л/ = 1, у = 1/Р.
Далее, при О < а ^ 1 функция J (и) = —1*« удовлетворяет условию Гель дера:
\и^—-и^\ ^\и —vl^- (и, u^Uq), так что в этом случае применима
лемма 5. При а > 1 условие Гельдера на U^ = Е]^ не выполняется и лемма 5
неприменима. Далее, функция Лагранжа L(Uy К) = — w"+ %и^ (м ^ О, Я ^ 0)
задачи D2) при а = р имеет седловую точку (и^ = 0, Я* = 1). Кстати, сед-
ловая точка здесь не единственная: любая точка (О, Я*), Я* ^ 1, также
является седловой. Заметим также, что функция J (и) = —w«, м ^ О, выпукла
лишь при О < а :^ 1, а g(u) = i^P, i* ^ О, выпукла лишь при Р ^ 1. Если
а # р, то функция Лагранжа не имеет седловой точки. Таким образом, при
а>1, р>0, а=5^Р задача D2) не охватывается леммами 1, 5.
7. Покажем, что метод штрафных функций может быть использован
для поиска седловой точки функции Лагранжа задачи A), G).
Теорема 7. Пусть Uq — выпуклое замкнутое множество из Е^; функ"
ции J(u)^ ^i(^), •..» gm{u) выпуклы на Uq и принадлежат классу C^iUo);
Si (и) = <ai, иу — Ы (i = m-\-i, ..., s); пусть /# >— oo, ищ,фО> и функ-^
ция Лагранжа задачи A), G) имеет седловую точку (и^, Я*) е С^^ X Л^
в смысле неравенства A9). Кроме того, пусть функция Ф^ (^) = / (w) +
8
+ Л^^ 2 \^Т (^))^» и ^ Uq, р "> 1, при каждом А; = О, 1, .,. достигает своей
нижней грани на Uq, в некоторой точке ик е Uq, Тогда если последователь*
ность {uk} имеет хотя бы одну предельную точку, то и последовательность
{%^^},гдe Х''= (^.^ ^^>)^ >Ч= PM^t Ы\^~'' (« = 1, •••.'«); ^?-
в= pAf^ I g^ (и^ [''~•^ sign gj {и^^ ({ = m + 1, .,., s) также будет иметь прв'
s>0: g{u) =иЭ^о},
Е^.. Ясно, что и=и^.
(г+(и))«/3 WueU^,
D2)
-{0}

f 141 МЕТОД ШТРАФНЫХ ФУНКЦИЙ 379
дельную точку, причем любая предельная точка последовательности
{(uk, Щ) будет седловой точкой функции Лагранжа,
Доказательство. С учетом леммы 1 из оценки B2) при г^ = О,
v^i, е^^\Х*\ получим |4("ft)|<(U*IMft)^^^^~'^-Тогда 4lg+(i.;^)|P-i<
< I X* I при всех i = 1, ,,,, 5, А; = О, 1, ... Отсюда следует, что | Я| | <
< РI Я* I (i = 1, ..., S, А; = О, 1, ,..), т. е. последовательность {Щ
ограничена. Пусть !?¦— какая-либо предельная точка последовательности {мл},
пусть \Uj^ |-^i^#. Согласно теореме 5 г* е (Z*. Из [% *" 1 выделим
подпоследовательность, сходящуюся к некоторой точке jx*. Можем считать, что сама
последовательность ["к Л сходится к м-*» Так как Я|>0 при i = l, ,.., m,
^0 и ^i*^О (i = 1, ..., m), так что \л* е Ло. Далее, так как Фк{и)
выпукла и Фа(м) е C^{Uq), то согласно теореме 4.2.3 в точке Uh имеем
<Oft(i^fe), w-Wft>>0 yfu^U^. D3)
Поскольку
m
+ 2 pM st Ы1^-' sign e, {u^) g\ (u,) = /' (u^) + 2 %^g\ (u^l
TO
s
lim Ф' (u^) = J' (j;*) + 2 l^t^i ("*) = ^u i"*^ t^*)-
Поэтому из D3) при к =^ кг-^oo получим <Z'^ (у*, fi*), w — ^^¦>>0, w e C^o-
Так как X* e Ло, то при выполнении условий теоремы функция Ь{щ X*)
выпукла на Uo, и последнее неравенство равносильно такому:
L (у*, fx*) < L {и, JI*) Va е С/^. D41
Далее, если gi(v^)<.0 при некотором i (i^i^m), то из lim gilu^ ) =
='^{(i^*)<0 следует, что ёГ|(г^й ^<0 или gr+(i*fe^)=0 для всех г^г^.
А тогда Я|'*=0 при всех г>г и lim Я^'' = |л^=0. Таким образом, fi*=0
для всех номеров i A < i ^ m), для которых g^ (у#) < О, а для остальных
номеров i A < j < s), мы имеем g^ (v^) = 0. Следовательно, jii ^i (''*) =*
в О (i = 1, ...,s). Отсюда и из D4) с помощью леммы 4.9.2 получим,
что (у*, \i*) — седловая точка функции Лагранжа. Теорема доказана.
8. Метод штрафных функций может быть использован и для получения
условий оптимальности в задаче A), G). В частности, с помощью этого
метода можно получить другое довольно простое доказательство правила
множителей Лагранжа, правда, при несколько больших требованиях, чем
в § 4.8.
Теорема 8. Пусть в задаче A), G) U^-- выпуклое замкнутое
множество, функции J(u), gi{u), ..., g§{u) gC^{Uo), /*> —00, C^,^^ 0, Если
«¦eC^*, mo существуют числа Я*> О, ..., Я^> О, Я^^^, ..., А,*, «е все
равные нулю и такие, что
<Яо/' («*) + ^I^i (и*) + ... + Л>; (к»), м - и«> > о Vu е Г/„, D5)
^t?i(»«)=0, « = !,...,«. D6)

380 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5-
Доказательство. Введем новую функцию gQ(u) = J (и)-\-\и— и^ |\
множество W^ = Uq f\ S (щ), где S (щ) = {i* е ?^: Н — м# | < l}, и
рассмотрим вспомогательную задачу минимизации
go(u) -> inf, u^W^ {u^Woi gi{u) < 0, ..., gm{u) < 0,
gm+i{u) =0, ..., ^.(tt) =0}. D7)
Так как g^ (w) > / (i*) > J^ при всех u^W, ифи^, причем g (u^) = /*»
u^gW^ to ясно, что u^— единственное решение задачи D7). Применим к
задаче D7) метод штрафных функций. Введем функцию Ф^ (^) = gQ (w) +
s
+ Af^^ (gj* (и)у, и e Wo, p > 1. Так как Wq — компактное множество,
функции go{u), Фк(и) непрерывны на Т^о, то g^^^ = inf g^(u) > — оо, ф^^^ =»
о
*= inf Фь (м) > — оо, и существует точка Uk е Wo, для которой Ф;^ (и^^) =^
*= Фдф. Далее, множество W (Ь) = {и^ W^: gf {и)^д, г = 1, ,,., «} огра*
ничено при всех б > О, так как Wq ограничено. По теореме 2 тогда
lim 1 w, — и* I = О, lim g^ (иЛ = Иш / (иЛ = /#. Применяя теорему 4.2,5
к задаче: Фа(м) -»-inf, м е TFo, имеем
Покажем, что это неравенство на самом деле верно для всех и е Uq, если
номер к достаточно большой. А именно, выберем номер ко таким, чтобы
I и^ — и^\<. 1/2 при всех к ^ ко. Возьмем произвольную точку и е Uq. За*
фиксируем число а (О < а < 1), столь малым, чтобы а \ v—u^ |<1/2, Тогда
точка Уа = 1*л + а (у — wfe) е t/o и, кроме того, | v^— и# | = j A — а) (м^ — и^) +
+ а (i; — м„.) I < A — а) I М;^— м* | + а | у — и* К1. Следовательно, Va е Т^о,
и в D8) можем принять и = Va. Получим {ф^ (и^, а (у— и^))>0 или
^Ф^ {uf^)f V — Uf^y > 0. Таким образом, показано, что при каждом к^ко не^
равенство D8) выполняется при всех и е Uq, Подставим в D8) явное выра*
жение для производной Ф;^ (а^); получим
J' Ы + 2 ("й- Ч + Д I'ikS'i Ы' «- "Л> о V« е С7„, к> Л,»
D9)
raeft|ft = p4U+(Ufc)|P-i>0 (i = l m), Fift=P4U?-(«ft)r^>5
X signgj(itjj) (i = m 4-1, ,,., s). Разделим неравенство D9) aa
f » \ 1/2
1 + 2 f^ift > ^5 будем иметь
»v i-=l /
KkJ' Ы + ^\k («Й - «*) + Д ^ift?I ("ft), и - «Л>0 Va e ?/,, A > *,,
E0)
гае
/ » \-l/2 / » \-l/2
V = [i+S^t^fftj >o. ^ift = Pi^i + .2f»fftj {« = 1.

§ 14] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 381
8
^ift > О, ..,, Я^^ > о, к^к^). Ясно, что 2 ^ife === ^' "^^^ "^"^^ последова*
тельность {А,* = (Хол, ..., Кь)} ограничена.
Пользуясь теоремой Больцано — Вейерштрасса и выбирая при
необходимости сходящуюся подпоследовательность, можем считать, что {Я } -*-
-^Я* = (Я*, ..., Я*), причем Я*>0 (г==0, 1, ..., т), l^f I = 1, так что
не все числа Я*, Я*, ..., Я* равны нулю. Так как /' {и), g[ (и)
непрерывны, (иЛ^^и^, то из E0) при к-^оо придем к неравенству D5). Далее,
если gi (ищ,) = О, то равенства D6) для таких i, очевидно, выполняются.
Если же Bi («¦) < О при некотором i, i ^i^m, то gi (щ) < О при всех к"^
> ki, а тогда \iih = О, Ягл = О, /Ь ^ ки и, следовательно, Я* = 0. Равенства
D6) также доказаны.
Замечание 1. Предположим, что наряду с условиями теоремы В
для задачи A), G) справедливо неравенство B1) с параметром v ^ 1.
Тогда
так что задача D7) также имеет сильно согласованную постановку с теми
же параметрами d, v. Пользуясь оценкой B2) при ба = О, р >¦ v ^ 1, по*
лучим
о < tij, = рА, (gf (и,)у-^ < р 1 с ,(P-i)/(P-v)^-(v-i)/(p-v) ^
<р|с1<Р-1)/<1'-^)<оо, i = l,...,e, ft = 0, 1,... E1>
Выбирая при необходимости подпоследовательность, можем считать, чта
{^ik}"*" ^i (i = 1, ...» 5). Отсюда и из D9) при к-^оо получим
неравенство D5) с Яд = 1. Таким образом, гладкие задачи A), G) с сильно согла*
сованной постановкой с параметром v ^ 1, являются регулярными. Если
V > 1, то, как видно из E1), lim [i^^^ = Я* = О (i = 1, ..., 5), ив качест»
fe-»oo
ве множителей Лагранжа в D5), D6) можно взять Я0=1, Я* = ... =Я*=
= 0. Это значит, что необходимые условия оптимальности в задаче A), G)
совпадают с необходимым условием в задаче: J(u) -^inf, u^Uq, и ограни*
чения gi(u) ^0, gjiu) =0 в A), G) не играют существенной роли. Отсю*
да следует, что класс гладких задач, удовлетворяющих неравенству B1) с
параметром v > 1, хотя и не пуст (см. пример 6), но не является слишком
содержательным.
9. Отдельно остановимся на случае v = 1. Оказывается, класс выпук*
лых задач A), G), которые удовлетворяют неравенству B1) с параметром
V = 1, является подмножеством задач, у которых функция Лагранжа име*
ет седловую точку.
Теорема 9. Пусть W — открытое выпуклое множество из Е^^ функ^
Ции /(к), gl(u), ..., gm{u) выпуклы На W, gi(tt) =<ai, И>— Ь»" (i «at
= 771+1, .,., s), Uq—выпуклое подмножество из W, пусть в задаче A),
G) /* >* — <эо, и^ф 0, Тогда для того, чтобы в задаче A), G) функция
Лагранжа имела седловую точку, необходимо и достаточно^ чтобы неравен-^
ство B1) выполнялось с показателем v = 1,

382 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
Доказательство. Необходимость доказана в лемме 1. Докажем
достаточность. Пусть выпуклая задача A), G) удовлетворяет
неравенству B1) с V = 1, пусть щ е U^. Согласно теореме 4.6.1 субдифференциалы
dJ{u), dgi(u) непусты при всех u^W, Штрафная функция Ф(и, Л)=/(и) +
S
+ А^ gf" (и) {Л>0) выпукла на W, Пользуясь правилами 7), 9) суб-
дифференцирования из § 4.6 и представлением
^x^M==kiHI = «^^{<^i' ">-^'j 0} + max{-<a., uy + b^; О},
i = m-{* if ,9шу 8f
имеем
дФ (и, A) = dJ (u) + 2 ^l^i^Si (") + 2 ^l^i^V E2)
{=1 i=m+l
где 0 < juif < 1 при г = 1, ..., m, причем уц = О при gi(u) < О, ix* == 1
при gi(w)>0; —1<1У1<<1 при i = 77г +1, ..., 5, причем Цг ^
= sign(<ai, м> — 6*") при <ai, м> — 6'* =5^ 0. Применяя теорему 6 при р =
= V = 1, Л > |с|, заключаем, что Ф (w#, Л) = Ф# = inf Ф (i^, Л). Тогда по
теореме 4.6.4 найдется такой субградиент с^ е дФ {и^, А), что
<с^, м — u*> > О Vm е C/(j. E3)
Согласно E2) для с^ справедливо представление с^ = с* + 2 ^Н**^*» где
cje 5/(w), с*е 5gi (и*), 0<|Х*<1 при 1 = 1, ..., т, причем |Л*=0 при
ё{ ("*) < 0; с* = а^, -- 1 < f^* < 1 при I = m + 1, ..., 5. Положим К* =
== (я*, ..., ks): Xi = ^Ij^i (i = 1, ..., 5), где A фиксировано из условия
А > |с|. Далее, заметим, что при сделанных предположениях функция
L (м, X) =J (и) + 2 K^i (") выпукла по переменной u^W при каждом
Я. е Ло = {Я, == (Я,1, ..., Я,*): Я,1 ^ О, ..., Хт ^ 0}, и, следовательно, дЬ(щ %)ф
Ф 0 при всех а е TF, Я, е Ло. Нетрудно видеть, что Я,* е Ло, с* = ^^ +
+ 2 ^i^i ^ ^^("*» ^*)« Тогда из E3) и теоремы 4.6.4 получаем неравен-
ство Ь{и^, Я.*) ^ L (к, Я*) для всех м е С/'о. Кроме того, из определения
%* следует, что Я,*^|(м*)=0 (i = l, ...,5). Согласно лемме 4.9.1 (i^#, Я,*)—
седловая точка функции Лагранжа задачи A), G).
Доказанная теорема 9 дополняет теоремы Куна — Таккера из § 4.9.
В частности, опираясь на лемму 5 при 0 = ^ = 1 и теорему 9, можно
получить существование седловои точки для некоторых классов выпуклых
задач A), G) с нерегулярным множеством в смысле определения 4.9.2 (см.
упражнение 9).
10. Рассмотренный выше метод штрафных функций дает простую и
универсальную схему решения задач минимизации на множествах, не
совпадающих со всем пространством, и часто применяется на практике.
Поскольку имеется достаточно богатый выбор штрафных функций, то при
составлении функции Фк(и) можно постараться обеспечить нужную
гладкость этой функции, выпуклость, подумать об удобствах вычисления
значений функции и требуемых ее производных и т. п. Кроме того, имеется
определенная свобода в выборе множества Uq для задачи B): в задании мно»

§ 141 МЕТОД ШТРАФНЫХ ФУНКЦИЙ 383
жества G) всегда можно отнести ко множеству 27о наиболее простые
ограничения (например, С/о может быть шаром или параллелепипедом в Е"^^
совпадать с полупространством или со всем пространством Е^ и т. д.), а
остальные ограничения оформить в виде ^t'(") ^^ или gj(u) =0 и учесть
их с помогцью штрафной функции. Поэтому можно надеяться на то, что
вспомогательные задачи B), C) удастся сформировать более простыми,
более удобными для применения известных и несложных методов миними»
зации, чем исходная задача A).
Следует заметить, что хотя сама схема метода штрафных функций
довольно проста, но при практическом использовании этого метода для
решения конкретных задач минимизации могут встретиться серьезные
трудности. Дело в том, что для получения хорошего приближения решения
задачи A) номер А; в B), C) (или штрафной коэффициент Ли в (8))
приходится брать достаточно большим. А с увеличением номера к свойства
функции Фк(и) =J(u)+Ph(u) (u^Uq), оказывается, во многих случаях
начинают ухудшаться: эта функция может стать более овражной, некоторые
координаты градиента Ф^ (и) могут быть слишком большими, могут
появиться дополнительные локальные минимумы и т. п. Это все может
привести к тому, что при больших к методы минимизации, используемые для
решения задачи B), будут плохо сходиться и определение точки ик,
удовлетворяющей условиям F), с возрастанием к может потребовать все
большего и большего объема вычислительной работы.
Поэтому при практическом применении метода штрафных функций
вспомогательные задачи B) обычно решают лишь для таких номеров к
(возможно больших), для которых удается обеспечить достаточно быстро©
убывание функции J (и) и достаточную близость получаемых точек ко
множеству и при небольшом объеме вычислительной работы. Если полученное
на этом пути приближение к решению задачи A) недостаточно хорошее, то
привлекают более тонкие и, вообще говоря, более трудоемкие методы
минимизации, стараясь при этом получше использовать ту информацию,
которая получена с помощью метода штрафных функций.
Заметим, что если выполнены условия теоремы бив качестве
штрафной функции множества G) берется функция (8) при р = v, то нет
необходимости неограниченно увеличивать штрафной коэффициент Ah, и в этом
случае упомянутый недостаток метода штрафных функций, вообще говоря,
не будет проявляться. Правда, штрафная функция (8) при р == v ие
всегда будет обладать достаточной гладкостью, но появившиеся в последнее
время методы минимизации, не требующие гладкости минимизируемой
функции (см., например, § 3.11, 12, 17), позволяют надеяться, что
численное решение задачи B) в рассматриваемом случае не будет слишком
трудным.
Отметим, что при описании и исследовании метода штрафных
функций выше мы предполагали, что функция J (и) и множество G) известны
точно. Если же указанные исходные данные известны лишь приближенно,
то метод штрафных функций полезно регуляризовать [6, 22, 84, 86, 87, 177.
329, 343].
Различные прикладные и теоретические аспекты метода штрафных
функций исследованы в [6, 8, И, 12, 19, 21, 109, 111, 122, 129, 144, 148, 159,
173, 174, 177, 240, 306, 307, 314, 330, 338].
Упражнения. 1. Применить метод штрафных функций к задачам
а) /(w) = а;2+г/2-j-inf; и ^ U = {и = (х, у) ^Eh g(u)=—x^y +
+ 1^0} или к е ?/ = {и = (а:, у) ^ Е^: g{u) =,—ж — j/ + 1 = Q};
б) J(u) ==xy'^mi; к е ?/= {»=t (ж, у)^Е^: х^ + у^^2Ь} или ие
^и = {и= (х,у)^ Eh :г2 + 1/2 = 25};
в) /(м) =a:2 4-i/2 + z2->inf; u^U={u={x, у, z) ^ЕН x + y + z +
+ 1<0}.
2. Применить метод штрафных функций к задачам из примеров 2.2.2
и 2.2.4.

384 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
3. Пусть 7(и) = б", а множество U = {и^Е^: О ^ it < 1} задано
либо ограничениями gi(u) = —и ^ О, g2{u) = it —1 <0, либо g{u) = \и\ +
+ |ij_l|-_1^0, либо g(ii) s^e-'^dul + 1» —1|—1) =0. Выяснить, в
каких случаях задача J{u)-^mi, u^U, имеет согласованную или сильно
согласованную постановку на Е^.
4. Пусть {Pft(w)}—штрафная функция некоторого множества U, Пусть
функция (p{t) определена при f ^ О, ф@) =0, причем q){t)-^0 при t-^O,
(p{f)->oo при t-^oo. Показать, что тогда WiPhiu))} является штрафной
функцией множества U.
5. Применить метод C), F), (8) к задаче 7{и) = u^ — u-^ini и ме
^27= {и^Е^: g{u) =u^0}, взяв в качестве штрафной функции Р(и) =
s= (max{0; и}у. Получить точную оценку погрешности, сравнить ее с
оценками из теоремы 5.
6. Пусть множество U задано либо ограничениями giiu) =и —1^0,
g^(u) =—W —1<0, либо^(и) = 5"'''^(м^ —1)<0, либо giu) = 1*2—1 <0.
Выяснить, какие из этих ограничений являются корректными на Е^ или
Uo= {и^Е^: —i^u^i},
7. Пусть и={и^Е'^: g{u) ^0}, где g^(w) — непрерывная функция
на Е^. Доказать, что для того, чтобы множество U было ограниченным и
ограничение g(u) ^0 было корректным на Е^, необходимо и достаточно,
чтобы множество С/б = {и^Е^: g(u) ^6} было ограниченным хотя бы при
одном б > 0.
8. Пусть Z7o —выпуклое замкнутое множество из Е^, функция g{u)
выпукла и полунепрерывна снизу на С/о, и пусть множество М{С) = {и^
^ Uq: g{u) ^ С} непусто и ограничено при некотором С, Доказать, что
тогда ограничение g(u) ^0 корректно на Uo (см. теорему 4.2.17).
9. Рассмотреть задачу: J {и) = и -^ inf, и ^ U = {и ^ Е^: g{u) == и^ +
+ 8|м| ^ 0}, 8 > 0. Доказать, что здесь выполняется неравенство C6) с М =
= 1/8, Y = 1. Пользуясь леммой 5 ж теоремой 9, установить суп];ествованив
седловой точки Лагранжа. Выполняются ли здесь условия теорем 4.9.2,4.9.5?
10. Применить метод штрафных функций к задаче D2), получив
оценки скорости сходимости метода и сравнить их с оценками из теорем 5, 6.
И. Применить метод штрафных функций к задаче: 7{и)=х^ +
+ A —a;i/J->inf, и^и={и={х, у) ^ Е^: g{u) = х — а = 0},
исследовать его сходимость при различных значениях параметра а.
12. Доказать, что множество U=^{ugE^: gi(u) = {at, w> — Ь* =s О,
i = 1, ..., s}, где ai, ..., a, — линейно независимые векторы из Е^, b*eR,
является корректным на Е^ и неравенство C6) выполняется с у = 1, ilf =
= 8\\А'^(АА'^)"Ц\, Л—матрица размера 5 X ^, строками которой являются
векторы аи ..., аа. Указание: воспользоваться результатами
примера 4.4.3.
13. Пусть задача D4) удовлетворяет условиям теоремы 4.9.2, причем
и^ и^. Доказать, что тогда G# = {м е U^: Ф {и) = Ф^}, где
m
ф {и) = In ^ + у max 10; ^—^1 Ф* = inf Ф (и).
§ 15. Метод барьерных функций
1. Идеи метода штрафных функций могут быть
использованы для построения методов решения задачи
7{и)-^Ы; и^и, A)
позволяющих получить такую минимизирующую
последовательность {и^ е С/, каждый член которой будет лежать вне некото-

§ 15] МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ 383
рого заданного «запреп];енного» подмножества '^ <= С/. В качестве
«запрещенного» множества ^ может служить, например,
граница Гр и множества U или какая-либо часть границы. Дело в том^
что при применении того или иного метода решения задачи A)
при и Ф Е"" может случиться, что каждое получаемое
приближение и^ будет принадлежать Гр U. Однако если структура
границы множества слишком сложна, то реализация такого метода
может потребовать большого объема вычислительной работы и,
кроме того, сходимость метода может оказаться очень
медленной. В таких случаях можно попробовать как-то построить
«барьер» вблизи всей границы у = Гр С/ или какой-либо ее
части 'У (или какого-либо другого заданного подмножества '^ <= [/),
который исключал бы возможность попадания очередного
приближения i/ft на Y-
Определение 1. Пусть у —некоторое подмножество
множества и. Функцию В {и) назовем барьером или барьерной
функцией подмножества у, если В {и) определена, конечна и
неотрицательна во всех точках u^lJ\^^ причем lim 5 (г;^) = оо
Г-»оо
для всех последовательностей Ыг) е U\^, которые сходятся к
какой-либо точке г; е у.
Заметим, что в определении 1 подразумевается, что U\^ Ф
?=0. Это значит, что если '^ = Гр С/, то mill =^и\^Ф 0.
Заметим также, что в точках гг^у барьерная функция В {и) не
определена (можно принять В{и) = оо^ и^^).
Пользуясь теми же конструкциями, которые использовались
при построении штрафных функций, нетрудно выписать
барьерные функции для множеств у, задаваемых ограничениями типа
равенств или неравенств. Например, если "^^^Ы^Е^: u^U,
g{u)==0}, где g{u) непрерывна на [7, и\^Ф0, то в качестве
барьерной функции здесь можно взять B{u)=\g{u)\''^^ или
B{u)=\g{u)\~^, или jB(ii) = max{—In Ig(i^) I; 0). Если же '^ =
^^Ы^Е"": и^и, g(u)^0}, где и\^Ф0, g{u) непрерывна на С/,
то можно принять B{u) = {g{u))-^ (Р^О)? или B{u)=\lng{u)\,
и е С/\у и т. п.
Перейдем к описанию метода барьерных функций для
решения задачи A), предполагая, что подмножество у^Ё/ и
некоторая его барьерная функция уже заданы. Введем функции
F,{u) = J{u) + a,B{u), и^и\^, Л: = 1, 2, ..., B)
где iaj) — положительная последовательность, сходяш;аяся к
нулю. Величины {%} из B) называются барьерными
коэффициентами. Рассмотрим последовательность задач
Fk{u)-^mi; и^и\^, Л: = 1, 2, ... C)
Обозначим F/i* = inf Fj^ (и) (fe = I, 2, ...). Будем предполагать,
U\y

386 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
что в исходной задаче A) /^ = inf/(и)> —оо. Так как Fh{u)>
>J{u) при всех гг^С/Ху, то Fk*'^J^'> — oo. Тогда условия
ии^и\у, i^ftK)<^fe* + efe, ft=l, 2, ... D)
определяют последовательность {i^J, где 8а > О, lim 8^ = 0; если
окажется, что Fk{uk) = Pk*i то в D) допускается 8^ = 0.
Поскольку, как обычно, мы подразумеваем, что функция J (и)
конечна во всех точках u^U, то согласно определению 1 для
любой последовательности ivr) ^ С/\'у, {гЛ -^ и^^ справедливо
равенство limFj^{Vr) = оо при каждом фиксированном fe =
Г->оо
= 1, 2, ... Таким образом, функция Fh{u) неограниченно
возрастает вблизи у. Поэтому следует ожидать, что при фиксирован*
ном к функция Fh{u) вблизи у не может принимать значения,
близкие к Ffe* и точка щ, определяемая условиями D), не
будет расположена на слишком близком расстоянии от у- В то
же время благодаря тому, что барьерные коэффициенты {aj -^ О,
не исключается возможность того, что с увеличением номера к
точки Uk, постепенно «преодолевая барьер», будут
приближаться к 7-
Для приближенного решения задачи C) при фиксированном
к и определения точки и^, удовлетворяюш;ей условиям D),
могут быть использованы различные методы минимизации. В
частности, если 'у = Гр[/ п С/Х^ ==int С/=7^ 0, то для решения
задачи C) может быть применен, например, градиентный метод
(см. § 1):
^fe,r+i = Щг — ^rPk i^kr), Uko = Щ-ъ г = О, 1, ...
Поскольку Uhr ^ int С/, то при достаточно малых осг > О и точка
Mfcr+i также будет принадлежать int С/, и мы избавлены от
неудобств, связанных с учетом границы С/,— нужно лишь на
каждой итерации следить за соблюдением включения и^ ^ int t/,
а при его нарушении уменьшать длину шага ат^ Правда, для
этого величину аг^, быть может, придется брать слишком малой,
и сходимость градиентного метода, возможно, замедлится, но это
уже будет «платой» за выполнение условия и^ ^ int С/.
Дальнейшее изложение не зависит от того, с помощью
какого конкретного метода минимизации будет найдена точка м^,
удовлетворяюш;ая условиям D). Поэтому мы здесь можем
ограничиться предположением, что имеется достаточно удобный
метод определения точки и^ из D).
Метод барьерных функций описан. Отметим, что в
литературе этот метод иногда называют методом внутренних штрафов
(или методом внутренней точки), а метод штрафных функций
из § 14 — методом внешних штрафов (или методом внешней

§ 15] МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ 387
точки) [307]. Для иллюстрации метода барьерных функций
приведем пример.
Пример 1. Пусть требуется решить задачу
J (и) =—и-^ ini; и^и = {и^Е^: g{u) = u^O}.
Очевидно, здесь /^ = 0, U^ = {0}. Границей множества U
является ^ = TipU=={u^E': g{u) =и = 0} = {0}, а U\^ = {ugE':
g(a) = ц< 0} = int С/. В качестве барьерной функции для "^
возьмем В{и)= —i/u (.u<0). Пусть а^^к'^ (/с = 1, 2, ...).
Тогда функция B) будет иметь вид Ff,{u)==—и — {ки)''^ {и<0).
Нетрудно видеть, что здесь F^* = inf F^ (и) = 2/ у к и точка Uk =
==—1/Ук удовлетворяет условиям D) при 8^ = 0 (/с = 1, 2, ...),
Ясно также, что Ит F^* = lim / (и^) = О = /^, lim Uk = 0 = щ.
в качестве барьерной функции здесь можно также взять и
B{u)=\lii{—u)\. В этом случае F},{u) = —u+\ln{'-u)\k-^ {и<0,
к = 1, 2, ...), Fft# = A + ln/c)ft~^,a точка Uk = —k-^
удовлетворяет условиям D) при 8ft = 0. И здесь {/ (и^)} -> /^ = О, {uh}->-
'-^и^ = 0.
Перейдем к исследованию сходимости метода барьерных
функций.
Теорема 1. Пусть '^ — некоторое подмножество из U,
и\^?^0, и
/* = ^**, ^9е /^ = inf / (и), J^^= inf / (li) > — оо. E)
и и\у
Пусть В {и)—какая-либо барьерная функция подмножества Y»
а последовательность {i/J определена условиями D). Тогда
lim Fft# = lim F^ (uk) = lim / (и^) = J^, lim a^B (Uk) = 0. F)
Кроме того, если множество U ограничено и замкнуто, а J (и)
полунепрерывна снизу на U, то {Uf,} сходится к U^^
Доказательство. Из определения J^^, Fj^^,
неотрицательности барьерной функции и условий D) следует
— оо < /^^ < / {uu) < Ffe {un) < Ffe* + 8ft < Fft {u) + 8ft =
= J{u) + anB{u) + E^ G)
при всех u^U\^ {k = i, 2, ...). Так как В {и) конечна в
любой точке и е и\'\, {aft} -^ О, то из G) при к-^ оо получим
/^^ < Ит Fft<. < lim Fft* < / {и), и е U\y.
Переходя в этих неравенствах к нижней грани по и^ С/Х^,
будем иметь J^,^^ lim F^^^ lim Fft* ^/^^j., т. е. lim F^^ = /jj.jj..

388 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Отсюда и из G) вытекает limFf^(uk) = Иш 1(и^) = J^^. Так как
ft-»oo ft->oo
/^;=/jjj^,To первые соотношения F) доказаны. А тогда из 0=^
< aJB{и^) = Fj,{uj,)-'J{Uk) -^ О при ft -> с» получим и второе из
соотношений F). Последнее утверждение о сходимости
минимизирующей последовательности {uj к П^ц, следует из теоремы 2.1.1.
Полезно заметить, что при доказательстве теоремы 1 были
использованы не все свойства барьерных функций: соотношение
lim В (vr) = оо, где {Vr) ^ U\'{, ivr) -^ v^'f, нам не понадоби-
Г-»оо
лось. Поэтому теорему 1 и ряд доказываемых ниже теорем
можно использовать не только как теоремы о сходимости метода
барьерных функций, но и как утверждения, выражающие собой
достаточные условия устойчивости нижней грани относительно
возмущений (погрешностей) минимизируемой функции и неко^
торых типов возмущений множества, на котором ищется
минимум.
2. Рассмотрим возможности построения барьерных функций
для задачи A) в случае, когда
С7 = {1^еС7о, gi{u)^0, 1 = 1, ..., m}; (8)
здесь С/о —заданное множество из J?% функции gi(w), ..., gm{u)
определены и полунепрерывны снизу на C/q. Положим
'| = {гге[7: g.(w) = 0 хотя бы для одного i, Ki<m}. (9)
Будем предполагать, что множество
[7(_0) = {.ие[7о: gi{u)<0, 1 = 1, ..., m} A0)
непусто. Тогда UX'^ = U{—0)?= 0. Довольно широкий класс
барьерных функций для множества (9) дает следующая
конструкция:
5(^) = Дф,(-?,Aг)), 1геС/(-.0), (И)
где (pi(^) —неотрицательная функция переменной ^>0 такая,
что Иш ф^ (t) = со при всех t = 1, ..., т. В самом деле, возьмем
произвольную последовательность ivr) ^ С/Х^, сходящуюся к
некоторой точке i^^Y' Согласно (9) тогда найдется номер / A^
^]<т), для которого gj{v) = 0. Так как gj{u) полунепрерывна
снизу, а g,{Vr)< О (г = 1, 2, ...), то О = g. ^z;) <limg. (Vr) <
r-*oo
^limg.(vr)^0, T. e. limg.(ur) = 0. Это значит, что B{Vr)>
^ 9j(~?j(^r))-^ oo при r-^oo^ так что функция (И) является
барьерной для множества (9).
При необходимости в A1) функции (pi{t) нетрудно выбрать
так, чтобы барьерная функция В{и1 обладала различными
полезными свойствами, такими, как непрерывность, гладкость, вы-

§ 15] МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ 389
пуклость, простота вычисления значения функции и нужных ее
производных и т. п., если, конечно, исходные данные в задаче
A), (8) обладают такими свойствами. Например, взяв в A1)
q)i{t)=l/t или ф^(^) = (тах{-1п^; 0})^ (i?^l), получим
соответственно
т
A2)
5 (а) = 2 (max {- In (- gi{u)); О})", w е С/ (- 0).
Если Uo выпукло, функции gi{u) (i = l, ..., т), выпуклы на С/о,
то множество С/(—0)=С/\'у выпукло и функции A2) также
будут выпуклыми на ?7(—0),— это следует из следствий к тео-»
реме 4.2.8. Далее, функции A2) будут обладать той же
гладкостью, какою обладают функции gi{u) (^==1, ..., ^) —У второй
функции A2) для этого нужно взять параметр р достаточно
большим.
Может сложиться впечатление, что если функции gi{u), ..,
..., gm{u) непрерывны на С/о, то множество if, определяемое
условиями (9), будет состоять только лишь из граничных точек
множества (8). Однако это не всегда так — множество if может
содержать и внутренние точки С/.
Пример 2. Пусть g{u)=\u\ — i при |a|<l, g{u) = 0 при
l<lal<2, g{u)=\u\ —2 при \u\>2. Тогда множество С/ =
^{и^Е^ = Uo: g{u)^0} представляет собой отрезок -'2<и^2
на числовой оси, а intU = {и^Е^: —2<м<2}. В то же время
множество U{-0)=-{u^E': g{u)<0}=={u: -i<u<i} cziniU,
но C/(~0)=7^intC/, a 'i^iu^U: g{u)=-0} =-{u: i<\u\<2}
наряду с граничными точками и = 2 и и = —2 содержит и
внутренние точки множества С/.
Таким образом, для множества (8) не всегда выполняется
равенство
rpC/ = rpC/oU7, A3)
где ^\ определяется условиями (9), а функции A1), A2),
являющиеся барьерными функциями для подмножества Y» могут и
не быть таковыми хотя бы для части границы С/.
3. Отдельно остановимся на условии E), которое было су-
пцественно использовано в теореме 1 при доказательстве
сходимости метода барьерных функций.
Нетрудно привести примеры задач A), (8), в которых
функции J {и), gi{u), ..., gm{u) непрерывны, множество U замкнуто
и ограничено, но условие E) не имеет места. Например, если
]{и) = и, а множество С/ взято из примера 2, то J^^ = —
-1>/,, = -.

390 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Однако даже выполнение условия A3), при котором
функции A1), A2) будут барьерными функциями 7 —"^асти границы
С/, еще не гарантирует справедливость равенства E).
Пример 3. Пусть /(гг)=е-*, U == {и= {х, у) ^Е^ ==Uo:
g(u)=={x^ + у^ - i) {у- ly ^0). Тогда ^ = Гр С7 = {гге С7: g{u)=-
^0}=-{и^Е': x' + y'==i или г/-1}, C/o = iБ^ TpUo = 0, тяк
что условие A3) выполнено. Далее, здесь UV{ = U{—0)'={a^
gE^: g{u)<0} = {u: ж^ + i/^ < 1} = int С/, поэтому/5$,^:= inf J (w)=
— e-"i>>0. В TO же время /^ = lim /(щ) = 0, где и^ = {к, i)^U
Заметим, что в этом примере U{—0) = {u: х^ + у^ ^i) czU, но
U{—0)?=U. (Напоминаем, что через Z мы условились обозначать
замыкание множества Z.)
Приведем две теоремы, дающие достаточные условия для выполнения
равенства E). Имея в виду дальнейшие применения, утверждения
сформулируем для множества
U(C) = {и^Е^: и^ С/о, gi (и) ^ С, г = 1, ..., т}, A4)
где С — некоторая постоянная. Обозначим
J^(C)= inf J (и), j^{C — 0)= lim /*(C —e),
mc) e^+o
J^(C + 0)= lim /*(C + e). ^ ^
8^+0
Теорема 2. Пусть для некоторых 6^, 8о > О множество U(C — 80)
непусто и
U(C-0) = U(C), A6)
где
и (С — 0) = {и е С/о: gi (и) <С, i = 1, ..., т}.
Пусть, кроме того, функция 1(и) полунепрерывна сверху на множестве
и (С). Тогда
J^(C-0) = J^(C)= inf J {и), A7)
U{C-o)
Доказательство. Прежде всего, заметим, что
U{c — 8) S U{C — б) s U(C — 0) s и (С)
при всех О < б < е ^ 8о, поэтому
/*(С)< inf /(и)</*(С —б)</* (С —8).
ЩС-о)
Это значит, что функция /* {С) переменной С не возрастает и
существует предел
lim/*(С:^8) = /*(С —0)> inf /(w)>/*(C). A8)
е-^+о с/(С-о)
Возьмем произвольную точку u^U(C). В силу условия A6) найдется
последовательность {uk}^U{C — 0), сходящаяся к точке и. Это значит, что
влеС/о, gi(uk) ^C — eik<C (8^ > О, А; = 1, 2, ...), где lim 8^^ = О
(i = 1, ..., m). Таким образом, Uk^U(C — Eh), где 8^ = min е|^^>0, (8Д -^
->О, и /# (С — 8^j) ^ / (w^) (А: = 1, 2, ...). Отсюда при к-^ оо^ учиты-

§ 15] МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ 391
вал полунепрерывность сверху функции J (и), получим lim J^ (G—- е) =*
= lim/ф (G —е.)</(w). В силу произвольности u^UiC) тогда
fe-»oo
/* (^ —ох/,^ (G). Сравнивая это неравенство с A8), приходим к равен-i
ству A7). Теорема 2 доказана.
Таким образом, если условия теоремы 2 выполнены при С = О, то ме-i
тодом барьерных функций B), D), (8) —(И) для задачи A), (8) можно по-.
лучить последовательность {uk}, обладающую свойствами F).
Аналогичное утверждение справедливо для выпуклых задач A), (8),
Теорема 3. Пусть Uq—выпуклое множество из Е^, функции /(м),
gi(u), ..., gm(u) выпуклы на Uq, Тогда равенства A7) справедливы при
всех C>Cit,= Kiax infg,(u).
Доказательство. Как было установлено в теореме 2, функция
/» (С) переменной С не возрастает. Возьмем произвольные 6*, 8 > О, С ">>
> С — г:> С^, Пусть и ^U(C), v ^ U(C — г). В силу выпуклости Uq тогда
ua= ay + A — a)w е f/o при всех а (О ^ а :^ 1). Кроме того, из выпук-*
яости gi{u) имеем gi(ua) ^ OLgi(v)+ A — a)gi(w) ^а(С — г) + A — а)С =
= С-~а8 @<а:^1). Это значит, что Ua^U(C — ae), Тогда с учетом
выпуклости функции J (и) получим /¦ (С) ^ inf / (и) ^ /лс (С — ае) ^
ЩС-о)
< ^ (г^а) ^ ^"^ (^) + A — ее) J (и) для всех ме U(C), v ^ U(C — b).
Следовательно, /¦ (С) < inf / (и) ^j^(C — ае) < а/# {С — г) + {1 — а) /* (С) <
ЩС-о)
< /¦ (С) + а [/* (С — 8^) — /* (С)] для всех а @<а<1, 0<8<е^,<
<Z С — С^у Отсюда при а-^+ О с учетом монотонности /# (С) получаем
равенства A7), что и требовалось.
4. Пусть множество U задается условиями
С/ = {и G Е"^: и е С/о, gi (гг) < О, г = 1, ..., т; gi (и) = О, г = m + 1, ..., s}.
A9)
Если это множество не имеет внутренних точек, то реализация ряда
методов минимизации (например, методов из § 3—5, 11 и др.) на U может
стать затруднительной или даже невозможной. В то же время при
применении методов § 13, 14 к задаче A), A9) могут получиться такие
последовательности {uh}, которые не принадлежат множеству U и нарушают
какие-либо из ограничений gi(u) :^ О, gj{u) = О на недопустимо большую
величину. В таких случаях может оказаться целесообразным использование
метода барьерных функций.
Заметим, что этот метод выше изложен для задачи A), (8) в
предположении, что множество С/(—0), определяемое условиями A0), непусто.
Однако такое предположение для множества A9) при m < s не имеет
смысла. Поэтому описанный выше метод барьерных функций к задаче A),
A9) непосредственно неприменим и требует модификации, обобщения.
Опишем один из возможных здесь подходов [178].
Введем последовательность расширенных множеств
Fft = {weC/o: gi{u)^Oh, i=l, ..., т; \gi(u)\^Qk, i = m + 1, ..., s},
B0)
где Oft > 0 (^c = 1, 2, ...), lim Q^ = 0. Так как UczVk {к = 1, 2, ...), то
ИЗ и ф 0 следует УкФ 0 (^ = 1, 2, ...). Предполагая, что функция J (и)
оо
определена на множестве U Vj^, рассмотрим последовательность задач
J (и) -> inf; и е Fft, А; = 1. 2. ... B1)

392 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Для решения задач B1) могут быть использованы различные методы
минимизации. Мы здесь остановимся лишь на методе барьерных функций.
Обозначим
jk= {и^ Vh JI выполняется хотя бы одно из равенств
giiu) = Эл, i = 1, .,., т; gi(u) = бл, gj(u) = —9^, / = m + 1, ..., s}. B2)
Поскольку UczVk, С/ n Тл = 0, то U cz VkX'ik Ф 0 (/с = 1, 2, ...). В
качестве барьерной функции Bk{u) подмножества Ya возьмем
«/.(«)= 2,Ф1 (Oft-Si И) + S <Pi(eft + ?i(")). «eFftWft, B3)
где функция Ф<@ определена, конечна, неотрицательна и не возрастает
при t > О, lim ф. (t) == оо (i = 1, ..., s). Например, в качестве ф<@ мож-
но взять ф<(^) == t-^ ф(^) = (max {—In ^; 0})^ (р ^ 1).
Далее, составим функцию
Fk{u) =J(u)+ akBk(u), и s УДтя, B4)
где {flfe} — барьерные коэффициенты: ал > О (/с = 1, 2, ...), {ал} ->0. В
отличие от рассмотренного выше варианта метода барьерных функций, здесь
мы будем требовать, чтобы барьерные коэффициенты {ak} и параметры
{9л} стремились к нулю согласованно в следующем смысле:
Иш а^ф. (9Л = О, i = l,...,s. B5)
Предположим, что Л^ = inf J {и)> — оо {к = 1,2, ...). Так как Ви(и) ^
>0, ал > О, то Fk(u) ^ /(w) при всех и е УДт^, и поэтому Fj^^ =
= inf Fj. (и) > /fc* > -- оо (^с = 1, 2, ...). С помощью какого-либо
метода минимизации определим точку мл, удовлетворяющую условиям
"ftS^ftWft. ^^ft»<^^ft("ft)<fft* + «ft. & = 1,2, ..., B6)
где {бл} — некоторая положительная последовательность, сходящаяся к
нулю; если Fj^ {и^ = F^^, то в B6) допускается ел = 0. Метод барьерных
функций для задачи A), A9) описан.
Теорема 4. Пусть функции Fk(u), Bk(u), множества Ул, Tft
определены соотношениями B0), B2) — B4), выполняются равенства B5) м,
кроме того^
lim J,^ = /¦ > — оо, / = inf / (и), /* = inf / (м). B7)
Тогда для последовательности {uk}., определяемой условиями B6),
справедливы соотношения
lim F^^ = lim F^ («^) = lim / (u^) = /., lim a^B^ (и^) = 0. B8)
Если, кроме того, множество
С/E) ={ugUo: gi(u) ^б, i = l, ..., w; |gi(a)l ^6, i = m + 1, ..., s}
B9)
компактно при некотором 5 > О, множество Uq замкнуто, а функции
ei{u), ..., gm(u), \gm+i(u)\, ..., \ga(u)\ полунепрерывны снизу на U{6),
то {иЛ-^и^ — множество решений задачи A), A9),

§ 15] МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ 393
Доказательство. Из определения /'ft^i^^»» неотрицательности Bk{u)
и условий B6) имеем
< ^h (") + Bft '= / (гг) + а^В^ (и) + 8;,, us F^Wft, А: = 1, 2, ... C0)
Так как функции ф<@ из B3) не возрастают при « > О, то Ф<(9я--^<(и))<
:^Ф<(ел) (i= 1, ..., т); q)i{Qh±gi(u)) =ф<(9л) (i = m + 1, ..., s) для
всех и^и. Поэтому в силу условия B5)
8
0<a^^B^^(lг)<2a^2 4>iFfe)-^0» А:->оо, u^U. C1)
Тогда при /с -> оо из C0) с учетом условия B7) получим
J^ < lim Fj^^ < lim JP^^^ < / (и) при всех u^U*
Переходя к нижней грани по u^U, отсюда имеем lim F^^ = /^. Тогда
из C0) следует lim Fj^^(uA= lim J(uA = J^. Наконец, 0<алВА(мл) =
= Fk{uk) —J(uk) -^0 при A:-^oo. Равенства B8) доказаны.
Пусть теперь выполнены все условия теоремы. Так как {Эл}->0, то
V\ciU{b) при всех W^k^. А тогда мл е С/(б), к'^к^, В силу
компактности U(t) последовательность {uk} имеет хотя бы одну предельную точку.
Пусть M#—произвольная предельная точка {т}, пусть
подпоследовательность \и^ I ->^ м#. В силу замкнутости Uq тогда и^^и . Далее, из
полунепрерывности снизу функций gi(u), ..., gm(tt), km+l(B)|, ,. „ \g»{u)\ И
УСЛОВИЯ Uk G Vh следует, что
g^(w*X Ит gi(Uf^ \< lim e;^ = 0, 1 = 1, ...,w,
I g. (u*) I < lim I g^ (u^^) I < lim e^ == 0
или
g^(ii#) = 0, I = m + l, ...,*.
Таким образом, u^ e C/. Отсюда с учетом полунепрерывности снизу 1(и)
на U(b) получим /¦ < / (w#) < lim / С^^^ Л = lim / (иЛ =/#, т. е. / (i^«)==
= /ф илии^еС^*. Тем самым показано, что любая предельная точка
последовательности {uk} принадлежит f/*. Отсюда следует, что {^ft}-*-^**
Теорема 4 доказана.
При некоторых более жестких ограничениях на данные задачи A),
A9) можно получить оценки погрешности метода B0) — B6).
Теорема 5. Пусть для задачи A), A9) справедливо неравенство
^oo<J^^J{u)+^c.{g-^{u)y У/и^и^, с^>0, v>0 C2)
(см. определение 14.3 и леммы 14.1, 14.5). То^да последо^^ательность {м*}.

394 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
определяемая условиями B0) — B6), существует и справедливы оценки
-\с\Л<^ Ы -^*<^h Ы - ^* < 2а, 2 Ь i^k) + Ч^ C3)
0<fl;,5,<2fl, 2 ^i{^j,) + H + \o\^^l А: = 1,2, .... C4)
s
еде \c\j^=^ 2 l^il* Если^ кроме того, множество B9) компактно при не-
i=i
котором б > о, С^о замкнуто, а функции J{u), gi(u), ..., g'm(w), |^m+i(z^) I,...
• »•» l^*(^)l полунепрерывны снизу на UF), то {^д}-»-^^*.
Доказательство. Из определения B0) множества Vh и условия
C2) следует
-co<J^<J(u)+^ с^{ё^(^)У<'^(^) + \'\Л<^к(^) + \'\Л C5)
при всех и е Ffe\Yfc. Отсюда имеем F, (u)'^J^ — \c \^ 9^>— оо, м s T^^Wft,
или /'^й* ^ /* —-1 с Ij 6^ > — оо (А; = 1, 2, ...). Таким образом,
последовательность {uk}, удовлетворяющая условиям B6), существует. Далее из C1)
следует
S
0^aj^Bj^{u^)^2aj^ 2 b{h)^ и^^ U^cz Uс: Uj^\yf^, А = 1, 2, ...
Поэтому с учетом неравенств B6), C5) имеем
<^к(^*)+Ч + \'\Л<'^* + Ч^; 'Pi{^k) + 4 + \'\xK^ ^' = 1,2, ...
Отсюда получаем оценку C3).
Далее, из соотношений О < ^и^и ("fe) ~ {^k i^h) ~~ '^*) ~ (*^ ("а) ~~ '^*)
и уже доказанной оценки C3) вытекает оценка C4). Последнее утвержде^
ние доказывается так же, как аналогичное утверждение теоремы 4.
5. Отдельно остановимся на условии B7), которое существенно исполь*
вовалось при доказательстве равенств B8). Нетрудно привести примеры за^
дач A), A9), когда это условие не выполняется.
Пример 4. Пусть /(w) = e-^ С7= {ue5» = С/о: g(w) = (w2—1)Х
X (! + "*)-*< 0}. Ясно, 4ToU = {u^E^: \u\^i}, J^=:iniJ(u) = e''^,
Возьмем Vk= {и ^ Е^: g{u) ^ 9ь = l/Zc^}. Так как Ur = г ^Vk при г ^
^ /с, то lim J fu\ = О = Jj^^ (/с = ij 2, ...). Таким образом, здесь Ива JJ^^=^
г-*оо h-^oo
в о < е~^ = /¦ — условие B7) не выполняется. Заметим, что в
рассмотренном примере множество UF) = {и^Е^: g{u) ^6} не является
компактным ни при каком б > 0.
Приведем две теоремы, дающие достаточные условия для выполнения
условия B7).
Теорема 6. Пусть множество Uq замкнуто, функции J (и), gi(u), ...
• ••I ^m(tt), l^m+i(w)|» .••» I^i(^)l определены и полунепрерывны снизу на Uq^

§ 15] МЕТОД БАРЬЕРНЫХ ФУНКЦИЙ 395
Кроме того, пусть множество
U(C) = {u^E'^: и^и^, gfiuXC, i = l,...,s}
непусто, а множество U{C-{-Eo) ограничено и замкнуто при некотором
Бо > 0. Тогда (см, обозначения A5))
lim /* (С + 8) = /* (С + 0) = /* (С). C6)
Доказательство. Так как U(C) ^U{C + б) ^U{C + е) при
любых О < б < 8:^ 80, то /* (^ +еХ/# (С+ 6Х/* (^). Таким образом,
функция /# (С) переменной С не возрастает и существует предел
lim /ф {С -\-е) = J^ (С + 0) ^ /# (С). Возьмем произвольную последова-
тельность {8fe}, О < 8ft ^ 8о, сходящуюся к нулю. При сделанных пред^
положениях множества U(С-\-ek) ^ U(С-\-Eq) при каждом /с = 1, 2, ...
ограничены и замкнуты. Согласно теореме 2.1.1 тогда существует точка
Wk^U(C + Eh) такая, что J (^и) ^'^*{^'^ ^k) (^ = 1»2, ...).
Поскольку U(C + 8о) — компактное множество и Wk^ UlC-{- 8ft) ^U(C + Eq), to
последовательность {^ft} имеет хотя бы одну предельную точку. Пусть ш»—
какая-либо предельная точка {wh}. Не умаляя общности, можем считать,
что сама последовательность {м^;^}->-и'*. По построению WkGU{C + Ek),
т. е. Wk е и о, gf (wj^) < С + 8д (i = 1, ..., s). Используя замкнутость
множества f/o, полунепрерывность рассматриваемых функций, отсюда при к-^
-^ оо получаем м;* е ?/ (С). А тогда /# (С) < / (w^) < lim / (ш^^) =»
= lim/# (^ + Sfe) ='^* (^ + 0)- Сравнивая с ранее установленным нера-
венством /# (С" + 0) ^ /* (С), получаем равенство C6).
Нетрудно видеть, что при С = О из C6) вытекает условие B7).
6. Метод барьерных функций на практике иногда используют в
сочетании с методом штрафных функций. Предположим, что множество U
задается в виде
и = {u^Uq: gi(u) ^0, i = l, ..., m; g<(u)=0, i = m + 1, ..., s;
hj(u) ^0, / = !,..., I; hi{u) =0, / = Z + 1, ..., r},
где C7o—заданное множество из E'^, функции gi{u), hj(u), a также
минимизирующая функция J (и) определены на Uq. Ограничения, задаваемые
функциями gi(u)^ будем учитывать с помощью штрафных функций
m S
i=l i=7n+l
Введем множества
Ifft == {гг е С/о: Д;(гг) ^ Gft, / = 1, ..., Z; |/ij(») I ^ Oft, / = Z + 1, ..., г},
"Yft = {и e TFft П выполняется хотя бы одно из равенств
hj(u) = Эа, у = 1, ..., г; Л^(и) == —Эа, / = Z + 1,..., г},
А; = 1, 2, .,. В качестве барьерной функции подмножества ^л возьмем
j = l j = /+l
где функция <pj (t) определена, неотрицательна и не возрастает при « > О,
Иш (рА {t) = оо (у = 1, ..., г). Рассмотрим последовательность задач
Fk(и) =/(»)+ ^fcP(и) + ahBk(и) -^inf; u^W},\-ук,

396 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
считая, ЧТО {Л^^}, {flfe}, {6fe} — положительные последовательности,
сходящиеся к нулю. Пусть F^^ = inf Fj^(u)-> — оо (А = 1, 2, ...). Опре-
^fe\Vfe
делим точку ик из условий
^ft^^ftWft, Fk{^k)<Fk* + 4^ C7)
где ел > О (^ = 1,2,...), Ива е^^ = О (если F^(гг^^) = F^^, то в C7)
ft-» с»
допускается 8л = 0). Предлагаем самостоятельно сформулировать и
доказать для метода C7) теоремы, объединяющие теоремы 4 и 14.2, 5 и 14.5,
14.6.
Различные аспекты метода барьерных функций исследованы в [8, lllj
159, 178, 307, 330, 338].
Упражнения. 1. Применить метод барьерных функций к задачам:
а) J (и) ==:х + y-^ini; ие f/= {и = (х, у) ^Е^: gi(u) =^х^ — у^О,
g2(u) ==—ж^О};
б) J (и) = y-^int; и е ?/= {и == (ж, I/) ^Eh g{u) = sin х + х — у ^ 0};
в) /(и) = (и —1K-^ inf; uGU=={uGEh g(w) = —и —1 ^ 0};
г) к задачам из упражнения 14.1;
д) к задачам из примеров 2.2.2 и 2.2.4, считая, что множество ^ совпа^
йает с границей множества U,
2. Сформулировать и доказать аналог теоремы 14.7 для описанных
выше вариантов метода барьерных функций.
§ 16. Метод нагруженных функций
I. Будем рассматривать задачу
/(w)-^inf; и^-Ы^Е"": u^U,,
gi{u)^0, i = l, ..., т; g,{u) = 0, i = m + i, ..., s}. A)
В методе нагруженных функций исходная задача A) сво*
дится к задачам минимизации некоторых вспомогательных
функций на множестве С/о и к поиску минимального решения
(корня) некоторого уравнения. Но, в отличие от метода штрафных
функций, в нем нет неограниченно возрастающих
коэффициентов, аналогичных штрафным коэффициентам, и кроме того,
метод нагруженных функций применим к более широкому классу
задач, чем метод модифицированных функций Лагранжа.
Введем семейство функций
Ф(гг, t)==^L\msix{J{u)-t; 0}f*+MP{u), u^U,, B)
8ависяш;ее от скалярного параметра f, —«^ < ^ < оо, где
т 8
Р(ц) = 2 (max {g. (и); 0]f+ 2 \g^ (и) Г, C)
величины Pi> i, i = i, ..., s, L>0, M>0 фиксированы и
являются параметрами метода. Положим
р@= inf 0{u,t). D)

§ 16] МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 397
Поскольку Ф{щ t)>0 при всех t и u^Uq, то p{t)>0 при
любом t Предположим, что в задаче A) /*> —^» и^ф0^
Возьмем произвольную точку u^^:U^. Тогда P{u^)=^Q и
Ф{щ, J^) = 0. Следовательно, р{1^^) ==: 0,^ т. е. J^^, является
корнем уравнения
p{t)^0. E)
С другой стороны, ФA1, ^)>0 при всех и ^ С/о и всех i</*?
и поэтому можно ожидать, что для широкого класса задач будет
выполняться неравенство р(^)>0 при всех K^J^. Если это в
самом деле так, то задача поиска J^ сведется к поиску
минимального корня уравнения E). Такое сведение задачи
минимизации привлекательно тем, что для поиска минимального корня
уравнения E) с одной неизвестной могут быть использованы
такие широко известные методы решения уравнений, как
методы деления отрезка пополам, простой итерации и т. п. [4, 39, 54].
Основная идея метода нагруженных функций описана.
Заметим, что в этом методе могут быть использованы и
другие конструкции функции Ф{щ О» отличные от B). Например,
можно принять
Ф{u,t) = L\J{u) — tf'' + MP{u), u^Uo, —oo<i<oo, F)
где функция Р{и) взята из C), L>0, М>0, /?<>1. Повторив
предыдуш;ие рассуждения для функции р(^), определяемой из
условий D), F), можно показать, что здесь также p{J^) = 0^
и высказать гипотезу о том, что для широкого класса задач A)
число /^j, по-видимому, будет минимальным корнем уравнения
E)
2. Прежде чем переходить к формулировке условий, при
которых высказанная гипотеза в самом деле будет справедлива,
рассмотрим примеры. Во всех примерах ограничимся
рассмотрением функций Ф(и, t) из B) и F) при L = M = Pq = ... = Ps=»
= 1.
Пример 1. Пусть /(ii)==—и; U = {и^Е^: g{u) = u<0}n
Здесь J^ = 0, щ == 0. Функция B) здесь имеет вид
Ф{и, t) = mdix{-u-t\ 0} + max{iz; 0), u^Uq=E^.
Если t>0, то Ф@, 0==0==1п!Ф(гг, t)==p{t). Если же f<0, то
Ф(ц, t) = u при u>'-t, Ф{щ 0 = -^ при 0<u<-t; Ф{щ i)=»
= —u — t при и^О (нарисуйте график функции ФAг, t) при
различных t). Поэтому inf Ф {и, t) = p{t) — — t при ^ < 0. Таким
El
образом, р(^) = тах{—^, 0}. Очевидно, минимальный корень
уравнения E) здесь совпадает с /^j. = 0.
Функция F) будет иметь вид
Ф(гг, t)=\-u-t\+mdix{u\ 01, и^Е\

398 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ [ГЛ. 5
Если t>0, то взяв u = —t, получим Ф(—^; 0 = 0 = р@- Если
же ^<0, то Ф{и, t) = 2u + t при u>—t; Ф{щ t) = —t при 0=^
"^гг^—^; Ф(щ t) = —u — t при и^О, и следовательно, р(^) = —^
при ^<0. В рассматриваемой задаче функции р@» построенные
на основе функций B) и F), совпали.
Пример 2. Пусть J{u) = u, U = {u^E^: g{u) = u^-KO}.
Ясно, что здесь U = {и^Е^: —i<u<i}, /^ = — 1, i^^ = — 1.
Если согласно B) принять
Ф{щ t)==mdix{u-t; 0} + max{i^^-l; 0), u^U, = E\
то нетрудно показать, что р {t) = inf Ф {и, t) = max {— f — 1; 0}.
El
Если же за основу взять функцию F), то
Ф{и,г) = \и'-Ц + max {и^ — 1; 0}, и е Е\
р (t) = inf Ф (щ t) = max {| ^ | ~ 1; 0}.
?1
В рассматриваемой задаче функции p{t), построенные с помощью
функций B) и F), оказались разными, но минимальный корень
уравнения E) в обоих случаях совпадает с /^j. s= — 1.
Пример 3. Пусть 1{и)=щ U = {u^E^: g{u) = u^ = 0}.
Тогда t/ = {0}, /* = 0, щ = 0. Для функции B) Ф(щ t)=^
= шах {и — t\ 0} + ц^ u^Uo = E^ получим
[О, ^ > О,
Р@= t^ ~l/2<f<0,
i-f-1/4, t<-l/2.
Если взять функцию F), то Ф{Щ t)= lu — tl +11^, u^E\ и
... / t\ UKl/2,
PW-\\t\-i/A, \t\>i/2.
Здесь также минимальный корень уравнения E) совпадает с
/* = о.
Однако нетрудно привести примеры задач A), когда
минимальный корень уравнения E) строго меньше J^,
Пример 4. Пусть J(u) = u, U ={и^Е^: g{u) = {u^ — i)X
X{u^ + l)-'<0}. Здесь U = {u^E': -i<u<i} и, очевидно,
Ji^— — 1, Щ = — 1. Если согласно B) примем
Ф{и, t)=-msix{u — t; 0}+ max{^(iz); 0}, u^Uo = E\
то при t> —i получим Ф (— 1, ^) = О = inf Ф (гг, ^) = р (t).
El
При ^ < — 1, взяв Uk = —к ^ t, также будем иметь Иш Ф (— к^ t) яя
= lim g{— к) = О = т1Ф {и, t) = р (t). Таким образом, в рас-
сматриваемом случае р (О — О при всех t. Если в качестве мини-

§ 16] МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 399
мального решения уравнения E) здесь взять t^ = — со, то
получим ^jj. <;/jj. = — 1.
Рассмотрим функцию F)
Ф{щ t)==\u-t\+mdix{g{u); 0), u^U,^E\
Если UI < 1, то при u = t получим 0(^, ^) = 0 = р@. Пусть
UI > 1. Введем множества A^ = \u^Eh | w — ^К ' 'Г" к А^ =з
^\u^Eh \u^t\>^-^^^. Так как А^\}А^ = Е\ А^(]А^ = 0,
то р{^) = info (гг, ^) = minf info (м,^); inf 0(i^, ^)l^minfming(i^);
El \ Ai Аз J \ Ai
A^ I — l)/2l> 0 при всех t, \t\ > 1. Ha первый взгляд создается
впечатление, что здесь /* = — 1 — минимальный корень
уравнения E). Однако 0<р(^)^О(^, t) = g{t) при UI > 1 и
lim р (t) = lim g (t) = 0. Поэтому есть основания считать, что
<-»—оо t-> — оо
минимальный корень уравнения E) и в этом случае равен t^ =s
= — оо</^.
Любопытно сравнить задачи из примеров 2 и 4. В них
функции J (и) и множества U совпадают. Но эти задачи отличаются
способом задания множества U, Это различие приводит к тому,
что в примере 2 минимальный корень t^ уравнения E)
совпадает с /:{., а в примере 4 t^<cJ^. Отсюда можно сделать вывод:
для выполнения равенства t^ — J^, лежащего в основе метода
нагруженных функций, исходные данные задачи A) должны
удовлетворять некоторым дополнительным условиям, они должны
быть как-то согласованы. Для формулировки этих условий нам
прежде всего нужно уточнить, что понимать под минимальным
корнем уравнения E).
Определение 1. Число t^ назовем минимальным корнем
уравнения E), если р(^*) = 0, р(^)>0 при всех t<Ct^ и
lim р {t) > 0. Если же lim р {t) = О, то примем t^ = — с». Если
t^*—сю t->—сю
р(^)>0 при всех ]t>0 и lim p(i)>0, то по определению
t-* — оо
положим ^jj. = оо.
Чтобы показать, что все указанные в определении 1
возможности в самом деле могут реализоваться, рассмотрим еще
несколько примеров.
Пример 5. Пусть
^^^^-1 6/|u|, \и\>2.
iXu^^k, А: = 2,3,...;

400 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕ1МЕННЫХ [ГЛ. б
U=^{u^E' = Uo: g{u)<0}. Тогда /^ = — 1, i^^: =
—1-Рассмотрим функцию F)
Ф{и, t)==\J{u)-t\ + mdix{g{u)] 0}, и^Е\
Покажем, что р{—к^ — к)>к (А: = 2, 3, ...). В самом деле, если
и>-2, то ФAг, -к'-к)>\и + к' + к\=к^ + к + и>к'>к при
всех А: = 2, 3, ... Если -{i + i)<u<-i {2<i<k), то Ф{и,
-k^-k)>\-f + k^ + k\=k'-f + k>k, а если ~(i+l)<ii<
^-1, i>k+i, то Ф{и, -к'- к)> \-е + к'+ к\ =f'^{k + iy +
+ к+ 1>к+ i> к. Таким образом, Ф{и, '-к^ — к)>к для всех
и ^ Е\ поэтому р(—fe^ — к)> к (к = 2, 3, ...). Следовательно,
lim р (О = lim р (— fe^ — А:) = оо. С другой стороны, О < р {-к^) ^
^Ф{-к, -?) = g{-k)'=Qk-* (А; = 2, 3, ...), так что lim p(f) =
t -»^—сю
= lim р (— /с^) = 0. Согласно определению 1 тогда ^* = ~ ^"^
ft-*oo
Остановимся также на функции B)
Ф{щ t) = m8ix{J{u)-t; 0} + mdix{g{u)] 0), u^E\
Нетрудно видеть, что если ^^—1, то Ф(—1, ^) = 0 = р(^). Если
же ^ < —1, то при к > У—it получим Ф {—к, t) = max {—А:^ — t\ 0) +
+ ^(~-'i^) = ^(""^)"^ 0 = Р@- Таким образом, здесь р@^0 при
всех t и согласно определению 1 ^* = —оо.
Пример 6. Переопределим функцию J {и) из G) в точках
гг = А:"* так: J{k~^)==—k^ (/с = 1, 2, ...). Функцию g(ii) и
множество С/ оставим такими же, как в примере 5. Повторив
прежние рассуждения, нетрудно убедиться, что минимальный корень
уравнению E) здесь будет равным t^ = /^ как при
использовании функции B), так и функции F). В отличие от примера
5, здесь J^ = — оо, поэтому справедливо t^ = /^.
Любопытно посмотреть, что будет, если множество С/ из A)
пусто, но и о непусто. В этом случае задача A), конечно,
перестает быть содержательной, но тем не менее функции Ф{щ t),
p(t) из B), D), F) будут иметь смысл.
Пример 7. Пусть/Aг)^1, U = [u^E^: g{u) = e-""^^0].
Здесь С/о = Е\ и = 0. Согласно формуле B) Ф {и, t) = max {1 —
— ^;0} + ^-^^ и^Е\ поэтому p@ = max{l--f; 0} и ^* = 1.
Если же воспользуемся функцией F) Ф (i^, ^) = 11 — ^ | + ^-»" ,
то p(t) = \i-t\ и ^* = 1-
Если здесь взять g{u) = e-^^ + 1, то получим р(^)==тах{1 —
— Ц 0} + 1 для функции B) и р(^)= II — ^1 + 1 для функции
F), так что минимальный корень уравнения E) согласно
определению 1 будет равен ^^j. = оо.

§ 16] МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 401
Пример 8. Пусть J{a) = u, U={u^Eh g{u) = е-""^^0],
Здесь Л = Е\ и = 0. Согласно B) Ф{и, t) = max {и -- t; 0}+ е-"" .
Так как при u = —k<t Ф{—k,t) = е~^^-^0 при к-^оо^ то
p{t)^0 при всех t и ^jj. = — оо. В случае функции F)
Ф{щ t) = \u — t\ + е-''^ = mini inf 0{u,t)\ inf Ф([/, 01>
l|u-/l<l |u-t|>l J
^minj inf e~''^ ll =:c@ >0 при всех u e ?*, поэтому p @ >
l|u-f|<:i j
> 0 при всех t. Ho 0 < p (^) < Ф (]t, ^) -^ 0 при t-^ ^ или if -^ —«>^
так что lim p (t) = lim p (^) = 0 и jf^j. = — сю.
Если же здесь взять^(г/) = e~^^ + 1,то Ф{щ t)>l, u^E^ и
p{t)> i при всех t, и поэтому t^ = оо,
3. Примеры 7, 8 подсказывают, что для того, чтобы
единообразно охватить возможность, когда в задаче A) U==0,
целесообразно принять
J^ = \^ (8>
[сю, С7 = 0, Uo?=0.
Тогда справедлива следующая
Теорема 1. Пусть функция p(t) определена формулой D)^
еде функции Ф{и, t) взяты из B) или F). Пусть t^ —
минимальный корень уравнения E) в смысле определения 1, а
величина J^ определена согласно (8). Тогда t^^J^,
Доказательство. Если С/ == 0, то /:$. = сю и
утверждение теоремы тривиально. Поэтому пусть U?=0, Так как мы
условились рассматривать функции, принимающие лишь
конечные значения в области своего определения, то J^<Coo, По
определению J^, существует последовательность {uj е U такая,
что lim / ([/ft) =/jj. ^—oo. Если /jj. > —• oo, то limO{z/ft,/^j.) ==
fe-^oo ft->oo
= 0 = p(/^) и поэтому t^^J^, Если же J^ = — oo, то, взяв
tk = J{Uh), получим р{и) = Ф{ии, tk) = 0 (ft = l, 2, ...).
Поскольку {tki -^ —^, TO отсюда следует lim p{t) = lim p{iffe) = 0, так
что t^ = J^ — — OO. Теорема доказана.
Рассмотренные выше примеры показывают, что для
выполнения равенства t^ = J^ важное значение имеет способ
задания множества U: ограничения, задающие множество С/, должны
быть как-то согласованы с минимизируемой функцией J {и).
Напоминаем, что в § 14 было введено понятие согласованной
постановки задачи A) на Uq (см. определение 14.2), означающее,
что для любой последовательности (iij ^ С/о, которая
удовлетворяет условиям
lim gt (г/fe) = 0, г = 1, ..., 5, (9)
fe-»oo

402 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
имеет место соотношение
lim/(uft)>/*. A0)
Распространим это понятие на случай, когда 11^=^0у f/ = 0
и согласно (8) J^ = оо. Здесь следует различать две
возможности: inf Р{и) = 0 и inf Р (г/) > 0. Если inf Р (и) = О, то су-
ществует хотя бы одна последовательность {tij ^ Uq,
удовлетворяющая условиям (9),—в этом случае скажем, что задача A)
имеет согласованную постановку на С/о, если для любой
последовательности {%} е f/o, для которой справедливы соотношения
{9), имеет место равенство lim / (гг^) = оо =/^. Кстати, это же
равенство получается и из A0) при J^ = оо. Наконец, если
Uo?=0, и = 0, infP(z/)>>0, то по определению будем считать,
что задача A) имеет согласованную постановку на
множестве Uq.
Оказывается, введенное понятие согласованной постановки
задачи A) играет важную роль при выяснении того, будет ли
t^ = /jj. или t^ < J^,
Теорема 2. Пусть функция р(t) определена формулой D),
где функция Ф{и, t) взята из B) или F), пусть t^ —
минимальный корень уравнения E), а величина J^ определена
формулой G). Тогда для выполнения равенства t^ = J^
необходимо и достаточно, чтобы задача A) имела согласованную
постановку на множестве Uq,
Доказательство. Необходимость. Пусть t^ = J^.
Если /:{. = — оо, то постановка задачи A) согласована, так как
Ит/ (г/ft) ^ — оо = /^ для любой последовательности {uj е Uq.
Поэтому пусть /:{.> — оо. Возьмем произвольную
последовательность {%} ^ Uo, удовлетворяюп];ую условиям (9). Согласно
определению C) функции Р{и) тогда ИтР{и^) = 0, Отсюда
и из неравенств Ф{ии, t)'^ p{t)>0, справедливых для всех t<Z
< if:j: = /:j: И fe == 1, 2, . . . ПрИ к -^ ОО ПОЛуЧИМ
Ит шах {/ (Uk) — ^; 0} > р (^ > О, ^ < t^,, (И)
h-юо
В случае использования функции B) и
lim\J{uk)-t\^p{t)>0, t<t^, A2)
в случае использования функции F).
Покажем, что из (И), A2) следует неравенство Иш /(и^) ^
ft->oo
^t^=ij^. в самом деле, при выполнении (И) для каждого

§ 16] МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 403
t<it^ найдется номер kQ = ko{t) такой, что m8ix{J{Uk) — t; 0) >
¦^p{t)/2>0 или J{uj,)-t>p{t)/2>0 для всех к>ко. Тогда
lim / (uk) ^ t при любом t<zt^. Устремляя t-^t^ — 0, отсюда
получим неравенство lim / (щ) ^t^ = J^.
Рассмотрим случай A2). Пусть lim / (г/^) = lim / {u^j.) = а^
Имеются две возможности: либо a^t^, либо a<^t^. Если а^
"^t^, то требуемое неравенство lim / (и^) ^t^ = J^ установлено,
fe->oo
Остается рассмотреть возможность a<it^, В этом случае
величина а не может быть конечной.
Допустим противное: пусть — oo<ia<it^. Тогда при t = a
получим
lim I / (г/fe) — а 1 = I lim / (щЛ — а 1 = О,
что противоречит условию A2). Таким образом, если a<it^^
то а = — оо, т. е. lim/(Mfe) = lim/([/fe^) = — оо. Тогда^ взяв
tr = J(uhr) (г=1,2, ...), получим о < р (^г)< Ф (г/fe,, J(i^kr))='
= MP (Ukj.)-^0 при r-^oo. Это значит, что lim p(^) = lim р(^г) =
= о и согласно определению 1 t^ = — оо. Но по условию t^ =
= /jj., поэтому lim / (uk) ~ J^ = t^ = — сю, дело свелось к ранее
рассмотренному случаю.
Тем самым установлено, что для любой последовательности
{uki^Uo, удовлетворяюп];ей условиям (9), справедливо
неравенство A0). Наконец, если такой последовательности {%} не
существует, т. е. infP(w)>>0, то задача A) имеет согласованную
постановку но определению. Необходимость доказана.
Достаточность. Пусть задача A) имеет согласованную
постановку на Uo. Покажем, что тогда t^ = J^. Сначала
рассмотрим случай, когда t^ = — оо. Это значит, что lim p{t) =:
t-^ —оо
= limp(^ft) = 0, где {^J-^ —оо. По определению р{и) согласно
fe-»oo
формуле D) следует суп];ествование точки и^ ^ Uq такой, что
р(и)<Ф{ии, tk)<p{tk)+i/k (/с = 1, 2, ...). Отсюда при к-^оо
имеем lim Ф (г/^, tk) = 0. Это означает, что lim Р (и^) = 0 и
lim max {/ (uk) — h; 0} = 0 в случае использования функции
fe->oo
B) и lim 1 / (uk) -— ^ft I = О — в случае функции F). Но по по-
строению {tj -^ — оо^ поэтому последние два равенства возможны

404 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГД, 5
только при limJ(uk) = — oo = t^. С другой стороны, из
{P{Uh)}-^0 И формулы C) следует выполнение условий (9).
В силу A0) тогда Ит/(гг^)^/^. Следовательно, /^= ^^ = — оо.
Пусть теперь i*>--оо. В силу теоремы 1 тогда J^'^t^>
>> — оо. Возьмем произвольное t<iJ^- По определению р(^)
существует последовательность {и^ ^ Uq такая, что lim Ф{щ^1) =з
= р{t). Может случиться, что lim Р{и^} = d>0. Тогда из
Ф (%, t) > MP (Uh) при fe ->- оо следует, что p{t)'^Mlim Р (и^) =^
= Md > 0. Если же lim Р (uk) = 0 = lim Р {щ ),. то lim gt (щ^) =^
= 0 (j = l, ...,5). в силу A0) отсюда имеет lim / (щ^) '^J^>t^
Г->оо
А тогда р it) = lim Ф (Ukj., i)'^L (/^ — if )^ > О как в случае ис-
пользования функции B), так и функции F). Тем самым
показано, что р(^)>0 при всех t<^J^. Кроме того, в
рассматриваемом случае t^> — оо по определению 1 lim р{t)>0. Следова-
тельно, t^^J^j что в силу теоремы 1 возможно только при
^* = /*• Теорема доказана.
В § 14 были приведены достаточные условия, гарантируюп];ие
согласованную постановку задачи A) на С/о (см. теорему 14.2,
леммы 14.1, 14.5),
4. Подробнее остановимся на частном случае функции B), когда
ФAг, t) =Lm8ix{J{u)—t; 0}+МР{и), к е С/о, A3)
где L > О, М > О, а функция Р{и) взята из C) при некоторых Pi'^ i
(i == 1, ,.., s). Оказывается, функция A3) и соответствующая ей функция
p(i) обладают рядом полезных свойств, облегчаюш;их поиск минимальното
корня уравнения E).
Теорема 3. Функции Ф{щ t), p{t), определяемые формулами A3),
A4), монотонно убывают (вообще говоря, не строго) при возрастании t и
удовлетворяют неравенствам
|Ф(а, 0-Ф(». T)|<i|«-T|, A4)
|P@-pWI<^^U-tI A5)
при всех и ^ Uo и любых t. т. Если /** = inf / (и) > — оо, то
ф(в, t) = —Lt + LJ{u) ¦\-MPin), p(t) = —Ы + Ы{Ы(и)+МР{и)) A6)
при всех i^Jifi^t—линейные функции по t.
Доказательство. Простым перебором возможных значений функ^
ции max {а; Ь] легко доказываются неравенства
max {/(к) — f; 0} > max {/(к) —- т; 0}, f ^ т, не С/о,
[max {/(к) — f; 0} —max {/(в) —т; О}] ^ |^-—т|, ве С/о,

§ 16] МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 405
Отсюда следует невозрастание функции Ф{щ t) по переменной t и
неравенство A4). Далее, для любых г^т имеем Ф(к, t) ^Ф(и, т) > р(т) или
ф(и, t) ^ р(т) при каждом ке ?/о. Отсюда, переходя к нижней грани по
и е Uo, получим p(t) ^ р (т) при всех t ^ т.
Докажем неравенство A5). Зафиксируем произвольные t, т. По
определению нижней грани при каждом 8 > О существуют точки и<, ux е Uq
такие, что
р@ < Ф{ии t) < р@ + 8, р(т) ^ 0(ut, т) < р(т) + 8.
Тогда, учитывая уже доказанное неравенство A4), имеем p@"~pW^
^Ф(Цт, t)—0{Ux, Т) +8:^L|f —Т| + 8, p(t) — р(х) ^ Ф{т, t) — В—
— Ф(ц, т) ^—L|^ —т| —8, т. е. |р@ — р(т)| :^L|i —т| + 8 при любом
€ > 0. Отсюда при 8-^Н-О получим неравенство A5). Формулы A6)
следуют из того, что J (и) — t"^ /^^ — t^O при всех и е Uq. Теорема 3
доказана.
Если задача A) имеет согласованную постановку на С/о и /# > — «>^,
то опираясь на теорему 3 можно предположить следуюш;ий итерационный
метод определения J^. Сначала выберем ^о так, чтобы р(^о) > О
(например, если /;^* = inf / (и) > — 00, то можно взять любую точку t^ < /¦*)•
Следуюш;ие приближения определим по формулам
tk+i = ^ft + 9{tk)IL, /с = О, 1, ... A7)
Теорема 4. Пусть функция р@^0 i^pu всех t, —с»<^<+оо,
удовлетворяет условию A5), пусть t^—минимальный корень уравнения E)
в смысле определения 1, t^"^—сю. Тогда при любом выборе начального
приближения ^0» —°° < ^о < ^ последовательность {tu}, определяемая усло^
виями A7), сходится к t^.
Доказательство. Так как р {t) ^ О, то из A7) следует, что
последовательность {th} монотонно возрастает, и поэтому суш;ествует
lim tj^ = а^оо. Покажем, что а = t^. По условию t < t^. Допустим,
fe->oo
что при некотором к^О оказалось i^^< i^. Тогда p(t) > О прп всех t ^ th.
Возьмем произвольное i, tk^t<Ztk+u С учетом условий A5), A7) имеем
р@ = p(fft) + [р@ — p{th)] ^ p{th) —L{t — th) >
> p(tk) — L(tk+i — ?я) = О, tk^t< tk+u
Это значит, что р(^) >0 при всех ^< h+u т. е. tj^_^^^t^. Может
случиться, что p(ffc+i)=0. Тогда ^ft+i = ^* — в этом случае итерации A7)
заканчивается. Если p(^ft+i) > О, то ^^^-i ^ ^* ^ итерации продолжаются
дальше.
Таким образом, имеются две возможности. Либо процесс A7)
закончится тем, что p(to) > О, ..., p(^fc-i) > О, p{th) = О —тогда t^=t^=:a,
утверждение теоремы верно. Либо p(tk) > О, tj^<ct^, p{t) "> О при t < tk
для всех /г = О, 1, ... — в этом случае lim t^ = a^t и р (^) > О при всех
t <. а. Покажем, что а — 1^. Если последовательность {t^} неограничена
сверху, то л = оо = ^^. Если же ^я < л < оо, /е = О, 1, ..., то, учитывая
непрерывность функции р@, из A7) при к-^оо получим а=.а+ p{a)IL
или р(а) =а 0. Это значит, что t^ = а ж при а <. оо. Теорема доказана.
Заметим, что на каждом шаге метода A7) нужно вычислить одно
значение функции р@, и для этого в свою очередь нужно решить задачу
минимизации
Ф(гг, 0-^iiif; ие Uq. A8)

406 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Поскольку функция A3), вообще говоря, не является гладкой, то это об^
стоятельство может вызвать некоторые трудности при решении задачи A8).
Однако имеюп^иеся методы решения негладких задач минимизации (см.,
например, § 3, И, 12, 17) позволяют надеяться на то, что вычисление
приближенного значения p(t) не окажется слишком трудным.
При изложении метода A7) предполагалось, что величины p(ffe)
известны точно. Однако задача A8) на практике, как правило, будет решаться
приближенно, и точное значение p(^h) удастся вычислить лишь в редких
случаях. Поэтому желательно обобщить итерационный процесс A7) на
случай, когда значения функции известны неточно. Опишем одно из
возможных таких обобщений [82].
Предположим, что вместо точных значений функции f){t) известны
лишь некоторые приближения pv@ (v = 1, 2, ...), удовлетворяющие
условиям
Pv@>0, |Pv@-P(^)|<Vv» v=l, 2, ...; limVv^O- (^9)
Пусть ^0 — начальное приближение, t^ < t^. Пусть (v — l)-e
приближение ^v-i при некотором v ^ 1 уже известно. Для определения следующего
приближения ^v рассмотрим итерационный процесс
'vft+i = «vft+Pv(«vfe)/^. ^^ = 0, 1, ...; 'vo = *o' B^^)
аналогичный процессу A7). Поскольку функция pv@ может не
обращаться в нуль ни в одной точке даже в том случае, когда уравнение E) имеет
конечный минимальный корень (так будет, например, если pv@ = р@ +
+ 'Yv^Tv>0)» то процесс B0) следует прекращать не по критерию
Pv{t\k) = О, как было выше в A7), а по условию вида pv(^vft) < 6v, где
величина 0V > О стремится к нулю при v -> с» и как-то согласована с
погрешностью 'Yv- Предположим, что такая последовательность {0v} уже задана
(условия согласования {0v} и {-^у} будут обсуждаться ниже). Тогда
имеются две возможности:
1) либо найдется номер А; = A;v ^ О такой, что
pv(«vft)>ev, ^ = 0 к-и Pv('vftv)<^v; B1)
В этом случае процесс B0) заканчивается и полагаем
'v='vv B2)
2) либо
pv(^vft) > 0V при всех к =10, 1, ... B3)
Тогда, как будет показано ниже, при выполнении условий A5), A9) и
согласованном изменении величин 9v и 'Yv будет справедливо равенство
^¦ = оо. B4)
Метод поиска минимального корня уравнения E) при условиях A5), A9)
описан
Теорема 5. Пусть функция p{t) неотрицательная при всех t, не
возрастаету удовлетворяет условию A5), а t^'> — оо — минимальный
корень уравнения E) в смысле определения 1. Кроме того, пусть функция
{Pv@} удовлетворяет условиям A9) и
Ov > Tv, V = 1, 2, ... B5)
Тогда последовательность {?v}, определяемая методом B0) —B4), сходит^
ся к t^ при любом выборе начального приближения to, — оо <; « <; f^. При
emoMf если f#<oo, то итерации B0) при каждом v>l будут ааканчи-

§ 16] МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 407
даться за конечное число шагов выполнением условий B1); случай B3)
возможен лишь при t^ == сю.
Доказательство. Сначала рассмотрим случай *#<оо. Тогда
при каждом фиксированном v ^ 1 имеются две возможности:
1) t^j^ ^ ^^ < оо при всех А; = О, 1, ... В силу монотонности {^vfc} тогда
существует lim ^^^<<#<оо. Переходя в B0) к пределу при А:-^оо,
получим lim р^ (t^A = 0. Это значит, что за конечное число итераций
процесс B0) закончится выполнением условий B1).
2) Найдется номер I ^ О такой, что t^j^ К^*< ^vl+v Тогда с учетом
соотношений A5), A9), B0) получим
Iv.l+i = Kl + Pv (^0/^ = ^vl + [Pv (Kl) - P (^0]/^ +
+ [P (^0 ~ P (^*)]/b < t^i + y^/L + ^* ~ t^i = ^* + y^/L. B6)
Далее, в силу монотонности p{t) имеем р(^)^0 при f^ t^^ поэтому
p(^vz+i) =0. Отсюда и из условий A9), B5) следует
Pv(^vZ + l) = Pv(^vZ + l) — P(^vz + l) < Tv ^ 0v. B7)
Это значит, что условия B1) выполнятся при некотором kv ^1 + i.
Объединяя обе рассмотренные возможности, заключаем, что при t^<:,oo
процесс B0) при каждом v ^ 1 заканчивается за конечное число шагов Лу
выполнением условий B1), причем в силу B6)
^v = Kk^< ^* + Vv^"'» V = 1, 2, ... B8)
Покажем, что Иш t^ = t^. Из B8) имеем lim t^^t^. Пусть lim t^ =
= lim t^ = a. Тогда с учетом условий A5), A9), B1) получим
0< р (а) < [р (а) - р («^^)] + [р («,^)] - р^_. («^^)] + р^^ (t^^) <
при г->с», т. е. р(а) = 0. Но f^e—минимальный корень уравнения E),
поэтому a'^t^. Следовательно, lim t^= lim t^ > f^ ^ lim t^. Это значит,
что lim ^«=<*, Случай ^^ < oo полностью рассмотрен.
Пусть теперь t^ = oo и пусть процесс B0) при каждом v ^ 1 закан^
чивается выполнением условий B1). Покажем, что тогда {^v}-^oo.
Возьмем произвольное число Г > 0. Согласно определению 1, если t ^ = оо^ то
im р(^)>0 и p(i) > О при всех U Отсюда и из непрерывности функ^
t-?—оо
ции р@ следует, что inf р (t) = р^ > 0. Так как {9v} -)-0, {-yv} -^0, то
найдется номер vo = Vo(r) такой, что 9v + ^v < рт при всех V^vq. Тогда
Pv@ ^ Р@ — Ъ^ 9т — Tv > 0V для всех t ^Т и v ^ Vq. Это значит, что
условия B1) не могут выполняться при ^v* ^^, если v ^ vo. Тогда согласно
B1), B2) ^v > Г для всех v^vo = vo(r), что означает выполнение
равенства lim t^=s оо,
V->oo
Остается рассмотреть случай, когда при некотором v ^ 1 выполняются
условия B3). Выше было установлено, что при f^ < оо процесс B0) при
всех v^l закончится выполнением условий B1). Следовательно, если
при каком-либо v^l реализуются условия B3), то t^ = oo. Теорема 5
доказана.

408 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Заметим, что условие B5) в теореме 5 существенно: его нарушение
может привести к тому, что метод B0) — B4) не будет сходиться.
Пример 9. Пусть J(u)=u-^inf; и ^ U = Uq = {и ^ Е^: к ^ 0}—
это частный случай задачи A), когда gi{u) ^0 (или 5 = 0). Тогда
ф(к, t) = max {и — ^, 0}, к ^ О и р {t) = inf Ф {и, t) = max {— t\ 0} (ср.
U>0
с примером 1). Здесь t^ = J^ = О, и^ = 0. Если pv@ = шах {—t; 0} + ^v
и 9v < Ьу то pv@ ^ Tfv > 0v при всех t. Поэтому в методе B0) — B4)
реализуется случай B3), и искомый минимальный корень ^* = О
уравнения E) в рассматриваемом случае не будет найден. Причина этого
явления— нарушение условия B5).
Заметим, также, что на практике вместо полуоси to ^t <: оо часто
приходится работать на каком-то отрезке to ^t ^Т^ где величина Т
ограничена, например, разрядной сеткой ЭВМ. В этом случае метод B0) — B4)
требует модификации. А именно, итерационный процесс B0) при каждом
V ^ 1 здесь будет заканчиваться определением номера к^'^О такого, что
будет выполнено одно из двух следуюш;их условий:
ИЛИ
PvCvfe) >%' к=^0, ...,k^-i; t^^_j_<Г< t^^^. C0)
В качестве v-го приближения ^v будем брать
<^ = min{f^^^: Г}, v = l, 2, ... C1)
Если выполнены все условия теоремы 5, то, немного видоизменив
доказательство этой теоремы, нетрудно установить, что при К^^щ <.Т для
достаточно больших номеров v > Vo процесс B0) будет заканчиваться
выполнением условий B9) и оценки B8), а последовательность {?v},
определяемая методом B0), B9) — C1), сходится к числу min(f^; Т}. Таким
образом, метод B0), B9) — C1) позволяет определить, принадлежит ли t^
отрезку [^0, Г], и в случае t^ ^ [t^, Т] позволяет найти ^^е с нужной
точностью.
Для определения t^ при условиях A9) может быть также использован
метод деления отрезка пополам.
5. Кратко остановимся на случае, когда функция p(t) из D)
определяется с помош;ью функции
Ф{и, t) =L\J(u) — t\ -hMP{u), кеС/о, C2)
где L > О, Ж > О, функция Р{и) взята из C) при некоторых Pi'^i
(j = l,...,.).
Поскольку 11/(к) — f| — |/(и) — т|| ^ |f — т|, то, рассуждая так же, как
при доказательстве теоремы 3, убеждаемся, что функции Ф(к, /), p(t) из
D), C2) удовлетворяют условиям A4), A5). Это значит, что для поиска
минимального корня уравнения E) и в этом случае может быть применен
описанный выше метод B0) —B4) или его модификация B0), B9) —C1).
Только условие B5) здесь нужно заменить условием
Bv ^ 2^у, V = 1, 2, ... C3)
Такая замена связана с тем, что функция C2), в отличие от A3), а также
соответствуюш;ая ей функция р(^), вообще говоря, не будут монотонными
(см. примеры 1—8). Справедлива
Теорема 6. Пусть функция p{t) неотрицательна при всех t, удо^
влетворяет условию A5), а ^* > — оо— минимальный корень уравнения
E) в смысле определения 1. Кроме того, пусть функции {pv@} удовлетво-'
ряют условиям A9), а последовательности {9v}i {ifv} — условию C3), Тогда

§ 16J МЕТОД НАГРУЖЕННЫХ ФУНКЦИЙ 409
последовательность {^v}, определяемая методом B0) — B4), сходится к t^,
при любом выборе ^q{-^ °° <.^Q<, f«). При этом, если t^ <^ оо, то ите-
рации B0) при каждом v ^ 1 будут заканчиваться за конечное число шагов
выполнением условий B1); случай B3) возможен лишь при t^ = оо.
Доказательство проводится дословно так же, как доказательство
теоремы 5. Нужно лишь неравенство B7), полученное в предположении
монотонности Q(t) и условия B5), заменить следующим неравенством, вытекающим
из условий A5), A9), B6), C3):
Pv(^J+i) = [PvDz+i) - Р (Чг+i)] + [Р (Чг+i) ~ Р (**)] <
Нетрудно также показать, что при выполнении условий теоремы 6 по»-
следовательность {t^}, полученная методом B0), B9) — C0), сходится к
min {t^; Т}.
Приведем пример, показывающий, что условие C3) в общем случае не
может быть ослаблено.
Пример 10. Пусть /(и) ^ О, U — произвольное непустое множество
вида A). Тогда Ф(и, t) = 1^1 + МР{и), и^ Uq и p(t) = |^|; ^^ = 0=/*.
Пусть pv(f) = |f| + Yv (v = 1, 2, ...). Предположим, что условие C3)
нарушено, т. е. 0v < 2уу. Возьмем начальное приближение ^о = *vo *<
< min (Yv — Ov*, 0}. Тогда pv(^vo) = Uvo| +Ь = —^vo + Vv > Ov. Далее, tvi =
= ^vo + Pv(^vo) = Yv > 0, и снова Pv(^vi) = Pv(Yv) = 2'Yv > Ov. Отсюда с
учетом монотонности pv(^) при f^O имеем pv@ ^ Pv(^vi) > Эу для всех
t'^ tv\. Это значит, что pv(^vft) > Ov для всех А; = О, 1, ... — реализовался
случай B3), и искомый минимальный корень ^* == О уравнения E) здесь
не будет найден.
Полезно заметить, что при описании методов A7), B0) — B4) и B0),
B9) —C1), а также при формулировке и доказательстве теорем 4—6 никак
не использовался тот факт, что функция p{t) получена из D) и как-то
связана с задачей A),с методом нагруженных функций. Это значит, что
описанные методы могут быть использованы для поиска минимального корня
уравнения E) для любой неотрицательной функции р@, удовлетворяющей
условию A5) и приближенно заданной посредством условий A9).
По поводу метода нагруженных функций см., например, [8, 21, 82, 85,
257].
Упражнения. 1. Найти минимальное решение уравнения E), где
функции ФA1, t), p(t) определяются из B), C), F), A3) или C2), и
проверить условие i* = /* для задачи: J (и) -^inf; u^U = {и^Е^: и^ Uq,
g(u) ^0}, где
а) /(и) =arctgK, g(«)=K2-4, ^(й) = («2-4) (u* + l)-i, g(»)=K,
g(u) ==u(u^-\-i)-\ g{u)==u^ Uo=^{u^E^: a ^ 1}, Uo={u^E^: u > 0},
'~6) УAг)=и8Шй, g{u)==u^-i; g{u) = (u^ - i){u'+ i)-\ g (a) =
= {u^ — l) б-^^ C/o = {li e E^: и > 0};
в) J (и) — произвольная функция, а С/ = Uo=z Е^]
г) J(u) = 1 при м ^ 1, J(u) = w-^ при W > 1; g{u) = u — 1, g{u) =
= (u-2) (^2 + l)-i, g {u) = e-^', t/o = {и e E': u ^ 0} или Uo = E^\
Д) J{u) = 1, g{u) = Щ g{u) = u2 + 1, g (u) = e-^' (ц2 + 1), g ^u) =
= Л-^^ Uq = E\ Uo=^{uG Eh и > 0}.
2. Найти функцию p(f) для задачи J {и) ->inf; и ^ U =^ {и ^ Е^ = U^:
g{u) = |к| —1^0}, беря за основу функции Ф(и, t) из A3) и C2),
сравнить результаты с примером 2.
3. Показать, что если функция р(г) построена с помощью функций B)
или F) при Ро > 1, то условия A4), A5), вообще говоря, не будут иметь
места (ни с какой константой L), Указание: рассмотреть задачу A) при
/(и)^1, ?/=?/о.

410 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
4. Указать такой способ задания множества U из примера 5, чтобы
задача имела согласованную постановку на f/o = Е^» Рассмотреть
возможности g(iz) = |и| — 1, g(») = к2 — 1, g {и) = <?""" (и^ — l) (воспользуйтесь
теоремой 2).
5. Выяснить геометрический смысл методов A7), B0) —B4) и B0),
B9) — C1), а также геометрический смысл условий B5), C3).
6. Проверить, будут ли функции Ф(к, t) из B), F), A3), C2), а также
соответствующая функция p(f) из D) выпуклы, если исходная задача A)
выпукла.
7. Пусть в задаче A) /¦>~оо, ?/*=5^0» и эта задача имеет
согласованную постановку на множестве С/о. Пусть последовательность {th}
построена методом A7), а последовательность {пь) определена условиями:
Uk е С/о, p(i^h) = Ф(ик, tk) (^ = 0,1, ...). Можно ли ожидать, что {^^}->-
-^ ?/ф? Приведите примеры.
8. Пусть функция Лагранжа задачи A) имеет седловую точку
(^*, Яг*) е С/^ X Лд. Показать, что та же точка [и^^ X*) является сед-
ловой точкой функции Лагранжа для задачи
max {J{и) —t\ 0} -> inf; и ^ U
при всех t^J^, Выяснить связь между множествами точек минимума
последней задачи и задачи A).
9. Для задачи A) ввести функцию
Oi(tt, t) =Lmax{/(»); t} + ЖР(к), ие C/q,
где Р(и) взята из C), L > О, Л/ > О, и положить р, {t) = inf ф (ц, 1),
Показать, что /* = р^^ (J^)* Можно ли утверждать, что /* будет
минимальным корнем уравнения pi(t) —t = 0? Пользуясь равенством max {/(и), t) =
==max {J(и) —t; 0} + t, установить связь между функциями Ф\{щ t), Q\{t)
и функциями Ф(и, t), p(t) из B), A3).
10. Для задачи /(u)-^inf; и е С/= {и е С/о, gi(w) ^ О, ..., gm(w) ^ 0}
ввести функцию G(w, к) = max {/(м?) —/(и); gi(w), ..., gm(w)} или
G{w, и) = (J{w)—J{u))gi(w) ,., grains) переменных и, w ^ Uq и
рассмотреть итерационный процесс ^ (^^k+i^ ^h) ~ ^^^ ^ ("'» ^h)'-> исследовать его
сходимость (метод центров, [159]).
§ 17. О методе случайного поиска
Наряду с описанными выше методами минимизации
функций переменных существует большая группа методов поиска
минимума, объединенных под названием метода случайного
поиска. Метод случайного поиска, в отличие от ранее
рассмотренных методов, характеризуется намеренным введением
элемента случайности в алгоритм поиска. Многие варианты метода
случайного поиска сводятся к построению последовательности
{uj по правилу:
Uk+i^Uk + a^l, к = 0, 1, ..., A)
где aft —некоторая положительная величина | = (|*, ..., I'') —
какая-либо реализация ^-мерной случайной величины | с
известным законом распределения. Например, координаты g'
случайного вектора ^ могут представлять независимые случайные ве-

§ 17J О МЕТОДЕ СЛУЧАЙНОГО ПОИСКА 411
ЛИЧИНЫ, распределенные равномерно на отрезке [~1, 1]. Как
видим, метод случайного поиска минимума функции п
переменных предполагает наличие датчика (или генератора) случайных
чисел, обращаясь к которому, в любой нужный момент можно
получить какую-либо реализацию гг-мерного случайного вектора
\ с заданным законом распределения. Такие датчики,
оформленные Б виде стандартных программ, имеются в библиотеках
подпрограмм на ЭВМ.
1. Приведем несколько вариантов метода случайного поиска
минимума функции J {и) на множестве и^Е"", предполагая, что
к-е приближение и^^ U {к>0) уже известно.
а) Алгоритм с возвратом при неудачном шаге. Смысл этого
алгоритма заключается в следуюш;ем. С помош;ью датчика
случайного вектора получают некоторую его реализацию | и в
пространстве Е"" определяют точку Vk = Uf^ + а^, а = const > 0. Если
Vh^U и J{Uh)<J{uh), то сделанный шаг считается удачным,
и в этом случае полагается Uh+i = Vh, Если Vh^U^ но J{Vh)^
^J(un), или же Uh^U, то сделанный шаг считается неудачным
и полагается Uk+i = Uh-
Если окажется, что щ = Uu+i = ... = Uu+n для достаточно
больших iV, то точка Uh может быть принята в качестве
приближения искомой точки минимума.
б) Алгоритм наилучшей пробы. Берутся какие-либо s
реализаций ^1, ..., ^3 случайного вектора ^ и вычисляются значения
функции J (и) в тех точках ii==iift + a|i (^ = 1, ..., s), которые
принадлежат множеству U. Затем полагается u^+i = и^ + ос^г^,
где индекс iq определяется условием
/ (Uk + agi ) = min / {и^ + ali).
Величины 5 > 1 и а = const > О являются параметрами
алгоритма.
в) Алгоритм статистического градиента. Берутся какие-либо
S реализаций ^i, ..., ^а случайного вектора ^ и вычисляются
разности A/fti = /(iife + 7§г) —/(i^fe) для всех ^л + 'у^г^С^. Затем
1 V
полагают Р^^= i;: 2^ li^JkU где сумма берется по всем тем i,
i^Ks, для которых Uk + "ibе и. Если щ + арн^ U, то
принимается Uft+i = lift + apfe. Если же Uh + apk^U, то повторяют
описанный процесс с новым набором из s реализаций случайного
вектора ^. Величины s>l, а>0, ^^0 являются параметрами
алгоритма. Вектор ри называют статистическим градиентом.
Если ?7 = Е"", S = гг, и векторы ^г являются неслучайными и
совпадают с соответствующими единичными векторами Ci = (О, ..., О,
1, ..., 0) (^ = 1, ..., п), то описанный алгоритм, как нетрудно
видеть, превращается в разностный аналог градиентного метода.

412 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. &
2. В описанных вариантах а)—в) метода случайного поиска
предполагается, что закон распределения случайного вектора |
не зависит от номера итераций. Такой поиск называют случай--
ным поиском без обучения. Алгоритмы случайного поиска без
обучения не обладают «способностью» анализировать результаты
предыдупцих итераций и выделять направления, более
перспективные в смысле убывания минимизируемой функции, и
сходятся, вообпце говоря, медленно.
Между тем ясно, что от метода случайного поиска можно
ожидать большей эффективности, если на каждой итерации
учитывать накопленный опыт поиска минимума на предыдуш;их
итерациях и перестраивать вероятностные свойства поиска так,
чтобы направления |, более перспективные в смысле убывания
функции, становились более вероятными. Иначе говоря,
желательно иметь алгоритмы случайного поиска, которые обладают
способностью к самообучению и самоусовершенствованию в
процессе поиска минимума в зависимости от конкретных
особенностей минимизируемой функции. Такой поиск называют
случайным поиском с обучением. Обучение алгоритма осупцествляют
посредством целенаправленного изменения закона распределения
случайного вектора ^ в зависимости от номера итерации и
результатов предыдущих итераций таким образом, чтобы
«хорошие» направления, по которым функция убывает, стали более
вероятными, а другие направления ¦— менее вероятными. Таким
образом, на различных этапах метода случайного поиска с
обучением приходится иметь дело с реализациями случайных
векторов Ъ, с различными законами распределения. Имея в виду
это обстоятельство, итерационный процесс A) удобнее записать
в виде
Uu+i = uj, + aulh, /c = 0, 1, ..., B)
подчеркнув зависимость случайного вектора § от к,
В начале поиска закон распределения случайного вектора
I = §0 выбирают с учетом имеющейся априорной информации о
минимизируемой функции. Если такая информация отсутствует,
то поиск обычно начинают со случайного вектора ^о =(^о»- • -•> io)f
компоненты |J (j = 1, .. .^ ^) которого представляют собой
независимые случайные величины, распределенные равномерно
на отрезке [—1, 1].
Для обучения алгоритма в процессе поиска часто берут
семейство случайных векторов ^ = ^(t^), зависящих от параметров
i^ = (i^*, ..., w""), и при переходе от к-ж итерации к (/с+1)-й
итерации имеющиеся значения параметров w^ заменяют
новыми значениями т^^^ с учетом результатов предыдущего
поиска.
Приведем два варианта метода случайного поиска с
обучением для минимизации функции J [и) на всем пространстве.

g 17] О МЕТОДЕ СЛУЧАЙНОГО ПОИСКА 415
а) Алгоритм покоординатного обучения. Пусть имеется
семейство случайных векторов 'i^%{w) = {%\ ..., ^"), каждая
координата I' которых принимает два значения: |' = 1 с
вероятностью р^ и |* = —1 с вероятностью 1 —р\ где вероятности р*
зависят от параметра w^ следующим образом:
0, ш^<-1,
1A+ шО, им<1, C>
1, ш*>1, i = 1, ..., ^.
Пусть начальное приближение щ уже выбрано. Тогда для
определения следующего приближения щ в формуле B) при k = Qt
берется какая-либо реализация случайного вектора §o = HO)f
соответствующего значению параметров м? = м7о = (О, О, ..., 0) •
Приближение Иг определяется по формуле B) при А = 1 с
помощью случайного вектора |i = | @). Пусть известны
приближения Uo, Ui, ..., Ufe и значения параметров W7fe-i =(w7fe-i, ...^ i^fe-i)
при некотором к^ 1, Тогда полагаем
wl = p^fe-i -- б sign [(/ (Ufe-i) — / {uk-2)) (гг^_1 — ul^2)]i
г = 1, ..., д, /с == 2, о, ,..,
где величина ^ ^ О называется параметром забывания, 6^0 —
параметром интенсивности обучения, ^ + б > 0. При определении
следующего приближения u^+t в формуле B) берем какую-либо
реализацию случайного вектора §а = | (Wj,), Wk = (wl, ..,, wl).
Из C), D) видно, что если переход от точки u^^z к %-i
привел к уменьшению значения функции, то вероятность выбора
направления Uh-i —¦ Uu-z на следующем шаге увеличивается.
И наоборот, если при переходе от Uk-z к u^-i значение функции
увеличилось, то вероятность выбора направления %-i — и^-^2 на
последующем шаге уменьшается. Таким образом, формулы D)
осуществляют обучение алгоритма. Величина б ^ О в D)
регулирует скорость обучения: чем больше б > О, тем быстрее
обучается алгоритм; при 6 = 0, как видно, обучения нет. Величина
Р > О в формулах D) регулирует влияние предыдущих значений
параметров на обучение алгоритма; при ^ = 0 алгоритм
«забывает» предыдущие значения Wu-i. Для устранения возможного
чрезмерного детерминирования алгоритма и сохранения
способности алгоритма к достаточно быстрому обучению на параметры
Wh накладываются ограничения |i^fe|^Ci, и при нарушении
этих ограничений wl заменяются ближайшим из чисел Ci и —С|
(i = l, ..., п). Величины ^, б, с» являются параметрами алго--
ритма.

414 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Вместо формул D), посредством которых производится
обучение алгоритма, часто пользуются другими формулами
wi = pii^fe-i — б (/ (Uk-i) — J iUk-2)) (щ-1 — ^^-г),
j = l, ...,гг, /с = 2, 3, ... ^ ^
Описанный алгоритм покоординатного обучения имеет тот
недостаток, что поиск и обучение происходят лишь по одному
из 2"" направлений | = (|*, ..., 1""), где либо |' = 1, либо |' = —1.
Отсутствие «промежуточных» направлений делает
покоординатное обучение немобильным в областях с медленно
изменяющимися направлениями спуска. От этого недостатка свободен
следующий алгоритм.
б) Алгоритм непрерывного самообучения. Пусть имеется се-
меиство случайных векторов c, = l(w) = . , ^. где w = (w\ ...
..., i^"")¦—параметры обучения, г{=(г]\ ..., т]'') — случайный
вектор, координаты т]' которого представляют собой независимые
случайные величины, распределенные равномерно на отрезке
[—1, 1]. Поиск начинается с рассмотрения случайных векторов
go = ПО), Si = I @), реализации которых используются при
определении приближений Ио, Щ по формулам B). Обучение
алгоритма при к> 2 производится так же, как в алгоритме
покоординатного обучения, с помощью формул D) или E). При
больших значениях \wh\ влияние случайной величины ц
уменьшается, и направление i,h = ^{^k) становится более
детерминированным и близким к направлению w^. Во избежание
излишней детерминированности метода на параметры гг;^ = (u?J, ..., wl)
накладываются ограничения [гг;^! < с == const, и при нарушении
этих ограничении w^ заменяется на -; г с.
I ^k\
Приведенные алгоритмы случайного поиска с обучением
показывают, что процесс обучения в ходе поиска сопровождается
уменьшением фактора случайности и увеличением степени
детерминированности алгоритма поиска минимума, направляя
поиск преимущественно по направлению убывания функции. В то
же время наличие случайного фактора в выборе направления
дает возможность алгоритму «переучитываться», если свойства
функции в районе поиска изменились или предыдущее обучение
было неточным. Случайный поиск с обучением в некотором
смысле занимает промежуточное положение между случайным
поиском без обучения и детерминированными методами поиска
минимума из предыдущих параграфов. Разумеется, и в методах
предыдущих параграфов можно обнаружить в том или ином виде
элементы самообучения алгоритма, однако наличие случайного
фактора в алгоритме делает метод случайного поиска более
гибким.

§ 18] ОБЩИЕ ЗАМЕЧАНИЯ 415
3. Весьма усложняет решение задачи минимизации функций
многих переменных наличие помех, когда на значения функции
J (и) в каждой точке и накладываются случайные ошибки.
В этих случаях можно использовать метод стохастической
аппроксимации. Один из вариантов этого метода был описан в
§ 1.13 применительно к задачам минимизации функций одной
переменной. Для функций п переменных эта процедура
приводит к построению последовательности {uj по закону
Uk+1 — Щ — ^k ;: , I == 1, ..., 72,
где в, = @, ..., О, 1, О, ..., 0), z(ii)—наблюдаемые в
эксперименте значения функции J (и) в точке и, последовательности {aj^
{сJ удовлетворяют условиям A.13.2).
Заметим, что задача минимизации функций при наличии
случайных ошибок относится к задачам стохастического
программирования. Более подробно о стохастическом
программировании, о теоретических и вычислительных аспектах методов
случайного поиска, стохастической аппроксимации см., например,
в [И, 49, ИЗ, 123, 127, 147, 148, 151, 154, 157, 158, 173, 180,
214, 235, 259, 279, 306, 339].
§ 18. Общие замечания
Выше были рассмотрены лишь немногие из известных в
настоящее время методов минимизации. В гл. 7 мы обсудим еще
один метод решения задач минимизации специального вида —
метод динамического программирования. Заметим, что по сей
день интенсивно продолжается разработка все новых и новых
методов решения экстремальных задач, о чем свидетельствует
неуклонно растущее количество публикаций в научной печати
по этой тематике.
1. Возникают естественные вопросы: чем руководствоваться
при выборе метода для решения той или иной конкретной
экстремальной задачи, какой же метод является наилучшим? Иногда
считают, что тот метод лучше, у которого выше скорость
сходимости на некотором фиксированном классе задач. Однако при
таком способе оценки методов не принимается во внимание
такое важное качество, как трудоемкость каждой отдельно взятой
итерации метода. Нередко бывает, что при решении конкретной
задачи выгоднее применять метод, который сходится не очень
быстро и для получения решения с нужной точностью требует
довольно большого числа итераций, но тем не менее из-за того,
что каждая итерация метода осуществляется просто, суммарный
объем вычислений и, следовательно, общее машинное время для
получения решения оказывается меньшим, чем при применении

416 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ, 5
другого быстросходяш;егося метода, каждая итерация которого
весьма трудоемка. Таким образом, при характеристике метода
минимизации важным является не столько скорость его
сходимости, сколько обилий объем вычислений, общее машинное
время, необходимое для получения решения с нужной точностью.
При практическом использовании методов значительная часть
времени, отведенного на расчеты, часто затрачивается на
вычисление значений минимизируемой функции или ее
производных. Поэтому в тех случаях, когда вычисление значений функ^
ции намного проще вычисления ее производных, естественно,
выгоднее пользоваться теми методами, которые для своей
реализации требуют лишь вычисления значений функции. Конечно,
возможны и такие ситуации, когда имеются простые
аналитические выражения для производных минимизируемой функции,—
в таких случаях, возможно, выгоднее применять методы,
использующие градиент или производные более высокого порядка.
Важными характеристиками метода минимизации являются
также область сходимости метода, устойчивость метода к
погрешностям, объем памяти ЭВМ, необходимой для реализации
метода, удобство программирования, широта класса задач, к
которым применим метод, и т. п.
Большое количество разнообразных и отчасти
противоречивых характеристик методов, недостаточная разработанность
методики оценки упомянутых характеристик затрудняют
сравнение методов друг с другом. Иногда для сравнения методов
минимизации задают некоторой набор тестовых задач (набор
таких задач см., например, в [314]) и лучшим признают тот
метод, с помощью которого удается решить указанные тестовые
задачи с нужной точностью за меньшее число итераций,
меньшее число вычислений значений функции или ее производных,
или за меньшее машинное время. Несомненно, такие
«соревнования» методов полезны, хотя и на их основе нельзя делать
окончательные выводы о преимуществах того или иного метода.
Здесь следует также заметить, что один и тот же метод,
примененный для минимизации одной и той же функции, может
привести к различным результатам в зависимости от того, на каком
алгоритмическом языке составлена программа, каково качество
транслятора (квалификация программиста), на какой ЭВМ
решается задача и т. д.
Конечно, хотелось бы иметь метод, наилучший во всех
отношениях. Однако такого универсального метода пока нет, и вряд
ли такой метод существует. Поэтому для эффективного решения
конкретной задачи минимизации, по-видимому, нужно разумно
сочетать различные методы с учетом всевозможной априорной
информации о решаемой задаче (гладкость исходных данных,
вьшуклость, физические или какие-либо иные соображения об
области возможного расположения точки минимума и т. д.),

§ 18] ОБЩИЕ ЗАМЕЧАНИЯ 417
имеюп],ихся вычислительных средств, ресурсов машинного
времени и т. п. В тех случаях, когда нет никакой априорной
информации о задаче, которую нужно решить, по-видимому,
сначала полезно попробовать применить не очень точные, но
простые методы минимизации (например, метод перебора значений
функций на сетке с небольшим числом узловых точек, метод
покоординатного спуска, метод случайного поиска), а затем на
основе накопленной информации при необходимости перейти к
более точным методам.
2. Успешное решение различных классов прикладных
экстремальных задач невозможно без пакета минимизации, состояпцего
из библиотеки подпрограмм, охватывающей достаточно много
методов минимизации, а также управляющих и
вспомогательных программ. Пакеты минимизации могут быть использованы
в автоматизированном или диалоговом режиме.
При работе с пакетом в диалоговом режиме математик —
вычислитель, получая сведения о текущих результатах, оперативно
вмешивается в процесс минимизации, осуществляет переход о г
одного метода к другому, изменяет параметры методов,
параметры программ. Диалоговый режим работы с пакетом
минимизации позволяет лучшим образом использовать опыт и
интуицию математика — вычислителя и предъявляет высокие
требования к его профессиональным знаниям в области методов решения
экстремальных задач.
В тех случаях, когда пользователь, т. е. специалист,
проводящий расчеты, не является компетентным в области методов
решения экстремальных задач, желательно иметь пакеты
минимизации, работающие в автоматическом режиме. Для работы в
этом режиме пакет должен содержать управляющую программу,
обеспечивающую автоматический выбор наиболее подходящей
последовательности используемых методов, их параметров в
зависимости от конкретной решаемой задачи.
Принцип построения пакетов минимизации, примеры таких
пакетов описаны в [8, 15]. Заметим, что создание эффективно
действующих и достаточно универсальных пакетов
минимизации, которые могут быть использованы в различных режимах,
представляет собой важную и большую научно-техническую
задачу.
3. Следует обратить внимание читателя на то, что
первоначальная постановка прикладных задач минимизации зачастую
бывает достаточно грубой, упрощенной и предполагает, что в
процессе решения задача будет уточняться. Это значит, что
первоначальный вариант задачи не всегда имеет смысл решать
слишком точно. Иногда гораздо выгоднее с помощью простых
методов, с небольшой затратой машинного времени получить
грубые предварительные результаты и затем проанализировать
их вместе с экспертами, с заказчиком. Уже при таком упрощен-

418 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
ном анализе может выясниться, что некоторые параметры и
ограничения, ранее казавшиеся несущественными и поэтому не
учтенные в первоначальной постановке задачи, должны быть
включены в нее, и наоборот, часть прежних параметров и
ограничений могут оказаться несупцественными и без ущерба для
существа задачи могут быть опущены. Заметим, что процесс
уточнения постановки задачи весьма удобно проводить с
помощью пакета минимизации в диалоговом режиме.
Иногда стремятся учесть многие детали задачи и создать
слишком подробную математическую модель исследуемого
процесса, а затем пытаются найти наилучшие, оптимальные
значения всех параметров процесса. Однако такой подход может
привести к задаче минимизации с очень большим числом
переменных и численное решение такой задачи может встретить
непреодолимые трудности. Но даже в тех случаях, когда удается
найти оптимальные значения параметров, их практическое
использование может оказаться невозможным из-за того, что
заказчик, будучи не в состоянии охватить полученную
информацию, может не понять разумность выработанных на ее основе
рекомендаций и может от них вообще отказаться. Поэтому па
первых этапах исследования прикладных задач минимизации
желательно пользоваться простыми моделями, учитывающими
основные, определяющие параметры.
4. К сожалению, последнему совету удается следовать не
всегда. Например, математические модели
социально-экономических процессов, достаточно адекватно отражающих основные
закономерности, как правило, чрезвычайно сложны, содержат
большое число переменных и приводят к так называемым
задачам минимизации большой раамерности. Численное решение
таких задач обычными методами становится невозможным даже
при использовании самых мощных современных ЭВМ.
Некоторые классы задач большой размерности допускают разбиение на
ряд слабо связанных между собой подзадач, имеющих
сравнительно небольшие размерности, решая которые, иногда удается
получить приближенное решение исходной задачи. Следует
заметить, что задачи минимизации большой размерности к
настоящему времени изучены слабо. Некоторые методы решения таких
задач см., например, в [111, 117, 194, 203, 242, 302, 320, 330].
5. В ряде методов минимизации, описанных выше,
предполагалось, что начальная точка щ, принадлежащая множеству С/,
Известна. Для некоторых множеств, таких, как, например,
параллелепипед, шар, гиперплоскость, указать такую точку Uq
совсем нетрудно. Однако не следует думать, что определение точки
щ из любого множества U всегда просто. Например, если
иМи^Е-: g,(ii)=0, J=l, ..., s}, A)
то для определения точки щ^ U нужно решать систему урав-

§ 18] ОБЩИЕ ЗАМЕЧАНИЯ 419
нений (вообще говоря, нелинейных). Чтобы найти какую-либо
точку множества
и={а^Е^: g,{u)<0, J = 1, ..., ттг}, B)
дридется решать систему неравенств. Определецие решения
систем линейных или нелинейных: урав|нений и неравенств
представляет собой весьма серьезную задачу, которой посвящена
обширная литература; см., например, [4, 8, IS^ 20, 22, 39, 42, 45,
54, 73, 76, 93, 106, 111, 112, 117, 119, 162, 200, 209, 221, 237-
239, 277, 282, 296, 298, 301, 321, 324, 335J.
Полезно заметить, что задачу нахождения какой-либо точки
Ио, принадлежащей множеству A) или B), можно
переформулировать в виде задачи минимизации. А именно, в случае
множества A) введем функцию
1=1
а в случае множества B)— функцию
т
Р (и) = 2 (max {^. (и); 0]f, ueE'', р> О,
1=1
И рассмотрим задачу минимизации
Для решения этой задачи могут быть использованы любые
подходящие методы минимизации. Если U Ф ^, то условие щ ^- U
равносильно условию Р(Uq) = О = intP{u) = Р^. ЕслиР5^>0,
то и = ^. Если же Р^ = 0, но нижняя грань Р{и) на ?" не
достигается, то также U = ^.
Если
и={и^Е'': U'^Uo, gi{u)<0, t = l, ..., 771, ^г(^)=0,
г = 771 + 1, . .., s),
TO ДЛЯ определения какой-либо точки щ^и можно рассмотреть
задачу минимизации
m S
P{u)=^(mRx[g.{u);0]f+ 2 \g.{u)\^^mi; u^U,, р>0.
i=l^ ^ i=m+l' '
Здесь предполагается, что множество Uq имеет столь простую
структуру, что нахождение точки щ е Uq не вызывает
трудностей.
Задачу отыскания точки, принадлежащей множеству B),
можно свести к несколько иной задаче минимизации
o-^inf; z=(iz,a)e G={z=(iz,a)e?'^+^: gi[u)<o, г = 1,..., тгЛ.
C)

420 МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИЙ многих ПЕРЕМЕННЫХ [ГЛ. 5
Понятно, что если иФ^, то infa^O. Определение начальной
G
точки Zo=(iio, Gq)^G не вызывает трудностей: достаточно взять
какую-либо точку щ^Е"- и положить0^= max g^iu^). Для ре-
шения задачи C) может быть использован, например, метод
возможных наогравлений. Итерационный процесс можно
прекратить, как только обнаружится точка z = {u, o)eG, для которой
о ^ 0. В том -случае, когда множество B) регулярно, т. е.
существует точка i;^?", для которой gi{v)<0 (j = l, ..., т), то
infa<;0, и ясно, что любой сходящийся метод минимизации в
G
задаче C) позволит за конечное число итераций найти точку
множества B).
6. Интересно проанализировать доказательства теорем
сходимости градиентного метода, методов проекции градиента,
возможных направлений, условного градиента и т. д. Такой анализ
показывает, что проводимые рассуждения опираются на
предположения одного и того же типа, содержат много общих
моментов, техника получения оценок скорости сходимости имеет
общие черты. Возникает вопрос, нельзя ли создать общую
методику исследования сходимости если и не всех, то хотя бы
некоторых достаточно широких семейств методов минимизации?
Оказывается, это возможно. К настоящему времени сделаны весьма
удачные и интересные попытки создания такой методики,
позволяющей единообразно исследовать сходимость широких
классов методов минимизации, получать оценку скорости
сходимости. К сожалению, мы здесь не имеем возможности
останавливаться на этих увлекательных вопросах и отсылаем читателя
к работам [8, И, 49, 140, 159, 214, 235, 248, 250].

Глава б
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
В этой главе рассматриваются задачи оптимального управления
процессами, описываемыми системами обыкновенных дифференциальных
уравнений. Этот класс экстремальных задач существенно отличается от
рассмотренных: если в задачах минимизации функции конечного числа
переменных искомая точка минимума являлась точкой дг-мерного пространства,
то в задачах оптимального управления искомая точка минимума, вообще
говоря, представляет собой функцию, принадлежащую некоторому
бесконечномерному функциональному пространству. Такие задачи имеют
многочисленные приложения в механике космического полета, в вопросах:
управления электроприводами, химическими или ядерными реакторами,
виброзащиты и т. д.
Эффективным средством исследования задач оптимального управления
является принцип максимума Понтрягина [17], представляющий собой
необходимое условие оптимальности в таких задачах. Принцип максимума,
открытый коллективом советских математиков во главе о академиком
Л. С. Понтрягиным, представляет собой одно из крупных достижений
современной математики и является краеугольным камнем современной
математической теории оптимального управления. Принцип максимума
Понтрягина существенно обобщает и развивает основные результаты
классического вариационного исчисления, розданного Эйлером, Лагранжем и
другими выдающимися математиками прошлого. Появление принципа
максимума стимулировало последующее бурное развитие теории экстремальных
задач и методов их решения.
Из обширной литературы, посвященной различным аспектам
современной теории оптимального управления и управляемых систем, их
приложений, упомянем [1, 2, 5—9, 14, 17, 22, 28, 31, 32, 34, 36—38, 43, 50, 51,
59—70, 75, 77, 80, 81, 97—101, 104, 117, 118, 120, 121, 124, 125, 136—138, 142,
149, 161, 166, 167, 172, 174, 175, 181—189, 192, 193, 199, 204—206, 210-212,
217, 218-220, 222, 223, 226, 232, 234, 236, 243, 244, 246, 248, 249, 252—254, 260,
263, 268, 271, 273, 275, 280, 281, 285, 286, 289, 290, 293, 294, 300, 303-306^
308—311, 315, 317, 319, 325—328, 339, 341, 342].
§ 1. Постановка задачи оптимального управления
1. Сначала приведем несколько конкретных задач
оптимального управления.
Пример 1. Движение плоского маятника, подвешенного к
точке опоры при помощи жесткого невесомого стер5Кйя
(рис. 6.1), как известно, описывается уравнением
IQ + Ьв + mgl sinQ ^ М{х),

422
ПРИНЦИП МАКСИМУМА ПОНТРЯГИЫА
[ГЛ. 6
где I — длина жесткого стержня маятника, т — масса,
сосредоточенная в конце стержня, I = тР — момент инерции, g —
гравитационная постоянная (ускорение силы тяжести), Ь>0 —
коэффициент демпфирования, т — время, М{х)—внешний
управляющий момент, 6 = 6(т) — угол отклонения стержня от
точки устойчивого равновесия. Если сделать
замену переменной t = x^mgl/I^ то это
уравнение можно привести к виду
Ф + Рф + sin ф = И (^),
A)
где
ф = ф (^) = е [tMIJ (mgl)), р = b/yimgl,
u{t)=M{tyi/(mgl))/{mgl).
Рис. 6.1
Обозначим х^ {t) = ф (t) (угол
отклонения маятника), x^{t)=^{t) (скорость
маятника). Тогда уравнение A) запишется в виде системы двух
уравнений первого порядка:
x'{t)==x'{t), x'{t)= ^^x'{t)^ smx'{t)+ u{t). B)
Пусть в начальный момент t = 0 маятник отклонился на угол
х^{0) = х1 и имеет начальную скорость л;^@) = аго* Будем такл^е
считать, что функция u{t)—управляюш;ий момент (выбор
которого может влиять на движение маятника) — удовлетворяет
ограничению
U@!<T. T = const>0, t>0. C)
Здесь возможны следуюш;ие постановки задач оптимального
управления: выбрать управление u{t), удовлетворяющее
условиям C) так, чтобы:
1) за минимальйое время Т остановить маятник в однЬй из
тбчек устойчивого равновесия, т. е. добиться выполнения
условий
х'{Т)^2пк, х'{Т)=0 D)
при некотором к (к —О, ±1, ...) (задача быстродействия);
2) за минимальное время Т добиться выполнения условия
где 8 > О — заданное число;
3) к заданному моменту Т величина {х^{Т))^ + {х^{Т)У^ или
J {х^^ {t)f dt, или J {{х^ @J + (х^ {t)Y) dt, или max | х^ {t) |, или
о о 0<t<T
max max {| х^ (t) |, | хЩ |} принимала минимально возможное значе-
ние, или

§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 423
4) В заданный момент Т выполнялось равенство л;^(Г)=0,
а величина х^{Т) была максимально возможной (задача о
накоплении возмущений), или
5) к заданному моменту Т добиться выполнения условий
г
D) и минимизировать величину j y?{t)dt (выполнение условия
о
C) здесь необязательно).
Если колебание маятника ограничено какими-либо упорами,
то в перечисленных задачах нужно еще требовать выполнения
условия вида
\х^ (^) I ^ |я, |я = const > 0.
На управление u{t) вместо условия C) (или наряду с
условиями C)) могут накладываться ограничения вида
т
о
где R = const > 0.
При изучении малых колебаний маятника часто полагают
sin ф « ф, и тогда уравнение A) и эквивалентная ему система
становятся линейными и будут иметь вид
ф + рф + ф = u{t)
и соответственно
x'{t)^x^{t), х'{t)= ^^x'{t)- х'{t)+ u{t),
Пример 2. Как известно [121, с. 129], движение центра
масс космического аппарата и расход массы описывается
системой дифференциальных уравнений
f = v, v^gp/G + F, Q = -gq, O^t^T, E)
где ^--время, г = r(/) = (ri(^), rzit), Гз(^))—радиус-вектор
центра масс аппарата, v = v{t) = {Vi{t), V2{t), 1;з@)~^ скорость
центра масс, G = G{t)—текущий вес аппарата, g — коэффициент
пропорциональности между массой и весом, р = p{t) = {Pi{t),
Pzit), Рз{^))—вектор тяги двигателя, q = q{t)—расход
рабочего вещества, F = F{r, t) = {Fi, Fz, F3)—вектор ускорения от
гравитационных сил.
В каждый момент времени t движение космического
аппарата характеризуется величинами г(^), v{t), G{t), называемыми
фазовыми координатами. Пусть в начальный момент ^ = О
фазовые координаты аппарата известны:
г@)=Го, v{0)=Vo, G@)=Go. F)
Величины q = q{t)^ Р =^P(t) являются управлением — задавая
их по-разному, можно получить различные фазовые траектории

424 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
(решения) задачи E), F). Конструктивные возможности
аппарата, ограниченность ресурсов рабочего вещества накладывают
на управление q{t), p{t) ограничения, например, вида
Ртт ^ \Р {t) I < i?max, ^min ^ q {t) ^ ^max, O^t^T,
T
ИЛИ J q^ {t)dt^R^ i? = const > 0. Кроме того, на фазовые тра-
0
ектории задачи E), F) могут накладываться некоторые
ограничения, вытекающие, например, из условий того, чтобы вес
аппарата был не меньше определенной величины или
траектория полета проходила вне определенных областей космического
пространства (областей повышенной радиации) и др.
Здесь возникают задачи выбора управлений q{t)^ p{t) так,
чтобы управления и соответствующие им траектории задачи
E), F) удовлетворяли всем наложенным ограничениям, и
кроме того, достигалась та или иная цель. Например, здесь
возможны следующие задачи:
1) попасть в заданную точку или область космического
пространства за минимальное время;
2) к заданному моменту времени попасть в заданную
область пространства с заданной скоростью (совершить мягкую
посадку, например) и с максимальным весом аппарата или с
минимальной затратой энергии;
3) достичь определенной скорости за минимальное
время и т. п.
Большое число прикладных задач оптимального управления,
связанных с механикой полета летательных аппаратов в
космосе и атмосфере, с работой электроприводов, химических и
ядерных реакторов, с вопросами виброзащиты и амортизации, с
математической экономикой и т. д., читатель найдет в [9, 14, 28,
35, 40, 43, 68, 69, 75, 118, 121, 124, 125, 188, 189, 192, 199, 202,
207, 208, 217, 218, 243, 257, 260, 261, 263, 290, 300, 303-305,
309, 310, 322, 323, 325-328].
2. Приведенные в примерах 1, 2 задачи являются частным
случаем более общей задачи оптимального управления, к
формулировке которой мы переходим. Пусть движение некоторого
управляемого объекта (течение управляемого процесса,
изменение управляемой системы) описывается обыкновенными
дифференциальными уравнениями
х' == f{x\ х^, ..., х"", и\ ц^ ..., W), г = 1, ..., «,
которые в векторной форме можно записать в виде
x = f{x, и, t), G)
где ^ —время, ж==(д:\ х^, ..., a;"")—величины, характеризующие
движение объекта в зависимости от времени и называемые фа-

§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 425
зовыми координатами объекта, u=(u\ и^, ..., и'')—параметры
управления («положение рулей» объекта), выбором которых
можно влиять на движение объекта, / = (/S f, ..., t); функции
f{x, и, t) (i = i, ..., п), описываюпдие внутреннее устройство
объекта и учитывающие различные внешние факторы,
предполагаются известными.
Для того, чтобы фазовые координаты объекта (процесса,
системы) G) были определены в виде функций времени
x = x{t) на некотором отрезке to^t^T, необходимо в
начальный момент времени ^о задать начальное условие x{tQ) = Xo и
параметры управления и={и\ и^, ..., и'') как функции
времени u = u{t) при t^[to, Т]. Тогда фазовые координаты x = x{t),
будут определяться как решение следующей задачи Коши:
x{t)==f{x{t), u{t), t), U^t^T, (8)
x{to) = Xo. (9)
Нетрудно видеть, что функции u = u(t), называемые
управлениями, должны удовлетворять определенным требованиям
непрерывности, гладкости, так как, с одной стороны, при слишком
«плохих» (слишком «разрывных») u{t) задача (8), (9) не
будет иметь смысла, с другой стороны, слишком «плохая»
функция u{t) не будет иметь физического смысла управления.
В большинстве прикладных задач в качестве управлений
u = u{t) могут быть взяты кусочно-непрерывные функции.
Напоминаем, что функция u{t) называется кусочно-непрерывной
на отрезке [^о, Т], если и{1;) непрерывна во всех точках t^
^ [^0, Т], за исключением, быть может, лишь конечного числа
точек Ti, ..., Тр ^ [i^o, Т], в которых функция u{t) может
терпеть разрывы типа скачка, т. е. существуют конечные пределы
lim u{t) =^ и{Тг — 0), lim u{t) ^ и{Тг + 0),
но, вообще говоря, u{Xi— 0)?= u{ri + 0) (г = 1, .. ., /?). В тех
прикладных задачах, в которых разрывные управления текпи-
чески нереализуемы, рассматриваются лишь непрерывные
управления u{t). Встречаются также задачи, в которых, кроме
непрерывности, от u{t) требуется существование
кусочно-непрерывной производной u{t)—такие управления называют
кусочно-гладкими,
В теоретических исследованиях упомянутые классы кусочпо-
непрерывных, кусочно-гладких управлений часто бывают
слишком узкими, и вместо них приходится рассматривать более
широкие классы управлений, такие, как, например, пространство
^р [^0. Л при некотором р {К р ^ оо) [179]. Через L^ [t^, Т]
при 1 ^ р < оо будем обозначать пространство измеримых
вектор-функций u{t) = (u^t), ..., Wit)) (to^t^T), для которых
функция \u{t)\^ суммируема на [^о, Т] & смысле Лебега, и,

426 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. б
следовательно, имеет смысл норма
MK=\\\u{t)fdt\ , 1<р<оо.
Если /? = оо, то под Llo [tQ, Т] понимается пространство
ограниченных измеримых вектор-функций и (t) = (ц* (^), ..., и"" {i))
{to^t^ Т), с нормой
11W|г = ess sup \u{t)\ = inf sup I и {t) I,
где v{t) пробегает множество всех измеримых функций,
совпадающих с u{t) почти всюду на отрезке [^о, Т]. Если читатель
недостаточно знаком с интегралом Лебега и пространствами
^р[^о' Л [179], то всюду в этой главе он может считать, что
все рассматриваемые управления u{t) суть
кусочно-непрерывные функции.
Далее, как видно из примеров 1, 2, значения управлений не
могут быть совершенно произвольными и подчиняются
некоторым ограничениям. Такие ограничения можно описать условием
u{t)^V(t), to^t^T, A0)
где У(^)—заданное множество из ?'* при каждом ^ ^ [^о, Т].
Например, в случае ограничений C) V{t)={u: и^Е\ \и\^^}
при всех t. Для кусочно-непрерывных управлений выполнение
условий A0) требуется для всех ^ ^ [^о, Т], а для измеримых
управлений — почти всюду на [^о» Т].
Кроме ограничений A0), возможны также и
ограничения вида
г
\\ufLp-^^\u{t)\''dt^R'', л-const>о, (И)
при некотором р {1 ^ р < оо).
Таким образом, постановка задачи оптимального управления
прежде всего предполагает, что выбран некоторый класс
функций — управлений (например, кусочно-непрерывные, кусочно-
гладкие или функции из ^р1^о»Л (l^P^oo)) и указаны
налагаемые на них ограничения (например, ограничения вида
A0) или (И)).
Заметим, что в учебной литературе символом z{t)=^
=^(z'(^), ..., z^{t)) часто обозначают как значение функции в
точке t, так и саму функцию, которая представляет собой
отображение области определения функции в пространстве ?"*,
ставящее в соотйетствие каждой точке t из области определения
некоторую точку из ?""• Отдавая дань традициям, мы будем
продолжать пользоваться этим не вполне ойределепным символом

§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 427
В тех случаях, когда из контекста нетрудно понять, идет ли
речь о функции в целом или о ее значении в конкретной точке.
В тех случаях, когда обозначение z{t) может привести к
недоразумениям, за значением функции в точке t будем сохранять
обозначение z{t)^ а саму функцию будем обозначать через z{')
или просто Z, В свете этих обозначений подчеркнем, что
ограничения A0) являются ограничениями на значения функции,
и поэтому было бы бессмысленно вместо A0) писать и(*)^ ^{^)-
Ограничение (И), наоборот, накладывается на всю функцию
и{*) в целом и не является ограничением на значения
функции— функция и{'), удовлетворяющая этому ограничению, в
отдельных точках или промежутках малой длины может
принимать произвольные значения. Поэтому A1) можно записать
в виде ||^(-I1ьр^^, а обозначение |1^@1кр^^, иногда
встречающееся в литературе, не вполне удачное.
3. Итак, пусть заданы точка Хо^ Е"" и некоторое
кусочно-непрерывное управление и = u{') = u{t) {to ^ t ^ Т), или
управление гг(«) е Z/p [^Q, Г] при некотором p^i. Рассмотрим
задачу Коши (8), (9), Сразу же возникает вопрос: что
понимать под решением этой задачи? Если функции u{t), f{x, и, t)
непрерывны, то, как обычно принято в учебниках по
дифференциальным уравнениям [172, 251, 295], под решением задачи
(8), (9) можно понимать функцию х — х{-) = x{t), to^t^T,
которая непрерывно дифференцируема на отрезке [^о, Т] и
удовлетворяет условиям (8), (9). Однако для случая кусочпо-
пепрерывных или измеримых управлений, как видно из (8)^
требовать существование непрерывно дифференцируемого
решения задачи (8), (9), вообще говоря, не имеет смысла. Поэтому
мы будем пользоваться следующим более общим определением
решения задачи (8), (9).
Определение 1. Непрерывную функцию х = х{-)— x{t),
и ^t ^ Т, удовлетворяющую равенству
t
^@ = I/(^W, ^(т), т)йт + :Го, ^о<^<^. A2)
Ч
будем называть решением или траекторией задачи (8), (9),
соответствующей начальному условию Xq и управлению и = а{'),
и будем обозначать через х — х{-^ и, Хо)=х{-, и{'), Хо) пли
x = x(t^ и, Хо) (to^t^T). Начальную точку x{to, и, Хо) будем
называть левым концом траектории х{-^ и, Хо), ^о — начальным
моментом^ х{Т, и, Хо)—правым концом траектории^ Т —
конечным моментом,
В тех случаях, когда ясно, какому именно управлению ii(-)
или начальному условию Xq соответствует траектория, в
обозначении х{-, и, Хо) букву и или Хо будем опускать и просто писать
х{-, и) или х{-, Хо) или X = х{-) = x{t) (to^t^T).

428 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
Классические теоремы существования и единственности
решения задачи Коши
Х = g{x, t), x{to) = Xoy
в учебниках по дифференциальным уравнениям обычно
доказываются при требовании непрерывности g{x, t) и gx{xj t) по
совокупности переменных в некоторой области, содержащей
точку {хо, to) (условие непрерывности gx{x, t) часто заменяется
условием Липп1ица g{x, t) по переменной х) [172, 251, 295].
Однако если и (t) е L^ [t^, Т] (р ^ 1), то непрерывности
g(x^ t)^f{x, u{t), t) по переменной t ожидать не приходится
и классические теоремы существования и единственности
решения здесь становятся недостаточными. Тем не менее, используя
ту же технику доказательства упомянутых классических
теорем, можно получить существование и единственность решения
задачи (8), (9) и для кусочно-непрерывных управлений u{t)
или u(t) ^ Lp[tQ, Т] (р^1). Мы здесь ограничимся
доказательством следующей теоремы.
Теорема 1. Пусть функция f{x, и, t) определена и
непрерывна по совокупности переменных при всех {х, щ t)^E'^X
ХЕ'^Х [to, Т] и пусть
\f{x, щ t)-^f{y, и, t)\<L{t)\x-y\ A3)
при всех {х, щ t), (г/, щ t) ^ Е"" X Е'X [to, Г], где L{t)'-Heor'
рицателъная функция, принадлежащая Li{to^ Т]. Тогда для
любого ограниченного измеримого управления u{t) (г. е. u{t)^
^LloltQ, Т]) и начального условия Хо задача (8), (9) имеет,
и притом единственное, решение x = x{t), определенное на
всем отрезке [to, Г]. Это решение имеет производную x{t) почти
всюду на [to, Т], X (t) G iS) [tQ, Т] и удовлетворяет уравнению
(8) при почти всех t ^ [^о, Т],
Доказательство. Пространство непрерывных вектор-
функций X (t) = {х^ (t), ..., х"" {t)) {to ^ t ^ Т) с нормой
1|а:1|с= max \x{t)\
t^<t<T
обозначим через С"" [^о, Т]. Как известно [179], С"" [to, Т] —
полное нормированное пространство. Зафиксируем какие-либо
точки а:^ и ограниченное измеримое управление и = u{t),to ^t < Т,
Можно показать [2], что тогда для любой функции x(t)^
^С[^о, Т] функция f{x{t)^ u{t), t) будет ограниченной
измеримой функцией переменной t на отрезке [^о, Т]. Определим
отображение А:
t
Z (t) ^Ax^\f{x (т), и (т), т) dx + х„ ^0 < ^ < ^» A4)
in

§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 429
действующее из C'^lU, Т] в С"" [^о, Т]. Значение функции z(-)--=
=^Ах{-) в точке t будем обозначать через Ax{-){t). Покажем,
что отображение А"^ — т-я степень отображения А — при
достаточно большом т будет сжимающим [179]. Для этого с
помощью индукции докажем, что для любых х{-), y{)^C''[to, Т]
|Л"^(.)(^)-Л/(.)@1<-^ max|^(T)-i/(T)|( fL(T)dT
A5)
при всех t, to^t <Т (m = 1, 2, ...). Из A4) с учетом
условия A3) имеем
t
\Ax{-){t)-Ay{-){t)\ =
j [/ {х (т), и (т), x)-f{y (т), и (т), т)] dx
<
< \L{T)\x{T) — y{x)\dx^ max | ж (т) — г/(т) I \L{x)dx. A6)
Оценка A5) при т= i доказана. Пусть оценка A5) верна для
некоторого /гг ^ 1. Тогда с помощью неравенства A6) получим
\A"'+'xi-)it)-A^+'y{.){t)\ = \A(A"'x{.))it)-A(A'^y{.)){t)\^
t
^\L{x)\A'"x{.){x)-A'^y{.)ix)\dx^
t / X \т
^^L{x)± m^Ljx{l)-y{l)\n L{l)dl\ dT<
*o ^ Vo /
t / X \m
^±.max^\x{l)-y{l)\JL{x)l^L{l)dl\ dx =
^ *o Vo J
t rx \m+i
1 /7 ^"""^
для любых t s [^0, г]. Оценка A5) доказана. Из этой оценки

430 ПРИНЦИП МАКСИМУМА понтрягпнА (тл. е
следует, что
\\A"'x{^)-A"^y{.)\c^±nLiт)dx\ |х(.)-г/(-)!1с.
1 /г V
Так как lim-^j I Ь(т)Aт 1 = О, то при достаточно большом т
f L (т) dT
1. Таким образом, отображение
/о
А"^ является сжимающим. Из принципа сжимаюш,их отобрая^е-
ний ([179, с. 82]) следует супдествование единственной функции
х{')^ Clto, Г], для которой х{-) = Ах{'), что равносильно
выполнению равенства A2).
Из свойств интеграла Лебега с переменным верхним
пределом (см. [179, с. 344]) и из A2) следует, что получившаяся
функция ^@» to ^t ^ Т^ абсолютно непрерывна, ее
производная x{t) ^i L^[tQ, Г], и уравнение (8) удовлетворяется почти
всюду на [^0, Т]. Теорема 1 доказана.
Замечание 1. Вместо условия A3) можно потребовать
df 1 dfUx, и, t)] ,. . . .
непрерывность -^ = I —. {i, j = 1, ...,п) при
{х, и, t)^E''XE''X[toj Г], однако в этом случае существование
решения задачи (8), (9) можно гарантировать, вообще говоря,
лишь на отрезке [^о, ^о + а], где а — достаточно малое число.
Замечание 2. Если управление и = u{t) ^^ LpltQ.T]
A</?<оо), то теорема 1 и ее доказательство останутся в силе,
если, например, дополнительно потребовать
\f{x, щ t)\^Co{\x\ + \u\^)+C,{t) A7)
для всех {х, щ t)^E''XE'X[U, Т\ где Со = const ^ О, С,{1)>
^0, Ci(<t)^ Li [^0, Т), Условие A7) нужно для обеспечения
включения /(^, u{t)^ t)^L^[tQ, Т] для любых х{-)^С^[1^^ Г],
li (•) е 1/р [^Q, Г], чтобы отображение A4) имело смысл.
Более тонкие теоремы существования и единственности
решения задачи (8), (9) для управлений u(t)^ Vplt^^ Т] (l^p^
< оо) можно найти в [2, 77, 104, 166, 199].
Остановимся еще на случае линейной системы, когда вместо
(8) имеет место
x{t) = A{t)x{t) + B{t)u{t) + f{t), to^t<T, A8)
где A{t)=^{aij{t)}, B{t)={bij{t)}—ж^тщцы порядков 7? X ?г и
пХг соответственно, f{t) = {f{t), ..., f{t).) (U^t^T).

§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 431
Теорема 2. Пусть элементы {ац{1))^ {Ъц{1)} матриц A{t),
B{t) принадлежат Loo [i^o, Т], а f{t)^Li[tQ, Т]. Тогда для
каждого управления и== u{t)^: Lp[tQ, Т], где р — какое-либо
фиксированное число, i ^ р ^ оо^ и любой точки Хо ^ Е"^ задача
Коши для системы A8) с начальным условием х{1о) = Ха имеет,
и притом единственное, решение x = x{t) в смысле
определения I, определенное на всем отрезке [to, Т]. Это решение имеет
производную x{t) почти всюду на \to, Г], x{t)^:Li[tQ, Т] и
удовлетворяет уравнению A8) почти всюду на [U, Т\ Если
кроме перечисленных условий, еще^ имеет место включение
i(t)^Ll[t„ Т], то x{t)^V;[t„ Т\.
Доказательство. Нетрудно видеть, что правая часть
уравнения A8) удовлетворяет условию A3) с L{t)=\\A{t)\\ ^
^Lool^o, Л- Кроме того, g{t)=A{t)x{t)+B\t) u{t) + i{t) ^ L1 Т]
для любых x{t)^C^[tQ, Т], u{t)^i Lp[tQ, Т], Дальнейшее
доказательство проводится так же, как доказательство теоремы 1.
4. Вернемся к постановке задачи оптимального управления.
Как видно из примеров 1, 2, не только на управляющие
параметры объекта, но и на его фазовые координаты могут
накладываться некоторые дополнительные ограничения, которые не
вытекают из свойств системы (8) и ограничений на управления.
Такие ограничения можно описать условием
x{t)=^x{t, и{'), Xo)^G{t), to<t<T, A9)
где G{t)—некоторое заданное множество из Е"^ при каждом
t^[to, Т]. Ограничения A9) часто называют фазовыми
ограничениями.
Далее, начальный и конечный моменты времени to и Т,
to ^ Т, характеризующие продолжительность движения объекта,
могут зависеть от управления (например, в задачах
быстродействия) и не всегда могут быть заданы заранее. В таких случаях
обычно указывают ограничения
^о^во, T^@i, B0)
где 00, 01 — заданные множества на числовой оси R ={it: —^о <
<^<+оо} (не исключается возможность, что 0o = R
или ©1 == R).
Наконец, остановимся на условиях, которым должны
удовлетворять левый и правый концы траектории. Собственно
говоря, из включений A9) при t = to и t = T уже следуют условия
л:(|^о)е G(ito), x{T)^G{T), и в некоторых случаях нет
необходимости как-то еще иначе выделять ограничения на концы
траектории. Однако могут возникнуть ситуации (например, при
G{t) = E'^ (to<t<T)), когда такие ограничения удобнее
выделить и рассматривать самостоятельно. В таких случаях будем
Считать, что в Е"" при каждом i^o ^ 0о задано множество ^0(^0)

432 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
И при каждом г е 01 — множество Si{T), и условия на концах
траекторий будем записывать в виде
x{to)^So{to), to^@o; x(T)^S,{T), Гевь B1)
В задачах оптимального управления принята следующая
классификация условий B0), B1). Если множество во состоит
из единственной точки ^о, то начальный момент называют за-
крепленным; если 01 состоит из одной точки Г, то конечный
момент называют закрепленным. Если множество 5^0(^0) [или
»S'i(jr)] состоит из одной точки и не зависит от ^о, т. е. 5'о(^о)='
={хо}, to^Qo [или соответственно Si{T)={Xi}^ Г е 0J^ то
говорят, что левый [правый] конец траектории закреплен. Если
5д(|^о)=?;^^ ^0^00 [или 5i(jr)=?'^ jre0j, то левый [празый]
конец траектории называют свободным, В остальных случаях
левый [соответственно правый] конец траектории называют
подвижным. Примером того, как могут задаваться множества
5'о(^о), является
So{to) = {y: y^G{to), hi{y, to)<0, j = l, ..., Шо,
Ыу. ^o) = 0, j = mo + l, ..., 5o}, B2)
где функции hi{y, t) (i = l, ..., Sq), определены при y^G{t)^
t^ 00. Аналогично, примером множества 'S'i(jr) служит
8,{Т)={х: x^G{T), g,{x, Г)^0, i = l, ..., m,,
g,{x,T)=0, i-m^ + l, ..., 5j, B3)
где функции gi{x, t) (i = 1, ..., Si), определены при x^G{t),
В приложениях нередко возникают также задачи, в которых
левый и правый концы траектории должны выбираться
согласованно, в зависимости друг от друга. Это требование можно
записать в виде
{x{to), x{T))^S{to, Г), ^0^00, Ге0„ B4)
где S{to, Т) при каждом (^о, Г)^0оХ01 представляет собой
заданное множество из Е"" X Е"", Примером такого множества
является
S{U, Т)=={{х, у)^Е-ХЕ-: g,{x, у, U, Г)<0, i = 1, ..., m,
^i(^, г/, fo, Л=0, г = т + 1, ..., 5}, B5)
где gi{x, г/, t, Г)—заданные функции переменных {х, г/, f, Т)^
^ Е^'Х Е"" XQoXQi, Понятно, что множества B1) являются
частным случаем множества B4), когда 5'(^о, Т) = So{to)XSi{T)\
множества B2), B3)—частный случай B5).
5. Теперь перейдем к непосредственной формулировке
задачи оптимального управления. Пусть заданы множества 0о, 0i на
числовой оси R, inf0o<sup0i; V{t)^E% G{t)czE'' при всех t,

§ 1] ПОСТАНОВКА ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ 433
inf во<^< supGi; S{tQ, Т), ifo ^ во, T^@i. Пусть движение
фазовой точки х={х^^ ..., х"") описывается системой
обыкновенных дифференциальных уравнений G), где функция /(л;, щ 1)
определена при x^G{t), u^V(t), 1^{и, Г].
Набор (^0, Т, Xq^ u{')i ^(')) назовем допустимым^ если
fo ^ Эо, T^Qi, to^T, управление и = u{-) = {u^{t), ..., u''{t))
определено и кусочно-непрерывно на отрезке [i^o, Т] и
удовлетворяет ограничению A0) на этом отрезке, а х = х{-) =
— х{-, и{'), д^о)-—траектория задачи (8), (9) (см. определение
1), которая определена на отрезке ро, Т] и удовлетворяет
фазовому ограничению A9), {х{и) = Хо, х{Т))^ S{to, Т). Будем
предполагать, что множество допустимых наборов непусто.
Пусть на множестве допустимых наборов задана функция
(или, как часто говорят, целевая функция или функционал)
J(xo, и{-),х(-), fo, Л =
г
= J f (^ (О, и (О, о dt + g, (ого, X (Т), t,, Г), B6)
где f{x, и, t), go{x, у, t, Г)—заданные функции при x^G{t),
и^ V{t), inf 00 ^ ^ ^ sup 01, Ге01.
Задача оптимального управления заключается в том, чтобы
минимизировать или максимизировать функцию B6) на
множестве допустимых наборов. Мы ограничимся рассмотрением
лишь задач минимизации, так как задача минимизации / всегда
может быть сведена к эквивалентной задаче минимизации (—/).
Обозначим
/* = 1п?/(:Го), i^(-), ^@, ^0» Т)г
где нижняя грань берется по всем допустимым наборам.
Допустимый набор (л^о^с? ^*(')» ^*(*)» h^^ ^*) назовем решением
задачи оптимального управления, и^{')— оптимальным
управлением, х^{')— оптимальной траекторией, если/(oJo^j., и^{-), х^{^)у
Сформулированную задачу оптимального управления можно
записать в следующем кратком виде:
J{xq,u{-),x{'), Ц, Г) =
г
= J f (а: (О, и (О, t) dt + ^0 (^0, ^ {Т), t,, Т) -> inf, B7)
*о
x{t) = f{x{t), u{t), t), to<t<T, B8)
x{t)^G{t), U<t<T, B9)
x{U) = x,, x{T)^S{to, T), to^&o, T^e,, C0)
u{t)GV{t), U^t^T, C1)

434 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
подразумевая (если не оговорено другое), что управление
ц = ц(.) —кусочно-непрерывно на отрезке [^о, Т].
Если f ^1, ^0^0, то /(^0, Т, Хо, и{'), x{-))^T^to-
в этохм случае задачу B7)— C1) называют задачей
быстродействия. Если f{x, и, t) = f(x, и) (i = 0, 1, ..„ п), go{x, у^ t, Т)^
~^о(^, г/), множества S{tQ, Г), V{t), G{t) не зависят от
времени, то задачу B7) —C1) называют автономной или
стационарной.
Если начальный момент закреплен, т. е. Эо ={^о}, то в
формулировке задачи B7) — C1) включение ^о^0о опускают,
вместо J{xq, а(-), х{-), и, Т) пишут короче: J{xq, и{-), а;(-), Т)
или J{xq^ ^{'), Т), вместо S{tQ, Т) пишут S{T). Аналогично
поступают, если закреплены конечный момент Т или один из
концов траектории. В том случае, когда G{t)^E'^ при всех t
или 5(^0, T) = So{to)XS,{T), где S,{t)^E^, или S,{t)^E\
или F(^) = ?''', то соответствующ;ие из условий B9), C0), C1)
в постановке задачи B7) — C1) также явно не указывают.
Если S{to, T)=So{to)XS,{T), где So (to) ^G (to) или S,{T)^G{T),
TO включение x (to) ^ So (to) или соответственно х{Т)^ Si{T)
будут учтены в условии B9), поэтому в C0) эти включений
можно опустить.
В приложениях встречаются задачи оптимального
управления более общ;его вида, чем задача B7) — C1). Возможны
ситуации, когда наряду с ограничениями на управления и
фазовые координаты, записанными, так сказать, в разделенном
виде B9), C1), имеются более сложные ограничения вида
{u{t), x{t))^W{t), to^t^T, C2)
где W{t)—заданные множества из Е^'ХЕ'^. Ограничения B9),
C1), C2) накладываются на значения функций u{t)^ x{t) в
каждой точке t, поэтому их можно назвать точечными
ограничениями. Наряду с точечными ограничениями возможны также
ограничения вида
/г(^о, и{'),х{-), и, Г)^0, i = l, ..., ^2,
Ji{xo, ii(-), ^(О, ^0, Г) = 0, J = m+1, ..., 52, ^^^^
где
т
А{хо^и{'), х{^), ^0, Т) = ^ fi{x{t), u{t), t)dt + gUx,,x{T), t,, T),
Ч
fi{x, u, t), g? {x, y, t, T) (j = 1, ..., ^2) — заданные функции.
Ограничения C3) накладываются на функции и{-), х{') —
= а:(-, и{х), Хо) в целом, поэтому их, в отличие от точечных,
можно назвать интегральными ограничениями. Кстати, заметим,
что ограничения вида (И) относятся к интегральным.
В теории оптимального управления рассматриваются также
задачи, учитываюш;ие запаздывание информации, задачи с пара-

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 435
метрами, с дискретным временем, с более общим видом целевой
функции, задачи для интегро-дифференциальных уравнений,
для уравнений с частными производными, для стохастических
уравнений и др. С некоторыми из этих задач мы
познакомимся ниже.
Важнейшим обобш;ением задач оптимального управления
являются дифференциальные игры, описывающие
конфликтно-управляемые системы, управляемые системы в условиях
неопределенности. При исследовании управляемых систем наряду с
задачами оптимизации описанного выше типа рассматриваются
также и другие важные проблемы, такие, как управляемость,
наблюдаемость, инвариантность, чувствительность, устойчивость,
стабилизация, идентификация, фильтрация и т. д. У нас здесь
нет возможности хотя бы бегло остановиться на перечисленных
аспектах теории управляемых систем, и по этим вопросам хмы
отсылаем читателя к литературе, упомянутой во введении к па-
стоящей главе.
§ 2. Формулировка принципа максимума. Примеры
1. Начнем с рассхмотрения задачи оптимального управления
с закрепленным временем. А именно, пусть требуется
минимизировать функцию
г
J{x„ и{-),х{-)) = ^f(x{t),u{t), t)dt + gO(a;o, х{Т)) A)
*о
при условиях
x{t) = f{x{t), u{t), t), to^t<T; x(t,) = Xo, B)
g'ixo, x{T))<0, i = i,...,m,
g'{x„ x{T)) = 0, i = m+l,...,s,
ii = u{t)^V, u^t^T, D)
C)
где моменты to, T предполагаются заданными, u = {u\ ..., u^),
x = {x\ ..., x""), f = U\ ..., /""); управление u^u{') является
кусочно-непрерывной функцией на отрезке [^о, Т]; f{x, и, t),
g^{x, у) — заданные функции. Подчеркнем, что в задаче A) — D)
множество V^E"^ не зависит от времени и фазовые ограничения
при to<t<T отсутствуют. Очевидно, задача A)—D) является
частным случаем задачи A.27) —A.31). В C) не исключаются
возможности, когда отсутствуют ограничения типа неравенств
{т = 0), типа равенств {s = т> I) или все ограничения C)
E = 771 = 0). Предполагается, что функции f{x, и, t), ^{х, У)
имеют частные производные df jdx~ f^i, dg^ldx''=g^^i, dg^ldy''=g
(i = 1, ,.., тг). Обозначим /i = (/^i, ..., /^n), Й = D^ • • •» 4^),

436 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
Для формулировки принципа максимума введем функцию
Н{х, щ t, -ф, ао) =
= -aof{x, и, 0+tif (^» ^» 0+--- +ФпГ(^, Щ 0==
= -aof{x, и, 0+<*, /(^, ^, 0>» E)
называемую функцией Гамильтона — Понтрягина; здесь у^ =
= (^1, ..., ^п), do — вспомогательные переменные, определяемые
ниже.
Пусть u = u{t) — кусочно-непрерывное управление на
отрезке [^0, Л» x{t) = x{t, и, ojo)—решение задачи B),
соответствующее этому управлению и = и{-) и начальному условию Хо и
определенное на всем отрезке [i^o, Л- Паре {u{t), x{t)) {to^
^^t^T) поставим в соответствие следующую систему линейных
дифференциальных уравнений относительно переменных у^ =
|u=u(t), x=x{t)
41 (t) = -
= a.f^i {X (t), и (t), <) - S 4i @ fii (^ @, " (t), t), t„^t^T, F)
3=1
называемую сопряженной системой. Систему F) можно
записать в векторной форме
'г1?@ = -Я,(:г(^), u{t), t, я|)@, йо), to<t^T, G)
где Я^-= (Я^1, ..., Я^п). Подчеркнем, что в F), G) и
всюду ниже запись вида fI^i{o(^{t), u{t), t, \^{t), uq), g^^ii^o, ос{Т)),
^1% (^0^ ^(Л)» i^^K это обычно принято, означает, что сначала
вычисляется соответствующая частная производная функций
Л{х, и, t, у^, йо), g^{x, у) и затем вместо аргументов
подставляются их конкретные значения.
Если система B) линейна относительно х, и, т. е.
x{t) = A{t)x{t)+B{t)u{t)+f{t), to<t<:T
{см. обозначения в A.18)), то Н{х, и, t, if», ао)= —aof{x, и, t) +
4-<г|), A{t)x + B{t)u + f{t)> и сопряженная система G) может
быть записана в виде
^ (О = «о/х (^ (t), и (О, t) ~ {А {t)f ^ it), t.^t^T,
где D (^))^ —матрица, полученная транспонированием
матрицы А {t).
Из теоремы 1.2 следует, что если зафиксировать постоянную
itio, момент времени ti, to^ti^T, и точку у^о ^ Е"^, то линейная

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 437
система G) будет иметь и притом единственное решение yi)(t) =
==я|)(^, и, Хо, ti, 1|5о), удовлетворяющее условию t|}(fi) = it?o и
определенное на всем отрезке [^о, Л-
Теперь можем перейти к формулировке теоремы,
выражающей необходимое условие оптимальности — принцип максимума
для задачи A) — D).
Теорема 1. Пусть функции f{x, щ t) (/ = 0, 1, ..., п),
S4^i у) G = 0» 1» •••» s) имеют частные производные f^u ^i'
ё^г {i = I, ..., п) и непрерывны вместе с этими производными
по совокупности своих аргументов при х^Е'^^ у^Е"", u^V^ te
G[tQ^T]. Пусть {xo,u{t),x{t)) (to^t^T) —решение задачи A),
D). Тогда необходимо существуют числа «о, di, ..., (is и вектор-
функция я|)(t) = (i|)i(О» -1 i^n(О)» to^t^T, такие, что
1) а = (ао, ai, ..., as)?=0, ао>0, ai>0, ..., ат>0; (8)
2) \p{t) является решением сопряженной системы F), со-
ответствующей рассматриваемому решению {xq, гг(-), х{-));
3) для всех ^^[^0, Т], являющихся точками непрерывности
оптимального управления и{'), функция H{x{t), и, t, '^{t), ао)
переменной и='{и\ ..., и"") достигает своей верхней грани на
множестве V при u = u{t), т, е,
sup Н {х (t), и, t, ур (t), ао) =
u=V
r=H{x{t),u{t)J,^{t),a,), to^t^T; (9)
4) выполнены условия
S
A0)
3=0
s
^i{T) = - 2 «4^(^o. ^(Л)» ^ = 1, ..., Аг,
a^g^ixo, x{T)) = 0, 7 = 1, ..., m. A1)
Условия A0) принято называть условием трансверсальности,
условие A1) —условием дополняющей нежесткости. В том
случае, когда управление и{') является ограниченной измеримой
функцией, т. е. гг(»)е L^ [^о. Г], то формулировка теоремы 1
полностью сохраняется, но равенство (9) (как и включение D))
будет выполняться, вообще говоря, лишь почти всюду на
отрезке [^0, П
Центральное место в теореме 1 занимает условие максимума
(9): оказывается, если и{')—оптимальное управление, а х{-) —
оптимальная траектория, то непременно найдутся такие числа
йо, «1, ..., «5 и такое решение '^{t) системы F), A0), что
функция H{x{t)y U, t, г1)@» ^о) переменной и будет достигать своего

438 ЛРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
максимума на V именно при u = u{t) во всех точках ^^[^о, Т]
непрерывности управления и{-). Поэтому теорему 1 и
нижеследующую теорему 2, дающие необходимое условие
оптимальности, принято называть принципом максимума.
2- Однако как практически пользоваться теоремой 1 для
поиска решения задачи A) — D)? Здесь обычно поступают
следующим образом. Рассматривают функцию Н{х, и, t, у^, ао) как
функцию г переменных и = {и\ ..., а'')еУ, считая остальные
переменные {х, t, -ф, ао) параметрами, и при каждом
фиксированном наборе {х, t, if» ^о) решают задачу максимизации:
Н{х, и, t, If, ao)->sup, u^V. A2)
Отсюда находят функцию
и = и{х, t, \f, ao)^V, A3)
на которой достигается верхняя грань в задаче A2), т. е.
Л (х, и{х, t, \f, uq), t, \f, ^o) -= sup H {x, u, t, \f, «o). A4)
Если исходная задача A) — D) имеет решение, то, как следует
из (9), функция A3) определена на непустом множестве.
В ряде случаев функция A3) может быть выписана в явном
виде. Например, если
г
f {X, Щ t) ^ fi {X, 0+2 Аг (^, t)u\ 7 - О, 1, . . ., ^,
г=1
V=={u==^{u\ ..., ггО^^': ai^u'^^i, i==l, ..., г},
где (Xi, ^г — заданные числа, то
Н (х, гг, ^ If, а,) = — a^fl {х, 0+2 %/о (^, О + 2 фг (^, t, if, а^)иН
i=l г=1
здесь для краткости обозначено
п
Фг (х, t, If, ао) = — ajli (х^ 0+2 bfii i^.i). i = 1, ..., г.
Ясно, что решением задачи A2) тогда будет вектор-функция
и{х, t, \f, ао) с координатами
. 1, , , X |Рь фг (^, ^ ^, б^о) > О,
' ' ' ^' ^^ к фг (^, ^ If, ^о)< о, ^ = 1,,..,Г.
В частности, если 0Сг = —1, pi==+l, то u' = sign%{x, t, if, ао)
(i = l, ..., г). Полученная формула дает довольно много
информации о структуре оптимального управления: i-я координата
оптимального управления является ступенчатой функцией со

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 439
значениями осг или ^г, причем точки переключения определяются
условием ^)i{x, t, i|), ао) = 0. Обратим внимание читателя на
возможный особый случай, когда (pi{x(t)^ t, \|)@» ^о) = 0 на каком-
либо промежутке [а, ^]^[^о, Т], В этом случае функция Я не
будет зависеть от и' и из условия (9) не удастся извлечь
никакой полезной информации об i-u координате управления и{-)
при ^^[а, И» некоторым источником информации об а'(-) на
этом особом участке [а, ^] здесь может служить само равенство
q)i{x{t), t, яр (О, ао) = 0.
Если множество V имеет вид
то, пользуясь известным неравенством Коши — Буняковского,
также нетрудно выписать функцию A3) в явном виде:
ф (х^ t, я|), а )
u{x,t,^,a,) = ^^^-j^^-^^R, ф = (ф1, ...,ф,).
Ряд задач, в которых удается получить явное выражение для
функции A3), приводятся ниже в примерах.
Допустим, что функция A3) нам уже известна. Тогда можем
рассмотреть следующую систему из 2п дифференциальных
уравнений
x = f{x, и{х, t, г|), йо), О»
A5)
относительно неизвестных х{-), it)(-)- Как известно [172, 251, 295]
общее решение системы A5) зависит от 2п произвольных
числовых параметров (например, такими параметрами могли бы
служить начальные условия х{и), '^{to)) и для определения этих
параметров нам нужно иметь 2п условий. Кроме того,
параметры «о, ai, ..., as, встречающиеся в теореме 1, также неизвестны
и для их определения нужно еще 5+1 условие. Таким образом,
для определения 2^ + 5+1 неизвестных числовых параметров
нам нужно 2п + S + i условие. Где их взять? Оказывается, эти
условия также могут быть извлечены из теоремы 1. А именно,
условия трансверсальности A0) и дополняющей нежесткости
(И) нам дают 2п-{-т уравнений; еще s — m уравнений
g'(xo, х{Т)) = 0, 7 = 7^+1, ..., 5, A6)
вытекают из условий C). Для получения еще одного уравнения
заметим, что функция Н{х, ц, t, \|), ао), определенная соотногне-
нием E), линейна и однородна относительно переменных ifi, ...
*.м "Фп, й^о, т. е. Н{х^, щ t, axf, аао) = аН{х, и, t, ij?, «о) при любых;

440 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
а. Отсюда и из условия A4) тогда имеем
u{x,t, осф, аа^) ^ и{х, t, -ф, а^) Va > 0. A7)
Из (8), A0), (И), A7) следует, что если некоторый набор
«о, ..., as, "фи • • •» ^п удовлетворяет условиям теоремы 1, то этИхМ
условиям удовлетворяет также набор а^о, ..., оса^, oc\|)i, ..., ау^п
при любых а>0. Это означает, что теорема 1 определяет
величины «о, . •., fi^s, '^и . • •» 'Фп лишь с точностью до положительного
множителя, и этим множителем мы можем распорядиться по
своему усмотрению. Например, опираясь па первое из условий
(8), можно положить
\а\^= i]a?-l. A8)
В тех задачах, в которых удается показать, что «о > О, вместо
условия нормировки A8) часто берут йо = 1.
Таким образом, для определения 2n + s+ i параметров — 2п
параметров общего решения системы E) и параметров «о, ai, ...
..., us — j нас имеется система 2n + s+l уравнений A0), (И),
A6), A8). Разумеется, эти уравнения надо решать совместно с
неравенствами
ао>0, ..., ат>0, gi{xo, х{Т))^0, 1 = 1, ..., т. A9)
Если исходная задача A) — D) имеет решение, то согласно
теореме 1 система A0), (И), A6), A8), A9) также имеет
решение. Попутно заметим, что для тех i (l^i<m), для
которых gi{xo, х{Т))<0 (неактивные ограничения), из A1)
вытекает, что ui = О, и неопределенными остаются лишь ui с
номерами i, для которых gi{xo, х{Т)) = 0 (активные ограничения). Эта
означает, что из уравнений A1) существенное значение имеют
лишь подсистемы gi{xo, х{Т)) = 0 (i^/), состоящие из активных
ограничений.
Итак, основываясь на теореме 1, от исходной задачи A) —D)
мы пришли к специальной краевой задаче, состоящей из условия
максимума A4), системы дифференциальных уравнений A5) и
условий A0), (И), A6), A8), A9). Такую краевую задачу
естественно назвать краевой задачей принципа максимума для
задачи оптимального управления A) — D).
Можно ожидать, что имеются лишь отдельные,
изолированные функции {x{t), ^@) {to<t<T), и значения параметров
«о, ai, ..., as, удовлетворяющие условиям A0), (И), A5), A6)^
A8), A9). Возьмем один из таких наборов x{t)^ ^@» ^о, «i, ..>
..., as, и подставим их в A3); получим функцию
u{t)=u{x(t), t, г1?@, ао), to^t^T. B0)
Пусть эта функция оказалась кусочно-непрерывной на [^о, Л-
Из A3), A4), B0) тогда следует, что полученное таким
образом управление u{t) (to^t^T) удовлетворяет условию (9)

§ 2J ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 441
и, следовательно, согласно теореме 1 может претендовать на
роль оптимального управления задачи A) — D), а функция
x(t)==x(t, и(-), x{to)) {to<t^T) — udL роль оптимальной
траектории этой задачи. Будет ли найденная пара {u(t), x{t))
(to^t^T) в самом деле решением задачи A) —D), теорема
1 не гарантирует, так как эта теорема, вообще говоря, дает лишь
необходимое условие оптимальности. Более того, ниже на
примерах мы увидим, что бывают случаи, когда пара (u(t), ^@)
удовлетворяет условиям теоремы 1, но не является решением
задачи A) —D). Однако, если из каких-либо соображений
известно, что задача A) — D) имеет решение, а краевая задача
принципа максимума однозначно определяет функции {x{t),
г|)(^)) и параметры ао, ai, ..., а^, то управление B0) будет
оптимальным. Если информации о существовании решения задачи
A) — D) нет или краевая задача принципа максимума имеет
несколько решений, то для выяснения вопроса об оптимальности
получаемых здесь управлений требуется дополнительное и порою
весьма сложное исследование.
Заметим также, что в задаче A2) верхняя грань может
достигаться в нескольких точках, и тогда функция A3) будет
определяться неоднозначно. В этом случае для получения всех
подозрительных на оптимальность управлений нужно найти все
наборы {x{t), 'Ф@» <^о, cii, ..., us) и управления u{t) {to^t^
^Т), удовлетворяющие условиям A0), (И), A5), A6), A8) —
B0), для всех функций и=^и{х, t, г|), ао) из A3).
Таким образом, схема использования принципа максимума —
теоремы 1 — для получения решения задачи A) — D) описана.
Как видно, принцип максимума дает просто и изящно
выписываемые необходимые условия оптимальности для задачи A) —D)
и сводит ее к специального вида краевой задаче.
3. Посмотрим, как выглядит краевая задача принципа
максимума для задач оптимального управления A) —D) для
некоторых конкретных классов функций g'{x, г/), соответствующих
различным режимам на левом и правом концах траектории.
Начнем с рассмотрения случая, когда концы траектории
закреплены:
x{U)^Xo, х{Т) = х„ B1)
Если положить g^x, у) = х' — х1 (J = 1, .. ., п), g^{х, у) = у^^
— х\ (j = дг + 1, ..., 2дг),то условия B1) запишутся в виде C):
g'{xo, х{Т)) = 0 (i = l, ..., 2n = s, m = 0). Поэтому условия (И)
здесь отсутствуют, а условия трансверсальности A0) дадут
2П
-ф (*о) = X ^i^^ (^0. ^ С^)) = «oSrS (Хо, х (Т)) + (ai, ..., а„), ^^
^ (Г) = — 2 ajgl (xq, X (Т)) = — aogl {х^, X (Т)) — (а„+1, ..., agn).
3=0

442 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 5
Оказывается, условие а =5^ О из (8) здесь может быть заменено
условием
1«о1 +1^@17^0 VieUo, Л- B3>
В самом деле, если B3) не выполняется, то ао = О, ^ЧО —^^
{to<t<T). А тогда в силу B2) г|)(^о) = О = (а,, ..., а,), ^{Т)=^
= 0 = (ап+1, ..., а2п) и, следовательно, а = (ао, «i, ..., а2п) = 0, чта
противоречит (8). Это значит, что для задачи A), B), D),,
B1) выполняется условие B3). Тогда условие нормировки A8)
можно заменить условием
Uol + li|)(^01=l, B4)
где ti — какая-либо подходягцая точка из отрезка [^о, Л (часто
здесь берут ^i = ^о или ti==T). Таким образом, краевая задачаг
принципа максимума для задачи A), B), D), B1) состоит из^
системы A5), граничных условий B1), B2), неравенства ао>0
и условия нормировки B4). Так как неизвестные параметры
ai, ..., «an входят лишь в условие трансверсальности B2) и не
входят в A5), B1), B4), то эти параметры и условия B2)
можно исключить из дальнейшего рассмотрения. В итоге, для
определения функций {х{t), '^{t)) {to<t<T) и параметра
«0^0 будем иметь краевую задачу принципа максимума,
состоящую из системы 2п дифференциальных уравнений A5), 2п
граничных условий B1) и условия нормировки B4). Конечно^
при необходимости исключенные параметры ai, ..., azn могут
быть определены из условий B2) после того, как уже будут
найдены x{t), Ф@» ^о из A5), B1), B4).
Теперь рассмотрим задачу A), B), D) при условиях, когда
левый конец траектории закреплен: x{to) = Xo, а правый конец
свободный. Этот случай граничных режимов соответствует задаче
A) —D), в которой g^{х, у) = х^ —х1 (i = i, ..., п = S, т = 0).
Поэтому условия (И) здесь отсутствуют, а условия
трансверсальности A0) запишутся в виде:
'Ф (^о) = ^0^^ (^0. ^ (Л) + («1, .... ^п),
^^{T) = -^a,gl{x,,x{T)), B5)
Покажем, что в рассматриваемом случае также выполняется
условие B3) и, более того, можно гарантировать, что ао > 0. В
самом деле, если ао = 0, то, как видно из B5), я|)(Г) = 0 и система
однородных уравнений F) будет иметь лишь тривиальное
решение i|)(^)=0, а тогда 'iJp{to) — 0 = {ai, ..., йп). Пришли к
противоречию с первым условием (8): а = (ао, ai, ..., ап)=7^0.
Следовательно, йо > О, и можем принять условие нормирован ао = 1.
Таким образом, краевая задача принципа максимума для задачи
A), B), D) с закрепленным левым концом и свободным
правым концом состоит из системы A5), граничных условий B5),

§ 21 ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 443
x{to) = XQ И условия нормировки ао = 1. Так как параметры
ui, ..., йп входят лишь в первое из условий B5), то это условие
и параметры ai, ..., а^ можно исключить из дальнейшего
рассмотрения, и в результате краевая задала принципа максимума
сведется к системе 2п дифференциальных уравнений A5),
которая решается при условиях
^(^ = ^0, ^(п--^у(^о,^(т ^0 = 1- B6)
Аналогичные рассуждения показывают, что если в задаче
A), B), D) левый конец траектории свободный, правый конец
закреплен, то соответствующая краевая задача принципа
максимума представляет собой систему A5), которая должна решаться
при условиях
х{Т) = х,, ^{t,) = gl{x,,x{T)), a, = i. B7)
Если в задаче A), B), D) оба конца траектории свободны,
то краевая задача принципа максимума состоит из системы A5)
и условий
^(g = f'(^o,^ (?')). ^(T)^-gl{x„x{T)), ао = 1. B8)
Далее, рассмотрим задачу A), B), D) в случае, когда
левый конец траектории закреплен: x{to) = Xo, а правый конец
подвижный и удовлетворяет условиям
g'{x{T))<0, 1 = 1, ..., т,;
g^{x(T)) = 0, i = m, + U ..., s,. ^^^^
Здесь мы имеем дело с задачей A) —D), в которой функции
g'{x, у) определены так: g'{x, y) = g'{y) (J = l, ..., s,);
g^{x, у) == x^ — xl{i = 5i + 1, ..., Si + n = s, m = mi). Условия A0),
A1) на правом конце траектории с учетом (8) запишутся в виде
1
а|5 (Г) = - a,gl {х„ X (Г)) _ ^ а^^ {х (Г)),
]=г
C0)
а,^(:г(Т))=0, а,^0, / = 1, ..., ттгг, ао ^ О,
на левом конце — в виде:
^ (^о) = ^о^х (^0. ^ (Л) + («s^+ь ..., %+п). C1)
Условие а = («q, а^, ..., as +п) Ф О здесь может быть заменено
условием («о, «1, ..., а^^ ^ 0. В самом деле, если бы (а^, а^, ...
- • •-, ^si) = 0» то в силу C0) ip(T) = 0, и однородная система F)
будет иметь тривиальное решение i|)(^) = 0; тогда i|)(^o) = 0 и из
C1) будет следовать (<^s^+i, ..., as^+n) = О, что противоречит
условию а ?= 0. Поэтому условие нормировки A8) можно заменить на
al + a\+ ... +аз\ = 1, C2)

444 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 5
а условие C1) и параметры «s^+i, ..., й^^+п исключить из рас-
смотрения. В результате, краевая задача принципа максимума
будет состоять из системы A5), начального условия x{to) = Xoj,
условий B9), C0), C2).
Аналогично показывается, что в задаче A), B), D), когда
левый конец траектории свободный, а на правом конце заданы
условия B9), краевая задача принципа максимума будет
состоять из системы A5), условий B9), C0) на правом конце,,
условия нормировки C2) и условия на левом конце
^{to)=^^ogU^.^{T)). C3)
Рассмотрим задачу A), B), D), когда оба конца траектории
подвижны, причем условия на правом конце задаются в виде
B9), на левом конце пусть
h'{x{to))<0, 1 = 1, ..., mo;
h'{x{to)) = 0, J = mo+l, ..., So. ^^'^
Здесь мы имеем дело с задачей A) — D), в которой функции
g'(x, у) определены так: g'{x, y) = g'{y) (г = 1, ..., ^i);
g^ {x,j) = h'-^^i (x) (^ = ^1 + 1, ..., mi + ^0 = m), g^ (x, y) =
= g' ""«(y) {i = m^ + m, + l, ...,т^ + s^); g^{x, y) = h'-'i {i =
= atIq + 5i + 1, ..., 5o + 5i = 5). Условия A0), A1) на правом
конце траектории с учетом (8) запишутся в виде C0), а на
левом конце получим
'Ф (^о) = ^ogl (^0, ^ (Л) + S bjK (хо), /35)
Ь^к'{хо) = 0, bj>0, 7 = 1, ..., ^0.
Таким образом, краевая задача принципа максимума,
соответствующая задаче A), B), D), B9), C4), состоит из системы
A5), условий B9), C0), C4), C5), условия нормировки
Если в A), B), D) левый конец удовлетворяет условиям
C4), а правый конец закрепленный, то систему A5) нужно
решать при условиях C4), C5), x{T) = Xi, условии нормировки
al + b\+ ... + bl^=L C6)
Если в задаче A), B), D) левый конец удовлетворяет
условиям C4), а правый конец свободный, то система A5)
решается при условиях C4) —C6), '^{Т) = —aQgl{xQ, х{Т)).
4. Сформулируем принцип максимума для задачи
оптимального управления, когда начальный или конечный моменты вре-

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 445
мени не закреплены. А именно, пусть требуется минимизировать
функцию
т
/(гго, и(.), ^@, ^0, Т) - f f{x{tl и (О, t) dt + g'{x,, х{Т), t,, Т)
К C7)
при условиях
x{t) = f(x{t), u(t), t), to<t<T; x{to) = Xo, C8)
g'ixo, x(T), /o, T)<0, i = l, ..., m;
g'ixo, x(T),to, T) = 0, i = m+l, ..., 5, ^^^^
u = u{t)^V, to<t^T, D0)
где один из моментов to или Т или оба эти момента заранее
неизвестны и подлежат определению вместе с управлением u{t)
и траекторией x{t) из условия минимума функции C7);
g'{x, у^ t, Т) (i = 0, 1, ..., дг)—заданные функции переменных
х^Е"", у^Е"^, ^eR, r^R, t<:T; остальные обозначения те
же, что и в задаче A) — D). В C9) не исключаются
возможности, когда отсутствуют ограничения типа неравенств {т = 0)у
типа равенств {s = m>i) или все ограничения C9) {s = m = 0).
Теорема 2. Пусть функции f{x, и, t) (/ = 0, 1, ..., ^г);
^(^» J/i ^» ^) (/ = 0, 1, ..., s) имеют частные производные
fxU glii S\i (^ == 1, ..., п)\ gu gT и непрерывны вместе с этими
производными по совокупности своих аргументов при х е ?^^
у^Е^, u^V, t^R, jTeR, t<T. Пусть {x^, u(.), x('), to, T) —
решение задачи C7) — D0). Тогда необходимо существуют числа
ао, tti, ..., as и вектор-функция "ф(^) = (г|I@, ...? ^n{t)) {to<
<f<r), удовлетворяющие условиям 1)—3) теоремы 1,
условиям трансверсальности
i=o
* . D1)
^{T) = ^^a^gl{x,,x{T),t,,T),
s
max H (x (t,), u, t,, \lp (g, a») = - 2 a^d {x„ x (T), t„ T) D2)
{если to закреплено, то условие D2) отсутствует);
max Я {X (Г), и, Т, if (Г), а,) = 2 «j^r (^о, ^ (Т), Ч, Т) D3)
{если Т закреплено, то условие D3) отсутствует) и условию
дополняющей нежесткости
a,g'{xo, х{Т), to, Т) = 0, 7 = 1, ..., ^. D4)

2^46 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
с помощью теоремы 2 задачу C7) —D0) можно свести к
краевой задаче принципа максимума, действуя по той же схеме,
что и в задаче A) — D). Это снова приведет нас к
конечномерной задаче максимизации A2), функции A3) и к системе 2п
дифференциальных уравнений A5) отцосительно функций x{t),
ф(^). Для определения 2п параметров, от которых зависит
общее решение системы A5), и параметров ао, «i, ..., а» имеем 2п
условий D1), т условий D4), s — m условий типа равенств из
C9), условие нормировки A8), а наличие неизвестных
моментов to, Т здесь компенсируется появлением дополнительных
условий D2), D3); разумеется, поиск упомянутых параметров
нужно вести с учетом неравенств из (8), C9). Расшифровка
условий трансверсальности D1), D2) для различных режимов
на концах траекторий, когда каждый из концов может быть за^
крепленным, свободным или подвижным, проводится точно так
же, как и выше; в частности, условия D1) здесь приведут к тем
же условиям B1) — C6). Естественно, в задаче оптимального
управления с незакрепленным временем функции g\ А** из
условий B9), C4) наряду с х, у могут зависеть еще от переменных
fo, Т, как например, в A.22), A.23).
5. Для иллюстрации теорем 1, 2 рассмотрим конкретные
примеры задач оптимального управления.
Пример 1. Пусть требуется минимизировать функцию
т
/ (гг) = J {и^ (i) + х^ (t)) dt при условиях x{t)=u{t), 0<t^T,
х{0)==х(Т)=^0.
Здесь момент Т>0 задан; V = E\ Задача, конечно,
несложная: пара {u{t) = 0, x{t)^0) {0<t<T), очевидно, является
единственным ее решением. Продемонстрируем на этой простой
задаче изложенную выше схему использования принципа
максимума— теоремы 1. Выпишем функцию Гамильтона — Понтря-
гина Н(х^ 1г, г|), ао) = —ао{и^ + х^) + ipu и сопряженную систему
•ф = —Нх = 2аоХ. Если «о = О, то функция Я = ifii может
достигать своей верхней грани на множестве F = ?'* лишь при гр = 0.
Однако соотношения ао = 'ф==0 противоречат условию B3).
Следовательно, ао>0. Тогда можем считать, что ао = 1. В этом
случае функция Н = —и^ — х^ + ури достигает верхней грани на
Е^ при ii = \|)/2 — вот какой вид имеет функция A3) в
рассматриваемой задаче. Тогда краевая задача принципа максимума
запишется в виде
х==г|з/2, ^ = 2х, 0<t<T; х{0) = х(Т) = 0,
Отсюда однозначно определяем о: (^) = ij) (^ ^ О (О < f ^ Г).
Тогда u{t) = \!p{t)/2 = 0 (О ^ ^^ Г)—получили уже известное
нам оптимальное управление.

§ 2] ФОРМУЛИРаВКА ПРИНЦИПА МАКСИМУМА 447
Перейдем к рассмотрению более интересной задачи
оптимального управления, которая в зависимости от величины конечного
момента Т имеет единственное решение или бесконечно много
решений, или не имеет решения. Эта задача любопытна также и
тем, что даже в том случае, когда она не имеет решения, краевая
задача принципа максимума будет иметь одно или даже
бесконечно много решений.
Пример 2. Пусть требуется минимизировать функцию
т
/ (w) = J [и^ (t) -— х^ (t)) dt при условиях x{t) = u{t), O^t^
<Т, :г@) = :г(Г)=0, Г > 0.
Функция Гамильтона — Понтрягина здесь имеет вид Н =
=—ao{u^'-x^) + '\Jp{u), сопряженная система такая: ijp = —H:^ =
= —2аоХ. Если ао = О, то Я = 'ф^г достигает своей верхней грани
на V = E^ лишь при it> = 0, что противоречит условию B3).
Следовательно, ао > 0. Можно считать, что «о = 1. Тогда Н = х^ —
— и^ + '\^)и и Slip Д" достигается при и = '\^)/2. Краевая задача
принципа максимума имеет вид х = \|:/2, i|) = —2х, O^t^T,
х{0) = х{Т) = 0, Обш;ее решение этой системы дается формулой
x{t) = С sint + D cos t, '\^{t) = 2Ccost — 2Dsint, где С, D —
произвольные постоянные. С учетом условия гс@) = О отсюда имеем
i) = 0, и тогда :r(^) = Csin^, 'i|:(^) = 2С cos ^. Условие х{Т) = 0
приводит к равенству С sin Г == 0. Возможно, что Т Фпк (fc = 1, 2,...);
тогда С = О и краевая задача принципа максимума будет иметь
единственное решение x{t) = Q, it)(^)=0 (О^^^Г), а
управление, подозрительное на оптимальность, равно гг (^) = г]) (^)/2 = О
@<^^Г). Если же Т = пк, к — целое положительное число, то
краевая задача принципа максимума имеет бесчисленное
множество решений x(t) = Csint, '\^{t) = 2Ccost, зависяпа;их от
одного параметра С, и управлений, подозрительных на
оптимальность, будет бесконечно много: u{t) = Ccost (O^t^T).
Спрашивается, будут ли найденные управления
оптимальными? Оказывается, ответ на этот вопрос зависит от величины Т.
Рассмотрим случаи Т > п и 0<Г<л;.
1) Г>я. Покажем, что тогда inf/(w) = —«?. Для этого возь-
/.V тп Tit
мем последовательность управлении Um ~ Um (t) — -трг ^^^ у и
Tit
соответствуюпа;их им траекторий Хт = Xm{t) = шsin — (О^ ^^ Г^
m = 1, 2, ...). Тогда J(um) = J {ul,{t) - x'm{t)) dt=-2 ^^' X
X( —— 1]-^—oo при m-^oo. Следовательно, при Т>п pac-
Схматриваемая задача оптимального управления не имеет реше-

448 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
ния. в то же время краевая задача принципа максимума
разрешима, причем для ТФпк (fc = l, 2, ...) она имеет единственное
решение, при Т==пк (fc=l, 2, ...) —бесконечно много
решений.
2) 0<Т^тс. Тогда для любых кусочно-непрерывных v{t),
для которых существует решение x{t) задача x{t) = v{t) @^
<t<T), х{0) = х{Т) = 0, имеем
J (v) = J (г;2 — rc2) dt = j {г;2 + x^ ctg^ t — x^ sin-21) dt =
0 0
T г
= j (г;2 + :г2 ctg^ ^ — 2xxctg t)dt=^^ {v{t) — x{t) ctg tf dt > 0.
0 0
Заметим, что проделанные преобразования законны, так как все
подынтегральные функции, встретившиеся при этих
преобразованиях, ограничены и lim х^ {t) ctg ^ = О, а в случае Т ==л
еще и Иш ^;^(^)ctg^ = 0. Итак, /(г;)^0, а на управлениях
u{t)^0 при Г<я и u{t) = ccost при Г = я будем иметь J{u)=^
= 0. Таким образом, при Г < я рассматриваемая задача
оптимального управления имеет единственное решение, при Г = я —
бесчисленное множество решений, причем все решения найдены
с помощью принципа максимума.
т
Пример 3. Минимизировать функцию J {и) = -^ \ {х^ {t) +
о
+ u^{t))dt при условиях i(^) =—ах(^)+^г(^), х{0)==Хо,
Здесь Хо, а>0, Г > О —заданные постоянные, V = E\ правый
конец траектории свободный. Составим функцию Гамильтона —
Понтрягина Н = —uq {х^ + и^)/2 + г|){—ах + и) и выпишем
сопряженную систему
t = -Нос = аоХ + а^, 0^t< Т.
Из условия B6) трансверсальности для свободного правого
конца траектории имеем 'ф(Г) = 0, ао = 1. Тогда функция Я =
=^ — {х^ + и^)/2 + '^{—ах +и) достигает своей верхней грани по
и на V = Е^ при ц = tl), и краевая задача принципа максимума
запишется в виде
х = —ах + '\}р, 'ф==аг|> + д:, гс@) = Хо, i|)(r) = Oy
Отсюда следует, что подозрительным на оптимальность является
управление
Xt 2ХТ кт
Пример 4. Пусть точка движется по оси Ох по закону
x{t) = u{t) {t>0). Требуется найти кусочно-непрерывное уп-

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 440
равление u(t), \u{t)\^i {О ^t ^ Т), такое, чтобы точка,
выйдя из начального положения :г@)=1 с нулевой скоростью,
пришла в начало координат с пулевой скоростью за минимальное
время Т,
Положим, что х^ = х^ X" = X — фазовые координаты точки.
Тогда задачу можно переформулировать так: быстрейшим
образом перевести фазовую точку {х\ х^) из состояпия A, 0) в
состояние (О, 0), считая, что движепие подчиняется уравнениям
x'{t)=-x\t), ?{t)^ii{t) {t>0). Здесь V=^{u^E': \u\^l},
Составим функцию Н == —ао + ^iX^ + i|Ji^ и выпишем
сопряженную систему
ypi = — Н^г - О, ^^ ^ _ Я^2 = ~ a|5i, t > 0.
Отсюда имеем i|)i@ = C, '\l^2{t)= —Ct + D^ где С, Z) — постоянные.
Отметим, что г|J@^0т так как в противном случае C = D = 0,
а тогда ifi (^)^ О и равенство H\t==T == —ао = О, вытекающее
из D3), приводит к противоречию с условием B3). Из условия
max Я следует и(^)=^ sign i{J(^) = sign(—С^+ Z)) {t>0), Та-
|uKi
КИМ образом, оптимальное управление (если оно существует)
является кусочно-постоянной функцией, принимающей значения
+ 1, —1 и имеющей не более одной точки переключения ti^ при
переходе через которую u(t) меняет знак. Нетрудно убедиться,
что траектория, выходящая из точки A, 0) и соответствующая
управлению u{t)=+l при ^^0, или u{t)^—i при f^O, или
u[t)^-{-l {O^t < ti), 1г@=—1 {t>ti), никогда не будет
проходить через точку (О, 0). Остается рассмотреть управление
и(^) = —1 @^^<^i), u(t)==+l {t>ti). Этому управлению
соответствует траектория (^i@» ^zit)):
^' ^^^ ^ UV2 - 2t^t + ^I + 1, t^ ^1,
^'@ == j^ _ 2^^, t^t,.
Из условия х'{Т)^хЦТ) = 0 находим ^i = 1, Г ==2. Тогда
|l-rV2, 0<^<1, ^ j-^, 0<i<l,
^' (^) ^ ((^ _ 2J/2, KJ < 2, ^"" (^) ^ U - 2, 1 < ^ < 2.
В качестве величин ао, г|.^1, г|J, участвующих в формулировке
принципа максимума, могут служить ао = 0, \|)i(^)=—1, г|32@ =
= t—i @^^^2). Можно показать, что полученные
управление и траектория в самом деле являются решением поставлеи-
ной задачи быстродействия об этом см. пример 7.4.4.
Пример 5. Требуется перевести точку х = {х\ х^) ия
состояпия :Го=B, —2) на множество Si^ {х^Е^: g^{x)^ х^ = 0}

450 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
быстрейшим образом, предполагая, что движение точки
подчиняется уравнениям x^{t)=x^{t), x^{t)= u{t)j причем u{t)^V^
Как и в предыдущем примере, здесь Н = ~ао + ipiX^ + ^^^^и,
сопряженная система имеет вид: }^i = 0, г|J = —^i, откуда
следует '^i{t)^C, г|J(^)= —tt +/?, С, D = const. Условия
трансверсальности C0), D3) здесь дают
я|5,(Г)=-а„ г|J(Г) = 0, -ao + b{T)x'{T)+MT)u{T) = H\t^T=^0.
Следовательно, ipzit) = С{Т — t) {0<t ^ Т). Заметим, что здесь
С?=0, так как при С = 0 получим Ь{^)-Ы^)^0 (O^t^T),
а тогда «i = О, из условия Я1/=т = 0 вытекает ао = О —
противоречие с условием C2). Итак, С?=0, }p{t) = C{T-1)Ф0 при 0^
^t<T. Из условия sup Н тогда имеем
и {t) == sign г|J (О = sign С, O^t^T.
Значит, подозрительными на оптимальность здесь могут быть
лип1ь управления u{t)^l или u{t)^—l {0<t^T). Если
u{t)= 1, то из краевой задачи
х'==х\ х^ = 1, O^t^T; х*@) = 2, :с^@)=-2, х'{Т) = 0
получим Г = 2, л:*(^) = (^-2O2, x\t)==t-2 (О ^^^2). Если
u{t) = —i, то из
х'=^х\ ?=^-i, O^t^T; а:Ч0) = 2, х^@)=-2; гсЧГ)=0
будем иметь Г = Г8-2, ;гЧО = ^-(^ +2)V2, ;г\@=-^--2,
0^^^У8~2.
Таким образом, краевая задача принципа максимума здесь
дает два_решения. Однако лишь управление u{t) = —i (O^i^
^r==Y8--2) может претендовать на оптимальность, так как
Г = 2>У8 —2, а управление u{t)=i {O^t^T) заведомо
неоптимально.
Пример 6. Рассмотрим задачу минимизации функции
1
/(«)==! ((ц1 {t)f + {и^ (т dt + х^ A) + х\1) D5)
о
при условиях
x4t) = tt4t), il^{t)=u'{t), 0^t<i, ^
:с'@) = 0, ж^@)=0, а;'A)<0, {хЦ1)У-хЧг)<0,
где u = u{t) = {u'-(f), и^ (t)) ^ Llo [О, I]. Эта задача является
частным случаем задачи A), B), D), B9) при «о = 0, T = i,
я==г = 2, f^(u^y+{uY, f(x, и, t) = u, V^E\ х = (х\ х^),
у-{у\ у1, ёЧ^, у) = у' + у\ g4^, у) = у\ g4^', y)==-y^ + if)\

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 451
7П1 = Si = 2; левый конец траектории закреплен. Из D6) видно,
что правый конец любой допустимой траектории этой задачи
удовлетворяет равенствам: а;*A) = 0, д:^A)==0. Тогда /(гг) =
1
=s J \u{t)\^df^O для всех допустимых управлений. Поскольку
о
u = u{t)^0 допустимое управление и 7@) = О, то Z^: == О, u(t)^
= О — единственное оптимальное управление задачи D5), D6).
Функция Гамильтона — Понтрягина Я = —ао ((и^)^ + (и^) ^) +
+ ^\^)^u^ + ^р2и^ не зависит от х, поэтому сопряженная система
пмсет вид 1111 = 0, 1|J==0 {0<t^l). Следовательно, ti@—^i»
^'2@—^2, Ci, С2 — постоянные. Условие C0), C2) здесь дают
—i|)i(l) = ao • 1 + ai • l + a2{—i) = ao + ai — a2,
-yiJ{i) = ao'l + a,'0 + a2'2x^{i) = ao, D7)
al + al + al = l, a^'^O, a^^O, a^'^O,
Покажем, что в этой задаче ао — 0. В самом деле, если ао > О,
то можем воспользоваться условием нормировки «о = 1. Тогда
функция Я = —|ггР+<г|), иУ достигает своего максимума на "Г ==
= Е^ в точке и = у\)/2 = с/2, c = (ci, Сг). Соответствующая
траектория x{t) = tcl2 условию д:A) = 0 может удовлетворять лигаь
при Ci = C2 = 0. Таким образом, tf)(f)^0 @<f=^l). Из
второго условия D7) тогда следует, что а^ = О, что противоречит
равенству ао = 1. Следовательно, ао = 0. Но тогда линейная
функция Я = {-ф, и> на Е^ может иметь конечный максимум
(который, кстати, должен достигаться на оптимальном управлении
u{t)^0) лишь при t|5 = il)(f)^ с = 0. Из условий D7),
учитывая, что ао = О, получаем ai == аг > 0. Таким образом, краевая
задача принципа максимума здесь дает а = (ао = О, а^ = а, аг —
= а), а>0, \(i@ = 0, (Xt<\. Как вияим, условие B3) в этой
задаче не выполняется, функция Я = 0, и условие максимума
(9) не позволяет определить оптимальное управление и ==
= ггСО = 0.
Говорят, что оптимальное управление и{-) является особым
на отрезке [а, р]с=[^о, Л, если H(x{t), щ f, ф@, ао) при t^
^[а, р] не зависит от и. В этом случае для набора {x^x{t)^ t,
г|) = г|)(^), ао) при f^[a, р] условие A4) не дает никакой
полезной информации об оптимальном управлении, функция A3)
становится неопределенной и пользоваться формулой B0)
невозможно. В частности, когда нарушается условие B3), т. е.
0^0 = 0, tl)(f)^0 {to<t<T), то имеем дело с одним из
типичных случаев появления особого управлепия. Так случилось в
только что рассмотренном примере 6. Разумеется, условие B3)
само по себе не исключает возможность появления особого
управления, но тем не мепее полезно подчеркивать случаи, когда
оно выполняется.

452 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
к сожалению, условие а = (ао, ..., as)=^0 из (8) само по
себе не всегда приводит к условию B3). Например, в задаче A),
B), D), B9), как показывает пример 6, в общем случае B3)
не выполняется и приходится довольствоваться условием а =
— (do, ...,^sj=7^0 и вытекающим из него условием
нормировки C2). Для того чтобы в задаче A), B), D), B9) из а =5^ О
следовало условие B3), можно дополнительно потребовать,
например, чтобы градиенты gi(;r(Г)), ..., gy'(x(Г)) были
линейно независимы. Тогда либо ао =7^ О, либо ао = О, но
согласно C0) г|)(Г)=7^0 и однородная система F) будет иметь
нетривиальное решение г|)(^) {U^t^T). Аналогичные
требования, гарантирующие условие B3), можно сформулировать и для
задачи A), B), D), B9), C4) п других задач оптимального
управления, рассмотренных выше. Об особых управлениях
читатель может прочесть, например, в [68, 98, 205].
В следующих примерах покажем, как выписывается краевая
задача принципа максимума для некоторых задач оптимального
управления движением математического маятника (см.
пример 1.1).
Пример 7. Пусть требуется минимизировать функцию
7{и)'-{хЦТ)Г + {хЦТ)У D8)
при условиях
x^(t)=x^t), x'{t)=sinx4t)-^x^t)+u{t),
0<t<T, х@) = х,,
u{t)^V^{u^E^: \u\<i}, E0)
D9)
где X = {x\ x^)— фазовые координаты, x^ = (x], xl) — заданная
точка, Г > О — заданный момент времени. В этой задаче правый
конец траектории свободен, /° = О, g^{y) — {y^)^+{y^)^^ Выпишем
функцию Гамильтона — Понтрягина
Я [х, щ г|)) = ^iX^ + г|^2 (—sin х^ — ^х^ + и)
п сопряженную систему
^^ = ^Я^1-г|JС08х1, i,--F^i^-i|;i + Pt2, 0<^<Г. E1)
Из условий B6) имеем
Mf,{T) = -gl,{x{T))^-2x^T),
ЫТ) = -?1ЛАТ))^-2хЦТ). ^^^^
Иг? условия шах я следует i^ = sign ij^o. Тогда краевая задача
\и\<1

§2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 453
E3)
принципа максимума запишется в виде
х^ = л:^ х^ = —sin х^ — ^х^ + sign -фг,
•ф1 = 'фг COS л;\ -фа = —i|5i + рг|J, О < ^ ^ Г,
^@) = а:о, г|)^(Г) = -2:с*(Г), г|J (Г) =-2:^2G). E4)
Если краевая задача E3), E4) имеет решение {x{t), i|5(f))
{0<t^T), причем 11J@ обращается в нуль в конечном числе
точек, то функция г^@= signi|52@ будет управлением,
подозрительным на оптимальность в задаче D8) —E0).
Заметим, что если для некоторого управления v = v{-) из
E0) решение х{-, v) задачи Коши D9) таково, что х{Т, v)==0,
то J{v) = 0, Это значит, что v{')—оптимальное управление в
задаче D8) —E0). Любопытно, что это управление является
особым — его нельзя получить из принципа максимума. В самом
деле, при х{Т, v) = 0 из E1), E2) следует i|)(it, v)^0 @^
<t<T), а тогда H{x{t, v), и, 'ф(^, v))^0 {0<t<T), при
всех u^V и условие sup Н не суживает исходное множество
\и\<0
управлений, подозрительных на оптимальность.
Пример 8. Пусть требуется минимизировать функцию
т
/(гг) = J u^{t)dt при условиях D9) и закрепленном правом
о
конце х{Т) = 0; Г > О — задано.
Здесь V = Е\ Н = —UqU^ + yfpiX^ + y^z (—sin ж* + ^x^- + и),
сопряженная система имеет вид E1). В случае ао = 0 функция Н
может достигать своей верхней грани на Е^ лишь при я|J = 0.
Но если i|J@ —О (O^t^T), то из второго уравнения E1)
получим if)i(f)^0, что противоречит условию B3). Таким
образом, можем считать ао — 1. Тогда из условия max Н получим
г^ = г|J/2. Краевая задача принципа максимума будет иметь вид
х^ = х^, х^ = —sin х^ — ^х^ +1|52/2,
a|5i = i|52 cos л:*, iiJ =-ф1 + рф2, 0=^f=^r,
л:@) = Жо, а;(Г)==0.
Пример 9. Рассмотрим задачу быстрейшего перевода
точки л: = (а:*, х'^) из состояния а:о "т^ О в начало координат (О, 0),
предполагая, что движение точки подчиняется условиям D9),
E0). Эта задача является частным случаем задачи C7) —D0).
Если /°^1, ^° —0; функция Гамильтона — Понтрягина имеет
вид
Н = —UQ + ^pix^ + г|J (—sin х^ — ^х^ + и). E5)
Отсюда ясно, что сопряженная система будет иметь вид E1),

454 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА HUI, 6
а условие max Н выделит функцию и == sign ofa. Краевая задача
принципа максимума в этом случае будет состоять из системы
E3), граничных условий x{Q) = Xq, а;(Г) = 0, условия
трансверсальности H\t^T='—cifi + '^2{T)u{T)^0^ вытекающего из D3),
и условия B3). Отметим, что в этой задаче '^2{t)^Q. В самом
деле, если бы i|?2@~0, то из E1) будем иметь i|)i(f)^0, а из
H\t=T = О получим ао = О, что противоречит B3).
Пример 10. Пусть требуется быстрейшим образом
перевести точку х = {х^^ о:^) из состояния х^ в начальный момент
^0 = О в состояние, удаленное от точки (О, 0) на расстояние,
равное 8 > О, предполагая, что движение точки подчиняется
условиям D9), E0). Это значит, что правый конец траектории
является подвижным и удовлетворяет условиям \х{Т)\^==
= (л:*(Г))^+(ж^(Г))^ = 8^ Здесь функция Н имеет тот же вид
E5), сопряженная система —вид E1), условие max Я дает гг =
|u|^l
==signi|J. Из условия трансверсальности C0), D3) имеем
г|)(Г)=-2а,а:(Г), Н{х{Т), и{Т), Г, г|)(Г), ао) = 0. E6)
Оказывается, здесь ai=5^0. В самом деле, если ai = 0, то из E6)
будем иметь 'ф(Г) = 0, а из E1) будет следовать i|)(f) = 0; тогда
из E5), E6) получим ао = 0, что противоречит условию C2).
Итак, ai Ф 0; тогда условие нормировки C2) можем заменить
на равенство |ail = l. Таким образом, краевая задача принципа
максимума в рассматриваемой задаче состоит из системы E3),
граничных условий х{^) = х^, ^{Т) = ±2х{Т), |a;(Г)P = 8^
Яи=т==0, из которых нужно определить функции x{t), i|)@»
параметры ао, Т. Отметим, что здесь \|J@^0. В самом деле,
если ^1J@^0, то в силу E1) a|5i@~0» а тогда д;(Г) = 0, что
противоречит равенству |д:(Г) 1^ = е^ > 0.
Пример 11. В задаче из примера 10 условие \х{Т)\=г^
па правом конце траектории заменим неравенством |л:(Г)|^^8^
считая, что lж(^o)l>8^ Тогда функция Я, сопряженная
система E1), условия E6) останутся без изменений; здесь также
выполняется условие дополняющей нежесткости а1{\х{Т)\^—
--8^) = 0. Оказывается, и в этой задаче можно показать, что
а^ФО. В самом деле, если ai = 0, то в силу E6) г|)(Г) = 0,
из E1) будет следовать г|)(^)^0, а из Яи=т = 0 получаем ао =
= О, что противоречит условию C2). Итак, ai=5^0. С учетом
а^ > О можем принять ai = 1. Таким образом, краевая задача
принципа максимума будет состоять из системы E3), условий
х{0)==х,, ^{Т) = -2х{Т), k(Г)l^-8^ Я|,=г = 0. Как и в пре-
дыдуш;ем примере можно показать, что '^г{t)Ф 0.
Предлагаем читателю самостоятельно выписать краевую
задачу принципа максимума для задач из примеров 10, И с
заменой условий на правом конце одним из условий о:'G")= О,
W{T) |2 < 8^ W{T) И = 8^ где г - 1 или 2.

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 455
6. При формулировке принципа максимума было оговорено,
что условие максимума (9) имеет место для всех точек
непрерывности кусочно-непрерывного оптимального управления u{t).
Возникает вопрос: как истолковать условие (9) в точках
разрыва г^(^)? Нельзя ли определить оптимальное управление u{t)
в точках разрыва так, чтобы равенство (9) выполнялось во всех
точках отрезка [U, Г]? Представляется естественным
доопределить u{t) в точках разрыва предельным значением слева или
справа, приняв u{t) = u{t + 0) = lim и (т) или u{t) = u{t — 0) =?
= lim и(т) при to<t<T, а на концах отрезка [^о, Т] взяв
и{Т) = и{Т — 0)^ u{to) = u{to + 0). Сразу же отметим, что
значения кусочно-непрерывного управления и{-) в точках разрыва
не влияют на решение уравнения B) (см. определение 1.1),
на значение интеграла в A) и, следовательно, на задачу A)-^
D). Покажем, что способ доопределения управления u{t) в
точках разрыва не оказывает существенного влияния и на
условие (9).
Теорема 3. Пусть в задаче A) —D) выполнены все
условия теоремы 1, множество V замкнуто, пусть и{')—'
оптимальное кусочно-непрерывное управление, х{-) — оптимальная
траектория, функция a|5(-) и параметры ао, ..., а^ определены
согласно теореме 1. Тогда функция
Н (t) = sup Я {х (О, W, t, г|) (О, ^о), to<:t^T, E7)
непрерывна во всех точках отрезка [to, Т], причем верхняя грань
в E7) достигается как при u = u{t + 0)^V, так и при и^=
= u(t-'0) для всех t^[to, Т]. Если в дополнение к условиям
теоремы 1 функции f{x, и, t) (i = 0, 1, ..., п), имеют частные
производные ft{x,u,t), непрерывные по совокупности
аргументов {х, и, t)^E''XE'^X[to, Т], то функция E7) имеет левую
и правую производные во всех точках t ^ [U, Т], причем
B{t±0) = Ht{x, и, t, ф, ao)L=:t(«),u=u(f±o).M,=M,(f), to<t<T, E8)
где Hi {х, и, t, г];, а^) = — ajt {х, и, t) + {ij), ft {х, и, t)} — частная
производная функции Н по переменной t; производная Й(Ь)
существует и непрерывна во всех точках непрерывности
оптимального управления.
Доказательство. Пусть Ti, ..., Тм — точки разрыва
оптимального управления u{t); тогда А = [и, Г]\{т1, ..., тм)-^
множество точек непрерывности u{t). Для краткости положим
H{t, w) = H{x{t), w, t, г|)@, ao). Согласно E7) H{t) =
= su^ Н {t, w). Точку из V, в которой достигается верхняя грань

456 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. б
в E7), обозначим через v{t). Заметим, что верхняя грань
может достигаться в нескольких точках, поэтому точка v{t)
определяется неоднозначно. В частности, согласно (9) можно взять
v{t)='u{t) при всех t^A; существование v{t) при t^A для
простоты изложения будем предполагать. Зафиксируем
произвольную точку t^[to, Г]. Пусть |А^|>0 столь мало, что
полуинтервалы [t—lAtl, t), {t, t+\At\]^A (если t = to или t = T,
то, конечно, принадлежность А требуется лишь для одного из
этих полуинтервалов). Тогда H{t +At)='H{t + At, u{t + At))>
>H{t + At, v{t)), H{t) = H{t, v{t))>H{t, u{t+At)). Поэтому
H{t + At, v{t))-H{t, u{t))<H{t + At)-H{t)<
<H{t + At, u{t + At))'-H{t, u{t + At)). E9)
Так как функции x{t), yp{t), H{x, w, ^, г|), ao) непрерывны no
совокупности своих аргументов, то функция H{t, w)=H{x{t), w, t,
i|)(^), ao) непрерывна no {t, w)^[to, T]XV. Поэтому переходя
к пределу при At-^+O или At-^—О, из E9) получаем H{t)==
-=Я(^ + 0)=^Я(^-0), где H{t±0)==H{t, u{t±0)). Тем самым,
непрерывность функции H{t) на отрезке [^о, Т] установлена.
Кроме того, показано, что в E7) верхняя грань достигается как
при v{t)=u{t + 0), так и при v{t)^u{t — 0).
Пусть теперь функции f{x, и, t) имеют непрерывно частные
производные по (ж, t). Тогда, как следует из E), функция
Я (ж, и, t, \f), ao) непрерывно дифференцируема по {х, t, -ф).
Далее, как видно из B), F), функции x{t), il)@ непрерывно
дифференцируемы при всех t^A. Тогда сложная функция
H{t, w) = H{x(t), w, t, 'ф(^), ao) также непрерывно
дифференцируема при всех t^A и ее производная равна
Щ^ = <H,{x{t), W, t,^{t), ao), f{x{t),u{t), ty +
+ <f{x{th w, t\ ^H^{x{tl u{t), t,^{t), a,)} +
+ Ht{x{t\wJ,^{tla,\ t^A. F0)
Из этой формулы видно, что при сделанных предположениях
относительно функций f {х, и, t) производная dH{t, w)/dt
непрерывна по совокупности (f, ш)еЛХУ, причем существуют
односторонние пределы lim ^-^ •—^ = ~ —-,
lim ^—^—' ^ ^—^ = 1, при всех t ^ [и,
Г], w^V. Из F0) также следует, что
^^^^^ = Я,^(^),^@,^,г|)(а^о)г i^A F1)

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 457
откуда
Возьмем в E9) At>0, v{t)= u(t + 0); получим
H{t + At, uit+0))-H{t, u{t + 0))^H(t + At)-H{t)<
<H{t + At, u{t + M))-H{t, u{t + At)).
По теореме Лагранжа о конечных приращениях отсюда имеем
dH(t + QAt,u{t + 0)) ,
^dH{t+Q^M,u{t + M)) ^^
^ dt ^^«
где О<01, 02 <1. Разделив эти неравенства на А^>0 и
устремив А^->+0, получим H{t + 0)= dH(t,uj^t + 0)) ^ д^^^^^ ^^^^
в E9) А^< О, V(t) =" u{t — 0) рассуждая аналогично, имеем
^(^^O)^^^(^-^J^-Q)), Отсюда и из F1), F2) следует
формула E8) и непрерывность S{t) при t^A, Теорема 3
доказана.
Нетрудно видеть, что теорема 3 остается верной и для задачи
C7)-D0).
7. В следующем параграфе будет приведено доказательство
теорем 1, 2. Здесь мы хотим привести эвристические
соображения, которые помогают понять, откуда появляется сопряженная
система, условия максимума, условия трансверсальности,
фигурирующие в теоремах 1, 2, и установить связь между
принципом максимума Понтрягина и правилом множителей Лагранжа.
Для простоты рассмотрим задачу A), B), D) при
дополнительном предположении, что F = -E% g^x, y) = g^{y), условия
на правом конце траектории имеют вид
gHx{T)) = 0,...,g'i{x{T)) = 0, F3)
на левом конце
h^x{t,))^0,...,h'o{x{t,)) = 0. F4)
Воспользуемся процедурой исследования задач на условный
экстремум (см. § 2.2, 4.8) и введем множители Лагранжа:
непрерывную вектор-функцию '^{t) = {y!pi{t), ..., i|)n@) ДЛя учета
ограничений B), постоянные (а^, ,.., asj=a для учета ограниче-

458 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. в
НИИ F3), постоянные(bi, S.., bs^) = Ь —для учета F4),
постоянную ао —для функции A), и составим функцию Лагранжа
^ (х{'), и('), ^р{'), а^, а, Ь) =
г
С помощью функции Гамильтона — Понтрягина E) можно
записать функцию Лагранжа в следующем виде:
5^(а:(.),^(-),'Ф(-), «о>^»Ь)==
г
- j lH{x{t), u{t), t, г|)@, a,) - <г|)@, x{t)}] dt -
-Sa;gi(a:(r))-2b;/.4^(g).
1=0 j=i
Bee аргументы функции Лагранжа считаются независимыми
переменными. Дадим приращения (вариации) переменным x{t),
u{t), т. е. рассмотрим x{t)+8x{t), u{t) + 8u{t) {to^t<T),
здесь u{t), б^^(it) — кусочно-непрерывны, а x{t),
bx{t)—непрерывно дифференцируемы на [to, Т]. Тогда вариация функции
Лагранжа, представляющая собой главную линейную часть
приращения этой функции, имеет вид
65^ = J [<Я^, 8ху + {Ни, 8иУ - <г|), 6i>] dt -
Si
- S a^ (d {X (Г)), 6^ (Г)> - S b,- {hi {X (g), 8x {t,)}\
J=0 1=1
для краткости аргументы у функций под интегралом опущены.
Интегрируя по частям, находим
т г
J <г|)@, 8х {1)У dt= <af (О, Ьх @> If^, - J <^ (t), 8х (f)> df.

§ 2] ФОРМУЛИРОВКА ПРИНЦИПА МАКСИМУМА 459
Тогда
т
62' = J [<Ях + % ба;> + (Ни, 8и}] dt -
*о
- \ S a^d {X (Г)) + aj, (Г), ба; (Г) > +
+ \- .2 hhl {X (g) + я|) (g, ба: (^о)^
Пользуясь независимостью вариаций бж(-), бгг(-), из условия
стационарности 62" = О имеем
'\р + Н^{х, щ t, -ф, ао) = 0, Ни(х, щ f, я]}, ао) = 0,
я|) (Г) = ~ 2 a,gi (ГС (Г)), я|) (^о) = 2 hhi {X (g).
i=o i=i
Таким образом, получены почти все основные соотношения
теоремы 1, кроме условий (8), (9). Вместо условия (9) мы
получили равенство Ни == О, являющееся следствием (9) при V ^
= ?''. Подчеркнем, что приведенные здесь рассуждения,
конечно, не могут считаться строгими и являются лишь полезными
наводящими соображениями при получении необходимых
условий оптимальности.
В заключении заметим, что принцип максимума выше был
сформулирован для задач оптимального управления, не
содержащих фазовые ограничения при to<t<T, и в предположении,
что область управлений — множество V — не зависит от
времени. Принцип максимума может быть сформулирован и для
задач с фазовыми ограничениями и с переменной областью
управления [31, 77, 137, 166, 206, 306], однако, надо отметить,
получающаяся отсюда краевая задача принципа максимума будет
иметь более сложный вид. Другой подход к исследованию задач
с фазовыми ограничениями и с переменной областью
интегрирования будет изложен в главе 7.
Упражнения. 1. С помощью принципа максимума решить задачу
быстродействия при условиях х^ = х^, x^ = u{t), x{0)^So, x{T)gSi;
u{t) ^V= {u^E^: \u\ <1}, где 5o = {x^E^: h{x) = \x\^ = 1} или ^o =
= {x^E^: h{x) s \хЦ ^1}, или So= {@, 0)}, или Sq = {A, 0)}, a iSi =
= {x^E^, g{x)^x^ = 0},HjmSi = {x^E^: g{x) ~\x\^ = ^i:} или 5i =
=^{x^E^: g(x)^\x\^^^}.
2. Применить принцип максимума к задаче: J (и) = \ \и (t) f dt -> inf;
ii == x\ x^ = мЧО, ^' = x\ ^* = uHt) -g (O^t^i); x@) = (-1, 0, 0, 0).
x{T) = @, 0, 0, 0). Здесь x = {x\ x^, x^, x^), и = (u\ ^2); g = const > 0.
3. Применить принцип максимума к задаче о мягкой посадке
космического корабля на Луну с минимальной затратой горючего ([308], с. 36, 44,
54): 7(и) = m(r)-^sup; Я@ = у@, v(t) =—g +u{t)lm{t), m{t) =
=—/cii@, u(t)^V = {u^Eh O^u^a} (O^t^T); h{0)^ho>0,

460 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
v@) = vq, т{0) = mo > 0; h(T) = О, v(T) = 0; момент Т заранее не задан.
Здесь m{t)—масса корабля, h{t)—высота, v{t)—вертикальная скорость
корабля над Луной, и (t) — тяга двигателя, g — гравитационное ускорение
Луны, а > О, А: > О — постоянные (ср. пример 1.2).
4. Рассмотреть задачи из примеров 7—11 для малых колебаний
маятника, считая sin х^ » х^, cos а;^ » 1. Найти решения краевых задач принципа
максимума.
5. Рассмотреть задачи из примеров 1, 2 при дополнительном
ограничении u{t) gV== {и^Е^: \и\ ^i).
6. Применить принцип максимума к задаче: 7(и) = х^(Т)-^ inf; х —
= u{t), u{t) eF= {u^E^: \u\ < 1} (O^t^T); x@) = Жо; момент Т>
"> О задан. Сколько решений имеет эта задача при a?o = О? xq == Т?
7. Показать, что в задаче J (и) = \ (х^ (t) — и^ (t)) dt -> inf; ? = u(t),
о
u{t) ^V = {u^E^: l^l^l} @<i^l); a;@) = 0, оптимальное
управление не существует, inf J (и) = —1 (см. пример 7.4.2). Что дает здесь
применение принципа максимума?
1
8. Найти минимум функции J (и) = \ sin и (t) dt при условии х =
= cosM@, u{t) еУ= {и^Е^: \и\ ^ я/2} @</^1); х@) =0, x(i) = 1.
Показать, что u(t) ^0 (О ^ г :^ 1), — оптимальное управление, и
убедиться в том, что в принципе максимума здесь надо принять ао = 0.
т
9. Применить принцип максимума к задаче: J (и) = \ \х (t) \^ dt -^ inf;
x = u(t), u(t)GV={u^E^: \u\^i} (O^t^T); a:fo)=l, x{T) = 0;
момент Г > 0 задан. Показать, что при Г > 1 оптимальное управление:
u{t) S —1 {О ^t < 1); u(t) =0 {ir^t^T) на участке 1 < г ^ Г
является особым, т. е. его нельзя определить из принципа максимума.
1
Г к X (t)
10. Применить принцип максимума для J (и) = \ и (t) cos—~^Л dt->-
о
->inf;i = w@, u(t) ^V^ {u^E^: \u\^i} {0 ^t ^i); x{0)= 0.
T
11. Показать, что задача: J {и) = 1 u^ (t) {и (t) — 1)^ dt -^ inf; x = u(t),
0
u(t) gV= {u^E^: O^u^i} @</<Г); a;@) = 0, x{T) = i при
Г = 1 имеет единственное решение, а при Г > 1 — бесконечно много
решений. Изменится ли этот вывод, если V = Е^? Если х{Т) = — 1?
12. С помощью принципа максимума исследовать задачу: 7(и) =
=» 1^2AI2-^ inf; х^ ^х\ х^ = u{t), u{t) ^V={u^E^: \и\ ^i}, х @) =
13. Пусть задача оптимального управления автономна (см. § 1), {и{'),
х{')) —ее решение, а 'ф(*)» ^о, «i, ..., «в, определены из принципа макси-
MjTMa (теоремы 1, 1). Показать, что тогда H(x(t), u(t)y i|?@» "Фо) ^ const
{to^t^T). Указание: воспользоваться теоремой 3.
14. Сформулировать принцип максимума для задачи оптимального
управления с параметрами:
т
J{u(>), w) = ^f{x(t), u{t), t, w)dt + g^{x^,x{T), t^^T, w)-^ini,

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 461
x{t) = f{x(t), u(t), t, w), to^t^T, x{to) = xo,
g'ixo, x(T), to, r, u;) < 0, i = 1, ..., m,
g^{Xo, X(T), ^0, Г, Ш) = 0, / = 771 + 1, ..., s,
tt@e7, to^t^T, w^W,
где w = (w^y ..., w^) —параметры (они не зависят от времени), W —за^
данное множество из ^*; остальные обозначения см. выше. Рассмотреть
случаи W = Е^ л W = {w: qi{w)=0, i = 1, ..., А;}, где д<(и;)—заданные
гладкие функции на ?^% i = 1, ..., к. Указание: ввести новые
переменные а:"+' посредством условий i"+'(f)=0 [to^t^T), дг^+*(го) = и?'
(t = 1, ..., А;) в пространстве (а:^ ..., а:**+*) воспользоваться теоремой 1
или 2, а затем исключить переменные ic"+^ a|)n+< (i = 1, ..., ^)'
15. Сформулировать принцип максимума для задачи получающейся из
задачи A) —D) или C7)—-D0) добавлением условий A.33).
Указание: ввести новые переменные а;**+» посредством
условий >^4t) = f\{x{t),u{t),t) {t^<t^T), x''+\t^) = 0 (i = l,...,S2);
x'^+^(T) + gl{x^,x{T),t^,T)^0 {i = i, ...,m^); x'^+Ut) + g\ {x^, x (T),
t^,T) = 0 A = ^2 + 1, ••.»^2) ® пространстве (a:^, ..., a: V,
воспользоваться теоремой 1 или 2, a затем исключить переменные а;**+*, t|)n+<
(i = 1, ..., S2).
§ 3, Доказательство принципа максимума
1. Доказательство теорем 2.1, 2.2 проведем при дополнительном
предположении, что вектор-функция f{x, м, t) = (/Ч^» "» 0> • •-i /"(^> "» 0)
удовлетворяет условию Липшица по переменным {х, и), т. е.
\f{x, и, t)--f{y, V, t)\^L{\x--y\ + |tt-i;|), L> О, A)
при всех {х, щ t), (у, и, t) е ^'^ X ^" X [^о, Т], Покажем, что тогда решение
задачи Коши
X = /(х, к@, t), to^t^T, x{to) = Хо, B)
непрерывно зависит от начальной точки хо и управления и = м(?). Сначала
докажем одно утверждение, которое часто приводится в учебных пособиях
по дифференциальным уравнениям и в литературе известно как
неравенство Гронуолла.
Лемма 1. Пусть функции ф@» ^@ неотрицательны и непрерывны
на отрезке to^t^T, а == const. Пусть
t
(p{t)^a^(p{T)dT + b(t), t^^t^T. C)
Тогда
О < ф (О < « J & (т) e°(*~^>cZT + Ъ (О, г^ < г < Г. D)
В частности, если b{t) ^ Ъ = const ^ О, го
О < ф (^) < б/(*~*о)^ ^о<^<Г. E)
Если же
т
[ф (О < а J ф (т) cZt + Ь (^), f^ < г < Г, F)

462 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
то у
о< ф (О < а J & (t) e^'^^'^Ux + 6@, t^^t^T, G)
t
a при b(t) ^b = const ^ 0 будем иметь
О < ф@ < &е«(г-'), fo < ^ < Г. (8)
Доказательство. Положим R {t) = а \ ф (т) dx. Заметим, что
R(tii) = О, R{t) > О, R{t) = аф@ (^0 < f < Г). С учетом C) имеем
R{t) ^aR{t) +ab{t) или R (t) — aR (t) ^ ab (t), to^t^T,
Умножая обе части последнего неравенства на е~^^*""*о\ получим
^ (л (О .-"('-'"О < аЪ it) .-"('-'о), г„ < , < Г.
Интегрирование этого неравенства от fo до i с учетом R(to) = О приводит
к оценке
*о
или
t
л (О < а J & (т) e^(*-^^?fT, t^^t^T.
Подставив эту оценку в правую часть C), сразу получим требуемое
неравенство D). Если b{t) = Ь = const, то непосредственно вычисляя
интеграл в правой части D), придем к оценке E).
Неравенства G), (8), вытекающие из F), доказываются аналогично с
т
помощью вспомогательной функции R (t) = а \ ф (т) dx {to ^t ^Т). Лем-
t
ма 1 доказана.
Теорема 1. Пусть вектор-функция /(ж, м, t) непрерывна по
совокупности переменных (а;, щ О ^^"Х^Х [^о, ^], удовлетворяет условию A).
Тогда
Т
max \x{t, и, У^)-х{1, щ х^)\<,С^\у^-x^\ + C^\^\v{t)-u{t)\dt,
(9)
еде x{t^ и, Xq)—решение задачи Коши B), соответствующее управлению
u = u{t) ^ L^ [t^, Ту, и (t) G V (t^ t ^ T'j и начальному условию х' С^ =
Доказательство. Существование траекторий х{t, и, хо), x(t, и, уо),
*о ^ ^ ^ 3^, следует из теоремы 1.1. Обозначим для краткости Дм (О = v{t) —
— м(^), Ax{t) = x{t, V, Уо) —x{t, щ Хо), Ахо = уо — хо. Тогда из A.12)

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 463
следует
tax {t) = J [/ (^ (т, у, у^), и (т), т) - / (а: (т, м, х^), и (т), т)] dx + Ах^.
Отсюда с учетом условия A) имеем
t т
I Ах (О I < L J I Ах (т) I Jt + L J I Ам (т) |Jt + I Ах^ j.
Это неравенство запишется в виде C), если принять (p{t) = |Аа;(г) [, а = L,
b{t)^b = L \ \Au(t)\dt + ^AXq|. Отсюда и из леммы 1 следует оценка (9),
*«
При доказательстве принципа максимума для задачи с незакрепленным
временем наряду с задачей B) нам ниже понадобится также задача Коши,
записанная в виде
X = f{x{t), u{t), О» to^t^T, х(Т) = xi, A0)
При выполнении условий теоремы 1 для решения a:(f, м, xi) задачи A0)
справедлива оценка
г
max I X (f, и, у^ - х (t, щх^) \^с^\у^-х^\ + С^{ \v (t) - u{t)\ dt,
'о
(И)
которая доказывается так же, как (9), но с использованием неравенств F) —
(8); постоянные Си С'г в (И) те же, что ив (9).
Более тонкие теоремы о непрерывной зависимости решения задач B),
A0) от исходных данных, справедливые без дополнительного требования A)
и удобные для использования при доказательстве принципа максимума,
читатель найдет, например, в [2, 77, 104].
2. Приступим к доказательству теорем 2.1, 2.2. Приводимое ниже
простое и изящное доказательство этих теорем принадлежит А. В. Арутюнову
и М. Д. Марданову [206].
Доказательство теоремы 2.1 будет состоять из трех этапов. Вначале
исходная задача B.1) —B.4) аппроксимируется семейством конечномерных
задач. Затем к конечномерной задаче будет применен метод штрафных
функций для учета ограничений на концах траекторий и выведено
необходимое условие оптимальности для получившейся штрафной задачи.
Наконец, будет совершен предельный переход в полученных необходимых
условиях и установлена справедливость принципа максимума.
Сначала доказательство проведем в предположении, что решение
(^0*' "* (^)» ^* (^)) задачи B.1) —B.4) единственно. Через h, ^2,... обозначим
каким-либо образом занумерованные рациональные точки интервала (^о, Т),
являющиеся точками непрерывности оптимального управления щ (t).
Выберем во множестве V всюду плотную последовательность точек уь V2, .«t
Зафиксируем произвольный номер Л^ ^ 1 и для любого натурального числа
l^N выберем такие точки tip = tip{N) е («о, Т) (/? = 1, ..., Л^-Ь 1), что
ti = til < , , . < tip < , , . < tlN+U tlN+l — fz < i/N,
[ti, fm+i] П [th, tkN+i] = 0 '^1,к,1фк, i^l.k^N,
причем оптимальное управление u{t) непрерывно на отрезках [ti^ tiN+i]
(Z= 1, ..., Л^). Обозначим через I квадратную матрицу | = {lip} размер-

464 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
ности iV, элементы которой удовлетворяют ограничению
Для каждой такой матрицы % определим управление и(', %) следующим
образом;
[и^ (t) в остальных точках отрезка [t^, Т],
Нетрудно видеть, что управление A3) кусочно-непрерывно, u{t, |) е F
при всех t ^ [to, Т], Рассмотрим задачу: минимизировать функцию
г
•^iv К' ^) ^ -^ К' " (• > ^)) = J /' (^ (О, и (t, I), t) dt + g« (x^, X (T)) A4)
при условиях:
x{t)==f{x(t),u{t,l),t), to^t^T, x{to)=xo, A5)
вЦхо,х{Т))^0, i = l, ..., m,
g^rco, ^(^)) =0, i=m + l, ..., s, ^^^^
l = {g^p}: 0<|,p<t^^, Z, /^ = 1, 2, ..., iV, A7)
где управление и = u(t, g) определяется согласно A3). Подчеркнем, что
при каждом фиксированном N "^ i задача A4) —A7) является
конечномерной задачей минимизации в пространстве переменных (л:^, g): з: ==
Нетрудно видеть, что любой набор (хо, м(-, ^)), допустимый в задаче
A4) —A7), является допустимым и в задаче B.1) —B.4), причем значения
целевых функций в обеих задачах на таком наборе совпадают. Отсюда
следует, что нижняя грань/^у^целевой функции задачи A4) —A7) не меньше
нижней грани /¦ в задаче B.1) —B.4): /jv*^*^** ^ ^^ ^^ время
оптимальный набор (^0*'"*^*)) задачи B.1) —B.4) является допустимым в
задаче A4) —A7), так как согласно A3) u{t, 0) = щ{г) (t^^t ^Т), Тогда
•^¦ = •^(^0*' "*(•)) ^^'^ К*'"(•' •)) = *^iv(^o*' ^)^*^iv#- Следовательно,
•^*=^ «^jv^ ~ «^JvC^o*'^)* ^^ предположению задача B.1) —B.4) имеет
единственное решение. Тогда и задача A4) —A7) также будет иметь
единственное решение (^о*' ^* ~ ^) °Р^ каждом фиксированном N "^ i.
Применим к задаче A4) —A7) метод штрафных функций. Обозначим
giN{Xo, I) = gi{Xo, х{Т)) = gi{xo, х(Т, м(., I), хо), i =1, ..., S,
gfKl/) = G'^°'''^'''^^' * = *'••••"' A8)
lg% i = m + i, ..., 5.
Рассмотрим задачу: минимизировать функцию
««('•• i) - 'и (V I) + Л 2 («fc (V Е))' -
I
/' {X (О, W(^ I), i) dt + g^ (^^, X (f)) + л^, 2 (^i" К' ^ (^)))' A9>
о
цри условиях
?{t) ^ /(а:@, u(t, I), О, to^t^T, x{to) = а:о, B0)
| = {1гр}, O^l^p^t^iv, Z, /^ = 1, ..., iV, B1)
Ио-^о*|<1» B2)

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 465
где i4ft > о (А; = о, 1, ...); {Лк} -^ оо. Если ввести множество
f^o = {(V^L^o-^o*l<l. 0<li^<d^, l,p = i,...,N},
TO задача A9) —B2) может быть кратко записана в виде
ФаК l)->inf, {хо, D^Uo. B3)
Покажем, что задача B3) имеет хотя бы одно решение. Сначала убедимся,
что функции Jn(xo, I), giN(xo, %) непрерывны по совокупности {xq, g) на
множестве С/о. Пусть (хо, I), {xq + Axq, |+Д|) е С/о. Согласно оценке (9)
с учетом A3) имеем
шах |a:(^w(.,g + A|), ^^ + А^^)-л;(м.(.,|), :. |<
т
<C^\Ax^\ + C^^\u{t,l + M)-^u{t,l)\dt^
*о
= ^ll4l + ^2 2 I \v^-u^{t)\dt^C^\Ax^\ + C,^\Ml
^•P=^ tip+hp
B4)
где
N
' l<p<NtQ<t<T* *^ ijl
1
Из непрерывности функций f{Xj м, t), g^{x, у) по совокупности своих
аргументов и оценки B4) следует непрерывность функций Jn(xoj I), giN{xo, g),
^uvC^o"^)' Ф^(^0' ^) °^ компактном множестве С/о. Согласно теореме 1.1.1
Ф^^ = inf Фд [х^, ^) > — оо и существует хотя бы одна точка(хол, Ik) е С/о,
в которой нижняя грань достигается. Покажем, что последовательность
решений (^ok^k={^%]) (^ = 0, 1, ...) решений задач B3) сходится к
решению (^о*'^*~^) задачи A4) —A7). Воспользуемся теоремами 5.14.1,
5.14.2. Проверим выполнение условий этих теорем. Непрерывность
функций Jn{xo, g), giN{xo, I) мы уже установили. Из непрерывности JnIxq, 6)
и компактности С/о следует, что /*¦ = inf ^jv (^о' ^) -^ "" °°* Множество
^6 = [{^Q, I) е UqI g^vK' 5) < S, ^ = 1, ..., s} ограничено в силу
ограниченности С/о при любом б >• 0. Все условия теорем 5.14.1, 5.14.2 выполнены.
Поэтому решение задачи B3) или A9) — B2) сходится к решению задачи
A4) —A7) как по функции, так и по аргументу. Поскольку задача A4) —
A7) имеет единственное решение (х^^, |# = 0), то
lim Ift == I* = О, lim х^^ = X lim Ф^^ (х^^, 1^) = J^ == J^. B5)
Из оценки B4) при ^ = ^* = О, а:^ == х^^, Д| = Ij^, Ах^ =^oft- ^о* получаем
lim шах 1 а:, (t) — х^ (П 1 = О, B6)

466 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. в
где а:^ (t) = X (г, «¦(•)» ^0*) = ^ (^» " (•» ^)» ^0*) "~ оптимальная траекто^
рия в задачах A4) —A7), B.1)—B.4), Xk{t) = x{t, и{-, |а),
л:оО—оптимальная траектория в задаче A9) —B2). Кроме того, из теорем 5.14.1, 5.14.2
следует
lim gf (x^j^, х^ (Г)) = g+ {х^^, х^ Щ = 0, 1 = 1,...,^. B7)
ft-» 00
Задача A9) —B2) представляет собой задачу оптимального управления
с подвижным левым концом и свободным правым концом траектории и
поэтому для приращения функции A9) нетрудно получить формулу,
которая понадобится нам при получении необходимых условий
оптимальности для задачи A9) —B2). Будем рассматривать задачи A9) —B2) со столь
больпгами номерами к, чтобы
Иой-^о*1<1. 0<%<^N^ l,p = i,2,...,N; B8)
это возможно в силу равенств B5), из которых вытекает, что неравенства
B8) будут выполняться для всех к ^ ко, где ко — достаточно большое
число. Оптимальному решению (хок, Ы задачи A9) —B2) в силу B8) можно
дать такие малые ненулевые приращения (Ажо, А|), что
А?1р>0, Z,p = l, ...,iV, к^к^. B9)
Тогда оптимальные управления Uk{t) = u{t, ^k) и траектория xk{t) =
= x{t, Uh(*), xoh) задачи A9) —B2) получат приращение Au(t) ==
= w(f, ?ft + A|ft) — Wft@» Aa:@ =a:(f, ma + Aw, Xoh + Аз^о) — Xk{t) {to^t^
^ T), Приращение Ax(t) удовлетворяет условиям
M{t) =Af = f{xk{t) +Ax(t), Uh{t), t) -fixkit), Uk(t), 0, to^t^T,
Ax{to)=Axo, C0)
вытекающим из B0). Из B4) для Ax(t) следует оценка
max |Aa:@l<c^|Aa:J + C2jvlAg|. C1)
С учетом оптимальности (xohj ^h) для приращения функции A9) получим
о < ДФ^ = Ф;, (х„, + Дх„, 1^ + АЦ - ф^ (х„^, 1^) =
т
= j [/" (=^ft W + Аг (f), Mft (i) + Дк (t), t) - f {x^ (t), u^ {<), t)] dt +
+ e° Ы + Д^о- ^h (T) + Д^ (Г)) - g» (T„^, o;^ (D) +
+ ^ft Д {{et Ы + Д^о' ^ft (T) + д.: (г))J _ {gf (^^, ^^ (г))J] =
T / J Ч
= f Д/«й< +<^ 4 (x„^, Ж;, (Л) + 2 2^^i"Kft' ^ь(Л) 4(^oft. Ч B')). Д^о >+
*» ^ •=^ /
+<^4 (^oft- Ч Щ + .2 2^?f (^oft- ^h B')) 4 Kft. ^ft (^)). Д^ (уу+^ift.
C2)

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 467
где
Д/о = /»{xk {t) + Ах (О, пф) + Ди (О, о - f Ы W > ия (f), t),
-^+(...L(--.)),А^„^+<^(?«(.®.)-4(---)) +
+ .2 24^(г?-(ЛL(.®.) -?+(...L(---)).Д^(^))>; C3)
для краткости здесь обозначено (...) = (^oft + ^^^о' ^k (^) + ^^^ (^)) ^^ "^
<е<1), (...) = (зд, a:ft(r)).
Введем обозначения
S 1-1/2
i=l
C4)
1 = 1, ..., s.
Отсюда и из A8) следует, что
0<«oh<l, »ift>0, .... а„^>0, 2a|ft = l. C5)
i=0
Для преобразования правой части равенства C2) к более удобному виду,
введем функцию Гамильтона — Понтрягина
Н{х, и, t, 1|), ао) = ~ао/°(а:, м, f) + <г1), /(х, м, 0> C6)
и сопряженную задачу
^ft(^)=-i«ife4Kft»^ft(n), C8)
где dik взяты из C4). Напоминаем, что в соответствии с определением 1.1
решением задачи C7), C8) называется непрерывная вектор-функция ^15^@,
являющаяся непрерывным решением интегрального уравнения
Г
% (О = J Я^ К W, uj^ (т), т, % (т), а^^) dx + opfe (Г). C9)
Система C7) линейна относительно a|)ft; существование и единственность
решения задачи C7), C8) следует из теоремы 1.2. При сделанных
предположениях относительно функций Р{х, щ t) (? = 0, 1, ...,, п), как видно
из C9), функция '^k{t) во всех точках непрерывности управления Uk{t)
непрерывно дифференцируема и удовлетворяет уравнению C7).
Умножим равенство C2) на aoft >• О и с учетом обозначений C4), C8)
перепишем его в виде
о < а„^ДФ^ = j a^^Afdt + / 2 ''ikSl Ы' Ч Щ, А^оу>"
" -i%{T),Lx{T)y + a^^R^^. D0)

468 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
Преобразуем третье слагаемое из правой части D0). С учетом
соотношений C0), C7), C8) имеем
т
(^% (Г), Ах (Г)> = J ^ <^ft (О, Д^ («)> dt + (^\ (<„), Да:„> =
*о
т
= j {(_% (О, А^ (<)> + {% {«), А^ С)» 'г* + {% (д, Аж„> =
= f <1р^ (г), А/> dt-^ <Я^ (а;^ (О, Ufe («), «, tfe @. «Oft)' Д^ (*)> '^^ +
Подставим полученное выражение в D0); с учетом обозначения C6)
будем иметь
г
О < а^^АФ^ = - I [^ (^fe (^) + ^^ (^)' "А (^) + ^" (^)» ^' "l"/^ (^)' %k) -
- Я (х^ (О, I.;, (О, ^ % (О, %fe)] ^^ + \2 «ift^Kft' ^fe(^)-^fe(g' Д W+
Г
+ j <^х К (О, "fe (О, ^ гРй (О, «Oft)' Д^ @> ^^ + Sfe^U- (^1)
*о
В силу формулы конечных приращений
H(xk + Ах, uk + All, t, a|)ft, aok) = H(xk, m + An, ^ -фл, аол) +
+ iHx{xk + OiAx, Kft + All, t, -фй, aoft), Aa:>, 0 < 9i < 1.
Отсюда и из D1) получим
Г
О < а^^АФ^^= - J [Я (xj^ (t), и^ {t) + Аи (t), t, % (О, а^^) -
^ /7 (х^ (О, и^, (О, ^ ^ft (О, Sft)] ^^ +V 2 «ife4 (^ofe» ^ft (^)) ~
V=o
-^ft(*o)-^W + ^ft' ^k = %k^ih + ^2k' D2)
где
г
-^26 = - j <^х Ь («) + бхАж (f), «;, (<) + Am (t), г, f;, (О, V) -
- Я^ (X;, (О, Kft (i), «, tft (О, «Oft)' Д^ (')> '^'- D3)
Покажем, что
^ft = Oft(lAxJ + lA|l), limOft(i)/f = 0. D4)

3]
ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА
469
Из непрерывности функций g^{x,y), gf(x, у), g* (х, у), g'^y(x, i/),оценки C1)
и выражения C3) для Нщ следует, что aokRik= Ok(\Axo\ + \А1\). Далее,
перепишем выражение D3) для Лгл в виде i?2ft =/?за + i?4ft, где
Г
^3ft = - J <^х К (^) + ^1^^ (О, и (^ 5^ + А?), f, гр^^ (О, V) ~
•^0
Г
D5)
- ^х К (О, " (^ ?ft + Ag), ^ % (О, V)' ^^ (^)> ^^'
^4fe = ~ 1 <^х К (О, и (t, 1^ + А5), t, % it), а^,) --
Напомним, что управления u{t, g^), n{t, g^ + A|) определены согласно A3).
Отсюда и из неравенств B1), B2), B8), B9), C1) следует, что аргументы
X, к, t, if функции Нх в формулах D5) принадлежат ограниченному
замкнутому множеству Qj^^ = Г(х, i*, ^ "Ф): | д: К max | х^ (t) \ + с^{\ х^^ | + 1)+
+ c^N^^d^, I^K sup \u^(t)\+ max 1^рМо^«<Г, j^PK
^ max |'Фь@|' Непрерывная функция Нх{х, щ t, if, am) переменных
(a:, и, t, if) на компактном множестве Qhn будет равномерно непрерывна
на этом множестве. Отсюда и из оценки C1) следует, что R^h =
= OftdAxol + |А||). Далее, с учетом определения A3) управлений u{t, |а),
^{t, 6ft+ Ag) имеем
k
jv Ьр+hp-^^kp
- H^(xj^{t), Щ @, ^ ^ft [t), a^j^), Ax {t)y dt 1 <
<2|A?lsup|//^(a:, u, f, of, a^^) ] 1 Ax (f) | = o^ (j AxJ + ] A& |).
Суммируя полученные оценки для Rih, Rsk, Rak, придем к оценке D4).
Итак, нужная формула D2) для приращения функции A9) с оценкой
остаточного члена D4) получена. Положим А| = О, Ах^ = ~~ ^ 2 ^ik^x ^ oft»
\г=о
а?^(Г)) —'Фй (О) > где число е'>0 столь мало, что выполняется первое
из неравенств B9); тогда Au{t) = О и из D2), D4) получим О < а^^^АФ^ =
S 12
2 «ift4 (^oft' ^k щ - % (g + 'k (^) ил°
l^4ftl =
i=o
^^iksi^>^ki^))-'fk{^o)
I i=0
Отсюда при 8 ->- О имеем
<
0.(8)
i=0
D6)

470 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
Далее, положим в^D2) Аа:о=0, матрицу А| = {|/р} возьмем так, чтобы
элемент, находящийся на пересечении произвольным образом
фиксированных Z-й строки и р-то столбца, 1^1, р ^N, равнялся 8! > О, а остальные
элементы равны нулю, причем 8 возьмем столь малым, чтобы выполнялось
второе неравенство B9). Тогда согласно A3)
{% ~ Ч (О = %-щ (t)
при f,^ + Ejp<^<^ip + ?Zp + e,
[О в остальных точках из [t Т],
и из D2), D4) получим
tip+lip+г
О < а^,АФ^, = - j [Я {xj^ (О, v^, t, % (f), а^,) ~
- Я {х^ (f), щ (t), t, % (t), a^j^)] dt + 0^ (8). D7)
Заметим, что подынтегральная функция gk{t) =H(xk{t), Vp, t, •^h{t), aok) —
— H{xk{t), Щ @, t, % (t), a^j) непрерывна на отрезке [t^^ +1^^, t^^ + 1^^+
+ 8]. Применяя теорему о среднем, из D7) имеем 0< — g^ (f^p + ь?р +
+ G^ej ^ + ^ft (^) (^ "^ ^2 *^ ^)* Разделим это неравенство на 8 > О и
совершим предельный переход при г-^0. Получим О < — g^ (^t^^ + 1%) или
^'^'Up+hp
D8)
при всех A; ^ feo, ^ = 1, ..., Л^, P = 1» .. м Л^.
Заметим, что соотношения C5), C7), C8), D6), D8), представляющие
собой необходимое условие оптимальности в задаче A9) — B2), вполне
аналогичны соотношениям B.7) — B.10) из теоремы 2.1. Соотношения C5),
C7), C8), D6), D8) получены при фиксированном iV ^ 1 и справедливы
при каждом к ^ ко. Для завершения доказательства теоремы 2.1 остается
сначала перейти в этих соотношениях к пределу при к-^оо^ считая Л^
фиксированным, затем совершить предельный переход при N-^oo,
Поскольку построенные выше последовательности {а^}, {i|ja(^)} зависят от Л^,
то их предельные точки, вообще говоря, также будут зависеть от N. В
дальнейшем нам будет полезно явно подчеркнуть эту зависимость и поэтому
упомянутые последовательности и их предельные точки ниже будем
снабжать индексом N,
Согласно C5) последовательность а^ = (аол, ащ, ..., ашн) = ah{N)
(fe = О, 1, ...), ограничена и, пользуясь теоремой Больцано — Вейерштрасса,
из нее можно выбрать подпоследовательность, сходящуюся к некоторой
точке a=:a(N) = (ao(iV), ai(iV), ..., ak{N)). Без умаления общности
дальнейших рассуждений можем считать, что сама последовательность {^^(Л^)}
сходится к a(N). Из C5) следует
8
0<a^{NXi, a^(N)>0, ..., а^ (iV) > О, \a(N)f=^ a\(N)==i. D9)
Далее, пользуясь непрерывностью gl(x, у) и равенствами B5), B6), из C8)
при к-^ оо получим
8
lim % (Г; N)=^{T;N) = -^ а^ {N) gj (х^^, х^ (Г)). E0)

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 471
Покажем, что последовательность {ySpkit)} = {'Фа(^ N)} равномерно на [to, Т]
сходится к решению if {t; N) системы уравнений
ip (f; iV) - - Я^ (x^ (t), Щ (t), t, гр (t; N), a^ (N)), t^<t^T, E1)
с начальным условием E0). Как и в задаче C7), C8) решение задачи E1),
E0) суш;ествует, единственно, является непрерывным решением
интегрального уравнения
т
гр (е; ЛГ) = J Я^ (х^ (т), щ (т), т, г|) (т; N), а^ (N)) cfт -f г|? (Г; iV), E2)
во вс-ех точках непрерывности оптимального управления и^ {t) непрерывно
дифференцируемо и удовлетворяет уравнению E1).
Обозначим Аг|?А@ =i|)fe(f; iV)—^(i; N) (k^t^^T). Из C9), E2) с
учетом определения C6) функции Я и ее производной Нх имеем
т
^% (О = f 2 A^ift ('^) flc {ч ('^)» ч ('^)» '^) ^'^ + h(^; ^) + A^ft (^» E3)
где
т
bft (f; iV) = -^ J (a^ft (iV) - a^ (iV)) /5^ (^;, (T), u^ (т), т) cfx ^
t
T
- % w J [/2 {^ w» Ч ('^)' '^) - /5 (^* ('^)» "ft ('^)' '^)] ^^ -
T
- % W J [fi (^* W' "ft W» '^) - /x (^* (^)' "* W» '^)] ^T^ +
t
+ S ^i ('^; ^) [4(^ft w» "ft ('^)» -') - fx (^* w» "ft (^). '^)] ^T^+
T
+ \^b ('^; N) [fi {x^ (T), w,, (T), T) ~ fl {x^ (T), Щ (T), T)] c?T. E4)
i i=i
Покажем, что {bk{t; iV)}->-0 при A;~>-c?o (iV фиксировано!) равномерно на
отрезке [*o, Т], С этой целью заметим, что в силу B1), B2), B8), оценки
B4) при 1=0, Д5 = |ft и определения A3) управления Uh(t) ==w(-, Ik)
аргументы (х, щ t) функций f^i^, w, t), входящих в E3), E4),
принадлежат компактному множеству Qtsj == ((х, м, f): | л: ] ^ шах | х^ (t) \ +
+ 'i (I ^0* I + 1) + '2N^'^N^ I " К, sup J щ @1+ sup J.J, f^< t < n
при всех к ^ ^0. Непрерывные функции f^ (г, w, f) на Qn будут
ограничены и равномерно непрерывны по совокупности аргументов (аг, и, t) е ^iv.
Следовательно, шах шах 1/1 (л?, w, f) | = Zr»T< оо. Отсюда и из
0<i<n(x,u,*)eQjY'
{aoft(^)} --»-ao(iV) получаем, что 1-е слагаемое из правой части E4)
стремится к нулю равномерно на [to, Т]. Равномерная сходимость к нулю 2-го

472 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
слагаемого из E4) следует из равномерной непрерывности f{x, и, t) на
Qn и равномерной сходимости {xk(t)} к а^# (t), вытекающей из оценки B4)
при g = О, Ag = gft. Для 3-го слагаемого из E4) с учетом определения A3)
управлений uk(t) = u{t, Ik), Щ if) = w (Ц 0) имеем
% (^) f [/х (^* W» "ft ('^)» '^) - /2 (^* ('^)» "* ('^)' -^1 ^^
f^ ^iv'^^ip
= s(^) 2 f I/xNw»^D''^)-fl(^*('^)»"*(^)» A^''<
<«oW|?ft|-2 max \Ц{х, и, t)\^0
при ^~>-oo равномерно на [io, Л» так как | Eft | = 2 |^?р1"^^ ® ^^''^У
B5). Аналогично доказывается равномерная на [^о, Т\ сходимость при
^ -> оо 4-го и 5-го слагаемых из E4). Таким образом,
lim sup I Ъ, (t] AT) I = 0. E5)
Далее, из E3) имеем
т
|Aif;,@|<Ji:jv2 \^%{'^)\dx + \b^(t; N)\ + \A%{T)\^
t
L^yn^\Ayp(x)\dx + \bj^(t;N)\ + \A%(T)\, t^<t^T.
t
Как видно, функция ф@ = |Ai|)ft(f) | удовлетворяет неравенству F) с
а = ЬкУп, b{t) = \bk(t; N)\ + \A'\i)k{T)\, Тогда в силу G) получаем
\^%{t)\ = \%{t; N)^yp(t; N)\^
т
<L^yn^(\bj^(T;N)\ + \A\{T)\)exip[L^y7i(x^t)}dx +
i
+ Pft(^;^)l + |A^ftm[, io<^<^-
Отсюда и из E0), E5) следует
lim max I % {t; AT) — op {t; N)\=0. E6)
Из D6) с учетом B6), {ah{N)}^a{N) при k-^oo тогда имеем
^Inn % (t^; AT) = г^ (t^; AT) = j] a. (АО 4 К*» ^* (^))- (^7)
ft-» 00
Перейдем к пределу при А;->оо в неравенстве D8); с учетом B5), B6),
E6), {aok{N)} ->ao{N) и непрерывности функции Н по совокупности своих

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 473
аргументов получим
[Я (х^ (О, v^, t, г|? {t; N), a^(N))~H (x^ (t), щ (f), I. ^{t;N), a^(N))]\t^t^<^0
E8)
для всех Z, /? =s 1,.,., /V.
Наконец, совершим предельный переход при i\^->-oo в соотношениях
D9) —E1), E7), E8). Выбирая при необходимости падпоследовательность
из {a{N)}, можем считать, что сама последовательность {a{N)}-^a =
= (ао, аи ..., ug). Тогда из D9) сразу получим
0<а^<1, а^>0, ...,а^>0, \af = ^d\ = i. E9)
Из E0) при N^^oo имеем
lim г|? (Г; iV) = г^Г) = - S «i4 К*' ^* (^))- (^0)
Покажем, что последовательность {'^{t; N)} равномерно на [to, Т]
сходится к решению of» (t) системы уравнений
^ (О = - ^х (^* (О, "* (О, ^ ^ (О, %), ^0 < ^ < ^» (^^)
с начальным условием F0). Существование и единственность решения
задачи F1), F0) следует из теоремы 1.1. Выпишем интегральное уравнение,
которому удовлетворяет решение задачи F1), F0):
г
а|) it) = J Е^ (х^ (т), щ (т), т^ (т), а^) dx + ^ (Г).
t
Отсюда и из E2) для разности Аг|) (t) ='^{t\ N) — i]? {t) имеем
г
А^ it) = j [{- % (N) + a^) f% (^* (T), Щ (T), T) +
t
+ 11 Агр. (T) fl {x^ (T), u^ (T), x)]dx + Аг|) (Г), t^^t^T.
i=l
Тогда
T
|Аг|)@1< Ul/nlAi|)(T)UT + L(r-g|a^(^)-a,l + |AiKr)l,
где L = max sup I/1 (^r^j. (т), w# (т), т|. Отсюда и из неравенств
F)— (8) следует
|A^@| = |t|)(f;iVb-tWl<
< ехр {Lin{T''h)}{L{T — to) lao(iV) — ао| + |Ail)(r) |), h^t^T.
Тогда в силу F0), {ao{N)} -^ ао будем иметь
lim шах 1 гр («; iV) - -ф («) | = 0. F2)
Из E7) с учетом F2), {a{N)} ->а получаем
lim It (f„; ЛГ) = ^ (g = 2 «i4 (^0.' ^* (^))- (^3)
iV-»oo I^Q

474 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
Перейдем к пределу при N-^oo в неравенстве E8). Поскольку в силу
A2) {tipl'-^ti при Л^->-оо, {ао(Л^)}->ао, то из E8) с учетом F2) имеем
Я (^* (^;), Гр, ti, ^ (ti). а^) ~ Я (х^ (t^), щ (ti), Ц, а|) (?^), а^) < О, Z =1, 2,.,.
В силу плотности последовательности точек {vp} во множестве 7 отсюда
получаем
Я {х^ {ti), V, ti, гр (f;), а J < Я (rr* (f;), и^ (?^), f ^, г|) (^^), а^) Wv е F,
* = 1» ^f •••
Последовательность {fj рациональных точек интервала (to, Т), являющих^
ся точками непрерывности оптимального управления м#(^), всюду плотна
на отрезке [to, Т], Поэтому предыдущее неравенство справедливо для всех
t^ [toi Г], в которых w# (t) непрерывно:
Я {х^ it), V, t, г|? (О, а^) < Я {х^ (f), i^^ (^), 1, гр (f), а^) Vi; е F.
Поскольку при г = w^ (f) е F здесь получаем равенство, та
sup Я (х^ (t), V, t, г|? (f), а^) = Я (х^ {t), щ (О, ^ ^ (О, %) F4)
во всех точках непрерывности щ (J),
Далее, докажем, что
^гЯ* (^0*' ^* (^)) = ^» ^ == 1, ..., /Д. F5)
Для тех номеров i A ^ г ^ m), для которых g^ (ж^^, ж^ (Г)) = О, равенства
F5), конечно, выполняются. Пусть Я*(^о^, ^* (Г))<0. Из B5), B6) тогда
следует: g^{xoh, хк{Т)) <iO при всех к'^ко, где А;о достаточно большое
число. Поэтому из формул A8), C4) получаем аа = flifc(iV) =0 для всех
к ^ ко. Тогда lim а^^ (iV) = а^ {N) = О для каждого iV ^ 1. Следовательно,
fe-»oo
lim a^(i\r)=a|=iO для тех номеров i (l^i^w), для которых
^* (^o:jj» ^* (Л) < О- Равенства F5) доказаны.
Соотношения E9) —F1), F3)~F5), составляющие основное содержа--
ние теоремы 2.1, установлены. Тем самым теорема 2Л полностью доказана
для случая, когда задача B.1) —B.4) имеет единственное решение (л^о»»
w# (i), л:^ @)' Общий случай, когда задача B.1) —B.4) имеет более чем
одно решение, легко сводится к рассмотренному случаю. А именно, пусть
(j^Qjjj» W* (О» ^¦@) одно из решений задачи B.1) —B.4). Введем новую
фазовую координату x'^+i и к системе (»2.2) добавим еще одно уравнение
хп+1 {t)==\u (t) - и^ (t) I = /^+1 (и (t), о, t^<i<T, ^^+1 (g = х^+К
F6)
Введем функцию
т
^1 (^0' <"^'> «(•)) = J /" (^ («). и С), i) dt + g" {х^, X (Т)) + (^"+' (Г))^ +
Т
+ Ио - ^0* I' = J /° (^ (*)¦ « (*)' *) ^^ + г? (^0' ^ (^> *"^' (^)' F7)
где gl (х, у, у""*"^) = g" {х, у) + (г^"+^)^ + I а: — Хд» ['.Рассмотрим задачу
минимизации функции F7) при условиях B.2)—B.4), F6). Нетрудно видеть,

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 475
ЧТО J^(^Q, ^Q^^i и{-)'^'> J(^r^, и{'))'^ J^ ц]1я. всех допустимых набон
VOB (х^,х^+\и('),х(.),х'^+^(.)) задачи F7), B.2)~B.4), F6), для
которых o^Q^^Q^, ^о'^^ФО, и(-)фи^(-), В то же время /i(^o^,0,
^* (•))== «^ (^0*' "*(*)) = •^** Это значит, что функция F7) при условиях
B.2) —B.4), F6) достигает своей нижней грани на единственном
допустимом наборе (^Q^f ^оУ^^ ~ ^» ^* (•)» ^* (•)» ^^^^ (•) ~ о)» Следовательно, для
задачи F7), B.2) —B.4), F6) справедлив принцип максимума. Конечно,
для по'лной строгости надо оговорить, что функция /^+^ (и, t) =\и — и^ (t) I,
находящаяся в правой части уравнения F6), необязательно непрерывна по
t е [^0, Т], и строго говоря, не удовлетворяет условиям теоремы 2.1. Но, тем
не менее, благодаря тому, что /'*+^(ц, t) кусо(чно-непрерывна по t, не
зависит от X, удовлетворяет условию A), нетрудно последить, что все
вышеприведенные рассуждения, приведшие к соотношениям E9) — F1),
F3) —F5), сохраняют силу и для задачи F7), B.2) —B.4), F6). В этой задаг
че функция Гамильтона — Понтрягина имеет вид
Н^ (х, rr^+i, W, t, г|?, %_^^, а J = - а/ {х, и, t) + <ip, / {х, и, t)y +
+ %+1 \и-щ{г)\ = Н (X, и, t, "ф, а^) + i|?^^^ I 1^ - W* (О I.
Согласна уже доказанному случаю принципа максимума найдутся числа
ло, йь ..., йш и вектор-функция ('ф(^), i|)n+i@) {h^t^T) такие, что
а = (ао, ai, ..., а») фО, ао ^ О, ai ^ О, ..., йт ^ О,
Ч? (О = - Н^^ (х^ (О, х^^'^ (О, Щ (О, t, Ур it), %^^ (f), aj =
= -Я^ (х^ (t), щ (f), t, г|? (f), а^), t^<t^T,
условие максимума
max Я^ (х^ (t), x'i+^ {t), v, I, ^ (t), ip^+, (f), aj =
выполняется во всех точках непрерывности u^{t); справедливы условия
трансверсальности
j=0
1Р(Г) = - a^gO^ (^^„ х^ (Г), ^2+^ (П = 0) - il «j4 К*' ^* (^)) ==
3=1
S
=-2 «j4(^o*-^*(^)).
j=0

476 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
^„+1 (Т) = - «o^n+i (^0*. ^* B-). ^*+' m = 0) -
S
3=1 ^
и условия дополняющей нежесткости
^i^i(^o*' ^*(^)) = 0» i = l, ...,т.
Из этих условий следует, что i|?n+i@ ^0- Учитывая это равенство в по'лу^
ченных условиях, снова придем к соотношениям E9) —F1), F3) —F5)
и в том случае, когда в задаче B.1) —B.4) оптимальное решение не
единственно. Теорема 2.1 доказана.
Доказательство теоремы 2.2 также приведем при дополнительном
предположении выполнения условия A), считая, что в A) г е R. Пусть
(^0*'"*(*)'^* (^)' *о*'^*) "" о'птимальное решение задачи B.37) —B.40).
Если задачу B.37) —B.40) рассматривать как задачу с закрепленным
временем, взяв в ней t^ 1^^^ Т = 1^,10 она превратится в задачу B.1) —B.4)
с оптимальным решением (ic^^, w* (г), л:^ @), и к ней применима уже
доказанная теорема 2.1, из которой следуют соотношения E9), F1), F4)
с ^0 ~ *о*' ^ ^ ^*» ^ также условия трансверсальности
j=0 3=0
и дополняющей нежесткости
Поэтому в отдельном доказательстве нуждаются лишь условия
трансверсальности B.42), B.43):
т^ахЯ(:г, (^^J, ., t^^, af(f^J, а^) = - 2 a.gl (х^^, х, (Г,), f^^, Г,), F8)
s
шахЯ(:г^ (Г*), у, Г*, гр(Г^, а^)=^ «j4(^o*' '^* (^*)' ^о*' ^*)- (^^)
Начнем с доказательства равенства F9). Сначала рассуждения проведем в
предположении, что решение (^q*' ^* (*)' ^* (О» *о*' ^*) задачи B.37) —
B.40) с закрепленным t^ = t^^ единственно. Как и выше, на интервале
(^0*' ^*)' ^^®Д®^^ точки {tip} согласно A2), матрицу g, перейдем к задаче
A4) —A7), зафиксировав в ней *о~*о** управление u(t, g) на отрезке
[t , Г^] будем определять согласно A3). Поскольку теперь время Т
окончания процесса заранее неизвестно и нам придется рассматривать
значения Т'>Т^, то нужно как-то определить u(t, |) и при f^T^. Для
наших целей будет достаточно принять
и {t, I) = щ (Г* - О, I) = и^ (Г* - 0) Vf > Г*. G0)
Кроме того, говоря о задаче A4) —A7) и других возникающих ниже
задачах, мы всюду дальше будем иметь в виду, что» здесь функции g*
являются функциями аргументов {х, у, t, Т).
Пусть число ATn > О столь мало, что отрезок [Г# — АГ^^, ^*] не
содержит точек {tip} (I = i, ..., N, р =: i, ..., iV + 1), и управление щ (О

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 477
непрерывно при Г# — АГ^у< f < Г#. Тогда, как видно из A3), G0),
управление u(t, g) будет непрерывно при t> Г# — АГ^^, а тогда
соответствующая траектория x{t, ц(., g), хо) при ^>Г# — АГ^^ будет
непрерывно дифференцируема. Задачу A4) —A7) будем рассматривать при
дополнительном условии
т^-^т^<т<т^ + ^т^. G1)
Получившаяся задача A4) —A7), G1) представляет собой конечномерную
задачу минимизации в пространстве переменных (лг^, g, Г): х^ = (arj, ..., л:^),
I == {lipi ^» Р = 1, ..., N}, Любой набор {хо, w(-, |), Г), допустимый в
задаче A4) —A7), G1), является допустимым и в задаче B.37) —B.40),
причем значения целевых функций в обеих задачах на таком наборе
совпадают (напомним, что момент t^ = t^^ у нас пока фиксирован). В то же
время оптимальный набор (д:^^, w* (О = ^ (•» 0), Г^), задачи B.37) —B.40)
является допустимым в задаче A4) —A7), G1). Отсюда ясно, что тройка
{^0*' ^* ~ ^' ^*) является единственным решением задачи A4) —A7), G1).
Применяя к задаче A4) —A7), G1) метод штрафных функций, придем
к задаче A9) —B2), G1) с фиксированным *о "^ ^о** -^^^ ^ выше,
пользуясь оценкой B4), нетрудно показать, что функция Ofe(a:o, |, Т)
непрерывна на компактном множестве
Отсюда будет следовать, что задача A9) —B2), G1) имеет хотя бы одно
решение {x^j^, g^ = [l]^], Г^). Пользуясь теоремами 5.14.1, 5.14.2,
убеждаемся в справедливости предельных соотношений B5) —B7) с *о ^ ^о*'
у == Г* и, кроме того,
Иш Г^ = Г*, lim xj^ (Т^) = х^ (rj, G2)
где xh(t) =^x(t, ц(., Ь)» ^ok) (^o^*o*^*^^fe)- Поэтому можем
считать, что наряду с неравенствами B8) выполняется неравенство
I r,j — Г* I < АГ^у при всех к ^ ко. Оптимальному решению {xqh, ^л, Ть)
дадим приращение {^xo = О, Ag = О, АГ), где АГ > О столь мало, что
\Tj^ + AT-T^\<AT^. G3)
Тогда на отрезке f^ = f^^ < f < min {Г^, Г^ + АГ} траектория не получит
приращения, а функция Ofe(a:o, g, Т) получит приращение только за счет
того, что одна и та же траектория Xk(t) = x(t, w(-, gft), xok) будет
рассматриваться на различных отрезках [^ол, Tk], [^q*' ^ft + ^Л- ^ учетом
оптимальности набора (xoh, gft, Tk), определения A3), G0) управления Uk{t) =
= u(t, Ik) имеем
о < ДФ,, = Ф, (x^f,, 1^, Т^ + ДГ) - Ф;, (^„„ |„ г,,) =
= J /° (л'й («)- "ft («), *) '^^ - J /" (^ft (*), «ft @. о «г< +

478
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
[ГЛ. 6
+ ^/. 2 [DЫ^ ^^k+^n^ ^0*^ h+^ПУ-ЫЫ^ ^^k)^ h.^ tk)YV
t=i
Тй+ДГ
= j /"(^ft W, «* (*), 0 сг* + <4(x„„ ^, (Г,), f„^, r^) +
i=l
-^ftB'ft)> +
4(^oft'^ft(^ft)-'o.-^ft) +
G4)
i=l J
где ("¦¦
AT, 0 < 9 < 1; G5)
здесь по аналогии с C3) для краткости обозначено (,..) = (^oft' *ft (^ft)"'"
+ В{х^(Т^ + АГ,-х^(Т^)), t^^, Tk+QAT), (•.•) = (^oft' 4D)' «0*. ^ft)"
Заметим, что функции p{xk(t), Uh{t), t) (г = 0, 1, ..., n) непрерывны на
отрезке [Tk, Tk + АГ] (при ДГ < О здесь надо рассматривать отрезок
[fft + Af, Tk]) —это следует из выбора АТнг условий A3), G0), G1), G3),
непрерывности м^ (t) = u(t, §^) = w^ {t) на этом отрезке, непрерывности
функций /»'(д:, и, f), а;А@- Поэтому
dt
Г^+АГ
Ч+^т G6)
J f (х^ (<), I.* (О, t) dt = /« (^^^ (Г^), U, (Г^), Г^,) ДГ + Л,„
где
Г^+АГ
^7ft = J [/' к @, "* @, 0 - /' {^K (^ft)' ^* (^ft)> Tj^)] ^T == 0, (ДГ).

§ 3] ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 479
lim о. (АГ)/АГ = 0. Отсюда и из непрерывности функций g% gf, gi, g^
ДГ-*0 * i/ X
для i?5ft из G5) также имеем i?5A == оа(АГ). Далее, воспользуемся
величинами uik из C4) (разумеется аргументы функций g^^gf здесь должны быть
дополнены величинами ^q "^ ^о*» ^ "^ ^'^) • Умножим G4) на aoh > 0; с
учетом равенств G6) получим
+ 2 «ift4 Kft' Ч C^h)' «о*- ^ft) ДГ + «8ft.
i=0
где
«8ft = %k («8ft + «7ft) + <^g^ «ift4 (^Oft. ^ft (^ft). *0«' ^ft)> «eft^ = "ft (Дг-).
Отсюда, пользуясь условием C8) с Г = Га и определением C6) функции Я,
имеем
0< а„^ЛФ^ = ДГ Г- Я (х^ (Т^), м« (Г^), Г;,, % {Т^), а^^) +
+ 2 "if^^T Ы' Ч B'ft). «о*. 2'ft) + "-^j^
i=0 J
при всех достаточно малых |АГ1, причем АГ могут быть как
положительными, так и отрицательными. Это возможно лишь при
в (^ft {Тп)' «* (^ft). ^ft, ^ft (^ft), «Oft) = S «ift?r (^Oft' ^ft (^ft)' *0.' ^ft)- * > *o-
Отсюда, пользуясь G2), рассуждая также, как при доказательстве
теоремы 2.1, совершим последовательно предельные переходы сначала при
Л-^оо, затем при iV->oo и получим условие F9). Напоминаем, что наши
рассуждения проводились в предположении, что задача B.37) —B.40) с
закрепленным t^ = t^^ имеет единственное решение. Если эта задача
имеет неединственное решение, то можно перейти к задаче минимизации
функции
+ (х"+1 (T)f - (Г - T^f + 1 л;, - х„^ 1»
при условиях B.38) —B.40), F6), которая имеет единственное решение
(^0*» "* (*^' ^* (^)' ^*)' применить к ней уже доказанное и, учитывая, что
оптимальные д:^"^^ (О—О» "Фп+х (*) —^» получить условие F9) и в этом
случае.
Для доказательства^ условия F8) нужно провести те же рассуждения,
поменяв ролями левый и правый концы траектории, зафиксировав в
B.37) —B.40) Г = Г#, пользуясь вместо задачи B) задачей Коши A0)
и варьируя ^0 в достаточно малой окрестности t * Теорема 2.2 доказана.

480 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ, S
§ 4. О методах решения краевой задачи
принципа максимума
1. Выше в § 2 было показано, что задача оптимального
управления (см. задачи B.1) —B.4), B.37) —B.40)) с помощью
принципа максимума может быть сведена к краевой задаче,
состоящей из условия максимума B.14)
sup Н{х, и, t, г|), aQ)=H {х, и {х, t, if», ^о), t, 'Ур, а^), A)
определяющего функцию и==и{х, t, -ф, Ло), системы 2п
дифференциальных уравнений
x = f{x, и{х, t, -ф, йо), t), 1|5 = -Я^(д:, и{х, t, 1|), ао), t, г|}, Ло),
B)
граничных условий (см. условие B.18), ограничения типа
равенств из B.39), условия B.41) —B.44)), которые могут быть
записаны в следующем виде
^г(^о, x{to), yp{to), ао, ..., а„ Г, х{Т), г|)(Г)) = 0,
1 = 1, ..., 2^ + 5+3, C)
и неравенств (см. B.19), B.39))
ао>0, а,>0, ..., ат>0, g'{x{to), х{Т), to, Т)<0,
г = 1, ..., т. D)
Для численного решения такой краевой задачи могут быть
приспособлены известные методы, такие, как метод стрельбы,
метод прогонки, различные итерационные методы [4, 13, 20, 39,
54, 209]. Здесь мы кратко остановимся на методе стрельбы, с
помощью которого краевая задача A) —D) сводится к решению
задачи Коши и некоторой задаче минимизации функции
конечного числа переменных. Для применения этого метода сначала из
набора ^0, oc{to) = Xo, 'ф(^о) = 'фо, а = (ао, ai, ..., Us), Т, x{T) = Xiy
'ф(Г) = ^1 выделяют величины, называемые параметрами
стрельбы, задав которые можно сформулировать и однозначно решить
какую-либо задачу Коши для системы B). В качестве
параметров стрельбы часто берут to, Хо, "фо, cl- Затем задают какие-либо
конкретные числовые значения этих параметров и решают
задачу Коши для системы B) с начальными условиями
x{to)===Xo, 'ф(^о) = 'фо. E)
При численном решении задачи B), E) можно пользоваться
известными методами Эйлера, Адамса, Рунге — Кутта и др. [4, 13,
39, 54, 258].

§ 4] О МЕТОДАХ РЕШЕНИЯ КРАЕВОЙ ЗАДАЧИ 481
Допустим, что решение этой задачи x{t; to, Xq, -фо, Ло),
'^{t; to, Xq, г|7о, Ло), соответствующее взятым значениям
параметров стрельбы, уже найдено. Тогда можно вычислить значения
функций Qi из C), взяв в качестве аргументов этих функций
выбранные значения параметров стрельбы и соответствующие
им х{Т) = х{Т; to, Хо, фо, «о), 'Ф(^) = 'ф(Г; ^о, Хо, i|)o, ао) при
некотором Т > to, и значение функции
2n-{-s-l-3
4>{to,x,,%,a,T)= 2 QUto^Xo^%^(^^T,x{T),^^{T)), F)
называемой функцией невязки системы C). В случае удачного
«выстрела», когда выбор параметров ^о, Хо, -фо, а, Т обеспечивает
выполнение неравенств D) и функция невязки F) обратится
в нуль, что равносильно условиям C), краевая задача принципа
максимума A) —D) будет решена. Однако вряд ли с первого
«выстрела» удастся добиться выполнения с нужной точностью
неравенств D) и обратить невязку F) в нуль — скорее всего
придется продолжать «стрельбу» с другими значениями
параметров ^0, Xq, ifo, а, Т, которые дают меньшее значение функции
F) при соблюдении условий D). Таким образом, для выбора
наилучших параметров стрельбы нужно решить задачу
минимизации функции невязки F) при ограничениях D); здесь
возможно использование известных методов минимизации,
например, методов из главы 5. Конечно, вместо этой задачи
минимизации можно непосредственно решать систему уравнений
<?г(^о, ^0, ifo, а, г, х{Т\ to, Хо, -фо, ао), гКГ; to, Хо, -фо, а.о)) = 0,
G)
1=1, ..., 2n + s+3,
относительно 2n + s + S неизвестных to, Xq, ifo, а, Т о, учетом
ограничений D); здесь могут быть использованы подходящие
модификации известных методов решения нелинейных систем
уравнений [4, 8, 13, 20, 22, 39, 42, 45, 54, 73, 76, 106, 209, 221, 238,
239, 296, 301]. Подчеркнем, что вычисление значений функции
F) и левых частей системы G) в каждой отдельно взятой
точке (^0, Хо^ 1|)о, а, Т), вообще говоря, весьма трудоемко — для этого
всякий раз нужно решать задачу Коши B), E).
Аналогично может быть описан метод стрельбы для случая,
когда в качестве параметров стрельбы берутся Т, Xi, i^i, а и
задача Коши для системы B) решается с начальными условиями
x{T) = Xi, if(r) = i|)i. Разумеется, описанная схема метода
стрельбы при применении к конкретным задачам оптимального
уравнения каждый раз должна модифицироваться с учетом граничных
режимов на концах траекторий (см., например, B.21) —B.36))

482 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. б
И других особенностей решаемой задачи; количество параметров
стрельбы по возможности нужно стараться уменьшить.
Следует заметить, что краевая задача A) —D) принципа
максимума имеет ряд специфических особенностей,
затрудняющих применение метода стрельбы и других стандартных методов
решения краевых задач. Такие методы обычно разрабатываются
для краевых задач вида B), C) при отсутствии каких-либо
дополнительных ограничений на переменные; здесь же задачу
B), C) приходится решать совместно с дополнительными
неравенствами D). Наличие числовых параметров ао, ai, ..., а,
также осложняет краевую задачу A) —D). Далее, функция и =
= и{х, t, \|), ао), определяемая из условия A), вообще говоря,
нелинейно зависит от своих аргументов, и поэтому система
дифференциальных уравнений B), как правило, нелинейна
относительно {х, if) даже в том случае, когда исходная система х^
^f{x, щ t) была линейна относительно {х, и). Кроме того,
функция и = и{х, f, if), ао), вообще говоря, не обладает хорошими
дифференциальными свойствами и даже может быть разрывной (об
этом говорят функции вида и = sign if из примеров 2.7 — 2.11),
что влечет за собой плохие аналитические свойства правых
частей системы B). Краевая задача A) —D) существенно
осложняется в тех случаях, когда из условия A) функция и =
='u{x, t, i|), ао) определяется неоднозначно. Указанные
обстоятельства весьма затрудняют исследование вопросов
существования, единственности, устойчивости решения краевой задачи
принципа максимума, сходимости методов ее решения. При
численном решении прикладных задач оптимального управления
трудности, связанные с плохой сходимостью методов, с их
неустойчивостью, обычно преодолеваются на основе учета специфики
конкретно решаемой задачи, ее физического смысла и т. п. [14,
38, 68, 80, 217, 326]. Некоторые приемы преодоления возможной
неустойчивости в краевых задачах принципа максимума описаны,
например, в [14, 81, 204, 217, 326].
2. Для некоторых классов задач оптимального управления
разработаны специальные методы решения краевой задачи
принципа максимума. Здесь мы кратко остановимся на следующей
задаче с закрепленным левым и свободным правым концами
траектории:
т
/ (ц) = J f (^ it) и (О, t) dt + gO {х (Г)) -> inf, (8)
i{t) = f{x{t), u{t), t), to^t^T, x{to) = Xo, (9)
u = u{t)^V, to^t^T, A0)
где u=^u{t) кусочно-непрерывное управление; обозначения
взяты из § 2. Как показано в § 2, краевая задача принципа макси-

§ 4] О МЕТОДАХ РЕШЕНИЯ КРАЕВОЙ ЗАДАЧИ 483
мума ДЛЯ задачи (8)— A0) имеет вид (см. B.15), B.26)):
x=-f{x,u,t), to<t<T; x{to) = Xo, (И)
^ = ^FU{x,щt,^^), t.^t^T; yp{T) = ^gl(x(T)), A2)
где Н{х, и, t, it)==—f (д;, u, t)+i'^, f{x, щ t)>, функция w =
= u(a:, t, i|>) в A1), A2) определяется из условия
sup Н (х, и, t, гр) = // {х^ и (х, t, ij)), t, ip). A3)
Попутно сделаем замечание, касающееся возможностей
применения метода стрельбы к краевой задаче (И) —A3). В этой
задаче начальное условие Хо, моменты U, Т известны, поэтому
в качестве параметра стрельбы здесь достаточно взять -фо*,
систему B) нужно решать с начальными условиями x{U) = Xq^
i|)(fto) = 'v|>o при ао = 1; функция невязки F) будет иметь вид
ф('Фо) = |'Ф№'Фо) + ^2 (^(^'"^oWp' ограничения D) здесь
отсутствуют. Если же за параметр стрельбы взять x{T) = Xi, то
систему B) нужно решать с начальными условиями x{T) = Xi^
ij) (Г) = — ^ (o^i) приао = 1; функция F) будет иметь вид
9(a:i)= \x{U] х^) — х^^.
Перейдем к описанию итерационного метода, специально
предназначенного для решения краевой задачи (И) —A3) [326].
Пусть UQ^UQ{t)^V (fo ^ ^ ^ Г) — начальное приближение.
Допустим, что уже найдено /с-е приближение Ui, = Uk{t)^V {U<,
<,t<,T). Тогда, решая задачу Коши (И) при u = Ui,{t),
находим ее решение Xh{t)==x{t^ и^) {U^t^T). Затем, приняв в
A2) u = Uk{t), x==Xk{t), из A2) определяем '^k{t)=='^{t; Uk).
Наконец, из условия
sup Н {Xk (t), и, t, a|)fe (t)) = Н {Xk (О, Uk+i (t), t, % @), ^0 < ^ < ^»
A4)
получаем следующее приближение Uk+i = Uk+i{t)^V {to^t^
<T) и T. Д. Метод описан. Таким образом, на каждом шаге
метода нужно решить две задачи Коши —задачи A1) и A2) —и
конечномерную задачу максимизации A4) при каждом t^ito^T],
Предполагаем, что все получаемые этим методом функции Uk{t)
кусочно-непрерывны на отрезке [^о, Т],
Может случиться, что при некотором к имеет место равенство
Uk{t)='Uk+i{t) {tQ<:t<T). Согласно A4) это будет означать,
что управление Uk{t) удовлетворяет принципу максимума
{теорема 2.1) и, следовательно, является подозрительным на
оптимальность. В этом случае итерационный процесс прекращается,
а управление Uk{t) при необходимости подвергается
дальнейшему исследованию для выяснения того, будет ли оно на самом
деле оптимальным.
Рассмотрим случай, когда Uk+i{x)?=Uk{i:) в некоторой точке
x^lU, Г], являющейся точкой непрерывности этих управлений,

484 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ, б
и, кроме того,
H{Xk{r), Uk+i{x), т, i|3ft(T))-^(^:A(T), Wft(T), т, %(т))^2а>0.
A5)
Можно ли ожидать, что тогда J{Uk+i)< JiUk)"^ Для ответа на этот
вопрос полезно обратиться к формуле прираш;ения функции (8):
г
J{u + Au) — J{u)= — \ [Н {x{t; и), и (t) + Аи (t), t, ij) (t; и)) —
К
-^H{x{t\ и), u{t), t, y^{t; u))]dt + R, A6)
где R = Ri + Rz,
^1 = {g'y (^ (T; u) + Q,Ax (T)) - g'y {x {T; u)), Ax (Г)>,
— Hx {x {t; u), и @, t, ij) {t\ u)), Ax {t)y dt, A7)
Ax{t) = x{t; u + Au)-x{t; u), U^t^T, OOi, e2<l,
x{t; u), x{t; u + Aw) — решения системы A1) при u = u{t) или
u = u(t)+ Au{f) соответственно, ^^{t; w) —решение задачи A2)
при u = u{t). Формула A6), A7) выводится совершенно так же,
как аналогичная формула C.42), C.33), C.43) при g%x, у)=^
= ^\У), g' = ... = g* = 0, Аа:о = 0, aoft=l, aiA = ... = а,я = О,
i4ft=l. Из формулы A6), A7) при u = Uk{t), Аи = Uu+i — Uk{t)
имеем
J (UkJ^l)--J (Uk) =
T
= - j [Я {Xk (t), Wft+i @, t, % @) - H {xu (t), Щ @, t, ^u @I dt + R.
h
A8)
Так как функции Xk{t), ifft(^), H{x, щ t, if)) непрерывны no
совокупности своих аргументов, a Uk{t), Uk+i{t) кусочно-непрерывны
на [^0, Т\ то из A5) следует существование отрезка [т, т + е]^
~[^о, T]j 8>0 (или отрезка 1^—8, т] при т = Г), такого, что
g{t)=^H{x,{t), UA+i(f), t, Ы^))-Н{х,{1), u^{t), t, tt,@)^a>0
A9)
при всех t (x^f^T + e). Из A4) и A9) заключаем, что
первое слагаемое из формулы A8) для J(Uk+i) — J(Uk)
отрицательно. Это значит, что если остаточный член R в A8) достаточно
мал, то J{Uk+i)< J{Uk)y т. е. управление щ+1 «лучше» управления
щ. Однако может случиться, что J{Uk+i)> J{Uk). Что тогда
делать? В этом случае вместо управления Uk+i{t) можно указать

§ 51 ПРИНЦИП МАКСИМ^ТМА И ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ 485
другое «лучшее» управление Vk+i{t), для которого J{Vf,+i)< J{Uk).
А именно, возьмем игольчатую вариацию
и положим Vj,+i{t) = Uj,{t)+ Auk{t) {to<t<T), Из формул A6),
A7) при u = Uh, Au = AUk и оценки C.9) при u = Uh{t), v =
= Uk (t) + Auk {t), уо = Xo с учетом непрерывности производных
/2, /х, gl имеем
Т+8
J{vh+i)-J{Uk) = -\ g{t)dt + R, Л = 0(e), lim^' = 0.
е^о
Отсюда и из A9) следует J{Vk+i)-1{их)<г[-а +о{г)/г]<0,
если 8 > О взять достаточно малым. Таким образом, при
выполнении условия A5) всегда можно подобрать управление Vj^+i =
= i^k+i{t) такое, что J{Vh+i)< J(Uk),
Описанный итерационный метод может быть применен для
решения более сложных задач оптимального управления^ когда
имеюш;меся ограничения на управление и фазовые координаты
удается учесть с помош;ью штрафных функций и свести задачу
к задаче вида (8) —A0). Например, если функцию (8) нужно
минимизировать при условиях (9), A0) и закрепленном
правом конце x{T) = Xi или фазовом ограничении вида а:* @^1
(to^t^T) и т. п., то можно ввести штрафную функцию Р^{и)=^
¦¦'Аи\х{Т)-х,\^ или Ри {и) = Л J (max {х^(t) - 1; О})^ dt
и
перейти к рассмотрению последовательности задач минимизации
функции Ф^{и) = J{u) +AkPk{u) при условиях (9), A0),
][т. А}^ =: оо. Более подробно об описанном итерационном методе,
о приемах ускорения его сходимости, о его возможностях см. в
[204, 326].
§ 5. Связь между принципом максимума
и классическим вариационным исчислением
Основной задачей классического вариационного исчисления,
как известно [64, 74, 108, 172, 181], является следуюш;ая задача:
среди всех непрерывных кривых x = x{to) {to<t<T), имею-
ш;их кусочно-непрерывные производные x{t) и удовлетворяюш;их
условиям x{to)^So, x{T)^Si, найти такую, которая доставляет
функции (функционалу)
J = ] f{xit)/x{t))dt

486 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
минимальное значение. Здесь x{t) = {x^{t), ..., x''{t)), So и Si —
заданные множества в Е"^. Будем предполагать, что функция
fx {х, W, t) непрерывна и имеет непрерывные производные /х, /и»
/?, fuu А, fun при {х, щ t)^E^XE^X{U, оо). Далее, в этом
параграфе для простоты мы ограничимся рассмотрением случая за-
крепного левого конца: x{U)^Xq^ fo — задано, а правый конец
х{Т) либо закреплен: x{T)='Xi^ Т — задано, либо свободный:
(Si = Е"", Т — задано, либо является подвижным и лежит на
заданной гладкой кривой
S,^S,{T)^{ij^E\ g[y, Г) = ^-ф(Г) = 0},
ГеК = {-сх)<^<+оо}.
Обозначим x{t) = u{t) и запишем рассматриваемую задачу в
эквивалентном виде как задачу оптимального управления:
т
/ (и) = f f {х (t), и (t), t) dt -> inf,
X{t)=ll{t), to<t<T,
x{to)==Xo, x{T)^Si{T).
Для исследования этой задачи воспользуемся принципом
максимума Понтрягина. Выпишем функцию Гамильтона — Понтрягина
Н{х, и, t, 1|), ао)== —aof{x, и, ^)+<i|), иУ A)
и сопряженную систему
-ф = — Яос -= a^fx (х, щ t), UQ > 0. B)
Для решения {u{t), x{t)) {U<t^T) рассматриваемой задачи
должно выполняться необходимое условие
H{x{t), u{t), t, i|)(f), a,) ^ sup H{x{t), Щ t, ^{t\ a,), C)
где i|?(^)~-решение системы B) при u = u{t), x^x{t, и) {U^
<t^T), Так как в данном случае множество V совпадает со
всем пространством ?'", то условие C) может соблюдаться лишь
в стационарной точке, т. е.
Hu=-a,fu{x{t),u{t),t) + yp{t) = 0, t.^t^T. D)
Отсюда ясно, что ао'^О, так как при Яо = О из D) получим
I)(^)^0, что противоречит теоремам 2.1, 2.2. Следовательно,
можно считать, что Яо = 1. Тогда соотношения A) —D) пере-

§ 5] ПРИНЦИП МАКСИМУМА И ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ 487
пишутся соответственно в виде
Н{х, щ t, i|)) = -f (л:, и, 0+<il?, иУ, E)
^{t) = Aix{t),u{t),t), t.^t^T, F)
^{t) = fu(xit),uit),t), t.^t^T. (8)
t
Из уравнения F) имеем: ^ (^) = J fx {x (t), и {t), t) dt + \p (Q.
G учетом (8) отсюда получаем
t
fu {x{t), и (t), t)=^f^{x (t), и (T), T) dx + г|) (g, t.^t^T. (9)
*o
Уравнение (9) называется уравнением Эйлера в интегральной
форме; здесь u{t) = x{t) {to<t^T). Если (9)
продифференцировать по t, то получим уравнение Эйлера классического
вариационного исчисления в дифференциальной форме
j^{fuixit),u{t)j))-^fl{x{t),u{t),t) = 0, u(t) = x{t), t.^t^T.
Далее, необходимым условием достижения функцией H{x{t),
u{t)^ t, if(^)) максимума при u = u{t) является
неположительность следующей квадратичной формы:
2 H^iJ{xit),u{t),t,^p{t))Ыi<0
при любых
&=(&!, |2, ..., In), U<t<T.
Отсюда, учитывая выражение E) для Я, имеем
i fuiu} (^ («). " @. о Ui >0, 1^Е\ г„ < i < г. A0)
Условие A0) называется необходимым условием Лежапдра.
В частности, при п= I отсюда имеем
fuu{x{t),u{t),t)^0, t,^t<,T.
Теперь выведем необходимое условие Вейерштрасса. Для этого
перепишем условие G) с учетом E), (8) в следуюш;ем виде:
О < Я (а: (О, и (О, t, я|) (О) -^ Я {х (t), v, t, i|) {t)) =
- f {x @, V, t) ^ f {x @, и @, t)-^{v-^u @, fu {x (t), и (t), t)}. A1)
Это неравенство справедливо при любых v ^ ?"*, t ^ [^о, Л» если

/^88 ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА [ГЛ. 6
{u{t), x{t)) (^0 ^ if ^ 2") ¦—решение исходной задачи. Введем в
рассмотрение функцию
Е (t, X, и, V) = f (х, V, t) - f {х, щ t)-{v^ щ fu {X, и, ф, A2)
называемую функцией Вейерштрасса. Известно в классическом
вариационном исчислении необходимое условие Вейерштрасса
E{t, x{t), u{t), v)>0, to<t<T, и^Е"",
является следствием неравенства (И). Далее, из теорем 2.1 —
2.3 следует непрерывность функций ^^{t) и Н{t) ~ sup H{x{t),
и, t, г|)(^)) на отрезке [^о, Т]. Поэтому с учетом соотношений E),
G), (8) имеем
[fu{xit),u{tltl = 0,
[(nit), fu{x{t),u{t), t))-f{x{t), u{t), t)l^O, t.^t^T;
здесь принято обозначение: [z{t)]t = z{t + 0) — z{t ~ 0). Поскольку
равенства A3) выполнены при всех t {to^t^T), то они
сохраняют силу, в частности, и в те моменты t, когда функция x(t)
может иметь излом, т. е. производная x{t) терпит разрыв. Таким
образом, если учесть связь u{t)^x{t)^ условия A3)
превращаются в известные из классического вариационного исчисления
условия Эрдмана — Вейерштрасса в точках излома кривой x{t)
Перейдем к рассмотрению условий на правом конце
оптимальной кривой x{t) (to^t^T). Если конец х(Т) свободен, то в
силу условия B.26) 1|)G') = 0. Отсюда с учетом выражения (8)
имеем
Ги(х(Т),и(Т},Т) = 0. A4)
Если правый конец х{Т) подвижен, точнее, х{Т)^ Si(T)=^
=^{у^Е^: g'{y, Г)^г/^-фДГ)^0, / = 1, ..., /г), то согласно
условиям B.30), B.41) существуют постоянные «i, ..., an такие,
что
Е{х{Т), и{Т), Г, г|)(Г)) = 2 а^А{х{Т\ Т) =
3=1
= - I ^i9,(^ --= 2 %(ЛФ,(Л = <^(Л, Ф(Л>.
Так как Н{х, и, t, i|})=<ifi, иУ — Щх, и, с) п \p{t) выражается
формулой (8), то последнее неравенство можно переписать так:
f (.г (Т), и (Т), Т) + {fl (X (Т), и (Г), Т), ф (Г) - и (Г)> = 0. A5)

§ 5] ПРИНЦИП МАКСИМУМА И ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ 489
Условия A4), A5) при учете связи x{t)^u{t) выражают собой
известные в классическом вариационном исчислении условия
трансверсальности для свободного и соответственно подвижного
правого конца.
Таким образом, в случае V^E^ из принципа максимума
следуют все основные необходимые условия, известные в
классическом вариационном исчислении [64, 74, 108, 161, 172, 181, 182,
234, 342]. Однако, если V — замкнутое множество ж V?= Е^, то
соотношение D), вообще говоря, не выполняется. Более того,
имеются примеры, когда и условие Вейерштрасса в этом случае
не имеет места ([17, с. 284]). Условие максимума B.9), являясь
естественным обобщением условия Вейерштрасса из классического
вариационного исчисления, имеет то существенное преимущество
перед условием Вейерштрасса, что оно применимо для любого
(в частности, и замкнутого) множества V^E"" и для более общих
задач. Заметим, что именно случай замкнутого множества
наиболее интересен в прикладных вопросах, поскольку значения
оптимальных управлений чаще всего лежат на границе V.

Глава 7
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
В этой главе мы остановимся на методе динамического
программирования, часто используемом для численного решения задач оптимального
управления при наличии фазовых ограничений, конечномерных задач
минимизации специального вида. С помощью динамического
программирования можно также наметить пути решения проблемы синтеза,
сформулировать достаточные условия оптимальности для задач оптимального
управления и т. д. Изложение метода динамического программирования начнем
с простейшей схемы Беллмана для задачи оптимального управления, затем
опишем более совершенную и удобную для практики схему Моисеева,
а также обсудим некоторые другие аспекты этого метода [12, 14, 15, 25, 26,
50, 57—60, 65, 68, 81, 101, 124, 161, 169, 188-190, 213, 215, 217, 225, 234, 262,
263, 265, 285, 305, 308, 317, 319, 326, 327].
§ 1. Схема Беллмана. Проблема синтеза
для дискретных систем
1. Рассмотрим следующую задачу оптимального управления:
т
/ (^0, ^0, ^ (•)) = J f (^ W, ^ W, т) dr + Ф {х (Л) ^ inf, A)
^(т) = /(а:(т), w(t), т), to<T<T, x{U)=-x,, B)
а:(т)еС(т), fo<T^r, C)
1г = ц (т) ^ F(t) , tQ<x<,T\ w (т) — кусочно-непрерывна; D)
моменты времени ^о, Т будем считать заданными (описание
обозначений см. в § 6.1).
Для приближенного решения этой задачи разобьем отрезок
fo ^ ^ ^ 2" на N частей точками i^o < ^i < •.. < tN-i <tN^T^ и,
приняв эти точки в качестве узловых, интеграл в A) заменим
квадратурной формулой прямоугольников, уравнения B)
—разностными уравнениями с помощью явной схемы Эйлера [4, 13, 20,
39, 54]. В результате придем к следующей дискретной задаче

§ 1] СХЕМА ВЕЛЛМАНА 491
оптимального управления
h (^; Ыо) = 2 ^i (^г, щ) + Ф Ы -> inf, E)
Xi+i^Fi{xi, щ), f==0, 1, ..., iV-1, а:о = л:еСо, F)
^:,eGf, f = 0, 1, ..., iV, G)
Мо = (ио, Wi, ..., Wj^-i): Wi^Fi, f = 0, 1, ..., iV-1, (8)
где/'? (x, гг) = f (:r, гг, ^i) (^i+i — f i), F<(a:, и) = а: + /(л:, u, ^t^X
XiU+i-ti), G| = G(f»), F<=y(^,). Заметим, что задача E) —(8)
имеет также и самостоятельный интерес и возникает при
описании управляемых дискретных (импульсных) систем, в которые
сигналы управления поступают в дискретные моменты времени,
фазовые координаты также меняются дискретно [44, 66, 101, 213,
254, 322, 323].
Если задать какое-либо дискретное управление [щ]о = {Щу
Щу ..., Un-i) и начальное условие Xq^x^Gq, то система F)
однозначно определяет соответствующую дискретную траекторию
[Хг]о = [хг{х] [щ]о)]о = {Хо, Хи ..., Xif). Зафиксируем некоторое
x^Go и через Ло {х) обозначим множество управлений [щ]о
таких, что 1) выполнены условия (8); 2) дискретная траектория
[Хг]о, соответствующая управлению [щ]о и выбранному начальному
условию Хо=^х, удовлетворяют ограничениям G). Пару ([wjo,
[Хг]о), состоящую из управления и траектории, будем называть
допустимой для задачи E) — (8) или, короче, допустимой парой,
если эта пара удовлетворяет всем условиям F) — (8) или, иначе
говоря, [иЦо^ ^о{Хо).
Множество ^о{х) может быть пустым или непустым. Если
Ао(^) = ^ при всех x^Go, то условия F)— (8) несовместны и
функция E) будет определена на пустом множестве. Поэтому,
чтобы задача E) —(8) имела смысл, естественно требовать
существование хотя бы одной точки x^Go, для которой Aq{x)?=0,
Обозначим Хо = {х: x^Gq, Aq{x)?=0}. Тогда задача E)— (8)
может быть сформулирована совсем кратко: минимизировать
функцию 1о{х, [щ]о) при [i^Jo^ Ао(^) {x^Xq). Положим
/о = inf inf Iq(x, [щ]^).
Допустимую пару ([t^ijo» [^iJo) назовем решением задачи E)-^
(8), если 1о{^оу[щ]о) = Iqi [щ]о назовем оптимальным
управлением, \.^i]o— оптимальной траекторией задачи E) —(8).
Как видим, задача E) —(8) является уже известной нам
задачей минимизации функции n + Nr переменных х, щ, щ, ...
..., UN-i и для ее решения в принципе могут быть использованы
методы, описанные в главах 1—3, 5. Однако в практических за-

492 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
дачах число n + Nr обычно бывает столь большим, что
непосредственное использование методов глав 1—3, 5, вообще говоря,
сильно осложняется: вызывает трудности также и то
обстоятельство, что множества До (л;), Х'о, на которых минимизируется
функция /о (л:, Мо), заданы неявно. Для преодоления этих трудностей
здесь часто пользуются методом динамического
программирования, с помощью которого задачу E) —(8) большого числа
переменных удается свести к последовательности конечного числа
задач минимизации функций меньшего числа переменных.
2. Для изложения метода динамического программирования
нам понадобятся следующие вспомогательные задачи:
Ik {х, [Щ]к) = 2 /^i (^i, Щ) + Ф (^iv) ->inf, (9)
Xi+,=-Fi{Xi, Ui), i=-k, ..., N-l, xj, = x, A0)
Xi^Gi, i==k, ..,, N, A1)
[ui]k = {Uk, Uk+i, ..., UN^i): Ui^Vi, i^k, ..., iV-1, A2)
где точка x и целое число к фиксированы, x^G^ (О < fc <
^N—i). При fc = 0 отсюда получим исходную задачу E) —(8).
Через Ak{x) обозначим множество всех управлений [щ]^,
удовлетворяющих условиям A2) и таких, что соответствующая ему
траектория Ыл = (^а —л;, Xu+i, ..., Xn) из A0) удовлетворяет
фазовым ограничениям A1). Пару {[щ\, [xi]k) назовем
допустимой парой для задачи (9) —A2), если .Мл^Ал(л:). Допустимую
пару ([i^i]ft, [х*]и) будем называть решением задачи (9) —A2),
если Ik{x, [u*]k) = Ik{x) = inf /ft(^, 1щ]и); [щ]к назовем опти-
мальным управлением, [х*]и— оптимальной траекторией задачи
Нетрудно видеть, что если Хо?=0, то Ан{х)?=0 хотя бы для
одного X ^ Ga. Введем функцию
Bk(х) = inf Ik{х, [Ui]k), k = 0,i, ...,N—i,
называемую функцией Беллмана задачи E) — (8). Область
определения функции Bi^{x) представляет собой множество Ха =
= {x^G^: Ап{х)Ф0}. Покажем, что функция Беллмана задачи
E) —(8) удовлетворяет некоторым рекуррентным соотношениям,
называемым уравнением Беллмана,
Теорема 1. Функция Беллмана задачи E) — (8)
необходимо является решением уравнения
Ви {х) = inf [Fl {X, и) + Bk+г {F^ {х, и))],
х^Х^, k = 0,i,.,.,N-l, A3)

§ 1] СХЕМА БЕЛЛМАНА 493
Bj,{x)^0{x), x^Gj,, A4)
Dh[x)^множество всех тех u^V^, для которых существует хотя
бы одно управление [щ]^^А^{х) с компонентой и^^и. Верно и
обратное: функция В^{х), x^Xj, (fc = 0, 1, ..., N-i),
определяемая условиями A3), A4), является функцией Беллмана
задачи E) —(8).
Доказательство проведем в предположении, что все
упоминаемые в теореме 1 нижние грани конечны.
Необходимость. Пусть В^{х)= ini 1^{х, [щ]и) (x^Xkj
к = 0, 1, ..., N—i); Вн{х) = Ф{х), x^Gn. Покажем, что эти
функции удовлетворяют уравнению A3). Из определения
множеств Aft (л:), Dh{x) видно, что множества В^{х) и Ah{x) оба
пусты или непусты одновременно, и поскольку 5:^+1=^^@;, ц),
то для непустоты этих множеств необходимо и достаточно,
чтобы Afc+i(Fft(a;, и))Ф0. Справедливость соотношения A3) при
A:==iV—l очевидным образом вытекает из условия Вк{х)^Ф{х)
и представления In-i (х, [щ]м-1) ^ ^n-i (^, и) + Ф (Fj^-i {х, и)),
верного для любого u^B^-iix)^ AN-i{x)^{u: u^Vn-i, Xn^^
= FN-i{x, u)^Gn, x^Gn-i). Докажем A3) при к {0<k<
<N — i). Для этого сначала убедимся в том, что
5ft (^)< inf [FUx,u) + Bu+^{Fk{^,u))l x^Xk. A5)
usDft(x)
Возьмем произвольное и^В^{х) и с этим управлением «выйдем»
из точки X в момент к. В момент k + i придем в точку x^+i^^
= Fj,{x, и), для которой Aft+i(a:ft+i)=9^^. По определению
5ft+i (oTft+i) = inf /ft+i (oTfe+i, [Wi]ft+i) для любого 8 > О най-
Aft+l(*A+l)
дется управление [Wi]fe+i ^ Aft+i (^ft+i) такое, что Sft+i (лг^+х) <
< Д+1 (^А+ь [г^1 Ife+i) < ^ft+i (^ft+i) + е. Поскольку [щ]н ==
^ (гг, Wfe+i, . .., i^?^_i) е Aft (;r), то Sft {х) < h (^, [^^ilft) = Fl {x, и) +
+ /ft+i (^ft+i, [гг?]ft+i) ^Fl {x, u) + 5ft+i (^Cft+i) + 8 = F? (a:, w) +
+ Sft+i (i^ft (д:, w)) + 8. В силу произвольности и^В^{х) и
величины 8>0 отсюда следует неравенство A5).
Теперь покажем, что в A5) на самом деле знак неравенства
можно заменить знаком равенства. По определению inf Ik{Xf
1щ]к) = Bk (х) для каждого 8 > О найдется такое управление
[v\]k е Ан (х), что Ви (х) < /ft {х, [vl]k) < Sft (х) + г. Но (rilft+i =
= (^ft+b .. м ^N-i) ^ Aft+i (i^ft (д:, г;|)), поэтому
Fi{x, vl) + 5ft+i (Fft (:г, г;0) < П {х, vl) + Д+1 (Fft {х, vl), [щи+г)^
==h(^,^]k)<Bk{x) + s.

494 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [TJl, 7
Так как v\ е Dk (х), то отсюда имеем: inf e[Fft (х, и) + Bk+i X
X {P'ki^i ^))]^^fe(^) + ®» или в силу произвольности 8>0j
inf [Fl{x,u) + Bf,^:,{F^{x,u))]^Bu{x), x^X^.
Отсюда и из A5) немедленно следует равенство A3).
Достаточность. Пусть функции Bk{x) (х^Х^, & =
*=0, 1, ..., iV—1), определены из условий A3), A4).
Спрашивается: какое отношение имеют эти функции к задаче E) —(8)?
Покажем, что при каждом х^Хц, величина В^,{х) равна нижней
грани функции (9) при условиях A0) —A2). Отметим, что
условия A3), A4) однозначно определяют функции Вц{х) {х^
eXfc, А: = 0, 1, ..., N). Это легко доказывается с помощью
индукции последовательным перебором в A3), A4) номеров k = N,
iV— 1, ..., О с учетом того, что функции Ф(л:), РЦ^, и), Fki^i и)
однозначны и нижняя грань функций определяется также
однозначно. С другой стороны, как было установлено выше, функции
inf Iki^i 1щ]к) {^^Xk), также являются решением уравнения
A3) при условии A4). Из единственности решения системы
A3), A4) тогда следует, что Bk{x)= inf Ik(x, [uih) {х^Хк,
й: == О, 1, ..., iV — 1). Теорема 1 доказана.
3. Пользуясь условиями A3), A4), можно последовательно
определить функции В^{х) и их области определения Х^ {к=^
— JV, А^ —1, ..., 1; 0). А именно Вк{х)^ф{х), x^Gs^Xn —
известны. Если известны 5^+1 (лг) и X^+i (u<iV—1), то для
определения Bt^{x) нужно решить задачу минимизации функции
Ф {х, и) ^ Fft (х, и) + J5ft+i (Fft (х, и)) переменных и == (м*, ..., и^)
на известном множестве Вц{х)^{и\ i^^F^, /^а(д:, u)^X^^i}.
Здесь могут быть использованы методы глав 1—3, 5. Очевидно,
функция Bj^{x) определена в точке х тогда и только тогда, когда
Dh(^)'^^^^ Таким образом, при определении значений функции
ВЛх) одновременно находится и область ее определения Хл =
«{х: X е Ga, В^{х)Ф0} s {х: x^Gj,, Ак{х)Ф 0}. Так как Ак{х)Ф
?=0 хотя бы при одном x^Gj,, то Хд'И=0 {k^Nj N—i, ...
..., 1,0}.
Предположим, что нам удалось найти функции Вц{х) из
условий A3), A4) и, кроме того, пусть также известны функции
щ{х)^В1,{х) {x^Xj,, ft«=0, 1, ..., N—i), на которых
достигается нижняя грань в правой части A3). Тогда, оказывается,
решения задач E) —(8) и (9) —A2) выписываются совсем
просто. А именно, оптимальное управление [щ]о и соответст-

§ 1] СХЕМА БЕЛЛМАНА 495
вующая траектория [х*]о для задачи E) — (8) определяются
следующим образом: сначала из условия
Ы В,{х) = В,{х;) A6)
A7)
находят Xq е Xq, затем последовательно полагают
щ = щ (х*), х1 = Fq (хо, щ), ul = щ (д:*)*
Оптимальное управление [u*]k и траектория [x^]h для задачи
(9) —A2) определяются аналогично:
* « / *\
^k = ^, Uk = Uh \^k), ,.^.
Для доказательства этих утверждений введем вспомогательные
функции:
Ri{x, u)^Bi+^{Fi{x, u))^Bi{x) + F^i{x, и), i = О, 1, ..., N^ l.
A9)
Очевидно, уравнения Беллмана A3) тогда можно переписать в
эквивалентном виде:
inf Rk(x,u) = Rk{x,Uk(x)) = 0, k = 0,U....N'-l. B0)
Кроме того, с помощью функций Ri{Xj и) значение функции
(9) на любом управлении [Ui]h^^к{х) и x^Xj^ можно
выразить формулой
N-1
h (^, lUih) == 2 Лг {хи Щ) + Bj, (х) B1)
при всех fc = 0, 1,...,ЛГ — 1* В самом деле, учитывая равенство
JV-1 N-1
В^{х) = Ф{х), из A0), A9) имеем 2 Щ{щ^щ)^ 2 [^i+i(^i+i)—
N-1
- Si (a:i) + F\ (xu щ)] = Sn (^n) - 5,, (:i:) + 2 Fi (^i, ^^0 = /^ (a;,
[^ilfe) ¦— Bk (x), что равносильно B1).
Теорема 2. Пусть найдены функции Bk{x) из A3), A4)
W их области определения Z^, а также функции u=^Uj^{x)
{x^Xk, fc = 0, 1, ..., iV—1), Tia которых достигается ниоюняя
грань в уравнении A3) или B0), и /гг/сгь Xq определена уело-
вием A6). Тогда оптимальное управление [u\]q и траектория
[x*]q для задачи E) —(8) определяются соотношениями
A6), A7).

496 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
Доказательство. Из определения и{х), [^*]о> [^*1о и
эквивалентности записей уравнения Беллмана A3) и B0) имеем
i?i(xi, щ) = Ri {xi, щ (xi)) = inf Ri (xi, u) = 0^
г = 0, 1,...,ЛГ-1. B2)
Возьмем произвольные х^Х^\ управление [wjo ^ До (л:) с соот-
ветствуюш;вй траекторией [xjo из (В). Так как щ^Г>{{х{), то
из уравнения B0) и определения Ui{x) следует
Ri {xi, щ) ^ inf Ri (xi, и) = Ri {Xi, щ (xi)) = О,
u^Di{Xi)
f = 0, 1,....Л^-1. B3)
С помощью формулы B1) при ^i: = О с учетом соотношений A6),
B2), B3) получаем /„ (х, [щ]^) — 1^ {х*, [и*]о) = 2 [^i i^u щ) —
— Ri{x*,ut)] + Bq{x) — Bq{xI)^0 для любых a:eZo и [wjo^
еДо(а;), что и требовалось.
Теорема 3. Пусть известны B^ix) {x^Xh) из A3), A4),
а также функции Uk{x)j на которых достигается нижняя грань
в уравнении A3) {или B0)). Тогда оптимальное управление
[щ]к и траектория [x*i]k для задачи (9)— A2) определяются
формулами A8).
Доказательство. Возьмем произвольное управление
iUi]h^Ah{x) и соответствующую траекторию [xi\ из A0).
Очевидно, соотношения B2), B3) остаются справедливыми и здесь
при всех I = А:, ..., N — 1. Отсюда с помощью B1) получим
h {^, [Щ]к) — h (^, [ut]k) = 2 [Ri i^ii Щ) — Ri (^ь щ)] > 0^
i—k
ЧТО И требовалось.
4. В теории оптимального управления и ее приложениях
важное место занимает так называемая проблема синтеза,
заключающаяся в построении функции u = Uk{x), выражающей
собой оптимальное управление при условии, что в момент к
объект находится в точке х фазового пространства. Такая функция
щ{х) называется синтезирующей.
Теорема 3 показывает, что решение уравнения Беллмана
A3) равносильно решению проблемы синтеза для задачи E)-^
(8). А именно, функция Uk{x), на которой достигается нижняя
грань в A3), является синтезирующей: если в момент к объект
находится в точке x^Xk, то дальнейшее оптимальное движение
объекта определяется условиями: a;<+i = F<(a;<, Ui{Xi)) (i = fe, ...
..., iV—1), Xh^x (если x^X]^, TO Да(д;) = 0,—движение с со*

§ 1] СХЕМА БЕЛЛМАНА 497
блюдением условий A0)--A2) невозможно). Достаточные
условия существования функции Беллмана и синтезирующей
функции для задачи E) —(8) даются в следующей теореме.
Теорема 4. Пусть множества G^ (й; = 0, 1, ..., N)
замкнуты, множества V^ (fc = 0, 1, ..., iV—1) замкнуты и
ограничены, функция Fl {xj и) полунепрерывна снизу, а функция
Fk{x, и) непрерывна по совокупности аргументов {х, и) при
x^Gk, u^V^ (й; = 0, 1, ..., iV—1), Ф{х) полунепрерывна
снизу на множестве Gn. Тогда: 1) множества Хц (Л = 0, 1, ..., N)
замкнуты, множества Вц{х) (й; = 0, 1, ..., iV—1) замкнуты
и ограничены равномерно по x^XJ^; 2) нижняя грань в правой
части A3) достигается хотя бы при одном u = Uj^{x)^ Dk{x);
3) функция Bk{x) полунепрерывна снизу на Х* (fc = 0,1,...,iV).
Доказательство. По условию Gn ^ Х^ замкнуто, Ф (х) &
^Bn{x) полунепрерывна снизу на Xn> Сделаем индуктивное
предположение: пусть Z^+i замкнуто, B^+iix) полунепрерывна
снизу на Zft+i при некотором к @<u<iV—1). Докажем, что
тогда Хя замкнуто и на Х^ справедливы все утверждения
теоремы. Так как Dj,{x)=^{u\ u^V^,, Рн{х, u)^Xk^i} ^Vf^ и Vj,
ограничено, то Dk{x) ограничено равномерно по х^Хц. Докажем
замкнутость Dh{x) при любом фиксированном x^^Xj^. Пусть
Vm = Dk{x) (/71 = 1, 2, ..., Vm-^v) при /71-> «). Это значит, что
^m^Vft, Fj,{x, Vm)^Xj,+i G71=1, 2, . . .). Из ЗаМКНуТОСТИ 7fc,
Xk+i и непрерывности Fk{x, v) сразу имеем: v^V^, Иш Fh(x^
Vm)== Fk{x,v)GXh+^^ Т. е. v^Dk{x). Замкнутость Dk(x)
доказана.
Покажем замкнутость Хл=={д;: x^Gj^, /)л(ж)^^}. Пусть ут^
eZfc G71=1, 2, ...), Ут^У при 77г->-оо. Из замкнутости Gfc
следует y^G^. Если мы еще покажем, что Dk{y)^^j то это
будет означать, что у^Хх, и замкнутость Х» будет доказана.
Так как Ок{Ут)'^^, то существует такое Vm^Vkj что Рк{Ут,
Vm)^Xk+i G71=1, 2, ...). В силу компактности Vm из
последовательности {Vm} можно выбрать подпоследовательность
[Vmp]^^v^Vfi при /?->•«>. Поскольку Xk+i замкнуто, Fk{x, и)
непрерывна, то Ит Fj, (ут^, ^tnJ=^ft (Уу vj^X^+i, т. е. v^ ^к(у)-
Таким образом, Dk{y)^^.
Далее, функция ф (х, и) = Fl (х, и) + Sfe+i (F^ (х, и))
полунепрерывна снизу по {х, и) при x^Xk, u^Dk{x)—это следует
из непрерывности Fx{x, и) и полунепрерывности снизу Fl{x, и),
Bh+i{x). Поскольку Dk{x)—замкнутое ограниченное множество,
то в силу теоремы 2.1.1 ф(ж, и) при каждом фиксированном х^
^ Xk достигает своей нижней грани на Dk{x) хотя бы в одной
точке u==Uh{xy^Dk{x). Таким образом, Bfi{x)=^ inf ц>{х, и) =i
= Ц){х,и^{х)), в силу уравнения Беллмана A3).

498 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ 1ГЛ. 7
Остается еш;е доказать полунепрерывность снизу Bk{x) на
Xft. Пусть х, ут^Хи, ут-^х при ш-*• ©О,5л(у^) = ф(у„„ и^(уш)).
Так как щ{ут)^Ои{ут)^Ук^ то в силу компактности У^
последовательность Ы*(ут), т=1, 2, ...} имеет хотя бы одну
предельную точку V ^ Ffc. Можем считать, что сама
последовательность {ux{ym))'*-v при 771->•«). Поскольку Р^{х^ u) ненрорывна,
Ха+4 замкнуто, кроме того, Рк{ут, Vk{ym))^Xx+u то lim /^^(г/ш,
тп-»оо
i^ft (^m)) = Pk (г/, у) S -Sift+i. Это значит, что г ^ Рл {х). Тогда
Иш fift (ут) — Ипа_ Ф (г/т, Uk (ут)) > ф (л:, v) > inf ф (д:, и) = 5ft (л;).
т^оо ш-^оо uSDft(«)
Полунепрерывность Ва(д:) на Х^ доказана, что и требовалось.
5. Нетрудно привести примеры задач типа E) —(8), когда
нижняя грань в A3) или A6) не достигается (см. ниже
упражнение 2). В таких задачах, конечно, приходится
пользоваться величинами, лишь приближенно реализующими нижнюю
грань в A3), A6). Но даже в том случае, когда нижняя грань
в A3), A6) достигается, получить точные выражения для
функций Bk{x), Uk(x) и точки Xq из A3), A6) часто бывает
затруднительно. Поэтому на практике часто пользуются соотно*
шениями A6), A7) для приближенных Bk{x), Uk{x) и вместо
точных управлений [щ]о и траектории [x*]q получают какие-то
их приближения. Возникает вопрос, насколько отличается
полученное таким образом приближенное решение задачи E) —(8)
от ее точного решения? Приводимая ниже оценка погрешности
дает некоторый ответ на этот вопрос.
Пусть А^<(д:)—приближенное значение функции Беллмана
Bi{x) (i = 0, 1, ..., Л^). По аналогии с A9) введем функцию
Si{x,u) = Ki^iiPi{^,u))-Ki{x) + FUx,u), г = 0,1, ...,ЛГ-1,
B4)
и, кроме того, положим
sj, (х) = Ф (ж) - Kj, {х), х^ Gn. B5)
Возьмем произвольную допустимую пару Wo=(tto, ^i, ..., Wj^-i),
Ыв=(жо, Xi, •.., xu^i) задачи E) —(8). Тогда аго^Хо, [»i]o^
^Ао(л?в), Ui^Di{Xi) (i~0, 1, ..., Л^—1). Учитывая условие
F), из B4) имеем
Si {Xi, щ) = Ki+i {xi+г) — Ki (xi) + P\ {Xi, Щ), г == 0,1, ..., TV — 1.
Суммируя эти равенства по i от О до iV—1, с помощью B5)
получим формулу
Jo (^0» Ыо) == ^Si {хи Щ) + SN (xn) + к, (х,). B6)
1«0

i и СХЕМА БЕЛЛМАНА 499
Если Ki{x) = Bi{x), ТО sn{x)^0, и формула B6) превратится
в знакомую нам формулу B1) при Л = 0.
Предположим, что каким-либо образом (например, из соот^
ношений A6), A7) с приближенными функциями BjXx)^ Uk{x))j
нам удалось найти некоторое управление [и<]о и
соответствующую ему траекторию [^<]о, удовлетворяющую условиям F) —(8),
т. е. дсо^^о, [wt]o ^ Ао(^о), Ui^Di{xi) (i = 0, 1, ..., N—l).
Согласно B6) тогда
_ ^ N-i _ _
^0 (^01 [^ilo) = 2 5i {хи Ui) + Sn {xn) + ^0 (^o)*
1=0
Отсюда и из B6) имеем
/о (^0» Шо) — ^0 (^0» Шо) =
^ 2 [Si {хи щ) — Si {xi, щ)] +Sn{xn)sn{xn) + Kq{Xq)—Kq{xq) B7)
i=0
для любых Жо^Хо, [иЦо^ Aq{Xo). Учитывая, что «Of Xq^Xo,
[wJo ^ Ao (^o), [wjo s Ao {xo), (ajf, iti) e X| X Dt {Xi), перейдем к
нижней грани по (а:©, [»Jo) сначала в правой части B7), а
затем в левой части B7). Получим неравенства
_ _ ^-^ -
О < /о (^0, Шо) - ^0 < 2 \Si {xi, щ) - inf inf Si {X, u)\ +
i=0 I x^XiU^Diix) J
+ % (^n) — inf Sn (x) + Kq (xq) — inf Kq (x)^ B8)
представляющие собой оценку погрепшости, которая будет
допущена, если [wjo, [xi] будут взяты в качестве приближенного
решения задачи E) —(8).
Если Ki{x) = Bi{x) (i = 0, 1, ..., iV), то Si{x, u)=^Ri{x, и),
Sk{x) = 0. Кроме того, из B0) следует, что inf|tfi?i (а:, w) = О
иеГ>|(л)
для всех X е Х{, так что inf inf i?i (х, и) = 0. Поэтому при
x^Xi иеР|(х)
Ki{x) = Bi{x) из B8) получим
О < /о (х,, [щ],) ~ /о* < 2 ^i (хи Щ) + В, (х,) - inf 5о {X). B9)
Из оценки B9) сяедует, что если определить Ui{x)^ /i{{x),
gr, е Xo так, чтобы Л (ж, iZi(x)) было поближе к inf Ri{x,u) =
¦=0, x^Xi^ a До (Se) — поближе к infSo(^)f и затем строить
^0

500 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
управление [mJ и траекторию [х{] следующим образом:
TO и величина Iq {xq, [щ]^) — Iq будет небольшой.
Заметим, что поскольку на практике конструктивное
описание множеств Xij Di{x) часто отсутствует, то в правой части
оценки B8) вместо Х<, Di{x) часто берут (?< и Vi
соответственно — такая замена, очевидно, может привести лишь к
увеличению правой части B8). В результате получим достаточно
удобную апостериорную оценку погрешности
О</о (xq, [Uilo) — -^0 < 2 \Si (Xi, щ) — inf inf S{x, u)\ +
+ Sn (xn) — inf sn {x) + Kq (xq) — inf Kq (x). C0)
Gjv Go
Конечно, при пользовании оценкой C0) надо помнить, что если
правые части оценок B8), C0) отличаются намного, то оценка
C0) может оказаться слишком грубой.
6. Оценка B8) полезна также и тем, что она указывает
пути получения достаточных условий оптимальности для задачи
E)-(8).
Теорема 5. Для того чтобы управление [mJo и траектория
[^i]o, удовлетворяющие условиям F) — (8), были решением
задачи E) —(8), достаточно, чтобы существовала функция Ki{x)
{i = 0, 1, ..., N) такая, что
Si^i,Ui)=:^ Ы inf Si{x^u) = SijninM г = 0,1, ...,Л^ —1^ CJ)
x^Xi ueD|(ac)
Sn ^n) = inf Sn (x) = SNralni Kq (Xq) =t inf Kq (x) = ^omini C2)
Zjf Xq
где функции Si{x, и), SNix) определяются формулами B4), B5).
Доказательство следует из того, что при выполнении условий
C1), C2) правая часть оценки B8) обраш;ается в нуль, и
С помощью оценки B8) нетрудно также получить условия,
достаточные для того, чтобы та или иная последовательность
допустимых пар управлений и траекторий была
минимизирующей для задачи E) —(8).
Теорема 6. Пусть последовательность управлений lUim]o
и траекторий [хш]о (^^ = 1, 2, ...) удовлетворяет условиям
F) — (8). Для того чтобы
Иш Iq {XQm, [UimW = ^0 » C3)
т-»оо
достаточно существования функции Ki{x) (i —О, 1, ..., Л^)

§ 1] СХЕМА БЕЛЛМАНА 501
такой, ЧТО
Иш Si (Xim, Uim) = iS'imin, i = О, 1, . . ., iV — 1, C4)
m-»oo
lim 5jv (^JVm)= 5jvmin, Иш Kq {x^m) = ^omin, C5)
m->oo m-»oo
г5е *5imin, 5ivmin, ^omm опредблвны в C1), C2).
Доказательство. В оценку B8) вместо [ajo, Ио
поставим соответственно [Щт]о, [х1т]о и перейдем к пределу при т^ ->- оо.
С учетом условий C4), C5) получим равенство C3).
Утверждения, аналогичные теоремам 5, 6, доказаны в [124,
188, 189] для более общих задач, чем задача E) —(8).
Всякую функцию Ki(x) (i = 0, 1, ..., iV), удовлетворяющую
условиям теоремы 5 (теоремы 6), назовем функцией Кротова
задачи E) —(8), соответствующей допустимой паре [ujo, Mo [или
последовательности допустимых пар [Щт]о, [^im]o, m = 1, 2, ...].
Заметим, что если существует хотя бы одна функция
Кротова Ki{x) (t = О, 1, ..., Л^), то функция Ki{x) + ai (t = О, 1, ...
..., N) при любых ai также является функцией Кротова.
Поэтому без ограничения общности в теоремах 5, 6 можно принять
Si mm = О (t~0, 1, ..., Л^— 1), 5ivmln = 0, ибо В ПрОТИВНОМ СЛу-
чае функцию Ki{x) заменим новой функцией Ki{x) + ai, где
OSf = Ог min "Г ^i+l, min * • • • * Sn-i, mln> I = 1, . . ., iV — 1, CX>n = Sn mln»
Таким образом, функция Кротова для допустимой пары {[иЦо,
[хг]о) или последовательности {[иш]о, [хш]о) G7г = 1, 2, ...)
согласно теоремам 5, 6 удовлетворяет условиям
Si {х, и) = Кг+г {Fi {х, и)) ^ Ki {х) +
+ FUx,u)'^0, u^Diix), x^Xi, t = 0,l, ...,iV—1, C6)
Sn {x) = Kn {x) + Ф (a;) ^ 0, x^Xn = Gn,
Ko{x)>Komin, x^Xo, C7)
причем неравенства C6), C7) должны обратиться в равенства
при и = Ui, X = Xi или при и = Uim, X == Xim В предсле при т -^ оо
Сравнение соотношений C6), C7) с A3), A4), A6), B0)
показывает, что функция Беллмана всегда является функцией
Кротова, и обратное, вообще говоря, неверно. Заметим также,
что с помощью функции Кротова удается установить
оптимальность допустимых пар, не решая проблемы синтеза, так как
согласно условиям C6), C7) функция Ki{x) выбирается с
учетом индивидуальных свойств конкретной допустимой пары
управления и траектории (или последовательности пар),
подозрительных на оптимальность.
7. Остановимся на одном специальном классе задач
минимизации функций большого числа переменных, которые с помощью

502 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
метода динамического программирования могут быть сведены к
последовательности задач минимизации функций меньшего
числа переменных. А именно, пусть требуется минимизировать
функцию
•^0 (t^iJo) = -^0 к» ^ь . •., ^N^i) = Ij /i Ы C8)
при условиях
Ui^Vi, 1 = 0, 1, ..., iV-1, C9)
D0)
где Fi—заданные множества из E^; fi{u), gi (t^), гг e F< —
заданные функции, b^ — заданные числа.
Задачу C8) —D0), оказывается, нетрудно записать в виде
задачи E) —(8). В самом деле, введем переменные Xi (i==
= 0, 1, ..., iV) как решение системы
Xk+i = Xf, + gk{Uk), А: = 0, 1, ..., iV-l, Хо^О, D1)
ще g^(u)=:(gl{u), ...,gl(u)), Xk=(xl...,Xk) (/с==0,1, ...,iV).
Так как из D1) следует, 4Toa:iv= S ^ь(^а)»то ясно, что огра-
ft=0
ничения D0) равносильны условию
Xn^Gn = {х: х^Е% х^< V, / = 1, ..., р\
^^Ъ\]=^р + \, ..., п}. D2)
Таким образом, задача C8) —D0) эквивалентна задаче
минимизации функции C8) при условиях C9), D1), D2) и
является частным случаем задачи E) —(8) при Р\{х^и) — ft{u),
Fi{x, u)=^x + gi{u), Ф(^)^0, Gi=-E- A=1, ..., ЛГ-1); Go =
= {0}, Gn определено соотношением D2). Это значит, что для
исследования задачи C8) —D0) может быть применен метод
динамического программирования, изложенный выше.
Пользуясь введенными ранее обозначениями, можем переписать
уравнение Беллмана A3), A4) применительно к задаче C8) —D0):
Ви (х) = inf [ Д {и) + 5ft+i (х + g,{u))l D3)
x^Xj,, й = 0, 1, ..., iV-1, Bn{x)=^0.
В том случае, когда ограничения D0) и, следовательно, D2)
отсутствуют, то Слг = ?'* и в D3) можно положить Dk{x)=Vi^
(& = 0, 1, ..., iV—1). Уравнениями D3) можно пользоваться
для решения задачи C8) —D0), как это показано выше в п. 3.

§ 1] СХЕМА ВЕЛЛМАНА 503
Предлагаем читателю в качестве упражнения
переформулировать теоремы 1—6 применительно к задаче C8) —D0).
Подчеркнем, что в задаче C8) —D0) функция и
ограничения имеют весьма специальный вид — это обстоятельство было
весьма существенно для применения метода динамического
программирования. Этот метод применим и к несколько более
общим, чем C8) —D0), задачам — об этом см. подробнее,
например, в [101].
8. Изложенный выше метод динамического
программирования является достаточно эффективным средством решения
задач вида E) —(8) или C8) —D0)—с его помощью исходная
задача сводится к последовательности вспомогательных и,
вообще говоря, более простых задач минимизации функций
меньшего числа переменных для определения Bj^(x), щ{х) (см.
условия A3), A4) или D3)). Если эти вспомогательные задачи
решены с достаточно хорошей точностью, то тем самым и в
исходной задаче глобальный минимум функции будет найден
с высокой точностью. Далее, метод динамического
программирования позволяет решить важную в приложениях проблему
синтеза. Как показано в п. 6, с помощью этого метода и его
обобщений могут быть получены достаточные условия
оптимальности для дискретных управляемых систем. Кроме того, этот
метод дает значительный выигрыш в объеме вычислений по
сравнению с простым перебором всевозможных допустимых
управлений и траекторий, поскольку при определении В^{х)^ и^{х)
рассматриваются лишь такие управления, которые переводят
точку x^Gj, ъ точку Xh+i = F{x^ и)^С^+и а дальнейшее
движение из точки Xh+i осуществляется по оптимальной траектории,
при этом неоптимальные траектории вовсе не рассматриваются.
Указанные достоинства метода динамического
программирования, простота схемы, применимость к задачам оптимального
управления с фазовыми ограничениями делают этот метод весьма
привлекательным, и его широко используют при решении задач
типа E) —(8) или C8) —D0). Что касается задачи A) —D),
с которой мы начали изложение, то можно показать, что при
некоторых ограничениях решение дискретной задачи E) — (8)
при lim шах (^i+i — i^^) = О будет приближаться в некотором
смысле к решению задачи A) —D).
Заметим, что поскольку аналитическое выражение для Bj,{x)y
Uk{x) при всех x^XJ^ в общем случае найти не удается, то на
практике приходится ограничиваться приближенным
вычислением Bh{x), Uk{x) в некоторых заранее выбранных узловых
точках множества Хд. Однако согласно A3) при вычислении Bk(x)
нужно знать значение Bh+i{Fk{^, и)) при некоторых и, и здесь
вполне возможны случаи, когда точка a:A+i~^A(^, и) не будет
принадлежать заранее выбранному множеству узловых точек из

504 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
Xk+i и нужное значение Bh+i{Xh+i) еще не будет вычислено.
Если же мы захотим вычислить недостающее значение Bk+i{Xh+i)^
то здесь могут понадобиться значения ранее вычисленных
функций Bk+2{x), ..., Bn{x) в новых дополнительных точках, а для
этого в свою очередь придется еще более расширить множества
узловых точек в Х^+г, Хл+з, ... и т. д. На практике в таких
случаях недостающее значение Bh+i{x) получают с помощью
интерполяции по значениям Bk+i{x) в близлежащих узловых
точках, что, вообще говоря, снижает точность. Заметим также,
что принятый выше способ аппроксимации задачи A) —D) с
помощью разностной задачи E) —(8) довольно груб, поскольку
опирается на простейший метод ломаных Эйлера для
интегрирования дифференциальных уравнений и квадратурную формулу
прямоугольников. В следующем параграфе будет описана схема
Моисеева, которая не требует интерполяции и оставляет
достаточную свободу при выборе способа аппроксимации задачи
A)-D).
В заключение отметим, что метод динамического
программирования относится к классу методов декомпозиции — так
называются методы минимизации, позволяющие задачи большой
размерности свести к задачам меньшей размерности; о методах
декомпозиции см., например, в [111, 117, 194, 203, 242, 302,
320, 330].
Упражнения. 1. Найти функцию Беллмана для задачи
Xi+\=AiXi + Bi{ui), Uf e Vi, i = 0, 1, ..., iV—1, xo = a,
где Ai — матрица порядка пХщВ^ {и) =(В1 (и), ...,BV; (w)), в{ (и), Ъ^ {и)-*
функции переменной и eVi ^ ^^ а<, с, а — ?г-мерные векторы, i = О, 1 ...
..., iV— 1. Указание: функцию Беллмана искать в виде Bk{x) = <'v|)fc, хУ
(Л = 0, 1, ..., iV).
2. Найти функцию Беллмана для задачи: 1о{и) = 0{xi)-^inf:
a;i = жо + щ Xi^Gi (i = О, 1); we Fq, где Ф{х) = A + е-^/*)-» при х ^ О,
Ф@)=1/2; Go={xgE^: |ж|^1/2}, Gi==E'; Vo=-{u^E': |iz|<l}.
Показать, что Хо = Go, Xi = Е\ и убедиться, что для этой задачи нижняя грань
в A3), A6) не достигается.
3. Пусть функция Bk{x) (х е Х», А: = О, 1, ..., N) удовлетворяет
условиям A3), A4), а функция Ukm{x) е Dh(x) и точки хот е Хо (т = 1, 2, ...)
таковы, что lim (х, и^^ {х)) = О, Ит В^ (х^^) = inf В^ (х). Пусть управ-
ление [ttim]o и траектория [жгт]о построены по правилу: Uom = иот{хот),
Xim = Fo{Xom, »0т), Uim = Uim{x\m), - *-, XNm = Fn-i{Xn-1, т, UN-l,m)' ТоГДа
последовательность пар (жот, [izim] о)—минимизирующая для задачи
E) - (8), т. е. lim /^ (ж^^, [щ^]^) = /,*. Доказать.
4. Доказать, что последовательность функций Uim(x) (i = О, 1, ..., iV — 1,
m = 1, 2, ...) из упражнения 3 дает приближенное решение проблемы
синтеза для задачи E) — (8), т. е. если в момент к система находится в точке
лк = X ^ Xjt, то движение по закону Xi+i, m = Fi{хш, Uimixim)) (i = k, ...

§ 5!] СХЕМА МОИСЕЕВА 505
•.., N— 1); Xhm == X (щ = 1, 2, ...)» при больших т доставляет функции
Ik(x, [ui]k) значения, близкие к /^^.
5. Для задачи (9) — A2) получить оценку погрешности, аналогичную
оценке B8).
6. Вывести уравнения Беллмана и доказать теоремы, аналогичные тео»-
ремам 1—4 для задачи:
Xi+i = Fi{xi, щ), i = 0, 1, ..., iV—l, Xi^Gu Ui^Vi, i = 0, 1, ..., iV,
где x.=:D, ...,4), Fi = (F^^ ...,/^^), u^ = (u\, ...,ul); множества
G< ^ ^^, Vi ^E"- (i = 0, 1, ..., N) заданы; функции F\ {x, u) определены при
x^Gu u^Vi (t = 0, 1, ..., Л^, 7 = 0, 1, ..., n); функции Фо(а?), Oi{x)
определены при X G Goj X ^Gn соответственно; i — дискретное время; момент N
считается заданным.
7. Обобщить оценку B8) и теоремы 5, 6 для задачи из упражнения 6*
8. Пусть в задаче E) — (8) Z'? {х, м) s О (i = О, 1, ..., iV — 1).
Показать, что тогда Bk (х) = Ф {х) для всех А; = О, 1, ..., iV, причем функции
Bh(x) при различных к отличаются друг от друга областями своего
определения Zft.
9. Применить метод динамического программирования к задаче
минимизации функции
JV~1
при условиях ui^Vi (i == о, 1, .. >, iV). Указание: ввести функцию
В^ {и) = inf ( 2 fi ("i» ^г+i) + /jv Ы\
где нижняя грань берется по всем наборам (»я = и, Uk+u ..-» »iv), »< е Vi
(i = А:, ..., iV) и показать, что В^ {и) = inf [/^^ (м, v) + -^^^^ (у)} (к ==»
= 0,1 iV-l); Bj^{u)=fj^{u).
§ 2. Схема Моисеева
1, По-прежнему будем рассматривать задачу A.1)— A.4).
Для приближенного решения этой задачи, как и раньше,
разобьем отрезок to<t^T на iV частей точками ^о < ^i < ...
... < tif^i <tN = T. На множестве Gi ^ 0{и) возьмем некоторую
дискретную сетку точек хц ^ G^; следуя [14, 217] множество всех
точек выбранной сетки будем называть шкалой состояний и
обозначать через Hi (i = 0, 1, ..., N). Шкалы состояний Hi и
Hi+i будем называть соседними. На двух соседних шкалах Ht
и Hi+i возьмем точки x^Hi и y^Hi+i и рассмотрим следующую

606 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
вспомогательную задачу:
/г(:Г,у,^(.))= j fix{t),uit),t)dt^ini, A)
i[t)==i{x{t),u{t),t), ti^t<ti+,; x{U)^x, x{ti+,) = y, B)
л;(ОеС@, ti^t<ti+i, C)
w = r^(«) кусочно-непрерывна и a(^)^F(i) при ti<t<ti+i. D)
Следуя [12, 217], задачу A) —D) будем называть
элементарной операцией, соединяющей точки х ж у. Через Д<(а;, у)
обозначим множество всех управлений w = u(«) из D), для которых
соответствующая траектория х{') удовлетворяет всем условиям
B), C). Положим Mi{x, у) = inf /| {х, у, и)\ если Д<(а:, у)=^,
то Mi{x, 1/) = оо ПО определению.
Пусть все точки всех соседних шкал попарно соединены
элементарными операциями. Если inf /| {х, у, и) достигается на
некотором управлении Ui{-)^ Ai{x, у) и соответствующей
траектории Xi{'), то величина
2 Mi (Xij^, Xi+i,ji_^,^) + Ф (^njn) E)
выражает собой значение исходной функции A.1) на
управлении u = u{t)=Ui{t) {ti<t<:ti+i, 1 = 0, 1, ..., N—i) и
соответствующей траектории x{t, и) = Xi [t) (^t ^ ^ ^ ^t+i, i =
= 0, 1, ..., Л^—1); ^(^o) = ^ojo при соблюдении всех
ограничений A.2)-—A.4). Поэтому исходную задачу A.1)— A.4)
естественно аппроксимировать задачей отыскания минимума суммы
E) по всевозможным наборам точек (^oio» ^lo^i • • •> ^no^), ^гц^^
^Hi (J = 0, 1, ...,iV).
Такая аппроксимация задачи A.1) —A.4) имеет смысл,
конечно, и в том случае, когда inf Ji {х, у, и) не достигается при
А|(л,!/)
каких-либо Xj у, L Очевидно, приведенная аппроксимация
задачи A.1) — A.4) более гибкая и лучше приспособлена для
приближенного решения этой задачи, чем схема из § 1, ибо
здесь представляется свобода в выборе способа разрешения
элементарной операции A) —D), и кроме того, рассмотрение лишь
таких траекторий, концы которых лежат в известных точках
соседних шкал, избавляет нас от необходимости
интерполирования. На способах разрешения элементарной операции мы оста-
невимся ниже.
Описанная аппроксимация задачи A.1) —A.4) имеет
простой геометрический смысл. А именно, траекторию Xi{t) из B),

§ 2] СХЕМА МОИСЕЕВА 507
на которой достигается inf Ji(x,y,u), назовем дугой, соеди-
няющей точки х, у, а числа Mi{x, у)—длиной этой дуги, i=^
= 0, 1, ..., iV—1. Дуги, последовательно соединяющие пары
точек Xijj^, ^i+i,ii+i соседних шкал Н^ Hi+i (г = 0, 1, ..., Л^—1)
назовем путем, соединяющим шкалы Но и Hn и проходящим
через точки Xqi^, xij^, ...,^ivijv, и в качестве его длины примем
величину E). Тогда наша задача сведется к отысканию
кратчайшего пути, соединяющего шкалы Но и Н^.
2. Обозначим
Gk(х) = inf 2 Mi (хщ, ^i+i.ii+i) + ^ (^njn)h
\ i=h )
где нижняя грань берется по всем наборам точек (^kjj^ = ^*
^A+i.ift+i, • • •' ^^iiv)' ^^н ^^i {i = k, ...,N). Иначе говоря, Сн{х)
выражает собой кратчайшее расстояние между фиксированной
точкой x^Hj, и шкалой Hn» Покажем, что функции С^{х)
удовлетворяют следующим рекуррентным соотношениям:
Ck{x)= inf {Mk{x,y) + Ck+i{y)l Л: = 0,1, ...,iV-l;
Сг,(х)^Ф{х), F)
аналогичным условиям A.13), A.14). Справедливость F) при
A; = iV—1 следует из определения Civ-i(a:), Cn{x). Докажем F)
при других к @^/c^iV—1). Для этого сначала убедимся в
том, что
Cfe(^)< inf {Mk{x,y) + Ck^i{y)b х^Нп. G)
Возьмем произвольное y^Hj^+i. По определению C^+iiy) для
любого 8 > О найдется путь, соединяющий точку у со шкалой
Hn, длина которого не превышает Ck+i{y) + г. Если этот путь
«удлинить», добавив к нему дугу, соединяющую точки х ж у,
то получим путь, соединяющий точку x^Hh со шкалой Hn,
длина которого не превышает Mh{x, i/) + Cjn.i(i/)+е. Поэтому
заведомо Ск{х)<:Мк{х, у)+ Ck+i{y)+ г, В силу произвольности точки
y^Hh+i и величины г отсюда имеем неравенство G).
Теперь покажем, что в G) на самом деле знак неравенства
можно заменить знаком равенства. По определению С^{х) для
любого 8 > О найдется путь, соединяющий точку х^ Н^ со
шкалой Hn, длина которого не превосходит Ck{x)+г. Пусть этот
путь проходит через точку уе ^ Hh+i. Ясно, что отрезок этого
пути от у г до Hn не меньше Ck+i{yt), и поэтому весь путь от
X до Hn не меньше Ма(х, ув)+Cft+iB/8). Следовательно,
Mk{x, у^)+ Ск+1(уг)<Ск{х)+ е. Так как y,^Hk+i, то отсюда име-

508 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
ем inf {Mk {х, у) + Ck+i (у)} < Ck (х) + е, или в силу произ-
вольности е: inf {Mk {х, у) + Ck+i (у)} < Ck {х). Сравнивая
это неравенство с G), немедленно получаем требуемые
соотношения F).
3. Соотношения F) могут быть использованы так же, как и
уравнение Беллмана A.13), A.14). Опишем порядок работы
€ этими соотношениями в предположении, что каждая из шкал
состояний Hi состоит из конечного числа точек pi (t = О, 1, ...
..., Л^). Заметим, что в этом случае в F) вместо inf можно
писать min. Функция Сн{х)^Ф{х), x^Hn нам известна. Для
вычисления C'^r-i(^:) с помощью элементарных операций
соединим попарно все точки шкал Hn-i и Hn. Сравнивая Pn-iPn
величин Mn^i{x, У)+Ф{у) при всевозможных x^Hn-u У^Нн,
найдем шт[М^^1{х,у) + Ф{у)] = С^^х{х), а также точку
y==yN-i(x)^H^, x^Hn-u на которой этот минимум
достигается. Если Ch+i {х) и у = i/a+1 (х) е Яа+2, X S Hji+i уже известны,
то для вычисления Ск{х), х^Ни^ соединим элементарными
операциями всевозможные пары точек шкал Н^ и Hu+i. Перебором
PkPk+i величин Mk{x, y) + Ck+i{y) при всех x^Hj,, y^Hk+i
найдем min [Mkix,y) + Ck^iiy)], a также точку у = Ук{х)^
^ Нк+и ^ ^ Hh, на которой этот минимум достигается, и т. д.
для всех k = N, iV—1, ..., 1, 0. На вычисление всех Ck{x) в
У^Ук{х), x^Hf, {к = 0, 1, ..., N—1), понадобится перебор
iV-l
2 P-Pi4.i величин. Наконец, находим Xq^Hq из условия
Cq (xl) = inf Cq (x) — для этого нужно перебрать еще /?о вели-
ЧИН, и определяем последовательно точки a:i = г/о V^o/» ^2 =
"= Уг (^i)» ..., ^N = 2/iv-i (^J!r-i)- Путь, проходящий через
найденные точки л;*, Xi, ...,л^2у, будет кратчайшим среди всех путей,
соединяющих крайние шкалы Яо, Hn. В самом деле, по
определению ук{х) {к = О, I, ..,, N - i) и х1^ Hk (Л: = 0,1, ,..,iV)
имеем
Ck (xt) = Mk (xl xUi) + Ck^i (xUi). Л = 0,1, ..., iV - 1. (8)
Возьмем произвольный путь, соединяющий шкалы Но ж Hn ш
проходящий через точки Хо, Xi, ..., Xn, xi^Hi (j = 0, 1, ..., N).
Так как Xk+i^Hk+i, то согласно F) будем иметь Ch{xh)<
<Mk{xk, Xk+i)+Ck+i{xh+i). Отсюда и из (8) тогда
следует Mk (xt xt+i) + Ck+i (a^*+i) — Ck D) = 0 < Mft {xk, Xk+i) +
+ Ck+i {xk+i) — Ckl^k) (fc = 0, 1, ..., iV- 1). Просуммируем это

§ 2] СХЕМА МОИСЕЕВА 509
неравенство по к от нуля до Л^— 1. Получим
iV-l
2 Ми {х1, х1^т) + Cjv {xn) — Cq D) <
fe=0
k—o
Ho CoUo)^ inf Co(^)<Co(^o), поэтому 2 ^fftD, ^*+i)+
see Яд fe=0
+ Ф D) < 2 ATfe (^ft, ^fe+i) + Ф {xn) для любых путей, coe-
fe=0
диняющих шкалы Но и Я^г. Таким образом, путь, проходящий
через точки ^о, Xi, .. .,xn в самом деле кратчайший. Если
щ (t) и Хг (t) {ti <t < ti+i) представляют собой то
управление и соответствующую траекторию, на которых приближенно
реализуется элементарная операция A)-—D) при x = Xi, у =^
= Хг+1^ ТО в качестве приближенного решения исходной задачи
A.1)—A.4) можно взять управление u'^(t) = ut{t) и траекторию
а:*(^) = 4@ (^i<^<^i+i, i = 0,l,...,iV-l).
Аналогично доказывается, что путь, проходящий через точки
Xh = X^ Я^, Xk+i = Ук (^k) ^ ffk+Ъ . .., ^N = J/iV-1 (^N~l) ^ ^N|
является кратчайшим между точкой х^Н^ ж шкалой Нц, Это
означает, что функция Ук{^) дает нам приближенное решение
проблемы синтеза для задачи A.1) —A.4).
Заметим, что определение кратчайшего пути между шкала-
ми Hq и Hn по описанной схеме потребовало перебора 2 Р|Р^+1+
+ Ро величин, в то время как полный перебор всех путей, как
нетрудно видеть, потребовал бы сравнения poPi. ..pN величин.
Таким образом, уже при не слишком больших рг перебор с
помощью соотношений F) по сравнению с полным перебором
дает существенную экономию памяти ЭВМ и машинного
времени. Такая экономия достигается за счет того, что при
вычислении Са(л:) из F) рассматриваются лишь пути, проходящие
через всевозможные точки х^Н^^ и у ^ Hk+i и соединяющие
точки y^Hk+i со шкалой Hn кратчайшим образом, и тем самым
все некратчайшие пути, соединяющие у ^ H^+i со шкалой Hn,
из рассмотрения полностью исключаются.
4. Для получения более точного решения задачи A.1) — A.4)
необходимо взять более густую сетку точек на шкалах и
увеличить число шкал. Однако при этом число перебираемых
величин даже при использовании описанной выше схемы перебора
катастрофически быстро растет, и уже при небольпшх размер-

510 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 1
КОСТЯХ векторов х, и становится невозможным решить задачу
о кратчайшем пути за разумное время с помощью самых
лучших современных ЭВМ. В этом случае часто используют
прием, известный под названием метода блуждающих трубок [326].
Суть этого приема заключается в следующем.
Сначала берут небольшое число шкал с небольшим
количеством точек на них, и по описанной выше схеме поиска находят
кратчайший путь h, соединяющий крайние шкалы Но и Hn.
Затем уменьшают шаг сетки на каждой шкале, путь h
окружают некоторой «трубкой» из путей, проходящих вблизи h по
точкам новой сетки. Для построения трубки вокруг h на
каждой шкале обычно берут небольшие окрестности точки, через
которую проходит Zi, и рассматривают пути, проходящие через
выбранные точки. С помощью описанной выше схемы перебора
находят кратчайший путь в полученной трубке; все пути вне
этой трубки в переборе пока не участвуют. Таким образом,
получают новый улучшенный путь h, длина которого не
превышает длину Zi. Далее, сохраняя прежние шкалы и точки на
них, окружают путь k новой трубкой и находят следующее
приближение h и т.д., продолжая процесс до тех пор, пока
трубка не перестает «блуждать» и впервые не получится
равенство Z. = Ze+i. После этого измельчают сетку на каждой
шкале, окружают путь Z. новой трубкой и продолжают поиск
кратчайшего пути описанным приемом блуждающих трубок.
Процесс измельчения сетки на шкалах и поиска кратчайшего пути
указанным способом повторяют, пока два кратчайших пути,
полученные после двух последовательных измельчений сетки,
не совпадают с удовлетворительной точностью. Затем
увеличивают число шкал, т. е. сгущают сетку по времени, и повторяют
процесс поиска методом блуждающих трубок с постепенным
измельчением сетки на шкалах состояний до удовлетворительного
совпадения двух последовательных приближений. Попеременно
измельчая сетку на шкалах состояния и сетку по времени,
поиск с помощью блуждающих трубок продолжают до получения
приближенного решения исходной задачи с достаточной
точностью. Изменение шагов сеток на шкалах состояния и по
времени должно быть согласованным; например, в случае
равномерных сеток эти шаги должны удовлетворять соотношению
\Ax\==o{At) [217].
Оказывается, метод блуждающих трубок во многих случаях
существенно сокращает перебор. В то же время следует
заметить, что метод блуждающих трубок позволяет определить,
вообще говоря, лишь локально кратчайший путь между крайними
шкалами при фиксированной сетке, поскольку на каждом шаге
в переборе участвуют лишь пути, попавшие в трубку.
5. Другой подход к поиску кратчайшего пути между
шкалами дает метод локальных вариаций [14, 217, 326]. Этот метод

2]
СХЕМА МОИСЕЕВА
511
предполагает, что какой-то путь /i, соединяющий шкалы Яв и
Hn^ уже известен. Для определения следующего более
короткого пути последовательно просматриваются шкалы Яо, Я1, ...
..., Hn. Допустим, что шкалы Яо, ..., Hi ~1 уже просмотрены и
получен путь /i.i-i, соединяющий шкалу Яо и Hn* Пусть a;i(Zi) —
точка пути Zi, лежащая на шкале Ни Выберем на шкале Hi
некоторое количество точек, расположенных близко к точке
Xi(li), и переберем пути, проходящие через эти выбранные
точки шкалы Я{, а в остальном совпадающие с путем Zi, i-i. Если
среди перебираемых путей найдется путь, имеющий меньшую
длину, чем путь Zi, i-i, то его обозначаем через 1ц и просмотр
шкалы Hi на этом заканчиваем. Если же длины всех
перебираемых путей оказались не меньше длины Zi, i-i, то полагаем 1ц =
= Zi, i-i. После определения пути 1ц переходим к просмотру
следующей шкалы Я{+1 и т. д. Такой перебор всех шкал Яо, Я1, ...
..., Hn закончится получением пути Un = h- Если длина пути
Zfii меньше длины Zi, то для пути h повторяют описанный выше
просмотр шкал Яо, Я1, ..., Hn и находят следующий путь h
и т. д. Если же окажется, что h = Zi, т. е. путь U улучшить
не удалось, то на шкалах берут густую сетку точек, а также
при необходимости измельчают сетку по времени, и снова
просматривают шкалы и т. д.
Метод локальных вариаций описан. Нетрудно видеть, что
этот метод является аналогом метода покоординатного спуска.
Поскольку здесь в переборе участвуют гораздо меньше путей,
чем в методе, основанном на соотношениях F), или методе
блуждаюпщх трубок, то ясно,
что метод локальных вариаций
гораздо экономичнее и
позволяет увеличить размерность
решаемых задач. С другой
стороны, нетрудно привести
примеры задач, когда этим
методом не удается найти даже
локально кратчайший путь
между шкалами. На рис. 7.1
приведен такой пример — здесь
iV = 3, шкалы Яо, Hi, Я2, Яз состоят соответственно из
точек {Л}, Ш, С}, Ш, Е), {F}\ на дугах, соединяющих точки
соседних шкал, указаны их длины. Кратчайшим путем,
соединяющим шкалы Яо и Яз, является путь ACDF. Если в качестве
начального приближения U взять путь ABEF, то улучшить его
методом локальных вариаций не удается. Любопытно также
заметить, что если за U взять путь ABDF, то в
зависимости от того, начнем ли просмотр со шкалы Н^ или Яг, придем
к кратчайшему пути ACDF или уже рассмотренному пути
ABEF.
Рис. 7.1

512 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
Различные модификации метода локальных вариаций,
примеры задач, к которым применялся этот метод, см. в [14,
217, 326].
6. Успех в применении описанных в этом параграфе методов
приближенного решения задачи A.1)— A.4) во многом зависит
от умения строить элементарные операции A) — D). По
существу элементарная операция представляет собой экстремальную
задачу той же трудности, что и исходная задача. Однако
малость отрезка ^i ^ ^ ^ U+i позволяет здесь сделать ряд
упрощающих предположений. Прежде всего, если шаг сетки по
времени достаточно мал, то элементарную операцию строят, исходя
из условий A), B), D), полагая, что дуги траекторий или не
нарушают ограничений C), или этим нарушением можно
пренебречь. Далее, вместо минимизации функции A) при условиях
B), D) часто ограничиваются построением какого-либо
допустимого управления и соответствующей траектории,
удовлетворяющих условиям B), D), и в качестве длины дуги Mi{x, у)
тогда берут значение функции A) на полученных управлении
и траектории.
Во многих задачах полезно задаться каким-либо семейством
управлений u{t)=u{t, Ci, ..., Ст), зависящих от параметров
Ci, ..., Cm {т>п). Например, это могут быть алгебраические
или тригонометрические многочлены с коэффициентами Ci, ..., Ст
или кусочно-постоянные функции со значениями Ci, ..., Ст и
т. п. Значения этих параметров затем можно определить из
следующей системы п уравнений с т неизвестными (т'^п):
J x{t)dt= J f{x(t), и{t, Сц ..., Cm)) dt=^y'-x^ (9)
Ч Ч
U{t, C^, ..., Cm)^V{ti), ti<t^ti+i,
используя для этого различные методы [4, 20, 39, 54, 209]. Если
т>п, то параметры Ci, ..., Ст отсюда будут определяться,
вообще говоря, неоднозначно, и свободные параметры можно
использовать для минимизации функции A). Для упрощения
системы (9) дифференциальное уравнение B) часто заменяют
более простыми уравнениями:
i{t) = fix, u{t), t) или i{t) = f l^^, u{t), t^
или другими более точными разностными уравнениями; здесь
возможно использование линеаризованной системы:
x{t)^f{x, u{t), t)+<U(x, u{t), t), x{t)^xy.
При решении задачи A), B), D) часто црименяется также

§ 3] ПРОБЛЕМА СИНТЕЗА 513
принцип максимума в сочетании с различными упрощающими
приемами, описанными выше. Другие способы построения
элементарных операций, примеры решенных конкретных задач см.
в [14, 217].
§ 3. Проблема синтеза для систем с непрерывным временем
Продолжим исследование задачи A.1) —A.4) с непрерывно
меняющимся временем. Проблема синтеза для задачи A.1) —A.4) заключается в
построении функции и = и{х, t), называемой синтезирующей функцией этой
задачи и представляющей собой значение оптимального управления при
условии, что в момент t система A.2) находится в точке х, т. е. x{t) = х.
Умение решать проблему синтеза крайне важно в различных прикладных
задачах оптимального управления. В самом деле, если известна
синтезирующая функция и(х, f), то техническое осуществление оптимального
хода процесса может быть произведено по следующей схеме, называемой
схемой с обратной связью: с измерительного прибора, замеряющего в
каждый момент t фазовое состояние x{t), на ЭВМ или какое-либо другое
вычислительное средство подается величина x{t), вычисляется значение
управления u(t) = u{x{t), t), после чего найденное значение u{t)
оптимального управления передается на исполнительный механизм,
непосредственно реализующий требуемое течение управляемого процесса.
1. Проблема синтеза для задачи A.1) — A.4) сводится к решению
следующей задачи: определить управление 1^*(т) = м#(т, х, t), доставляющее
функции
г
/ (f, X, и (.)) = J /V^ W. ^ (-г), '^)dx + 0 (х (Т)) A)
*
минимальное значение при условиях
i(T) =/(а:(т), и{х), т), f^T^r; x{t) == х, B)
л:(т)еС(т), «<т^Г, C)
м = м(т) е F(t), f ^ т ^ Г; и{') — кусочно-непрерывно, D)
где X — произвольная точка множества G{t), а t — произвольный
фиксированный момент времени, fo ^ ^ ^ ^. Заметим, что при t = to задача A) — D)
превращается в исходную задачу A.1) — A.4).
Обозначим через Л (л:, t) множество всех управлений и{х) (t^x^T),
удовлетворяющих условиям D) и и (х) =^ и {х-}-0) = lim u{s) (t^x <Т),
и таких, что соответствующая траектория х(х) = х{х, и) (t ^т^ Г), системы
<2) определена на всем отрезке [t, Т] и удовлетворяет фазовому ограничению
C). Положим X(t) == {х: a:eG(f), А(х, t) Ф 0} {tQ^t<T)\ Х{Т) =
==G(T).
Пару (к(т), х{х)) (t ^х ^Т) назовем допустимой парой задачи A) —
D), если x{t) = x^X{t), м(-) еА(л:, t) и л:(-) является решением
системы B), соответствующим рассматриваемому управлению w(«).
Аналогично, пару {и{х), х{х)) (to^x ^Т) будем называть допустимой парой
исходной задачи A.1) —A.4), если x{to) = xoGX{to), w(«) еД(л:о, h) и
выполнены все соотношения A.2) —A.4). Допустимую пару ("» (t), л:# (т))
(^<т<Г), задачи A) —D) будем называть решением этой задачи, если
J (t, X, и^{'))= inf J {t, X, u(')); при этом w# (•) назовем оптимальным
управлением, а х^(') — оптимальной траекторией задачи A) — D).
Зная оптимальное управление и^{г) = и^(х, х, t) задачи A) —D) при
всех тех (а:, t), xGG{t) (to^t<,T), при которых эта задача имеет ре-

514 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
шение, нетрудно получить синтезирующую функцию задачи A.1) —A.4):
достаточно положить и (х^ t) s i^^ {t, x, t). Однако получить явное
аналитическое выражение для оптимального управления щ (т, х, t) задачи A) —
D) удается лишь в редких случаях. Поэтому желательно иметь другие
подходы к решению проблемы синтеза.
Вспомним, что при решении проблемы синтеза для дискретных систем
важную роль играло уравнение Беллмана A.13), A.14). Оказывается,
аналогичное уравнение может быть получено и для задачи A) — D). Введем
функцию
В(х, t)= inf /(^ ж, w(.)),
называемую функцией Беллмана для задачи A.1) —A.4). Если задача
A.1) —A.4) удовлетворяет некоторым ограничениям и функция В(х, t)
непрерывно дифференцируема, то можно показать, что функция Беллмана
удовлетворяет следующим условиям, называемым уравнением Беллмана
задачи A.1) —A.4):
inf [ <J5^ (х, t), f (х, и, t)y + J5 {х, t) + f (X, w, «)] = 0,
x^X(t), to^t<T, E)
B(x, T) =Ф(х), x^X(T) ==G{T), F)
где B^ =(^Jl , ..., ^^n)» ^u ^^ ~" частные производные функции В(х, t),
\ * X / X ^
а D{x, t) —множество всех тех и^ Vit), для которых существует хотя бы
одно управление w(-) еЛ(л:, t) со значением u{t) = u{t-\-0) = и.
Приведем эвристические соображения, из которых следуют
соотношения E), F) в следующей форме:
u^D^ix) f^^+1 ^^^ ^""^ ""^^^^ ^^^ ^""^ + ^2 ^""^ ""^^ = О, X е Х^,
к=0, 1, ..., N--1, G>
Bn(x)=0{x), x^Xn=-Gn. (8)
Вспомним также обозначения, связывающие задачи A.1) — A.4) и
A.5) —A.8) и принятые в G), (8):
П (^» ") = Ых - h) f' (^' ^' ЧУ Pk (^» ^) = ^ + (^ft+i - h) f (^. и, g.
Исключим из этих обозначений и соотношений G), (В) индекс к, приняв
^ = t, Д* = ^л+1 —fft, fiv = r, Ву,{х)=В(х, t), Bk+i{y) =В{у, t + At),
Dk(x) =D{x, f), Xfe = X(f). Тогда соотношения G), (В) могут быть
переписаны в следующей безындексной форме:
inf [В {х + Atf {X, и, t), t + M) — B {х, t) + Mf {х, и, t)\ = О,
ueD(x,f)
В{х, Т) =Ф(л:), х^Х{Т) ^G{T).
Если теперь поделим первое из этих равенств на Д^ > О и совершим
формальный предельный переход при Af-> + 0, то придем к соотношениям E)^
F). Подчеркнем, что приведенные рассуждения никоим образом не
претендуют на какую-либо строгость и могут служить лишь наводящими
соображениями при получении соотношений E), F). Аналогичным образом мож-^
но было бы «вывести» эти соотношения, опираясь на уравнения B.6).
Заметим, что уравнение E) является дифференциальным уравнением
в частных производных первого порядка, левая часть которого осложнена

§ 3] ПРОБЛЕМА СИНТЕЗА 515
взятием нижней грани, и вопросы существования и единственности
решения задачи E), F), свойства ее решения в настоящее время исследованы
слабо [327]. Задача E), F) здесь нас будет интересовать лишь с точки
зрения решения проблемы синтеза.
Под решением задачи E), F) мы будем понимать функцию В(х, t),
которая определена и непрерывна при всех {х, t), x^X{t) (k^t^T)
обладает кусочно-непрерывными частными производными Вх, Bt и
удовлетворяет уравнению E) всюду, где существуют эти производные,
удовлетворяет условию F) и, кроме того, для любой допустимой пары (и(-)» л:(-))
задачи A) —D) при всех х^Х{г) (^о ^ * < Л функция В(х(х), т)
переменной т имеет кусочно-непрерывную производную (или Б(д;(т), т)
абсолютно непрерывна) на отрезке [f, Т],
Теорема 1. Пусть В{х, t)—решение задачи E), F) м, кроме того,
пусть нижняя грань в левой части E) достигается на кусочно
непрерывной функции и{х, t)GD{x, t), x^X(t) (^0^*^^). Тогда и{х,
t)—синтезирующая функция задачи A.1) — A.4).
Доказательство. Возьмем произвольные t (to^t <.Т) и х^
^ x{t). Пусть Хц, {х) (t ^г ^Т) является решением задачи Коши
х{х) =/(л:(т), и(х{х), т), т), t^x<T; x{t) = х,
и пусть х^ (т) е X (т) при всех т s [f, Т]. Положим и^ (т) = и {х^ (т), т)
(t < т< Г). Ясно, что и^ (.) е А (х, t) и (и^ (.), х^ (.)) — допустимая пара
задачи A) —D). Для доказательства теоремы достаточно показать, что
пара (^¦(•)» ^* (•)) является решением задачи A) —D).
Сначала покажем, что для любой допустимой пары (и{'), л:(-)) зада^
чи A) —D) справедлива формула
г
/ (t, л:, W (.)) = J Л (о: (т), u(T), T)dx + B (х, t), (9)
t
где
Rix, щ t) = iBx{x, t), fix, Щ t)y + Bt(x, t) +fix, u, t). A01
В самом деле, по условию функция Б(л:(т), т) переменной т непрерывна
и имеет кусочно-непрерывную производную. Тогда в силу уравнения B)
имеем
dB (х(х), т) , п
всюду на [f, Г], за исключением, быть может, конечного числа точек.
Интегрируя это тождество по т на [t, Г], с учетом условия F) получим
т т
Ф (X (Т)) -B(x,t)==^R(x (т), и (т), т) Jt - J f {X (т), и (т), т) dx,
t t
что равносильно (9). Заметим, что формула (9) является аналогом
формулы A.21).
Уравнение E) с помощью функции A0) можно переписать в виде
inf R {Ху и, х) = 0. Отсюда и из определения функции имеем
ueD(x,T)
R (а:, и (х, т), т) = О = inf R {х, и, x)^R (х, и, х) (И)
ueD(x,T)
для всех u^D{x, т), х^Х{х) (t^x^T). Если (w(-),
л:(•))—допустимая пара задачи A) —D), то х(х) е Х(т), и{х) = и{х + 0) = и^О(х{х), х)
(t^x^T), Поэтому из (И) получаем
Л (х^ (т), и {х^ (т)), т)= Л (х^ (т), и^ (т;, т) = О < Л (л: (т), W (т), т), A2)

516 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
f^T^r, ДЛЯ любой допустимой пары задачи A) — D). Отсюда и из
формулы (9) с учетом условия х^ {t) == x(t) = х имеем
г
J (^ л:, и (.)) — / (t, X, и^ (.)) = f Л (л: (т), и (т), x)dx^O A3)
*
для всех допустимых пар (w(-), х(-)) задачи A) —D).
Из (9), A2), A3) следует, что
/ {t, X, и (.)) = inf / (t, X, и (.)) = В {х, t).
Тем самым показано, что функция В{х, t), определяемая соотношениями
E), F), в самом деле является функцией Беллмана задачи A.1)—A.4),
и функция и{х, t), на которой достигается нижняя грань в левой части E),
является синтезирующей для этой задачи.
С помощью функций В{х, t), и(х, t) нетрудно получить решение и для
исходной задачи A.1) —A.4). А именно, верна
Теорема 2. Пусть В{х, t)—решение задачи E), F) и пусть
нижняя грань в левой части E) достигается на кусочно-непрерывной функции
и{х, t). Кроме того, пусть точка х^^Х {t^ определена из условия
а пара (и^ (•), х^ (•)), где х^ (•) — решение задачи Коши
x{T) = f {х (т), и {X (т), т),т) f^, < т < Г; х (t^) = х*,
и и^ (т) =1^ (л:#(т), т), является допустимой парой задачи A.1) — A.4). Тог-
да пара {и^ (•), х^ (•)) является решением задачи A.1) — A.4), г. е.
Доказательство. Возьмем произвольную допустимую пару
(w(t), х[х)) (to^x ^Т), x{to) = xo^X{to) задачи A.1) —A.4). Из
формулы (9) и неравенств A2) при t = to с учетом условия A4) имеем
•^(W^(-))-'^(V<>^*('))
о' О'
г
= ^R(x (т), и (т), x)dT + B (х^, t^) - ^ Jnf В (X, t^) > О,
что и требовалось доказать.
2. Таким образом, согласно теореме 1 для решения рассматриваемой
проблемы синтеза достаточно найти решение задачи E), F). Возникает
вопрос, как же решить задачу E), F)? Прежде всего заметим, что
удобное для работы конструктивное описание множеств X(t), D{x, t), входящих
в формулировку задачи E), F), часто отсутствует, и поэтому на практике
вместо задачи E), F) обычно пользуются следующей более
конструктивной задачей:
inf Wb^ {х, t), f {X, и, t)y + В^ {X, t) + f (X, и, t)] = О,
x^G{t), to^t<T,
В(х,Т)=Ф{х), x^G(T),

§ 31 ПРОБЛЕМА СИНТЕЗА 517
получающейся из E), F) заменой D{x, t), X(t) на V(t), G(t)
соответственно. Конечно, здесь надо помнить, что задача (ib) может и не иметь ре-^
шения, в то время как задача E), F) может оказаться разрешимой.
Наиболее удобными и эффективными при решении задачи E), F) илж
задачи A5), по-видимому, являются методы, изложенные выше в § 1, 2,—
рекуррентные соотношения A.13), A.14) и B.6) по существу
представляют собой некоторую дискретную аппроксимацию задач E), F) ш
A5), а функции Bk{x), Ckix) являются приближенным значением длят
В(х, tk). Существуют и другие методы решения таких задач. Во многих
прикладных задачах часто удается получить явное выражение и = и(х^
t, Вх) для точки и, в которой достигается нижняя грань
inf [{B^,f{x,u,t)y + f{^, и, t)]
при фиксированных значениях параметров (х, t, Вх). Подставив такое и =^
= и(х, f, Вх) в A5), приходим к следующей задаче Коши:
^t + [<^х^ f (^» ^' ^)> + /^ (^' ^' о] U=u(x,f,B^) = О,
x^G{t), to^t<T,
В{х, Т) =Ф(л:), x^G{T),
для нелинейного уравнения с частными производными первого порядка.^
Для численного решения задачи Коши можно воспользоваться известным
арсеналом методов — разностными методами, методом характеристик, ме-»
тодом прямых, методом коллокации и т. п. [4, 13, 20, 39, 54].
Иногда удается найти решение В{х, t) задачи A5) в виде многочлена
по переменным х^, ..., х"^ с неопределенными коэффициентами,
зависящими от времени:
5@:, 0= 2 S ••• 2 ti...i„wH^.--(^") •
Если подставим это выражение для В{х, t) в A5), то для определения
коэффициентов "Фг....1^@ получим дифференциальное уравнение следунк
щего вида
т^ гпп . ,
<1=0 in=0 ^
^(tc.oW. •••.tmj...m„(*); ^' .... Л ", «), A6)
1
= inf
wey(f)
X^G(t), tQ:^t^T,
с начальным условием
i =0 гн=о ^
A7)
Если Ф(х), inf F, в свою очередь, являются многочленами относительнее
л:^ ..., х^, то, приравняв коэффициенты при одинаковых степенях в A6),
A7), получим задачу Коши для системы обыкновенных дифференциальных
уравнений относительно i|)| j^ (f), записанной в нормальной форме Коши,
Далее, здесь можно использовать различные численные методы решения,
задачи Коши, такие, как методы Эйлера, Адамса, Рунге — Кутта и т. д*
[4,13,39, 54,258,295].

518 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
Если же Ф{х) или inf F не являются многочленами относительно
Vit)
4CS ..., х^, то условия A6), A7) не могут быть, вообще говоря,
удовлетворены во всей области G{t) (to^t ^ Т) ни при каком выборе Л^ = {тпх +
+ 1) ... (mn+1) коэффициентов '^^ ,.Лп^^^' ^ ^"^^^ случае в [188]
предлагается задать в области G{t) N кривых |i(f), ..., Init) и рекомендуется
определять "^i ..j (i) из условия удовлетворения равенств A6), A7) не
всюду в G(t), а лишь на этих кривых. Этот подход перекликается с
известными методами коллокаций и интегральных соотношений и приводит к
задаче Коши для системы обыкновенных дифференциальных уравнений, не
разрешенных относительно производной ip| ^^ (О (отметим, что эти
производные в уравнение будут входить линейно). Кривые |i@» •••» liv@
обычно выбирают так, чтобы они имели достаточно простое аналитическое
выражение (например, семейство прямых, параллельных осям координат,
семейство парабол и т. п.) и задавали достаточно густую сетку в области
0{t) (to^t^T).
Для иллюстрации вышесказанного приведем пример.
Пример 1. Пусть требуется минимизировать функцию
г
/ A^) = f и^ (t) dt + Хх^ (Г), X = const > О
о
при условиях х= u(t), х{0) = хо, и = u(t) —кусочно-непрерывная
функция; числа Г, хо заданы. Здесь G(t) ^Е\ V(t) = Е^ (O^t^T).
Задача A5) в рассматриваемом случае имеет вид
inf [В^ {X, t)u + B^ (х, t) + u^]==0, xgE^, о < f < Г, A8)
В(х,Т)=Хх\ х^ЕК A9)
Нижняя грань в A8) достигается при и = —Вх/2, поэтому уравнение A8)
перепишется так:
В^ {х, t) - Bl {X, t)l^ = 0, х^Е^, О < f < Г. B0)
Функцию В{х, t) будем искать в виде многочлена
В{х, t) ^y^o(t)+b(t)^ + bit)x^
переменной х. Подставим это выражение в A9), B0); получим
^0 + Ьз: + ^2^^ — (-ф! + 2-1152^:J/4 = 0, х^Е\ О < f < Г,
Ы^) + ЫТ)х + Ы^)^^ == ^^\ ^ е Е\
Приравнивая коэффициенты при одинаковых степенях х, придем к
следующей задаче Коши;
%-^1/^ = 0, ^^-^^% = 0, 0^^-11J = 0, 0<f<r,
ЫТ) =0, ЫТ) =0, ЫТ) =Я.
Отсюда находим
Таким образом, функция Беллмана здесь имеет вид
В {х, t) = h^ ;

§ 3] ПРОБЛЕМА СИНТЕЗА 519
синтезирующей является функция
u{x,t) = — ^=, Ь^ , х^Е^, 0<f<r.
3. Предположим, что с помощью того или иного метода нам удалось,
получить некоторое приближенное решение В(х, t) задачи E), F) или
A5). Если это решение получено разностным методом (например,
методами § 1, 2) на какой-то дискретной сетке точек, то доопределим ее
(например, интерполяцией или с помощью сплайнов) во всех точках области
G{t) (to^t^T) до некоторой непрерывной кусочно-гладкой функции
В{х, t). Тогда функцию и = и(х, t), на которой реализуется точная или
приближенная нижняя грань функции R(x, щ t) из A0) на множестве-
D(x, t) или V(t), можем принять в качестве приближенного решения
проблемы синтеза для задачи {i.i) — (iA). Это значит, что приближенное
решение (й(-), х{')) задачи A) —D) будем определять из условий
i(T) =/(^(т), u(^(T),T),T), t^x^T,x{T) =х,
ic(T)eG(T), и{х) =u{x{x),r), t^r^T.
Приближенное решение исходной задачи A.1) —A.4) находится
аналогично: сначала определяем точку ^о, на которой точно или приближенна
реализуется нижняя грань функции В{х, to) на множестве X{to) или G(fo)#
а затем решая задачу B1) при t = to, х = хо, находим траекторию ^(т) и
управление u(i:) == и(х{х)) (to^x^T), Найденную пару (м(-), ^(-)У
примем за приближенное решение задачи A.1) — A.4). Спрашивается,
какая при этом будет допущена погрешность? Приводимая ниже оценка
погрешности дает некоторый ответ на этот вопрос.
Пусть К{х, t) —какая-либо функция, которая определена и непрерывна
при всех X е X(t) (to ^ t ^ Т), обладает кусочно-непрерывными
производными Кх, Kt и такова, что для любой допустимой пары (w('), х(')) зада*
чи A) —D) при всех x^X(t) (to^t< Г), функция К(х(х), х)
переменной X — кусочно-гладкая (или абсолютно непрерывная) на [f, Т]. На
практике в качестве функции К(х, t) обычно берут какое-либо приближенное
решение В{х, t) задачи E), F) или A5).
По аналогии с A0) введем функцию
S{x, щ t) = iKx{x, t), fix, щ t)y+Kt{x, t)+f{x, Щ 0,
a;eX@, t^^t^T, ^^
И, кроме того, положим
s{x,T) =-Ф{х)-К[х,Т), xgG{T). B3)
Возьмем произвольную допустимую пару (а(-), л:(-)) задачи A) —D>»
В силу уравнения B) тогда имеем
dKix(x),x) ^^(д.(^)^ u(x),x)-f(x(x),u(x),x), f,<T<r.
Учитывая непрерывность и кусочно-гладкую функцию К(х{х), т), проинте-^
грируем это тождество по т от f до Т, Получим формулу
г
/ (f, X, и (>)):= ^S{x (т), и (т), x)dx + s (X (Г), Т)+К {х, t). B4)
t
Если К(х, t) = В{х, f), то S(x, и, х) = R{x, и, х) s{x, Г) = О, и эта
формула превратится в выведенную выше формулу (9).
Предположим, что каким-то образом мы получили пару («(т), х{х))
(t^x^T), удовлетворяющую условиям C), D) и уравнению B) с нак

520 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
чальным условием x{t) = ^ е X(t), Согласно B4) тогда
г
J («, 5, Z (.)) - / («, :г, и (.)) = J [5 E (т), и (т), Т) - 5 (л: (т), и (т), тI dt +
t
+ [s (X (Г), T)-s{x (Л, Л1 + [^ (^, О - ^ (^, 01 B5)
для любой допустимой пары (и('), х{')) задачи A) —D). Из B5) уже
нетрудно получить требуемые оценки погрешности для задач A) — D) и
A.1) —A.4). Обозначим
^ зс?Х(т) ueD(x,T) ™'" зсеХ(Г)
«^'=^(*о)
Пусть (м('), ^(О) —некоторая допустимая пара задачи A)~-D), которую
мы хотим взять в качестве приближенного решения этой задачи.
Учитывая, что для любой допустимой пары (и{-), х(')) задачи A) —D) имеют
место включения x{t)=x^X(t), u{')^^{x,t), х{х)^Х{х), и{х) ^
е/)(л:(т), x){t^x^T) из 25, 26 получим требуемую оценку
погрешности:
O^J (t, х,и(-))^ inf /(«, л:, w(.)X
Г
<\lS{x (т), и (т), т] - S^^ (т)] dx + [S (X (Г), Т) - s^^]. B7)
*
Если же_(й(т), ^(т)) (^0 < т < Г) — допустимая пара задачи A.1) —A.4),
x(fo) = а;о, которая берется за приближенное решение этой задачи, то из
B5), B6) имеем такую оценку погрешности:
о < J Со' ^0- И-)) - inf inf / («„, X, «(.)) <
Г
; j [5 (J (т), й (т), т) - S^^ (т)] dt + [S (X (Г), Г) - s^ij +
+ ^(V*o)-'S^omin- B8)
Если ^(ж, f) = В(х, t)y то «^(л:, и, t) = /?(л:, w, f), s(a;, Г) = О и, кроме того,
из (И) следует, что inf Л (л:, и^ t) = О при всех x^X{t), так что
inf inf R(x, и, t) =0. Поэтому при К{х, t) = В(х, t) из B7), B8)
«eZ@ ueD(x,t)
соответственно получим
т
O^J{t, х,и('))— inf /(^ X, и{')) < f Л(^(т), ^(т), т) йт, B9)
< J л E (т), Z (т), т) йт + л E^, g -J^l ^ (^' ^о)- C0)

§ 3] ПРОБЛЕМА СИНТЕЗА 521
Из оценок B9), C0) следует, что если определить и(х, t) еД(а:, t) [д?о s
еХ(^о)—для задачи A.1) —A.4)] так, чтобы Н{х, и(х, t),t) было
поближе к inf R (х, и, i) [В (х^, t\ — поближе к inf В (х, t\'\ и затем
А(эс.О 1^ V о о/ х^Ц^о) J
найти пару (й(т), ^(т)) из условий
Ф) = /(^(т), и(х(т), т), т), ^(т) е G(t), t^x^T,
^(t) = X, й(т) = к(^(т), т)
[для задачи A.1) —A.4) здесь надо взять t = to, x{to) = ^о], то величина
/(f, X, и{-)) [в случае задачи A.1) —A.4) —величина /(^, хо, к(-))]_будет
мало отличаться от искомого оптимального значения, а функция к (ж, t)
будет хорошим приближением для синтезирующей функции. Заметим, что
оценки B8), C0) являются аналогами оценок A.28) и A.29).
Заметим также, что в приложениях могут оказаться удобнее более
грубые оценки, получающиеся из B6) — C0) при замене неконструктивно
определенных множеств Д(а:, f), X{t) на множества V{t), G{t)
соответственно.
Упражнения. 1. Решить проблему синтеза для задачи минимиза-
г
ции функции J (з;^, и (')) = \ {х^ (t)-\-и^ (t)) dt при условиях x(t) =
о
= ~x(t)+u{t), х{0) == хо; здесь G{t)^E\ Vit)^E^ при всех «е
е [О, Т],
2. Решить проблему синтеза для задачи минимизации функции
7{хо, и{')) = x^{i) при условиях x(t) = u(t) {O^t^ 1), х@) = жо, u{t) s
gV = {u^E^: 0 < M ^ 1}, x{t) e G{t) s E^ при 0 ^ f :^ 1. Показать, что
в этой задаче синтезирующих функций бесконечно много. Убедиться,
например, что синтезирующими являются функции
(О, х>0, , (О, д:>^ —1,
3. Решить проблему синтеза для задачи минимизации функций
г
J{x^,u{^))=x^(T) или J{x^,u{^)) = ^x^{t)dt
о
при условиях x{t) = u{t) (О ^ f < Г); а:@) = жо, u{t) е У@ = {м е i?4
—1 ^ м ^ 1}, x{t) GG(t) ^Е^ (О < f < Г). Будет ли в этих задачах
синтезирующая функция единственной?
4. Написать уравнения Беллмана E), F) для задачи быстродействия:
J{xo, to, »(•)) = Г—fo-^inf, xit) =f{x(t), u(t), t), to^t:^T,
x(to) = xo, x(T) = a:i, м(-) —кусочно-непрерывна и принадлежит
множеству У s i?% f ^ to,
5. Показать, что функция Беллмана для задачи из примера 6.2.4 не
является непрерывно дифференцируемой.
6. Найти функцию Беллмана для задачи
J (^0' ^0' "(•)) = ! К^ (О, ^ {t)> + Ъ {и (f), t)\dt + <с, X (Т)У -> inf,
x(t) =A{t)x{t) +C(t)u{t) +f(t), to^t^T, xito) =xo, C1)
tt = tt(f) e F(f)i »(•) —кусочно-непрерывна, C2)

522 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ (ГЛ. 7
считая известными моменты времени ^о, Т, матрицы A{t), C{t) порядка
пу^п и п X г соответственно, ?г-мерные вектор-функции a(t), f(t),
скалярную функцию Ь(и, t), ?г-мерные векторы с, хо и множества У{1)^Е^
(к ^t ^Т). Указание: пользуясь уравнениями E), F) искать
функцию В(х, t) в виде В{х, t) s=<i|)(^), ж) — многочлена первой степени
относительно переменных х = (ж^ ..., х^).
7. Исследовать уравнения E), F) для задачи минимизации функции
г
при условиях C1), C2). Рассмотреть случаи У@=^% V{t) = {и^Е"":
|u| <1}, V(t) = {и= (и\ ..., и'): —l^u^^l, i = l, ..., г}.
§ 4. Достаточные условия оптимальности
При решении задач оптимального управления часто возникает
следующий вопрос: будут ли на самом деле оптимальными те управления и
соответствующие им траектории, которые найдены с помощью каких-либо
точных или приближенных методов? Такой вопрос, например,, естественно
возникает, когда управление и траектория найдены из краевой задачи
принципа максимума,, поскольку принцип максимума выражает собой
необходимое условие оптимальности, не являясь, в общем случае, достаточным для
оптимальности. Один из подходов, с помощью которого можно получить
достаточные условия оптимальности, связан с методом динамического
программирования [65, 81, 101, 124, 125, 188, 189, 199, 263]. Этот подход уже был
использован в § 1 для получения достаточных условий в дискретных
системах. Покажем возможности этого подхода для задач оптимального
управления с непрерывно меняющимся временем.
1. Начнем с рассмотрения задачи A.1) —A.4) с закрепленным
временем. Будем пользоваться обозначениями и некоторыми формулами из § 3.
Согласно C.24) и C.28) для каждой допустимой пары (u{t), x(t)) (to^
^t ^Т), x(to) = xq, задачи A.1) —A.4) справедливы формула
т
J («о» ^0' ^ (•)) = J *5 (^ (О, 'и (О, t)dt + s {X (Т), Т) + К E^, g A)
и оценка
г
О< / («О' ^0' ^ (•)) - *^* < I [*^ (^ (^)» ^ (^)' ^) - *^min Щ dt +
-Ь [S {X (Г), Т) ~ s^^] + [К G^, g - К^ ^^], B)
где
S{x, щ t) =<Кх(х, t), f(x, к, t)y + Kt{x, t) +f(x, ц, t), C)
3(х,Т)=Ф(х)-К{х, Г), D)
S^^{t)= inf inf S{x,u,t), s^^r= inf s(x,T), E)
остальные обозначения см. в § 3. Напомним, что для справедливости
соотношений A), B) достаточно было, чтобы функция К{х, t) была
определена и непрерывна при всех x^G(t), t^ [to, Г], обладала кусочно-непре-

8 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ 523
рывными производными Kxi Kt, а функция К{х{1), т) переменной т для
любой допустимой пары (u(-)» ^{')) задачи A.1) —A.4) была
непрерывной и кусочно-гладкой на отрезке [fo, Т],
Теорема 1. Для того чтобы допустимая пара (м(?), x{t)) {to ^t ^ Г),
^(^о) = xq^ задачи A.1) — A.4) была решением этой задачи^ достаточно
существования функции К{х^ t)^ для которой формула A) верна для любой
допустимой пары задачи A.1) — A.4) и
S{x(t), u{t), t) =Smin(t), h^t^T, F)
S(X(T), T) ==5min, ^(^0, k) =^omin, G)
где S(x^ щ t), s{x^ t), Smin{t)i Smin, ^omin определяются C) — E).
Доказательство этой теоремы следует из того, что при выполнении
условий F), G) правая часть оценки B) обращается в нуль и «^ (^q» ^q'
w (.)) = /*.
С помощью оценки B) нетрудно также получить условия, достаточные
для того, чтобы та или иная последовательность допустимых управлений
и траекторий была минимизирующей для задачи A.1) — A.4).
Теорема 2. Для того чтобы некоторая последовательность (um@»
^m{t)) (k^t ^Т), Xm(to) = хот (ш = i, 2, ...) допустимых пар задачи
A.1) — A.4) была минимизирующей^ достаточно существования функции
К(х^ t), для которой формула A) верна для любой допустимой пары задачи
<1.1) —A.4) и
lim Г S {х^ (t), и^ (t), t) dt = f ^^i^ {t) dt, (8)
to *0
lim s (x^ (T), Г) = .^i^, lim К (x^^, g = K^ ^,^. (9)
Доказательство. В оценке B) вместо u(t), x{t) подставим Um(t),
Xm{t) и перейдем к пределу при т-^оо. С учетом условий (8)^ (9)
получим lim / (t X , г^уу1 (•)) = •^*» ^то и требовалось.
Чтобы пользоваться приведенными в теоремах 1, 2 достаточными
условиями оптимальности, нужно знать функцию К{х, t), с помощью которой
строятся функции C) — E). Как найти такую функцию К{х, t), каким
условиям она удовлетворяет?
Всякую функцию К(х, t), удовлетворяющую условиям теоремы 1
[теоремы 2], назовем функцией Кротова задачи A.1) —A.4), соответствующей
допустимой паре (м@, ^@) (^о ^ ^ ^ ^) [или последовательности
(Итп@» ^m{t)) допустимых Пар].
Заметим, что если существует какая-либо функция Кротова К(х, t), то
функцией Кротова является также функция К{х, t) =iK(x, t) +a{t), где
Щ1) — произвольная непрерывная, кусочно-гладкая (или абсолютно
непрерывная) на [^0, Т] функция. В частности, если а (f) = — *^min (''') ^'^ ""
~"^min» "^^ функции S{x, и, t), s(x, Г), построенные по формулам C), D) с
заменой К на К==К+а, таковы, что S(x, к, t)=S(x, n^t) — Smin(t),
s(x, Т)= s{x, Т)—5min и, следовательно, inf inf S(x, u, t) ^0
ito<t <r), Jnf ^^ 1 (X, T)=0, a Jnl^^^ К (X, t„) = K, ^,, + «(<„) отли-

524 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ* 7
чается от jK'omin на постоянную a(fo). Поэтому в теоремах 1, 2 без
ограничения общности можем принять «SminCO ^ ^» ^min = 0.
с учетом этого замечания заключаем, что функция Кротова,
соответствующая допустимой паре (к(О, ^@) или последовательности (вт@»
^m{t)) допустимых пар задачи A.1) — A.4), согласно теоремам 1, 2
удовлетворяет условиям
S(x, и, t) ==<Кх(х, О, fix, п, t)}+Kt(x, t) + f{x, щ 0^0, A0)
UGD{x,t), xGX(t), h^t^T;
8{х,Т) = Ф{х)-'К(х,Т)^0, х^Х(Т), (И)
К{х, to) "^ Ко lain, X^X{to),
причем неравенства A0), (И) должны обратиться в равенства при и = й@»
x = x(t) или при к = Кда,(г), X = Xm(t) В пределе при т-^оо.
Задача A0), (И) для определения функции Кротова несколько
необычна тем, что, во-первых, здесь мы имеем дело не с дифференциальным
уравнением, а с дифференциальным неравенством A0) в частных производных,
во-вторых, начальное условие при t = Т также задано в виде неравенства
и, наконец, задача A0), (И) тесно связана с конкретной допустимой парой
(»(•), х()) или последовательностью (um(-), Хт(')) допустимых пар,
подозреваемых на оптимальность.
Сравнение соотношений A0), (И) с C.5), C.6), C.14) показавает, что
функция Беллмана всегда является функцией Кротова. С другой стороны,
функция Кротова определяется из более широких условий A0), (И), и она
может существовать даже тогда, когда функция Беллмана не существует,
В тех случаях, когда отсутствует удобное для работы конструктивное
описание множеств D{x, t), X{t), функцию Кротова можно попытаться
определить из условий, получающихся из A0), (И) при замене D{x, t),
X(t) на V(t), G(t) соответственно.
Проиллюстрируем вышесказанное на примерах.
Пример 1. Пусть требуется минимизировать функцию J (и (-)) =
1
= \ {х^ (t) — и (t)) dt при условиях x(t) = u{t), х{0) = x(i) = О, u{t) е
eV@ =:{u^Eh \и\ <1} (O^f^l).
Здесь фазовые ограничения G(t) такие: G@) =G(i) = {0}, G(t) «i5*
(О < f < 1). Очевидно, пара {u(t) s О, x(t) s 0) является допустимой для
этой задачи. Покажем, что она является решением задачи. Для этого
возьмем функцию К{х, t) ^ X. Тогда
S(x, к, t) =а:2>0 = 5(^@, й@, О =Smiu{t),
s{x, 1) = — x = 0 = sCx(i), i)= inf s(x,i),
xeG(i)
K(x, O) = x = 0 = K{x(O),O)= inf K(x,0),
x(=G{o)
Кроме того, ясно, что формула A) здесь будет верна для любой
допустимой пары. Согласно теореме 1 тогда пара (u{t) ^0, x{t) ^0) оптимальна.
Предлагаем читателю найти функцию Беллмана и синтезирующую функцию
этой задачи.
Пример 2. Пусть требуется минимизировать функцию / (w (•)) =
1
= ( (х^ {t) — и^ {t)) dt при условиях x(t) = к@, л:@) = о, к@ е V{t) =
=:\и^ЕЧ \и\ ^1} (O^f^l).

§ 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ 525
Здесь фазовые ограничения G{t) такие: G{0) ={0}, G{t)^E^ (О <
<f^l). Возьмем последовательность пар функций (мт(-)» ^т(О)» где
"т(') =
pi р
At) =
р+1 р 1 р 1
Р = О, 1, ..., /71 — 1, 7/1 = 1,2,...
Нетрудно проверить, что пара {um{'), Хт{')) допустима для
рассматриваемой задачи при всех w = 1, 2, ... Покажем, что последовательность этих
пар является минимизирующей. Для этого возьмем функцию К(х, t) ==
= f — 1. Тогда S (х, и, i) = а:^ + 1 — м^ > О = min min S (х, и, 1) =»
^limS{x^(t), u^{t), t), s(x, i) = -K(x, 1)^0= inf К (x, I) =^
= lims(x^(l), 1), K{x, 0)^-1= inf K(x, 0)=lim K{x^@),0).
Согласно теореме 2 последовательность (Mm(*)» ^m(*)) будет
минимизирующей: lim /(u^{-)) = — 1 = /*.
m-»oo
Заметим, что в этом примере iniJ{u) = —1 не достигается ни на какой
допустимой паре. В самом деле, если x^(t)^0, то в силу уравнения
1
X = u(t) = о и /@) = О > —1. Если же хЦ1) # О, то / (w) > — | и^ (t) di^
6
^ —1. Таким образом, /(»(•)) > —1 для всех допустимых управлений и
траекторий. В этой задаче мы имеем дело с так называемым скользящим
режимом [37, 77, 104, 124, 125, 188, 189, 304]. Предлагаем читателю найти
функцию Беллмана и приближенную синтезирующую функцию этой задачи,
2. Перейдем к рассмотрению следующей задачи оптимального
управления с незакрепленным временем: минимизировать функцию
т
J («О' ^» V "(•))=[/' (^ (О, ^ (О, t)dt + 0 {х (Г), Т) A2)
при условиях
x{t) ==f(x(t), u(t), t), to^t^T; x{to)=xo, A3)
x(t)^G(t), to^t^T; x(T)^Si(T)^G(T), A4)
u = tt(t) e V(t), u{t) — кусочно непрерывна, k^t ^Т,
u(t) = u(t + 0)= lim w(T), r<^<r, A5)
где моменты ^o» 2^» в отличие от задачи A.1) — A.4), неизвестные и
таковы, что
^оеЭо, T^di; A6)
6о, Oi — некоторые множества на числовой оси —оо < f < с»; остальные
обозначения см. в § 6.1. В частности, если /" ^ 1, Ф ^ О, то задача
A2) —A6) превратится в задачу быстродействия. Всюду ниже будем
предполагать, что ^о ^ Т,

526 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ, 7
Через А (ж, t, Т) обозначим множество всех управлений и{-),
определенных на отрезке [t, Т], удовлетворяющих условиям A5) и таких, что
траектория системы х{т) =f(x{x), w(t), т), x{t) = х ^ G(t) также
определена на отрезке [t, Т], причем а:(т)еС(т) (t ^т ^Т), х(Т) ^ Si(T).
Положим X(t, Т) = {х: х^ G(t), А(х, t, Т) Ф 0} при t < Г; Х(Г, Т) «
^iS'i(r). Введем также множество D{x, t, Т) всех тех ие F(f), для
которых существует хотя бы одно управление к(т) еА(а:, t, Т) со значением
tt(f) = tt(f + 0) = и. Пару (в(О» л:@) назовем допустимой парой задачи
A2) —A6), если функции u{t), x(t) определены на каком-либо отрезке
[^0, Т], где to е 9о, Г е 6ь и такие, что x{to) =хо^ G(to), и{-) ^ А{хо, to, Г),
а;(•)—траектория системы A3). Если (и(т), х(т:)) (^о ^ т ^ Г) является
допустимой парой задачи A2) —A6), то и(-) ^A(x(t), t, Г), x{t) eX(f, Г),
u{t) ^D(x(t), t, T) для всех t (to^t < T).
Моменты времени ^* e 9q, Г* g 0i и допустимую пару (w* (О» ^* @)»
определенную на отрезке [i*, Г*], назовем решением задачи A2) —A6),
если
j(t*,T*, x*(g, i^*(-)) =
= inf inf inf in! / (t. T, x^, и (.)) = /#.
f,ee, Tee^ «о^^(*о.Г) и(.)еЛ(х,,*,,Г) ^ о о /
Скажем, что последовательности моментов {tom} е Эо, {Тщ} е 9i и
допустимых пар (um{t), xm(t)), определенных на отрезке [tom, ^m], являются
минимизирующими для задачи A2) —A6), если lim /(^nm» ^m» ^m(^om)'
»m(-)) = -^»-
Для формулировки достаточных условий оптимальности снова
воспользуемся функциями S(x^ щ t), s{x, Г), определяемыми равенствами C), D),
причем для случая рассматриваемой задачи A2) —A6) в D) вместо Ф(х)
будем брать Ф(а;, Т). Будем считать, что функция К(х, t) такова, что
формула A) остается верной для любых допустимых пар задачи A2) —A6) —
для этого достаточно, чтобы функция К(х, t) была определена и
непрерывна при всех x^G{t), t^ [inf 9о, sup9i], обладала кусочно-непрерывными
Кх, Kt, а функция K{x{t), t) переменной t для любой допустимой пары
{u{t), x{t)) (to^t^T) задачи A2) —A6) была кусочно-гладкой на
отрезке [^0, Т].
Пусть (u^(t), x^(t)) и (u(t), а:(f))—какие-либо допустимые пары
задачи A2) —A6), определенные на отрезках \t*, Г*] и [^о, Т]
соответственно. Тогда из формулы A) получим
т*
J (t*. Т*, х^ (f*), и^ (.))-/ (V ^» ^ (*о)» " (•)) = J «^ (^*(*))' "* (*)' *) ^^-
*
т
- J 5 (ж (t), и (t), t) dt + [s (x^ (Г*), Т*) - s {X (Т), Т)] +
+[^(^*(«o*).'o)-^(^(g.gI- A7)
Обозначим
г
*^min = 1^ 1^1 \ iDL^ IDL^ S {Х, М, t) dt,
о
A8)

§ 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ 527
Учитывая, что для любой дапустимой пары (u(t), x(t)) (to^t^T)
задачи A2) —A6) имеют место включения u(t) GD(x{t), t, Т), x{t) ^X(t, Т)
при всех t {to^t<T) в. n(^)^^{x{to), h. Г), x{h) ^X{to, Т), х{Т) ^
eZ(r, Т) =Si{T), to^Qo, ГеЭь из A7), A8) получим следующие
неравенства:
*
+ [s {^ (Г*), T*) - .^i„] + [K (x^ (f*), t; - K^ ^, J. A9)
Неравенства A9) обобщают формулу B) на случай задач оптимального
управления с незакрепленным временем и представляют собой оценку
погрешности, которая будет допущена, если допустимую пару ("¦ (^),
^* @) (** "^ * <^*) задачи A2) —A6) возьмем за приближенное решение
этой задачи. Оценка A9) станет более конструктивной, если в формулах A8),
определяющих величины 5min, smin, ^omin, множества D{x, t, Г), X{t, Т)
заменим на V{t), G(t) соответственно.
Опираясь на оценку A9), нетрудно сформулировать достаточные
условия оптимальности для задачи A2) —A6).
Теорема 3. Для того чтобы допустимая пара (и^ (f), х^ (t)) (t* ^
^t^T*^ задачи A2) — A6) была решением этой задачи, достаточно
существования функции К{х, t), для которой формула A) верна для любой
допустимой пары задачи A2) — A6) и
Р*
f S{x^{t), u^(t), t)dt = S^^^, B0)
^:
s {X, (Г*), Г*) = .^j„, К (x, (f*), t;) = K^ ^j^. B1)
Доказательство. При выполнении условий B0), B1) правая
часть оценки A9) обращается в нуль, откуда и следует утверждение
теоремы.
Теорема 4. Для того чтобы некоторая последовательность (кт@»
Xm{t)) (hm^t ^Trrii /тг = 1, 2, ...) допустимых пар задачи A2) — A6)
была минимизирующей для этой задачи, достаточно существования
функции К(х, t), для которой формула A) верна для любой допустимой пары
задачи A2) —A6) и
lim
J S(x^{t), u^{t),t)dt=S^i^, B2)
lim s {x^ (T^), T^) = s„,„, lim К {x^ (t ), t ) = ЛГ„„,„. B3)
m->cx) m^oo
Доказательство. В оценке A9) вместо м^,. (f), ж^ (f), f*, Г*
подставим соответственно Um{t), Xm(t)^ tom-, Тщ и перейдем к пределу при
ттг-^оо. С учетом условий B2), B3) получим утверждение теоремы.
Предлагаем читателю самостоятельно выписать условия, аналогичные
условиям A0), (И), для определения функции Кротова К{х, t) для задачи
A2)-A6).
Пример 3. Требуется наибыстрейшим образом перевести точку
(ж, у) ^Е^ из начала координат (О, 0) в точку A, 0), предполагая, что

528 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ, 7
движение точки подчиняется условиям x(t) =—y^{t) + n^{t), y{t) =B(f),
u{t)^V{t) =:{u^Eh \u\ ^1} (O^t^T),
Здесь G@) = {@, 0)}, G(t) = ?;2 при 0 < f < Г, Si(T) = {A, 0)}, Go«
= {to = 0}, 01 = {Г: r > 0}, f s 1, Ф ^ 0, /(Л u(t)) = T,
Пусть Гт — корень уравнения (Г — 1)з = 12(Г — 1) — т-2,
расположенный в пределах 1 < Г < 1 + т-^^^ {т = 1, 2, ...). Положим
Иш(«) =
р =0, 1, ..., m —1, m = l, 2, ... Через {xrn(t), ym(t)) (O^^t^Tm)
обозначим траекторию точки, соответствующую управлению Пт(-) и
начальным условиям хт@) =ут@) =0. Нетрудно видеть, что Xm(Tm)=i,
Ут(Тш)=0, (i — m-'/^)t^Xm(t)^t, 0^ym(t)^m-y^ при O^t^Tm,
m = 1, 2, ...
Покажем, что lim Т^ = i =Т* ^ оптимальное время. Для этого
возьмем функцию К(х, у, t) = —х. Тогда
S {х, у, м, t) = у^—и^ + 1, inf inf S (х, у, и, t)^0
при всех ^>0, 5jnin = 0, J S {x^(t), y^{t), u^(t), t) dt == ^ y^^ {t)dt-^
0 0
^ j (^^mW-0^*= J ^mW^«-^0 = ^^j^ при m-^oo; ^(a;, y, Г) =
= -^(a:, y, r)=-a: = -l при (a:, y)^Si{T), s{xm(Tm), Уш(Тт), Tm) =^
= -1 = smin, K{x, y,0) =0 при (a:, y) e G@), ^(a:„»@), y„»@), 0) = 0 =>
= /1^0 min (m = 1, 2, . . .).
Кроме того, очевидно, формула A) для данной задачи будет
справедлива при всех допустимых (а;(-), i/(-), и{-)). Таким образом, для
последовательностей {Tm}i {{Xm(t), ym{t), Um(t))} (О ^ t ^ Тщ) BCe уСЛОВИЯ Теорв-
мы 4 выполнены. Следовательно, lim J{T^, "m('))~ ^^^ ^m ^ ^ ~"
m-^oo m-*oo
оптимальное время. Остается заметить, что в рассмотренной задаче
inf/(Г, и) = 1 не достигается — здесь, как и в примере 2, мы имеем дело
со скользящим режимом.
3. Приведем еще одно достаточное условие оптимальности, касающееся
задачи быстродействия.
Теорема 5. Пусть в задаче A2] —A6) f s 1, Ф s 0; Эо = (М» т*. е.
начальный момент U закреплен; 9i ^ (Г: Т "^ to}. Пусть имеется некоторая
последовательность (Кт@» ^m(t)) (to^t ^ Тт, /?г = 1, 2, ...) допустимых
пар рассматриваемой задачи быстродействия^ причем lim Т^ = Г*.
Тогда для того^ чтобы Г* было оптимальным временем^ достаточно суще^
ствования функции К(х, t), для которой формула A) верна для любой
допустимой пары щ кроме того,
Тт Т
lim \ S(x^{t),u^(t),t)dt<\ S^^^ {t,T)dt + T*-T B4)
to *
для любого Т (к^Т < Г*),
li°^ ^ К (^ш)» ^ш) = ^min» lim К (х^ (д, «,)= /i:, ^,^, B5)

I 4J ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ 529
еде
°^*" xeX(t,T)u^D(x4,T)
*min= iD^^ iiif 5@:, Г), Я- ,^= inf inf К (x, t).
Для получения формулировки достаточного условия оптимальности для
фиксированной допустимой пары (и^ (О» ^* @) (^о ^ ^ ^ У*) в этой
теореме надо принять Тщ = Г*, м^ (О = Щ (О, ^т (О = Ч (О (/л = 1, 2, ...)
ив B4), B5) всюду опустить знак lim.
Доказательство. Пусть вопреки утверждению теоремы Т* не
является оптимальным временем. Тогда существуют момент Т (к^Т <.
< Т*) и допустимая пара (u{t), x(t)) (to^t:^T).B формуле A7) вместо
^0» ^*» ("* (^)» ^* (')) (^0 ^ i<r*) примем соответственно fo, Тт, (um(t)j
Xm{t)) (to^t ^ Тт) И перейдем к пределу при гм-> оо. С учетом условий
B4), B5) будем иметь
lim /(«„. Г^, л!„(д, и„ (.))-/(*„, Г, ^(д, 1.(.)) = Г*-2'<
¦0*^00
Тт Т
< lim [5 (х„ («), м„ (t), t)dt-\ S{x («), м («), i) dt<T*- Т.
Полученное противоречивое неравенство доказывает теорему.
Пример 4. Пусть требуется наибыстрейшим образом перевести
точку (ж, у) ^Е^ из положения A, 0) в начало координат (О, 0), предполагая,
что движение точки подчиняется условиям x(t) = y(t), y(t) =u(t), u(t) e
eF@ ^{u^Eh \u\ ^1} (O^t^T),
Здесь G{0) = {A, 0)}, G(t) ~ ^2 при 0 ^ f < Г, Si(T) ={@, 0)}, 00^=
= 0o = 0}, ei = {r^o}.
В примере 6.2.4 с помощью принципа максимума была найдена
допустимая пара {(х^ (О, У* (t)), W* {t) (О < « < Г* = 2), где
г-1, o<f<i, fi~fV2, о;<«<1,
и* (t) = \ ^ х^ (t) = {
I 1, l<f<2, *'^ \{t-2f/2, l<f<2.
Покажем, что эта пара является решением рассматриваемой задачи
быстродействия. Возьмем функцию К(х, y,t)== х —{t — i)y. Тогда S (ж, у, щ t) =
= K^y + KyU + K^ + i=-{t-i)u + i, S^^^(t,T)= inf inf S(
(x,y)GE^ \Щ^^
Vj и, t) = ~\t—i\ + i при всех Т и Т'^0, S {х^ (t), y^{t), u^(t), t) =
T* г 2
= -n-l| + l; ^ S{x^(t), y^(t), u^(t), t)dt-^S^^^(t, r)df=J(l-
— \t — i\)dt <2— T=T*—T для всех Г @<Г < Г* = 2); s (ж, у^Т)=^ — К (х,
у, Г) = О при (:с, у) е ^, (Г), S {х^ (Г*), I/* (Г*), Т*) = 5^i^; iiT (:с, у, 0) = 1
при (^с, у) е G @) = X (О, Т) = {A, 0)}, /i: {х^ @), i/* @), 0) = 1 = К^^^^.
Кроме того, очевидно, формула A) для данной задачи будет
справедлива при всех допустимых управлениях и траекториях. В силу теоремы 5
момент Г* = 2 и пара ((ж* (•)» У* (•))» "*(•)) являются оптимальными.
Заметим, что функция Беллмана в этой задаче имеет разрывы первой
производной именно на оптимальной траектории [17, 65], в то время как функция
Кротова К(х, t) является просто многочленом.

530 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ [ГЛ. 7
В заключение упомянем, что функции Беллмана, Кротова тесно
связаны с функцией Ляпунова, широко используемой в теории
устойчивости [9].
Упражнения. 1. Рассмотреть задачу минимизации функции
г
J (и {•)) = \ {и^ (t) — х^ (t)) dt при условиях х@) = х{Т) = 0. Показать,
о
что пара (ы* (О ^0» ^* (О ^^) является оптимальной при О < Г < я.
Указание: функцию Кротова искать в виде К(х, t) = 'ф{t)x^.
2. С помощью принципа максимума найти подозрительные на
оптимальность управления и траектории, а затем доказать их оптимальность для
следующей задачи быстродействия: наибыстрейшим образом перевести
точку (хо, г/о) из заданного состояния в начало координат (О, 0), предполагая,
что движение точки подчиняется одному из следующих условий:
а) x(t) = y(t), y(t) = u(t), u(t) e V(t) = {u^E^: \u\^i},0^t^ T;
6)x(t)=y(t), y(t) =~x(t)+u(t), u(t)^V{t) = {u^E': \u\^i},
в) x(t) =y(t)+u(t), y(t) =-^(t) + vit), {u(t), v(t))^V(t)==
= {(щ v) ^E^: \u\ ^ 1, |r;| ^ 1}, 0< ^ ^ Г. Указание: функцию
Кротова искать в виде К{х, t) = '^i{t)x + '^2{t)y.
3. Перевести точку (ж, у, z) ^ Е^ из начала координат (О, О, 0) в точку
(а. О, 0) быстрейшим образом, если x{t) ^ y{t), y(t) = z(t), z{t) =u(t),
u(t) ^ V (t) =: {и ^ E^: |ц| ^ 1} {0 ^t ^T); a = const. Показать, что
оптимальное время Т*= C2[аI) 1/3. Указание: функцию Кротова искать в виде
К(х, t) = г|?1 (t)x + Ы^)У + 'Фз@^.
4. Рассмотреть задачу минимизации функции
т
/ (t^, Г, х^, и (.)) = J /' (^ it). ^ (О, t) dt + Ф^(х (g, g + Ф{х (Г), Т)
при условиях A3) —A6). Для этой задачи сформулировать и доказать
теоремы, аналогичные теоремам 1—4.

СПИСОК ЛИТЕРАТУРЫ
ОСНОВНАЯ ЛИТЕРАТУРА
1. Алексеев В. М., Галеев Э. М., Тихомиров В. М. Сборник
задач по оптимизации. Теория. Примеры. Задачи.—М.: Наука, 1984.—
288 с.
2. Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное
управление.— М.: Наука, 1979.— 432 с.
3. Ашманов С. А. Линейное программирование.— М.: Наука, 1981.—
304 с.
4. Бахвалов Н. С, Жидков Н. П., Кобельков Г. М. Численные
методы.—М.: Наука, 1987.—600 с.
5. Бублик Б. Н., Кириченко Н. Ф. Основы теории управления.—
Киев: Вища школа, 1975.— 328 с.
6. Васильев Ф. П. Методы решения экстремальных задач.— М.:
Наука, 1981 — 400 с.
7. Габасов Р., Кириллова Ф. М. Методы оптимизации.— Минск:
Изд-во БГУ, 1981.— 352 с.
8. Евтушенко Ю. Г. Методы решения экстремальных задач и их
применение в системах оптимизации.— М.: Наука, 1982.— 432 с.
9. Зубов В. И. Лекции по теории управления.—М.: Наука, 1975.—
496 с.
10. Ильин В. А., Садовничий В. А., С е н д о в Бл. X. Математический
анализ. Начальный курс—М.: Изд-во МГУ, 1985.—660 с.
11. Карманов В. Г. Математическое программирование.— М.: Наука,
1986.— 288 с.
12. Ляшенко И. Н., Карагодова Е. А., Черникова Н. В.,
Шор Н. 3. Линейное и нелинейное программирование.— Киев: Вища
школа, 1975.—372 с.
13. Mapчук Г. И. Методы вычислительной математики.— М.: Наука,
1980.— 536 с.
14. Моисеев Н. Н. Элементы теории оптимальных систем.— М.: Наука,
1975.-528 с.
15. Моисеев Н. Н., Иванилов Ю. П., Столярова Е. М. Методы
оптимизации.—М.: Наука, 1978.—352 с.
16. Морозов В. В., Сухарев А. Г., Федоров В. В.
Исследование операций в задачах и упражнениях,—М.: Высшая школа, 1986.—
287 с.
17. Понтрягин Л. С, Болтянский В. Г., Гамкрелидзе Р. В.,
Мищенко Е. Ф. Математическая теория оптимальных процессов.—
М.: Наука, 1976.— 392 с.
18. Пшеничный Б. Н. Выпуклый анализ и экстремальные задачи.—
М.: Наука, 1980.— 320 с.
19. Пшеничный Б. Н., Данилин Ю. М. Численные методы в
экстремальных задачах.— М.: Наука, 1975.— 320 с.

532
СПИСОК ЛИТЕРАТУРЫ
20. Самарский А. А., Николаев Е. С. Методы решения сеточных
уравнений.— М.: Наука, 1978.— 592 с.
21. Сухарев А. Г., Тимохов А. В., Федоров В. В. Курс методов
оптимизации.— М.: Наука, 1986.— 328 с.
22. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных
задач.— М.: Наука, 1986 — 288 с.
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
23. Абрамов Л. М., Капустин В. Ф. Математическое
программирование.—Л.: Изд-во ЛГУ, 1981.—328 с.
24. Аваков Е. Р. Условия экстремума для гладких задач с
ограничениями типа равенств // Журн. вычислит, матем. и матем. физики.—
1985.— Т. 25, № 5.— С. 680-693.
25. Акулич И. Л. Математическое программирование в примерах и
задачах.— М.: Высшая школа, 1986.— 319 с.
26. Алексеев О. Г. Комплексное применение методов дискретной
оптимизации.— М.: Наука, 1987.— 248 с.
27. Альбер Я. И., Шильман С. В. Метод обобщенного градиента:
сходимость, устойчивость и оценки погрешности / Журн. вычисл.
матем. и матем. физики.— 1982.— Т. 22, № 4.— С. 814—823.
28. Анрион Р. Теория второй вариации и ее приложения в
оптимальном управлении.—М.: Наука, 1979.—208 с.
29. Антипин А. С. Методы нелинейного программирования,
основанные на прямой и двойственной модификации функции Лагранжа.—М.:
Изд-во Всесоюзного научно-исследовательского института системных
исследований, 1979.— 74 с.
30. Аоки М. Введение в методы оптимизации.— М.: Наука, 1977.— 344 с.
31. Арутюнов А. В. О необходимых условиях оптимальности в
задаче с фазовыми ограничениями / ДАН СССР.— 1985.— Т. 280, № 5.—
С. 1033-1037.
32. Арутюнов А. В., Марданов М. Дж. К теории оптимальных
процессов с запаздываниями // Дифференциальные уравнения.— 1986.—
Т. 22, № 8.- С. 1291—1298.
33. Астафьев Н. Н. Линейные неравенства и выпуклость.— М.: Наука,
1982.— 152 с.
34. Ахиев С. С. О необходимых условиях оптимальности для систем
функционально-дифференциальных уравнений / ДАН СССР.—1979.—
Т. 247, № 1.— С. 11-14.
35. Ашманов С. А. Введение в математическую экономику.—М.:
Наука, 1984.— 296 с.
36. Ащепков Л. Т. Оптимальное управление линейными системами.—
Иркутск: Изд-во ИГУ, 1982.— 116 с.
37. Ащепков Л. Т. Оптимальное управление разрывными системами.—
Новосибирск: Наука, 1987.—226 с.
38. Ащепков Л. Т., Белов Б. И., Булатов В. П., Васильев О. В.,
Срочко В. А., Тарасенко Н. В. Методы решения задач
математического программирования и оптимального управления.— Новосибирск:
Наука, 1984.— 234 с.
39. Бабенко К. И. Основы численного анализа.— М.: Наука, 1986.—
744 с.
40. Багриновский К. А., Бусыгин В. П. Математика плановых
решений.—М.: Наука, 1980.—224 с.
41. Базара М., Шетти К. Нелинейное программирование. Теория и
алгоритмы.— М.: Мир, 1982.— 584 с.
42. Бакушинский А. Б. Итерационные регуляризующие алгоритмы
для нелинейных задач / Журн. вычисл. матем. и матем. физики,—
1987.—Т. 27, № 4 —С. 617—621.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
533
43. Баничук Н. В. Оптимизация форм упругих тел.—М.: Наука,
1980.— 256 с.
44. Банк Б., Белоусов Е. Г., Мандель Р., Черемных Ю. Н.,
Широнин В. М. Математическая оптимизация: вопросы
разрешимости и устойчивости.— М.: Изд-во МГУ, 1986.— 216 с.
45. Бартиш М. Я. Об одном классе методов типа Ньютона / Вестник
МГУ. Сер. вычислит, матем. и киберн.— 1987, № 2.— С. 16—20.
46. Батищев Д. И. Методы оптимального проектирования.— М.: Радио
и связь, 1984.—248 с.
47. Батухтин В. Д., Майборода Л. А. Оптимизация разрывных
функций.— М.: Наука, 1984.— 208 с.
48. Бейко И. В., Бублик Б. Н., 3инько П. Н. Методы и
алгоритмы решения задач оптимизации.— Киев: Вигца школа, 1983.—
512 с.
49. Беленький В. 3., Волконский В. А., Иванков С. А., По-
манский А. Б., Шапиро А. Д. Итеративные методы в теории игр
и программировании.— М.: Наука, 1974.— 240 с.
50. Беллман Р. Процессы регулирования с адаптацией.— М.: Наука,—
1964.— 360 с.
51. Белолипецкий А. А., Рябов А. Ю. Асимптотические оценки
решений задачи оптимального быстродействия вблизи точек излома
изохронной поверхности / Журн. вычисл. матем. и матем. физики.—
1986.— Т. 26, № 4.— С. 521—535.
52. Белоусов Е. Г. Введение в выпуклый анализ и целочисленное
программирование.— М.: Изд-во МГУ, 1977.— 196 с.
53. Бердышев В. И. Непрерывность многозначного отображения,
связанного с задачей минимизации функционала / Изв. АН СССР. Сер.
матем.— 1980.— Т. 44, № 3.— С. 483-509.
54. Березин И. С, Жидков Н. П. Методы вычислений. Том I.— М.:
Наука, 1966.—632 с. Том 2.—М.: Физматгиз, 1962.—640 с.
55. Березнев В. А. Математические методы планирования
производственной программы предприятий легкой промышленности.— М.: Легкая
индустрия, 1980.— 144 с.
56. Березнев В. А., Карманов В. Г., Третьяков А. А. О
стабилизирующих свойствах градиентного метода // Журн. вычислит, матем.
и матем. физики.— 1986.— Т. 26, № 1 — С. 134—137.
57. Береснев В. Л., Гимади Э. X., Дементьев В. Т.
Экстремальные задачи стандартизации.— Новосибирск: Наука, 1978.— 334 с.
58. Бертсекас Д. Условная оптимизация и методы множителей Лаг-
ранжа — М.: Радио и связь, 1987.— 400 с.
59. Бертсекас Д., Шрив С. Стохастическое оптимальное
управление: случай дискретного времени.— М.: Наука, 1985.— 280 с.
60. Бистрицкас В. Б. Приближенное решение уравнений
динамического программирования // Журн. вычисл. матем. и матем. физики.—
1985.—Т. 25, № 8.—С. Д31—1142.
61. Благодатских В. И. Линейная теория оптимального
управления.— М.: Изд-во МГУ, 1978 — 96 с.
62. Благодатских В. И. Принцип максимума для
дифференциальных включений / Тр. Мат. ин-та АН СССР.—1984.— Т. 166.—
С. 23—43.
63. Благодатских В. И., Филиппов А. Ф. Дифференциальные
включения и оптимальное управление // Тр. Мат. ин-та АН СССР.—
1985 —Т. 169.—С. 194—252.
64. Блисс Г. А. Лекции по вариационному исчислению.— М.: Изд-во
иностр. литературы, 1950.— 348 с.
65. Болтянский В. Г. Математические методы оптимального
управления— М.: Наука, 1969.— 408 с.
66. Болтянский В. Г. Оптимальное управление дискретными
системами.—М.: Наука, 1973.—448 с.

534
СПИСОК ЛИТЕРАТУРЫ
67. Болтянский В. Г. Метод шатров в топологических векторных про*
странствах // ДАН СССР.— 1986.— Т. 289, № 5.— С. 1036—1039.
68. Брайсон А., Xо Ю-Ши. Прикладная теория оптимального уп-
равления.—М.: Мир, 1972.—544 с.
69. Бублик Б. Н., Гаращенко Ф. Г., Кириченко Н. Ф.
Структурно-параметрическая оптимизация и устойчивость динамики
пучков.— Киев: Наукова думка, 1985.— 304 с.
70. Будак Б. М., Васильев Ф. П. Некоторые вычислительные
аспекты задач оптимального управления.— М.: Изд-во МГУ, 1975.—
172 с.
71. Булавский В. А., Звягина Р. А., Яковлева М. А.
Численные методы линейного программирования.— М.: Наука, 1977.—
368 с.
72. Булатов В. П. Методы погружения в задачах оптимизации.—
Новосибирск: Наука, 1977.— 160 с.
73. Бурдаков О. П. Устойчивые варианты метода секущих для
решения систем уравнений / Журн. вычисл. матем. и матем.' физики.—
1983.— Т. 23, № 5.— С. 1027—1040.
74. Буслаев В. С. Вариационное исчисление.—Л.: Изд-во ЛГУ, 1980.—
288 с.
75. Бутковский А. Г. Фазовые портреты управляемых динамических
систем.— М.: Наука, 1985.— 136 с.
76. Вайникко Г. М., Веретенников А. Ю. Итерационные
процедуры в некорректных задачах.—М.: Наука, 1986.—182 с.
77. Варга Дж. Оптимальное управление дифференциальными и
функциональными уравнениями.—М.: Наука, 1977.— 624 с.
78. Васильев Н. С. О численном решении экстремальных задач
построения эллипсоидов и параллелепипедов // Журн. вычислит, матем.
и матем. физики — 1987.— Т. 27, № 3.— С. 340—348.
79. Васильев О. В. Методы оптимизации в конечномерных
пространствах.— Иркутск: Изд-во Иркутск, ун-та, 1979.— 90 с.
80. Васильев О. В. Методы оптимизации в функциональных
пространствах.— Иркутск: Изд-во Иркутск, ун-та, 1979.— 120 с.
81. Васильев Ф. П. Лекции по методам решения экстремальных
задач.—М.: Изд-во МГУ, 1974.-376 с.
82. Васильев Ф. П. О методе нагруженных функционалов / Вестник
МГУ. Сер. вычисл. матем. и киберн., 1978 — № 3.— С. 24—32.
83. Васильев Ф. П. Численные методы решения экстремальных
задач— М.: Наука, 1980.— 520 с.
84. Васильев Ф. П. Применение негладких штрафных функций в
методе регуляризации неустойчивых задач минимизации / Журн.
вычислит, матем. и матем. физики.— 1987.— Т. 27, № 10.— С. 1444—
1450.
85. Васильев Ф. П., Константинова Т. В. Об одном обобщении
метода нагруженных функционалов / Вестник МГУ. Сер. вычисл.
матем. и киберн.— 1983, № 2.— С. 3—8.
86. Васильев Ф. П., Солодкая М. С, Ячимович М. Д. О регуля-
ризованном методе линеаризации при наличии погрешностей в
исходных данных / Вестник МГУ. Сер. вычисл. матем. и киберн.—1985,
№ 4.— С. 3—8.
87. Васильев Ф. П., Хромова Л. Н., Ячимович М. Д.
Итеративная регуляризация одного метода минимизации третьего
порядка / Вестник МГУ. Сер. вычисл. матем. и киберн.—1981, № 1.—
С. 31—36.
88. Васин А. А. Модели процессов с несколькими участниками,— М.:
Изд-во МГУ, 1983.— 84 с.
89. Васин В. В. Дискретная аппроксимация и устойчивость в
экстремальных задачах // Журн. вычисл. матем. и матем. физики.—1982.—
Т. 22, № 4.— С. 824—839.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
535
90. Вилков А. В., Жидков Н. П., Щедрин Б. М. Метод отыскания
глобального минимума функции одного переменного / Журн.
вычислит, матем. и матем. физики.— 1975.— Т. 15, № 4.— С. 1040—1042.
91. Вилков В. Б. Некоторые свойства функции Лагранжа в задачах
математического программирования.— Кибернетика, 1986, № 1.—
С. 65—69.
92. Владимиров А. А., Нестеров Ю. Е., Чеканов Ю. Н. О
равномерно выпуклых функционалах / Вестник МГУ. Сер. вычисл.
матем. и киберн.— 1978, № 3.— С. 12—23.
93. Воеводин В. В. Линейная алгебра.— М.: Наука, 1980.— 400 с.
94. Волошин А. Ф. Метод локализации области оптимума в задачах
математического программирования / ДАН СССР.— 1987.— Т. 293,
№ 3.— С. 549—553.
95. Воробьев Н. Н. Числа Фибоначчи.—М.: Наука, 1978.—144 с.
96. Воробьев Н. Н. Теория игр. Лекции для
экономистов-кибернетиков.—Л.: Изд-во ЛГУ, 1985.—268 с.
97. Габасов Р. Ф., Кириллова Ф. М. Качественная теория
оптимальных процессов.— М.: Наука, 1971.— 508 с.
98. Габасов Р. Ф., Кириллова Ф. М. Особые оптимальные
управления—М.: Наука, 1973.-256 с.
99. Габасов Р. Ф., Кириллова Ф. М. Оптимизация линейных
систем— Минск: Изд-во БГУ, 1973 — 248 с.
100. Габасов Р. Ф., Кириллова Ф. М. Принцип максимума в
теории оптимального управления.— Минск: Наука и техника, 1974.—
272 с.
101. Габасов Р. Ф., Кириллова Ф. М. Основы динамического
программирования.— Минск: Изд-во БГУ, 1975.— 264 с.
102. Габасов Р. Ф., Кириллова Ф. М. Методы линейного
программирования.— Минск: Изд-во БГУ. Часть 1, 1977.—176 с, часть 2,
1978.— 240 с, часть 3, 1980.— 368 с.
103. Гавурин М. К., Малоземов В. Н. Экстремальные задачи с
линейными ограничениями.— Л.: Изд-во ЛГУ, 1984.— 176 с.
104. Гамкрелидзе Р. В. Основы оптимального управления.— Тбилиси:
Изд-во Тбилисского ун-та, 1977.— 254 с.
105. Гантмахер Ф. Р. Теория матриц.— М.: Наука, 1967.— 576 с.
106. Ганшин Г. С. Методы оптимизации и решение уравнений.— М.:
Наука, 1987.— 128 с.
107. Гапоненко Ю. Л. Метод последовательной аппроксимации для
решения нелинейных экстремальных задач / Известия вузов. Сер.
матем.— 1980, № 5.— С. 12—15.
108. Гельфанд И. М., Фомин С. В. Вариационное исчисление.— М.:
Физматгиз, 1961—228 с.
109. Гермейер Ю. Б. Введение в теорию исследования операций.— М.:
Наука, 1971.-384 с.
НО. Гермейер Ю. Б. Игры с непротивоположными интересами.—М.:
Наука, 1976.— 328 с.
111. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация.—
М.: Мир, 1985.—509 с.
112. Гилязов С.. Ф. Методы решения линейных некорректных задач.—
М.: Изд-во МГУ, 1987.— 120 с.
ИЗ. Гладков Д. И. Оптимизация систем неградиентным случайным
поиском.— М.: Энергоатомиздат, 1984.— 256 с.
114. Гнеденко Б. В. Математика — народному хозяйству.—Новое в
жизни, науке, технике. Сер. Математика, кибернетика.— М.: Знание, 1977,
№ 10.— 64 с.
115. Голиков А. И., Жадан В. Г. Две модификации метода
линеаризации в нелинейном программировании // Журн. вычислит, матем. и
матем. физики.— 1983.— Т. 23, № 2.— С. 314—325.

536
СПИСОК ЛИТЕРАТУРЫ
116. Гольштейн Е. Г., Третьяков Н. В. Модифицированные
функции Лагранжа и их применение // Экономика и матем. методы.— 1983.—
Т. 19, № 3.- С. 528-547.
117. Горбунов В. К. Методы редукции неустойчивых вычислительных
задач.— Фрунзе: Илим, 1984.— 134 с.
118. Горелик В. А., Кононенко А. Ф. Теоретико-игровые модели
принятия решений в эколого-экономических системах.— М.: Радио и
связь, 1982.— 145 с.
119. Гребенников А. И. Метод сплайнов и решение некорректных
задач теории приближений.— М.: Изд-во МГУ, 1983.— 208 с.
120. Григоренко Н. Л. Дифференциальные игры преследования
несколькими объектами.— М.: Изд-во МГУ, 1983.— 79 с.
121. Гродзовский Г. Л., Иванов Ю. Нм Токарев В. В. Механика
космического полета с малой тягой.— М.: Наука, 1966.— 680 с.
122. Гроссман К., Каплан А. А. Нелинейное программирование
на основе безусловной минимизации.— Новосибирск: Наука, 1981.—
184 с.
123. Гупал А. М. Стохастические методы решения негладких
экстремальных задач.— Киев: Наукова думка, 1979.— 152 с.
124. Гурман В. И. Вырожденные задачи оптимального управления.—
М.: Наука, 1977.— 304 с.
125. Гурман В. И. Принцип расширения в задачах управления.— М.:
Наука, 1985 — 288 с.
126. Давыдов Э. Г. Методы и модели теории антагонистических игр.—
М.: Изд-во МГУ, 1978.— 208 с.
127. Дамбраускас А. П. Симплексный поиск.— М.: Энергия, 1979.—
176 с.
128. Данилин Ю. М. Оценка эффективности одного алгоритма
отыскания абсолютного минимума / Журн. вычисл. матем. и матем.
физики.—1971—Т. И, № 4.—С. 1026—1031.
129. Данилин Ю. М., Ковнир В. Н. Об одной точной штрафной
функции для задачи нелинейного программирования.— Кибернетика, 1986,
№ 5.— С. 43-46.
130. Данциг Дж. Линейное программирование, его применения и обоб*
щения.— М.: Прогресс, 1966.— 600 с.
131. Даффин Р., Питерсон Э., Зенер К. Геометрическое
программирование.— М.: Мир, 1972.— 312 с.
132. Демьянов В. Ф., Васильев Л. В. Недифференцируемая
оптимизация.— М.: Наука, 1981.— 384 с.
133. Демьянов В. Ф., Малоземов В. Н. Введение в минимакс— М.:
Наука, 1972.— 368 с.
134. Денисов Д. В., Карманов В. Г., Третьяков А. А.
Ускоренный метод Ньютона для решения функциональных уравнений // ДАН
СССР.—1985.—Т. 281, № 6.—1293—1297.
135. Дикин И. И., Зоркальцев В. И. Итеративное решение задач
математического программирования.— Новосибирск: Наука, 1980.—
144 с.
136. Дончев А. Системы оптимального управления. Возмущения,
приближения и анализ чувствительности.— М.: Мир, 1987.— 156 с.
137. Дубовицкий А. Я., Милютин А. А. Необходимые условия
слабого экстремума в общей задаче оптимального управления.— М.:
Наука, 1971 — 114 с.
138. Дюркович Е. Численный метод нахождения времени
быстродействия с заданной точностью / Журн. вычисл. матем. и матем. физики.—
1983.—Т. 23, № 1.—С. 51—60.
139. Евтушенко Ю. Г. Численный метод поиска глобального
экстремума функций (перебор на неравномерной сетке) // Журн. вычисл.
матем. и матем. физики.— 1971.—Т. И, № 6.—С. 1390—1703.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
637
140. Евтушенко Ю. Г., Жадан В. Г. Об одном подходе к
систематизации численных методов нелинейного программирования.—
Техническая кибернетика, 1983, 4 1.— С. 47—59.
141. Евтушенко Ю. Г., Ратькин В. А. Метод половинных делений
для глобальной оптимизации функции многих
переменных.—Техническая кибернетика, 1987, № 1 — С. 119—127.
142. Егоров А. И. Оптимальное управление тепловыми и
диффузионными процессами.— М.: Наука, 1978.— 464 с.
143. Емеличев В. А., Комлик В. И. Метод построения
последовательности планов для решения задач дискретной оптимизации.— М.: Hay*
ка, 1981.— 208 с.
144. Еремин И. И., Астафьев Н. Н. Введение в теорию линейного и
выпуклого программирования.— М.: Наука, 1976.— 192 с.
145. Еремин И. И., Мазуров В. Д. Нестационарные процессы мате*
матического программирования.— М.: Наука, 1979.— 288 с.
146. Еремин И. И., Мазуров В. Д., Астафьев Н. Н.
Несобственные задачи линейного и выпуклого программирования.— М.: Наука,
1983.— 336 с.
147. Ермаков СМ., Жиглявский А. А. Математическая теория
оптимального эксперимента.— М.: Наука, 1987.— 320 с.
148. Ермольев Ю. М. Методы стохастического программирования.— М.:
Наука, 1976.— 240 с.
149. Ермольев Ю. М., Гуленко В. П., Царенко Т. И. Конечно-
разностный метод в задачах оптимального управления.— Киев: Науко-»
ва думка, 1978.— 164 с.
150. Ермольев Ю. М., Ляшко И. И., Михалевич В. С,
Тюптя В. И. Математические методы исследования операций.— Киев: Ви-
ща школа, 1979.— 312 с.
151. Ермольев Ю. М., Ястремский А. И. Стохастические
модели и методы в экономическом планировании,—М.: Наука, 1979.—
254 а
152. Жадан В. Г. Об одном классе итеративных методов решения задач
выпуклого программирования / Журн. вычисл. матем. и матем.
физики.— 1984.— Т. 24, № 5.— С. 665—676.
153. Жданов В. А. О методе покоординатного спуска II Мат. заметки.—
1977.— Т. 22, вып. 1.— С. 137—142.
154. Жиглявский А. А. Математическая теория глобального
случайного поиска.—Л.: Изд-во ЛГУ, 1985.—296 с.
155. Заботин Я. И. Лекции по линейному программированию.—
Казань: Изд-во Казанск. ун-та, 1985.— 98 с.
156. Заботин Я. И., Кораблев А. И., Хабибуллин Р. Ф.
Условия экстремума функционала при наличии ограничений.—
Кибернетика, 1973, № 6. С. 65—70.
157. Заботин Я. И., Крейнин М. И. К сходимости методов отыскания
минимакса / Известия вузов. Сер. матем,—1977.—№ 10 A85). С. 56—
64.
158. Завриев С. К. Стохастические градиентные методы решения
минимаксных задач.— М.: Изд-во МГУ, 1984.— 82 с.
159. 3ангвилл У. И. Нелинейное программирование.— М.: Советское
радио, 1973.- 312 с.
160. Зорич В. А. Математический анализ.—М.: Наука, ч. I, 1981.— 543 с,
ч. II, 1984.- 640 с.
161. Иванов В. А., Фалдин Н. В. Теория оптимальных систем
автоматического управления.— М.: Наука, 1981.— 336 с.
162. Иванов В. К., Васин В. В., Танана В. П. Теория линейных
некорректных задач и ее приложения.—М.: Наука, 1978.—208 с.
163. Ижуткин В. С, Кокурин М. Ю. О гибридном методе
нелинейного программирования, использующем криволинейный спуск /
Известия вузов. Сер. матем.— 1986, № 2.— С. 61—64.

538
СПИСОК ЛИТЕРАТУРЫ
164. Ильин В. А., Позняк Э. Г. Линейная алгебра.—М.: Наука, 1974,
296 с.
165. Ильин В. А., Позняк Э. Г. Основы математического анализа.—
М.: Наука, ч. I, 1971.—600 с, ч. И, 1973.—448 с.
166. Иоффе А. Д., Тихомиров В. М. Теория экстремальных задач.—
М.: Наука, 1974.—480 с.
167. Казимиров В. И., Плотников В. И., Старобинец И. М. Аб-
страктная схема метода вариаций и необходимые условия экстремума //
Изв. АН СССР. Сер. матем.— 1985.—Т. 49, № i._c. 141—159.
168. Калихман И. Л. Сборник задач по математическому
программированию.— М.: Высшая школа, 1975.— 270 с.
169. Калихман И. Л., Войтенко М. А. Динамическое
программирование в примерах и задачах.— М.: Высшая школа, 1979.— 126 с.
170. Капустин В. Ф. Практические занятия по курсу математического
программирования.—Л.: Изд-во ЛГУ, 1976.—192 с.
171. Карманов В. Г., Третьяков А. А. Оценка скорости сходимости
некоторых методов покоординатного спуска // Вестн. МГУ. Сер. 15. Вы-
числ. матем. и киберн.— 1985, № 2.— С. 41—46.
172. Карташев А. П., Рождественский Б. Л. Обыкновенные
дифференциальные уравнения и основы вариационного исчисления.— М.:
Наука, 1986 — 287 с.
173. Катковник В. Я. Линейные оценки и стохастические задачи
оптимизации.—М.: Наука, 1976.—488 с.
174. Кирин Н. Е. Методы последовательных оценок в задачах
оптимизации управляемых систем.— Л.: Изд-во ЛГУ, 1975.— 160 с.
175. Киселев Ю. Н. Линейная теория быстродействия с возмущениями.—
М.: Изд-во МГУ, 1986.— 106 с.
176. Ковалев М. М. Дискретная оптимизация.— Минск: Изд-во БГУ,
1977.— 191 с.
177. Ковач М. Непрерывный аналог итеративной регуляризации
градиентного типа II Вестн. МГУ. Сер. вычисл. матем. и киберн.— 1979.—
№ 3.— С. 36—42.
178. Ковач М. О сходимости метода обобщенных барьерных функций Ц
Вестн. МГУ. Сер. вычисл. матем. и киберн.— 1981.— № 1.— С. 40—
45.
179. Колмогоров А. Н., Фомин С. В. Элементы теории функций и
функционального анализа.— М.: Наука, 1976.—544 с.
180. Коростелев А. П. Стохастические рекуррентные процедуры
(локальные свойства).— М.: Наука, 1984.— 2081 с.
181. Коша А. Вариационное исчисление.—М.: Высшая школа, 1983.—
279 с.
182. Краснов М. Л., Макаренко Г. И., Киселев А. И.
Вариационное исчисление. Задачи и упражнения.— М.: Наука, 1973.—
192 с.
183. Краснощеков П. С, Петров А. А. Принципы построения
моделей—М.: Изд-во МГУ, 1983.-264 с.
184. Красовский Н. Н. Теория управления движением.— М.; Наука,
1968.— 476 с.
185. Красовский Н. Н. Игровые задачи о встрече движений.—М.:
Наука, 1970.— 420 с.
186. Красовский Н. Н. Управление динамической системой. Задача о
минимуме гарантированного результата.—М.: Наука, 1985.—520 с.
187. Красовский Н. Н., Субботин А. И. Позиционные
дифференциальные игры.— М.: Наука, 1974.— 456 с.
188. Кротов В. Ф., Букреев В. 3., Гурман В. И. Новые методы
вариационного исчисления в динамике полета.— М.: Машиностроение,
1969.— 288 с.
189. Кротов В. Ф., Гурман В. И. Методы и задачи оптимального уп*
равления.— М.: Наука, 1973.— 448 с.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
539
190. Кузнецов Ю. Н., Кузубов В. И., Волощенко А. Б.
Математическое программирование.— М.: Высшая школа, 1980.—
302 с.
191. Кукушкин Н. С, Морозов В. В. Теория неантагонистических
игр.—М.: Изд-во МГУ, 1984— 104 с.
192. Куржанский А. Б. Управление и наблюдение в условиях
неопределенности.— М.: Наука, 1977.— 392 с.
193. Лагунов В. Н. Введение в дифференциальные игры.— Вильнюс:
Институт матем. и кибернетики АН Литовской ССР, 1979.— 342 с.
194. Лебедев В. Ю. Декомпозиционный метод решения блочных задач
линейного программирования со связывающими переменными / Журн.
вычисл. матем. и матем. физики.—1981.—Т. 21, № 4.—С. 881—
886.
195. Левин В. Л. Выпуклый анализ в пространствах измеримых функций
и его применение в математике и экономике.— М.: Наука, 1985.—
352 с.
196. Левитин Е. С. К теории возмущений негладких экстремальных
задач с ограничениями II ДАН СССР.—1975.—Т. 224, № 6.—С. 1260—
1263.
197. Лейхтвейс К. Выпуклые множества.— М.; Наука, 1985.— 336 с.
198. Леонов А. С. О применении обобщенного принципа невязки для
решения некорректных экстремальных задач / ДАН СССР.—1982.—
Т. 262, № 6.— С. 1306-1310.
199. Ли Э. В., Маркус Л. Основы теории оптимального управления.—
М.: Наука, 1972.—576 с.
200. Лисковец О. А. Вариационные методы решения неустойчивых
задач.— Минск: Изд-во Наука и техника, 1981.— 344 с.
201. Лоран П.-Ж. Аппроксимизация и оптимизация.— М,: Мир, 1975.—
496 с.
202. Лотов А. В. Введение в экономико-математическое моделирование.—
М.: Наука, 1984.— 392 с.
203. Лэсдон Л. С. Оптимизация больших систем.—М.: Наука, 1975.—
432 с.
204. Любушин А. А., Черноусько Ф. Л. Метод последовательных
приближений для решения задач оптимального управления // Изв. АН
СССР. Сер. технич. киберн.— 1983.— № 2 — С. 147—159.
205. Мансимов К. Б. Многоточечные необходимые условия
оптимальности особых в классическом смысле управлений в системах с
запаздыванием II Дифференц. уравнения.— 1985.— Т. 21, № 3.— С. 527—
530.
206. Марданов М. Д. Некоторые вопросы математической теории
оптимальных процессов в системах с запаздываниями.— Баку: Изд-во Азерб.
ун-та, 1987.— 120 с.
207. Марчук Г. И. Математическое моделирование в проблеме
окружающей среды.— М.: Наука, 1982.— 320 с.
208. Марчук Г. И. Окружающая среда и проблемы оптимизации Ц Тр.
МИАН СССР. Т. 166.—М.: Наука, 1984.—С. 123—129.
209. Марчук Г. И., Лебедев В. И. Численные методы в теории
переноса нейтронов.— М.: Атомиздат, 1981.— 454 с.
210. Матвеев А. С. О необходимых условиях экстремума в задаче
оптимального -управления с фазовыми ограничениями / Дифференц.
управления— 1987 — Т. 23, № 4 — С. 629—640.
211. Meеров М. В. Исследование и оптимизация многосвязных систем
управления.— М.: Наука, 1986.— 236 с.
212. Мезенцев А. В. Сборник задач по теории оптимального
управления—М.: Изд-во МГУ, 1980.—48 с.
213. Михалевич В. С, Волкович В. Л. Вычислительные методы
исследования и проектирования сложных систем.— М.: Наука, 1982.—
286 с.

540
СПИСОК ЛИТЕРАТУРЫ
214. Михалевич В. С, Гупал А. М., Норкин В. И. Методы
невыпуклой оптимизации.— М.: Наука, 1987.— 280 с.
215. Михалевич В. С, Кукса А. И. Методы последовательной
оптимизации в дискретных сетевых задачах оптимального распределения
ресурсов.— М.: Наука, 1983.— 208 с.
216. Михалевич В. С, Трубин В. А., Шор Н. 3. Оптимизационные
задачи производственно-транспортного планирования: модели, методы,
алгоритмы.— М.: Наука, 1986.— 259 с.
217. Моисеев Н. Н. Численные методы в теории оптимальных систем.—
М.: Наука, 1971.—424 с.
218. Моисеев Н. Н. Математические задачи системного анализа.— М.:
Наука, 1981.— 488 с.
219. Мордухович Б. Ш. Методы аппроксимаций в задачах оптимизации
и управления.— М.: Наука. 1988.— 360 с.
220. Мороз А. И. Курс теории систем.— М.: Высшая школа, 1987.— 304 с.
221. Морозов В. А. Регулярные методы решения некорректно
поставленных задач —М.: Изд-во МГУ, 1974.—360 с.
222. Морозов С. Ф., Сумин М. И. Об одном классе задач управления
динамическими системами с разрывной правой частью.— Кибернетика,
1985, № 3.-G. 59-71.
223. Москаленко А. И. Методы нелинейных отображений в
оптимальном управлении.— Новосибирск: Наука, 1983.— 223 с.
224. Муртаф Б. Современное линейное программирование.— М.: Мир,
1984.- 224 с.
225. Мухачева Э. А., Рубинштейн Г. Ш. Математическое
программирование.— Новосибирск: Наука, 1977.— 320 с.
226. Наконечный А. Г. Минимальное оценивание функционалов от
решений вариационных уравнений в гильбертовых пространствах.—
Киев: Изд-во Киевск. ун-та, 1985.— 84 с.
227. Немировский А. С., Нестеров Ю. Е. Оптимальные методы
гладкой выпуклой минимизации / Журн. вычисл. матем. и матем.
физики.— 1985.— Т. 25, № 3.— С. 356—369.
228. Немировский А. С, Юдин Д. Б. Сложность задач и
эффективность методов оптимизации.— М.: Наука, 1979.— 384 с.
229. Нестеров Ю. Е. Об одном классе методов безусловной
минимизации выпуклой функции, обладающих высокой скоростью сходимости //
Журн. вычисл. матем. и матем. физики.— 1984.— Т. 24, № 7.— С, 1090—
1093.
230. Нефедов В. Н. Методы регуляризации многокритериальных
задач оптимизации.— М.: Изд-во Московск. авиацион. ин-та, 1984.—
56 с.
231. Нефедов В. Н. Отыскание глобального максимума функции
нескольких переменных на множестве, заданном ограничениями типа
неравенств II Журн. вычисл. матем. и матем. физики.— 1987.— Т. 27,
№ 1.— С. 35-51.
232. Никольский СМ. Первый прямой метод Л. С. Понтрягина в
дифференциальных играх.— М.: Изд-во МГУ, 1984.— 64 с.
233. Никольский С. М. Курс математического анализа.— М.: Наука,
1973.— Т. 1.— 432 с. Т. 2.- 392 с.
234. Ногин В. Д., Протодьяконов И. О., Евлампиев И. И.
Основы теории оптимизации.— М.: Высшая школа, 1986.— 384 с.
235. Нурминский Е. А. Численные методы решения
детерминированных и стохастических минимаксных задач.— Киев: Наукова думка,
1979 — 158 с.
236. Орлов М. В. О некоторых численных методах решения линейной
задачи быстродействия / Вестник МГУ. Сер. вычисл. матем. и
кибернетики.— 1986.—№ 4.— С. 41—46.
237. Орловский С. А. Проблемы принятия решений при нечетной ис*
ходной информации.— М.: Наука, 1981.— 208 с.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
541
238. Ортега Д., Рейнболдт В. Итерационные методы решения
нелинейных систем уравнений со многими неизвестными.— М.: Мир, 1975.—
560 с.
239. Островский А. М. Решение уравнений и систем уравнений.—М.:
Изд-во иностр. литературы, 1963.— 220 с.
240. Панин В. М. Методы конечных штрафов с линейной
аппроксимацией ограничений // Кибернетика.— 1984.— Ч. 1, № 2.— С. 44—50.—
Ч. 2, № 4.— С. 73-81.
241. Певный А. Б. Об оптимальных стратегиях поиска максимума
функции с ограниченной старшей производной // Журн. вычисл. матем. и
матем. физики — 1982.— Т. 22, № 5 — С. 1061—1066.
242. Первозванский А. А., Гайцгори В. Г. Декомпозиция,
агрегирование и приближенная оптимизация.— М.: Наука, 1979.—
344 с.
243. Петров Ю. П. Вариационные методы теории оптимального
управления.— Ленинград: Энергия, 1977.— 288 с.
244. Петросян Л. А., Томский Г. В. Динамические игры и их
приложения.—Л.: Изд-во ЛГУ, 1982.—252 с.
245. Пионтковский О. В. О минимизации нелинейных функционалов в
нормированных пространствах.— Успехи матем. наук, 1974.— Т. 29,
№ 3.- С. 225-226.
246. Пиявский С. А. Один алгоритм отыскания абсолютного
экстремума функции / Журн. вычисл. матем. и матем. физики.— 1972.— Т. 12,
№ 4.— С. 888—896.
247. Подиновский В. В., Ногин В. Д. Парето-оптимальные решения
многокритериальных задач.— М.: Наука, 1982.— 256 с.
248. Полак Э. Численные методы оптимизации. Единый подход.— М.:
Мир, 1974.— 376 с.
249. Половинкин Е. С, Смирнов Г. В. О задаче быстродействия
для дифференциальных включений // Дифференц. уравнения, 1986.—
Т. 22, № 8.—С. 1351—1365.
250. Поляк Б. Т. Введение в оптимизацию.— М.: Наука, 1983.—
384 с.
251. Понтрягин Л. С. Обыкновенные дифференциальные уравнения.—
М.: Наука, 1983.— 332 с.
252. Понтрягин Л. С. Математическая теория оптимальных процессов
и дифференциальные игры / Тр. МИАН СССР. Т. 169.—М.: Наука,
1985.—С. 119-158.
253. Потапов М. М. Об аппроксимации задач оптимизации с гладкими
допустимыми управлениями при наличии ограничений / Вестн. МГУ.
Сер. вычисл. матем. и киберн.— 1983,— № 4.— С. 3—7.
254. Пропой А. И. Элементы теории оптимальных дискретных
процессов.— М.: Наука, 1973.— 256 с.
255. Пшеничный Б. Н. Необходимые условия экстремума.— М.:
Наука, 1982.- 144 с.
256. Пшеничный Б. Н. Метод линеаризации.—М.: Наука, 1983.—
136 с.
257. Разумихин Б. С. Физические модели и методы теории равновесия
в программировании и экономике.— М.: Наука, 1975.— 304 с.
258. Ракитский Ю. В., Устинов С. М., Черноруцкий И. Г.
Численные методы решения жестких систем.— М.: Наука, 1979.—
208 с.
259. Растригин Л. А. Системы экстремального управления.— М.:
Наука, 1974.— 632 с.
260. Раушенбах Б. В., Токарь Е. Н. Управление ориентацией
космических аппаратов.— М.: Наука, 1974.— 600 с.
261. Рейклейтис Г., Реивиндран А., Рэгсдел К. Оптимизация
в технике. В двух книгах.— М.: Мир, 1986, книга 1 — 350 с, книга 2 —
320 с.

542
СПИСОК ЛИТЕРАТУРЫ
262. Рихтер К. Динамические задачи дискретной оптимизации.— М.:
Радио и связь, 1985.— 136 с.
263. Ройтенберг Я. Н. Автоматическое управление.—М.: Наука, 1978.—
552 с.
264. Рокафеллар Р. Выпуклый анализ.— М.: Мир, 1973.— 472 с.
265. Романовский И. В. Алгоритмы решения экстремальных задач.—
М.: Наука, 1977.— 352 с.
266. Рубальский Г. Б. Поиск экстремума унимодальной функции
одной переменной на неограниченном множестве // Журн. вычпсл. ма-
тем. и матем. физики— 1982 —Т. 22, № 1 — С. 10—16.
267. Саати Т. Целочисленные методы оптимизации и связанные с ними
экстремальные проблемы.— М.: Мир, 1973.— 302 с.
268. Самсонов СП. Восстановление выпуклого множества по его
опорной функции с заданной точностью // Вестн. МГУ. Сер. вычисл. матем.
и кибернетики —1983 —№ 1 —С. 68—71.
269. Саульев В. К., Самойлова И. И. Приближенные методы
безусловной оптимизации функций многих переменных // Сб. работ
ВИНИТИ: Матем. анализ. Сер. итоги науки и техники.— М.: ВИНИТИ
АН СССР.- 1973.- Т. 11.— С. 91—128.
270. Сачков В. Н. Введение в комбинаторные методы дискретной
математики.— М.: Наука, 1982.— 384 с.
271. Сеа Ж. Оптимизация. Теория и алгоритмы.—М.: Мир, 1973.—
244 с.
272. Сергиенко И. В., Лебедева Т. Т., Рощин В. А.
Приближенные методы решения дискретных задач оптимизации.— Киев: Наукова
думка, 1980 — 274 с.
273. Силин Д. Б. Линейные задачи оптимального быстродействия с
разрывными на множестве положительной меры управлениями.— Матем,
сборник, 1986.—Т. 129A71), № 2.—С. 264—278.
274. Скарин В. Д. Об одном подходе к анализу несобственных задач
линейного программирования / Журн. вычисл. матем. и матем.
физики.— 1986.—Т. 26, № 3.— С. 439—448.
275. Срочко В. А. Вычислительные методы оптимального управления.—
Иркутск: Изд-во Иркутск, ун-та, 1982.— 110 с.
276. Старосельский Л. А., Шелудько Г. А., Кантор Б. Я. Об
одной реализации метода оврагов с адаптацией величины овражного
шага по экспоненциальному закону / Журн. вычисл. матем. и матем,
физики.—1968.—Т. 8, № 5.—С. 1161—1167.
277. Старостенко В. И. Устойчивые численные методы в задачах
гравиметрии.— Киев: Наукова думка, 1978.—228 с.
278. Стрекаловский А. С. К проблеме глобального экстремума / ДАН
СССР.— 1987.— Т. 292, № 5.— С. 1062—1066.
279. Стронгин Р. Г. Численные методы в многоэкстремальных
задачах.— М.: Наука, 1978.— 240 с.
280. Субботин А. И., Ченцов А. Г. Оптимизация гарантии в задачах
управления.— М.: Наука, 1981.— 288 с.
281. Сумин М. И. Оптимальное управление системами с приближенно
известными исходными данными /Журн. вычислит, матем. и матем.
физики.—1987.—Т. 27, № 2.—С. 163-177.
282. Сухарев А. Г. Оптимальный поиск экстремума.—М.: Изд-во МГУ,
1975.—100 с.
283. Сухинин М. Ф. Правило множителей Лагранжа в локально
выпуклых пространствах // Сибирск. матем. журн.—1982.— Т. 23, № 4.—
С. 153—165.
284. Сухинин М. Ф. О двух вариантах градиентного метода // Журн.
вычисл. матем. и матем. физики.—1984.— Т. 24, № 8.— С. 1265—
1267.
285. Сухинин М. Ф. Об одном аналоге уравнения Беллмана / Мат.
заметки.— 1985.— Т. 38, № 2.- С. 265-269.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
543
286. Тадумадзе Т. А. Некоторые вопросы качественной теории
оптимального управления.— Тбилиси: Изд-во Тбилисского ун-та, 1983.—
128 с.
287. Танаев В. С, Шкурба В. В. Введение в теорию расписаний.—
М.: Наука, 1975.— 256 с.
288. Тарасова В. П. Оптимальный поиск экстремума для класса
локально унимодальных функций.— Кибернетика, 1984.— № 1.— С. 65—
68.
289. Телеснин В. Р. Об одной задаче оптимизации переходных
процессов / Тр. Мат. ин-та АН СССР — М.: Наука, 1984.— Т. 166.— С. 235—
244.
290. Тер-Крикоров А. М. Оптимальное управление и математическая
экономика.— М.: Наука, 1977.— 216 с.
291. Тетерев А. Г. Анализ сходимости и устойчивости методов
одномерной оптимизации / Вестн. МГУ. Серия вычисл. матем. и
кибернетики.— 1981.- № 4.— С. 21—27.
292. Тимохов А. В. Математические модели экономического
воспроизводства—М.: Изд-во МГУ, 1982 — 128 с.
293. Тихомиров В. М. Некоторые вопросы теории приближений.— М.:
Изд-во МГУ, 1976.— 304 с.
294. Тихомиров В. М. Рассказы о максимумах и минимумах.—М.:
Наука, 1986.— 192 с.
295. Тихонов А. Н., Васильева А. В., Свешников А. Г.
Дифференциальные уравнения.— М.: Наука, 1985.— 232 с.
296. Тихонов А. Н., Гончарский А. В., Степанов В. В.,
Ягода А. Г. Регуляризующие алгоритмы и априорная информация.—М.:
Наука, 1983.— 200 с.
297. Тихонова. Н., Рютин А. А., Агаян Г. М. Об устойчивом
методе решения задачи линейного программирования с
приближенными данными / Докл. АН СССР.— 1983.— Т. 272, № 5.— С. 1058—
1063.
298. Трауб Дж., Вожьняковский X. Общая теория оптимальных
алгоритмов.— М.: Мир, 1983.— 384 с.
299. Третьяков А. А. Необходимые и достаточные условия
оптимальности р-то порядка / Журн. вычисл. матем. и матем. физики.— 1984.—
Т. 24, № 2.— С. 203—209.
300. Троицкий В. А., Петухов Л. В. Оптимизация формы упругих
тел — М.: Наука. 1982.— 432 с.
301. Ульм СЮ. Обобщение метода Стеффенсена для решения
нелинейных операторных уравнений / Журн. вычисл. матем. и матем. физики,
1964 — Т. 4, № 6.— С. 1093—1097.
302. Ульм СЮ, Методы декомпозиции для решения задач оптимизации.—
Таллин: Изд-во Валгус, 1979.— 132 с.
303. Уонэм М. Линейные многомерные системы управления.—М.: Наука,
1980.— 376 с.
304. Уткин В. И. Скользящие режимы в задачах оптимизации и
управления.— М.: Наука, 1981.— 368 с.
305. Федоренко Р. П. Приближенное решение задач оптимального
управления.— М.: Наука, 1978.— 488 с,
306. Федоров В. В. Численные методы максимина.—М.: Наука, 1979.—
280 с.
307. Фиакко А., Мак-Кормик Г. Нелинейное программирование.
Методы последовательной безусловной минимизации.— М.: Мир, 1972.—
240 с.
308. Флеминг У., Ришел Р. Оптимальное управление
детерминированными и стохастическими системами.— М.: Мир, 1978.—
318 с.
309. Формальский А. М. Управляемость и устойчивость систем с
ограниченными ресурсами.-—М.: Наука, 1974.—368 с.

544
СПИСОК ЛИТЕРАТУРЫ
310. Фурасов В. Д. Устойчивость движения, оценки и стабилизация.—
М.: Наука, 1977.— 248 с.
311. Харатишвили Г. Л., Мачаидзе 3. A.,
Mapкозашвили Н. И., Тадумадзе Т. А. Абстрактная вариационная теория и ее
применения к оптимальным задачам с запаздываниями.— Тбилиси:
Мецниереба, 1973.— 112 с.
312. Харди Г. Г., Литтльвуд Дж. Е., Полиа Г. Неравенства.—
М.: Изд-во иностран. лит-ры, 1948.— 456 с.
313. Xачиян Л. Г. Полиномиальные алгоритмы в линейном
программировании / Журн. вычисл. матем. и матем. физики. 1986.— Т. 20, № 1.—
С. 51-68.
314. Химмельблау Д. Прикладное нелинейное программирование.—
М.: Мир, 1975.—536 с.
315. Xоменюк В. В. Оптимальные системы управления.— М.: Наука,
1977 — 150 с.
316. Хромова Л. Н. Об одном методе минимизации с кубической
скоростью сходимости II Вестн. МГУ. Сер. вычисл. матем. и киберн.—
1980.- № 3.- С. 52-56.
317. Хрусталев М. М. Необходимые и достаточные условия
оптимальности в форме уравнения Беллмана / Докл. АН СССР.— 1978.— Т. 242,
№ 5.— С. 1023—1026.
318. Ху Т. Целочисленное программирование и потоки в сетях.— М.: Мир,
1974.— 520 с.
319. Цирлин А. М., Балакирев В. С, Дудников Е. Г.
Вариационные методы оптимизации управляемых объектов.— М.: Энергия;
1976.— 448 с.
320. Цурков В. И. Декомпозиция в задачах большой размерности.—М.:
Наука, 1981.— 352 с.
321. Чарин В. С. Линейные преобразования и выпуклые множества.—
Киев: Вища школа, 1978.— 192 с.
322. Черемных Ю. Н. Анализ поведения траекторий динамики
народнохозяйственных моделей.— М.: Наука, 1982.— 177 с.
323. Черемных Ю. Н. Математические модели развития народного
хозяйства— М.: Изд-во МГУ, 1986 — 104 с.
324. Черников С. Н. Линейные неравенства.—М.: Наука, 1968.—
488 с.
325. Черноусько Ф. Л., Акуленко Л. Д., Соколов Б. Н.
Управление колебаниями.— М.: Наука, 1980.— 384 с.
326. Черноусько Ф. Л., Баничук Н. В. Вариационные задачи
механики и управления.— М.: Наука, 1973.— 238 с.
327. Черноусько Ф. Л., Колмановский В. Б. Оптимальное
управление при случайных возмущениях.— М.: Наука, 1978.— 352 с.
328. Черноусько Ф. Л., Меликян А. А. Игровые задачи
управления и поиска.— М.: Наука, 1978.— 270 с.
329. Чирич Н. Т. О регуляризованном методе линеаризации для
минимизации выпуклой функции на многогранном множестве при
наличии погрешностей в исходных данных Ц Вестн. МГУ. Сер. вычисл.
матем. и киберн— 1987.— № 2 — С. 20—25.
330. Численные методы условной оптимизации Ц Сб. работ под ред.
Гилл Ф., Мюррэй У.— М.: Мир, 1977.— 292 с.
331. Чичинадзе В. К. Решение невыпуклых нелинейных задач
оптимизации.— М.: Наука, 1983.— 256 с.
332. Чуян О. Р. Оптимальный одношаговый алгоритм максимизации
дважды дифференцируемых функций // Журн. вычисл. матем. и матем.
физики.— 1986 — Т. 26, № 3.— С. 381—397.
333. Швартин СМ. Общая задача устойчивости для некоторых классов
задач линейного программирования. / ДАН СССР.—1985.— Т. 285,
№ 1.- С. 56-59.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
545
334. Шепилов М. А. О методе обобщенного градиента для экстремаль*
ных задач / Журн. вычисл. матем. и матем. физики.— 1976.— Т. 16,
№ 1.- С. 242-247.
335. Шепилов М. А. Об отыскании корней и глобального экстремума
липшицевой функции.— Кибернетика, 1987.— № 2.— С. 71—74.
336. Шор Н. 3. Методы минимизации не дифференцируемых функций и
их приложения.— Киев: Наукова думка, 1979,— 200 с.
337. Экланд И., Темам Р. Выпуклый анализ и вариационные
проблемы.— М.: Мир, 1979 — 400 с.
338. Эльстер К.-Х., Рейнгардт Р., Шойбле М., Донат Г.
Введение в нелинейное программирование.— М.: Наука, 1985.— 264 с.
339. Юдин Д. Б. Задачи и методы стохастического программирования.—
М.: Советское радио, 1979.— 392 с.
340. Юдин Д. В., Гольштейн Е. Г. Линейное программирование.
Теория, методы и приложения.—М.: Наука, 1969.— 424 с.
341. Якубович В. А. К абстрактной теории оптимального управления ff
Сибирск. матем. журн.— I, 1977, 18, № 3.— С. 685—707; И, 1978 — 19,
№ 2.- С. 436-460.
342. Янг Л. Лекции по вариационному исчислению и теории
оптимального управления.— М.: Мир, 1974.— 488 с.
343. Ячимович М. Итеративная регуляризация одного варианта метода
условного градиента // Вестн. МГУ. Сер. вычисл. матем. и киберн,—
1980,— № 4.— С. 13—19.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Антициклин 124
Базис угловой точки 111
Базисные координаты 111
— переменные 111
Вектор опорный 198
— собственно опорный 198
Верхний предел последовательности
71
функции 78
Верхняя грань функции 13
Выпуклая комбинация точек 156
Гиперплоскость 149
— опорная 198
— отделяющая 194
— собственно опорная 198
Градиент 79
Двойственные переменные 248
Задача быстродействия 434
— двойственная 248
— классического вариационного
исчисления 485
— Коши 425
— минимизации второго типа 11 , 70
первого типа 11 , 70
— многоэкстремальная 347
— на безусловный экстремум 82
— на условный экстремум 82
— оптимального управления 433
автономная 434
с закрепленным временем
432 , 435
с закрепленным концом 432 ,
441 , 442
со свободным концом 432 ,
442 , 443
Задача оптимального управления с
подвижным концом 432 , 443 , 444
с фазовыми ограничениями
— регулярная 84 , 225
— с сильно согласованной
постановкой 371
— с согласованной постановкой 370
Замыкание множества 153
Зацикливание 124
Золотое сечение отрезка 19
Квадратичная форма
неотрицательная 168
отрицательно определенная 80
положительно определенная 80
Конус 204
— выпуклый 204
— двойственный (сопряженный) 204
— замкнутый 204
— открытый 204
Координата базисная 111
— отмеченная 141
— фазовая 425
Коэффициент барьерный 385
— штрафной 366
Краевая задача принципа
максимума 440
Критерий выпуклости функции 39 ,
43 , 44 , 164 , 165 , 167
— оптимальности 42 , 165 , 173 , 192 ,
210 , 234 — 247
— сильной выпуклости функции
184 , 185
Лексикографически положительный
вектор 135
Лексикографическое правило 135
Линейного программирования
задача вырожденная 123
каноническая 105
невырожденная 123

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
547
Линейного программирования
задача общая 101
общая 101
основная 105
Луч 149
Метод барьерных функций 384
— блуждающих трубок 510
— возможных направлений 299
— градиентный 261
— Давидона — Флетчера — Пауэлла
337
— декомпозиции 504
— деления отрезка пополам 17
— золотого сечения 19
— касательных 45
— квазиньютоновский 337
— классический 15 , 78
— линеаризации 309
— локальных вариаций 510
— ломаных 28
— модифицированных функций Лаг-
ранжа 356
— нагруженных функций 396
— Ньютона 329
— овражный 269
— оптимальный 23
— парабол 59
— пассивный 24 , 350
оптимальный 25
— переменной метрики 338
— поиска глобального минимума 28 ,
33 , 53 , 62 , 347
— покоординатного спуска 342
— покрытий 33 , 348
— последовательный 24 , 350
оптимальный 27
— проекции градиента 277
субградиента 285
— равномерного перебора 24 , 33
— симметричный 21
— скорейшего спуска 262
— случайного поиска 410
без обучения 412
с обучением 412
— сопряженных градиентов 328
направлений 320
— Стеффенсена 338
— стохастической аппроксимации 66 ,
415
— стрельбы 480
— тяжелого шарика 276
— условного градиента 291
— Фибоначчи 26
— штрафных функций 363
Минимальный корень уравнения 399
Множество аффинное 149
— выпуклое 148
— замкнутое 71
Множество компактное 71
— Лебега 73
— многогранное 152
— ограниченное 71
— открытое 153
— регулярное 238
Множитель Лагранжа 83 , 224
Модуль выпуклости 218
точный 218
Момент времени конечный 427
закрепленный 432
начальный 425 , 427
закрепленный 432
Надграфик (эпиграф) функции 171
Наибольшее (максимальное)
значение функции 14
Наименьшее (минимальное)
значение функции 9
Направление возможное 172
убывания 299
— рецессивное 177
Неравенство Гронуолла 461
— Йенсена 163
Нижний предел последовательности
71
функции 78
Нижняя грань функции 10
Нормальный вектор гиперплоскости
149
Оболочка аффинная 152
— выпуклая 157
Ограничения активные 224
— интегральные 434
— корректные 375
— пассивные 224
— типа неравенств 87
равенств 82
— точечные 434
— фазовые 431
Окрестность точки 71
Ортант неотрицательный 152
Отделимость множеств 193
сильная 194
собственная 194
строгая 194
Отображение многозначное 211
выпуклозначное 211
компактное 211
монотонное 211
полунепрерывное сверху 211
снизу 211
— субдифференциальное 211
Отрезок локализации минимума 24
Параллелепипед 152
Подпространство несущее 152

548
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Позином 256
Полупространство замкнутое 149
— открытое 149
Поляра 206
Последовательность
максимизирующая 13
— минимизирующая 11
— ограниченная 71
Постоянная Липшица 28
— сильной выпуклости 181
Принцип максимума 438
Проблема синтеза 496 , 513
Программирование выпуклое 234
— геометрическое 255
— динамическое 490
— квадратичное 314
— линейное 101
— полиномиальное 319
— стохастическое 415
Проекция точки на множество 188
Произведение множества на число
153
Производная по направлению 172
Прямая линия 149
Прямое произведение множеств 200
Размерность множества 151 , 152
Разность множеств 153
Разрешающий элемент 118
Расстояние от точки до множества
11
Симплекс 113 , 157
Симплекс-метод 112
Скользящий режим 525
Сопряженная система 436
Субградиент 206
Субдифференциал 207
Сумма множеств 153
Схема Беллмана 490
— Моисеева 505
Сходимость последовательности ко
множеству 11
Теорема Вейерштрасса 12
— Куна — Таккера 235
— Фаркаша 240
Точка глобального (абсолютного)
максимума 13
минимума 12
— локального максимума 14
минимума 12
— множества внешняя 154
внутренняя 153
граничная 154
изолированная 154
Точка множества относительно
внутренняя 160
— множества предельная 71
угловая 109
вырожденная 111
невырожденная 111
— , подозрительная на экстремум 15 ,
85 , 88
— седловая 235
— стационарная 80
— строгого локального максимума 14
минимума 12
— экстремума 14
Точность метода гарантированная 23
наилучшая 23
Траектории левый конец 427
закрепленный 432
подвижный 432
свободный 432
— правый конец 427
закрепленный 432
подвижный 432
свободный 432
Траектория (решение) задачи Ко-
ши 427
— оптимальная 433
Управление 425
— оптимальное 433
— особое 451
Уравнение Беллмана 492
— Эйлера 487
Условие Вейерштрасса 487
— дополняющей нежесткости 224 ,
437
— достаточное оптимальности
(максимума , минимума) 15 , 80 , 85 , 165 ,
173 , 192 , 210 , 237 , 500 , 522
— Лежандра 487
— необходимое оптимальности
(максимума , минимума , экстремума)
15 , 80 , 83 , 165 , 173 , 192 , 210 , 224 ,
239 , 244 , 246 , 379 , 437 , 445
— Слейтера 238
— трансверсальности 437 , 489
— Эрдмана — Вейерштрасса 488
Формула конечных приращений 92
Функция барьерная 385
— Беллмана 492
— Вейерштрасса 488
— вогнутая 163
— выпуклая 162
— Гамильтона — Понтрягина 436
— дважды дифференцируемая 79
непрерывно
дифференцируемая (дважды гладкая) 91

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
549
Функция дифференцируемая 78
— квазивыпуклая 181
— Кротова 501 , 523
— кусочно гладкая 425
непрерывная 425
— Лагранжа 83 , 224
модифицированная 358
регулярная 235
— Ляпунова 276 , 530
— Минковского 180
— непрерывно дифференцируемая
(гладкая) 91
— овражная 268
— ограниченная 13
сверху 13
снизу 10
— опорная 180 , 199
— полунепрерывная сверху 72
снизу 72
Функция равномерно выпуклая 218
— сильно выпуклая 181
— синтезирующая 496 , 513
— строго вогнутая 163
выпуклая 162
равномерно выпуклая 218
унимодальная 13
—удовлетворяющая условию Гель-
дера 377
— , Липшица 28
— унимодальная 13
— штрафная 364
Шар 148
Шкала состояний 505
Элементарная операция 506

Учебное издание
ВАСИЛЬЕВ Федор Павлович
ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ
ЭКСТРЕМАЛЬНЫХ ЗАДАЧ
Заведующий редакцией Е. Ю. Ходан
Редактор И. В. Викторенкова
Художественный редактор Г. М. Коровина
Технический редактор В. Н. Кондакова
Корректоры: О. А. Бутусова , Т. С. Вайсберг
ИБ Кя 12659
Сдано в набор 07.12.87. Подписано к печати 02.11.88. Формат 60X90/16. Бумага
офсетная. Гарнитура обыкновенная новая. Печать высокая. Усл. печ. л. 34 , 5.
Усл. кр.-отт. 34 , 5. Уч.-изд. л. 38 , 64. Тираж 19 500 экз. Заказ Кя 1219. Цена 1 р. 60 к.
Ордена Трудового Красного Знамени издате.
Главная редакция физико-математической
117071 Москва В-71 , Ленинский проспект ,
Четвертая типография издательства «На
630077 г. Новосибирск-77 , Станиславского ,

Ф.П.ВАСИЛЬЕВ
ЧИСЛЕННЫЕ
МЕТОДЫ РЕШЕНИЯ
ЭКСТРЕМАЛЬНЫХ
ЗАДАЧ